research product . Other ORP type . 2021

Kittajafr-v2baseline-2.0.1

Blin, Raoul;
French
  • Published: 27 Dec 2021
  • Publisher: HAL CCSD
  • Country: France
Abstract
Description of the kittajafr-v2-2.0.1; This guide presents KittajaFr-v2. It is a set of free resources and tools frequently used in machine translation, to build a Transformer model to translate from Japanese into French. The corpus contains 2,5M aligned segments. Score BLEU is between 13,5 et 11,5.; Ce guide présente le kit kittajafr-v2baseline. Il s'agit d'un ensemble de ressources et d'outils libres couramment utilisés en traduction automatique, permettant d'entraîner un modèle Transformer de traduction neuronale du japonais vers le français. Le corpus contient 2,5M de segments alignés de qualité variable. La segmentation (sentencePiece) du vocabulaire est fixée à 16K mots pour chaque langue et les embeddings sont de 256. Les scores BLEU se situent vers 13,5 et 11,5 (on dispose aussi des scores chrF). Le kittjafr-v2 fait suite à la version v1, qui permettait de construire un très petit modèle (score BLEU 3 et 7).
Subjects
free text keywords: Natural language Processing, Machine translation, Japanese, French, [SHS.LANGUE]Humanities and Social Sciences/Linguistics, [INFO.INFO-OH]Computer Science [cs]/Other [cs.OH]
Related Organizations
Any information missing or wrong?Report an Issue