Masquage de jeton textuel

Définition

Technique d'apprentissage auto-supervisé pour le préentraînement d’un grand modèle de langues où les jetons textuels ou segments textuels sont masqués de manière aléatoire par un symbole ou [masque], afin de prédire le jeton textuel masqué en fonction de son contexte.

Le masquage de jetons textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, text corruption) pour l'apprentissage auto-supervisé qui comprend la permutation de phrases (en anglais, sentence permutation), la rotation de phrases (en anglais, document rotation), l'insertion de jeton textuel (en anglais, text infilling) et la suppression de jeton textuel (en anglais, token deletion).

En 2018, BERT de Google fut le premier modèle d'apprentissage à utiliser le masquage de jeton textuel et l'entraînement autosupervisé pour préentraîner un modèle de langue.

masquage de jeton(s) textuel(s)

masquage de jeton(s)

masquage de segment(s) textuel(s)

masquage de segment(s)

token masking

text corruption