Masquage de segment textuel - Historique des versions

Arianne le 8 octobre 2025 à 15:28

2025-10-08T15:28:35Z

← Version précédente		Version du 8 octobre 2025 à 11:28
Ligne 7 :		Ligne 7 :
	Le masquage de segments textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''[[permutation de phrases]]''' (en anglais, ''sentence permutation''), la '''[[rotation de phrases]]''' (en anglais, ''document rotation''), l''''[[insertion de segment textuel]]''' (en anglais, ''text infilling'') et la '''[[suppression de segment textuel]]''' (en anglais, ''token deletion'').		Le masquage de segments textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''[[permutation de phrases]]''' (en anglais, ''sentence permutation''), la '''[[rotation de phrases]]''' (en anglais, ''document rotation''), l''''[[insertion de segment textuel]]''' (en anglais, ''text infilling'') et la '''[[suppression de segment textuel]]''' (en anglais, ''token deletion'').
	<hr/>		<hr/>
	En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de segment textuel et l''''[['entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''.		En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de segment textuel et l''''[[entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''.

	== Français ==		== Français ==

Pitpitt le 5 août 2025 à 14:02

2025-08-05T14:02:52Z

← Version précédente		Version du 5 août 2025 à 10:02
Ligne 24 :		Ligne 24 :
	[https://towardsai.net/p/l/token-masking-strategies-for-llms Source: TowardsAI]		[https://towardsai.net/p/l/token-masking-strategies-for-llms Source: TowardsAI]

	[[Catégorie:~~vocabulary~~]]		[[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]

Arianne : Arianne a déplacé la page Token Masking vers Masquage de segment textuel

2025-06-10T19:28:08Z

Arianne a déplacé la page Token Masking vers Masquage de segment textuel

← Version précédente	Version du 10 juin 2025 à 15:28
(Aucune différence)

Arianne le 10 juin 2025 à 19:26

2025-06-10T19:26:59Z

← Version précédente		Version du 10 juin 2025 à 15:26
Ligne 1 :		Ligne 1 :
	~~== en construction ==~~

	== Définition ==		== Définition ==
	Technique d''''[[apprentissage auto-supervisé]]''' pour le '''[[préentraînement]]''' d’un '''[[grand modèle de langues]]''' où les '''[[segment textuel\|segments textuels]]''' sont masqués de manière aléatoire par un symbole ou [masque], afin de prédire le segment textuel masqué en fonction de son contexte.		Technique d''''[[apprentissage auto-supervisé]]''' pour le '''[[préentraînement]]''' d’un '''[[grand modèle de langues]]''' où les '''[[segment textuel\|segments textuels]]''' sont masqués de manière aléatoire par un symbole ou [masque], afin de prédire le segment textuel masqué en fonction de son contexte.

	Voir aussi '''[[segmentation]]''' et '''[[~~Text Infilling~~]]'''		Voir aussi '''[[segmentation]]''' et '''[[insertion de segment textuel]]'''

	== Compléments ==		== Compléments ==
	Le masquage de segments textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''[[permutation de phrases]]''' (en anglais, ''sentence permutation''), la '''rotation de phrases''' (en anglais, ''document rotation''), l''''insertion de segment textuel''' (en anglais, ''text infilling'') et la '''suppression de segment textuel''' (en anglais, ''token deletion'').		Le masquage de segments textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''[[permutation de phrases]]''' (en anglais, ''sentence permutation''), la '''[[rotation de phrases]]''' (en anglais, ''document rotation''), l''''[[insertion de segment textuel]]''' (en anglais, ''text infilling'') et la '''[[suppression de segment textuel]]''' (en anglais, ''token deletion'').
	<hr/>		<hr/>
	En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de segment textuel et l''''[['entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''.		En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de segment textuel et l''''[['entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''.

	== Français ==		== Français ==
	'''~~Masquage~~ de segment(s) textuel(s)'''		'''masquage de segment(s) textuel(s)'''

	'''~~Masquage~~ de segment(s)'''		'''masquage de segment(s)'''

	== Anglais ==		== Anglais ==
	'''~~Token~~ masking'''		'''token masking'''

	'''~~Text~~ corruption'''		'''text corruption'''

	== Sources ==		== Sources ==

Arianne le 10 juin 2025 à 19:14

2025-06-10T19:14:33Z

← Version précédente		Version du 10 juin 2025 à 15:14
Ligne 7 :		Ligne 7 :

	== Compléments ==		== Compléments ==
	Le masquage de segments textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''permutation de phrases''' (en anglais, ''sentence permutation''), la '''rotation de phrases''' (en anglais, ''document rotation''), l''''insertion de segment textuel''' (en anglais, ''text infilling'') et la '''suppression de segment textuel''' (en anglais, ''token deletion'').		Le masquage de segments textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''[[permutation de phrases]]''' (en anglais, ''sentence permutation''), la '''rotation de phrases''' (en anglais, ''document rotation''), l''''insertion de segment textuel''' (en anglais, ''text infilling'') et la '''suppression de segment textuel''' (en anglais, ''token deletion'').
	<hr/>		<hr/>
	En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de segment textuel et l''''[['entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''.		En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de segment textuel et l''''[['entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''.

Arianne le 10 juin 2025 à 19:07

2025-06-10T19:07:58Z

← Version précédente		Version du 10 juin 2025 à 15:07
Ligne 7 :		Ligne 7 :

	== Compléments ==		== Compléments ==
	Le masquage de segments textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''permutation de phrases''' (en anglais, sentence permutation), la '''rotation de phrases''' (en anglais, document rotation), l''''insertion de segment textuel''' (en anglais, text infilling) et la '''suppression de segment textuel''' (en anglais, token deletion).		Le masquage de segments textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''permutation de phrases''' (en anglais, ''sentence permutation''), la '''rotation de phrases''' (en anglais, ''document rotation''), l''''insertion de segment textuel''' (en anglais, ''text infilling'') et la '''suppression de segment textuel''' (en anglais, ''token deletion'').
	<hr/>		<hr/>
	En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de segment textuel et l''''[['entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''.		En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de segment textuel et l''''[['entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''.

Arianne le 10 juin 2025 à 19:06

2025-06-10T19:06:55Z

← Version précédente		Version du 10 juin 2025 à 15:06
Ligne 2 :		Ligne 2 :

	== Définition ==		== Définition ==
	Technique ~~utilisée~~ pour le '''[[préentraînement]]''' d’un [[grand modèle de langues]] où les '''[[~~Segment~~ textuel\|segments textuels]]''' ~~(ou segments)~~ sont masqués de manière aléatoire par un symbole [~~MASK], comme dans '''[[BERT]~~]~~'''~~, afin de prédire le segment en fonction de son contexte.		Technique d''''[[apprentissage auto-supervisé]]''' pour le '''[[préentraînement]]''' d’un '''[[grand modèle de langues]]''' où les '''[[segment textuel\|segments textuels]]''' sont masqués de manière aléatoire par un symbole ou [masque], afin de prédire le segment textuel masqué en fonction de son contexte.

	Voir aussi ~~'''[[grand modèle de langues]]''',~~ '''[[segmentation]]''' et '''[[Text Infilling]]'''		Voir aussi '''[[segmentation]]''' et '''[[Text Infilling]]'''

	== Compléments ==		== Compléments ==
			Le masquage de segments textuels est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''permutation de phrases''' (en anglais, sentence permutation), la '''rotation de phrases''' (en anglais, document rotation), l''''insertion de segment textuel''' (en anglais, text infilling) et la '''suppression de segment textuel''' (en anglais, token deletion).
			<hr/>
			En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de segment textuel et l''''[['entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''.

	== Français ==		== Français ==
Ligne 15 :		Ligne 17 :

	== Anglais ==		== Anglais ==
	''' Token ~~Masking~~'''		'''Token masking'''

	'''Text ~~Corruption~~'''		'''Text corruption'''

	== Sources ==		== Sources ==

	[https://arxiv.org/html/2309.08628v3 Source: Arxiv]		[https://arxiv.org/html/2309.08628v3 Source: Arxiv]

Claude COULOMBE le 3 juin 2025 à 23:15

2025-06-03T23:15:04Z

← Version précédente		Version du 3 juin 2025 à 19:15
Ligne 2 :		Ligne 2 :

	== Définition ==		== Définition ==
	Technique utilisée pour le '''[[préentraînement]]''' d’un modèle où les '''[[Segment textuel\|segments textuels]]''' (ou segments) sont masqués de manière aléatoire par un symbole [MASK], comme dans '''[[BERT]]''', afin de prédire le segment en fonction de son contexte.		Technique utilisée pour le '''[[préentraînement]]''' d’un [[grand modèle de langues]] où les '''[[Segment textuel\|segments textuels]]''' (ou segments) sont masqués de manière aléatoire par un symbole [MASK], comme dans '''[[BERT]]''', afin de prédire le segment en fonction de son contexte.

	Voir aussi '''[[grand modèle de langues]]''', '''[[segmentation]]''' et '''[[Text Infilling]]'''		Voir aussi '''[[grand modèle de langues]]''', '''[[segmentation]]''' et '''[[Text Infilling]]'''

			== Compléments ==


	== Français ==		== Français ==
	''' Masquage de segment'''		'''Masquage de segment(s) textuel(s)'''

	''' Masquage ~~des segments~~'''		'''Masquage de segment(s)'''

	== Anglais ==		== Anglais ==
	''' Token Masking'''		''' Token Masking'''

			'''Text Corruption'''

	== Sources ==		== Sources ==

Arianne le 22 mai 2025 à 18:06

2025-05-22T18:06:08Z

← Version précédente		Version du 22 mai 2025 à 14:06
Ligne 2 :		Ligne 2 :

	== Définition ==		== Définition ==
	~~XXXXXXX~~		Technique utilisée pour le '''[[préentraînement]]''' d’un modèle où les '''[[Segment textuel\|segments textuels]]''' (ou segments) sont masqués de manière aléatoire par un symbole [MASK], comme dans '''[[BERT]]''', afin de prédire le segment en fonction de son contexte.

	Voir aussi '''[[grand modèle de langues~~]]''', '''[[BERT~~]]''', '''[[segmentation]]''' et '''[[~~entropie croisée~~]]'''		Voir aussi '''[[grand modèle de langues]]''', '''[[segmentation]]''' et '''[[Text Infilling]]'''

	== Français ==		== Français ==
	''' ~~XXXXXXXX~~'''		''' Masquage de segment'''

			''' Masquage des segments'''

	== Anglais ==		== Anglais ==
	''' Token Masking'''		''' Token Masking'''

	''Masking sensitive tokens from users’ data helps reduce the privacy risks and prevent any personal information being leaked or extracted from adversaries. Such token masking task shall be performed without human-in-the-loop since practitioners are not allowed to have the access to annotate or label private data of users.''

	~~''Token masking provides privacy protections, however, the resulting masked corpus might not be suitable to be directly used for training NLP models for downstream tasks.''~~

	== Sources ==		== Sources ==

Arianne le 10 mai 2025 à 17:51

2025-05-10T17:51:17Z

← Version précédente		Version du 10 mai 2025 à 13:51
Ligne 4 :		Ligne 4 :
	XXXXXXX		XXXXXXX

	Voir aussi '''[[grand modèle de langues]]''', '''[[BERT]]''', '''[[segmentation]]'''		Voir aussi '''[[grand modèle de langues]]''', '''[[BERT]]''', '''[[segmentation]]''' et '''[[entropie croisée]]'''

	== Français ==		== Français ==