Puits d'attention - Historique des versions

Pitpitt le 20 mars 2026 à 14:44

2026-03-20T14:44:05Z

← Version précédente		Version du 20 mars 2026 à 10:44
Ligne 1 :		Ligne 1 :
	~~== en construction ==~~

	== Définition ==		== Définition ==
	Ce terme peut désigner le phénomène ou le type de '''[[segment textuel]]''' concerné par le phénomène.		Ce terme peut désigner le phénomène ou le type de '''[[segment textuel]]''' concerné par le phénomène.
Ligne 30 :		Ligne 28 :
	[https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]		[https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]

	[[Catégorie:~~publication~~]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Arianne : Arianne a déplacé la page Attention sink vers Puits d'attention

2026-03-19T18:49:42Z

Arianne a déplacé la page Attention sink vers Puits d'attention

← Version précédente	Version du 19 mars 2026 à 14:49
(Aucune différence)

Arianne le 19 mars 2026 à 18:49

2026-03-19T18:49:26Z

← Version précédente		Version du 19 mars 2026 à 14:49
Ligne 2 :		Ligne 2 :

	== Définition ==		== Définition ==
	Ce terme peut désigner le phénomène ou le type de '''[[segment textuel]]''' concerné par ce phénomène.		Ce terme peut désigner le phénomène ou le type de '''[[segment textuel]]''' concerné par le phénomène.

	Phénomène présent dans tous les '''[[Grand modèle de langues (GML)\| grands modèles de langues]]''' '''[[Modèle autorégressif\|autorégressifs]]''', dans lesquels les premiers segments textuels représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique.		Phénomène présent dans tous les '''[[Grand modèle de langues (GML)\| grands modèles de langues]]''' '''[[Modèle autorégressif\|autorégressifs]]''', dans lesquels les premiers segments textuels représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique.
Ligne 9 :		Ligne 9 :
	Ce phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''.		Ce phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''.

	La raison pour laquelle les segments textuels initiaux sont considérés comme des « segments puits » est intuitive : ils sont visibles par presque tous les segments textuels suivants en raison de la nature autorégressive du modèle, ce qui les ~~entraînent pour être des~~ « puits d'attention ».		La raison pour laquelle les segments textuels initiaux sont considérés comme des « segments puits » est intuitive : ils sont visibles par presque tous les segments textuels suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».

	== Français ==		== Français ==
Ligne 17 :		Ligne 17 :
	''' attention sink'''		''' attention sink'''

	~~<!--~~This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.		''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''

	This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others. ~~-->~~		''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''

			''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''

	== Sources ==		== Sources ==
Ligne 28 :		Ligne 30 :
	[https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]		[https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]

	[[Catégorie:~~vocabulary~~]]		[[Catégorie:publication]]

Arianne le 27 janvier 2026 à 22:03

2026-01-27T22:03:22Z

← Version précédente		Version du 27 janvier 2026 à 18:03
Ligne 2 :		Ligne 2 :

	== Définition ==		== Définition ==
	~~xxxxx~~		Ce terme peut désigner le phénomène ou le type de '''[[segment textuel]]''' concerné par ce phénomène.

			Phénomène présent dans tous les '''[[Grand modèle de langues (GML)\| grands modèles de langues]]''' '''[[Modèle autorégressif\|autorégressifs]]''', dans lesquels les premiers segments textuels représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique.

	== Compléments ==		== Compléments ==
	~~On peut aussi utiliser le terme pour désigner spécifiquement ce genre~~ de '''[[~~segment textuel~~]]''', ~~on peut alors l~~'~~écrire au pluriel en fonction du contexte~~.		Ce phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''.

			La raison pour laquelle les segments textuels initiaux sont considérés comme des « segments puits » est intuitive : ils sont visibles par presque tous les segments textuels suivants en raison de la nature autorégressive du modèle, ce qui les entraînent pour être des « puits d'attention ».

	== Français ==		== Français ==
	''' ~~XXXXXXX~~'''		''' puits d'attention'''

	== Anglais ==		== Anglais ==

Arianne : Page créée avec « == en construction == == Définition == xxxxx == Compléments == On peut aussi utiliser le terme pour désigner spécifiquement ce genre de '''segment textuel''', on peut alors l'écrire au pluriel en fonction du contexte. == Français == ''' XXXXXXX''' == Anglais == ''' attention sink'''

Puits d'attention - Historique des versions

Pitpitt le 20 mars 2026 à 14:44

Arianne : Arianne a déplacé la page Attention sink vers Puits d'attention

Arianne le 19 mars 2026 à 18:49

Arianne le 27 janvier 2026 à 22:03

Arianne : Arianne a déplacé la page Attention sink vers Puits d'attention