Attention clairsemée - Historique des versions

Pitpitt le 19 avril 2026 à 16:32

2026-04-19T16:32:01Z

← Version précédente		Version du 19 avril 2026 à 12:32
Ligne 21 :		Ligne 21 :
	'''native sparse attention'''		'''native sparse attention'''

	~~<!--~~ Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.~~-->~~		Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.

	==Sources==		==Sources==
	[https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]		[https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]
Ligne 29 :		Ligne 30 :
	[https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]		[https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]

	[[Catégorie:~~Publication~~]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Patrickdrouin le 31 mars 2026 à 19:35

2026-03-31T19:35:08Z

← Version précédente		Version du 31 mars 2026 à 15:35
Ligne 5 :		Ligne 5 :
	Au lieu de comparer tous les [[segment textuel\|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.		Au lieu de comparer tous les [[segment textuel\|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.

	Cette technique d'optimisation a été mise de l'avant par la société DeepSeek.		Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI.

	== Français ==		== Français ==

Patrickdrouin le 31 mars 2026 à 19:34

2026-03-31T19:34:53Z

← Version précédente		Version du 31 mars 2026 à 15:34
Ligne 1 :		Ligne 1 :
	== Définition ==		== Définition ==
	Technique d'~~optimision~~ d'une [[Réseau autoattentif\|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention.		Technique d'optimisation d'une [[Réseau autoattentif\|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention.

	== Compléments ==		== Compléments ==
	Au lieu de comparer tous les [[segment textuel\|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.		Au lieu de comparer tous les [[segment textuel\|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.

			Cette technique d'optimisation a été mise de l'avant par la société DeepSeek.

	== Français ==		== Français ==

Patrickdrouin le 31 mars 2026 à 19:33

2026-03-31T19:33:41Z

← Version précédente		Version du 31 mars 2026 à 15:33
Ligne 1 :		Ligne 1 :
	== Définition ==		== Définition ==
	~~xxxxx~~		Technique d'optimision d'une [[Réseau autoattentif\|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention.

			== Compléments ==
			Au lieu de comparer tous les [[segment textuel\|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.

	== Français ==		== Français ==

Patrickdrouin : Patrickdrouin a déplacé la page Sparse attention vers Attention clairsemée

2026-03-31T19:23:43Z

Patrickdrouin a déplacé la page Sparse attention vers Attention clairsemée

← Version précédente	Version du 31 mars 2026 à 15:23
(Aucune différence)

Patrickdrouin le 31 mars 2026 à 19:23

2026-03-31T19:23:26Z

← Version précédente		Version du 31 mars 2026 à 15:23
Ligne 1 :		Ligne 1 :
	~~== EN CONSTRUCTION ==~~

	== Définition ==		== Définition ==
	xxxxx		xxxxx

	== Français ==		== Français ==
	'''~~xxxxx~~ '''		'''attention clairsemée'''

	~~== Anglais ==~~		'''attention parcimonieuse'''
	'''~~Native Sparse Attention~~'''

	'''~~DSA~~'''		'''attention creuse'''

	'''~~Hardware-Aligned and Natively Trainable Sparse Attention~~'''		'''attention clairsemée native'''

	Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.

			== Anglais ==
			'''sparse attention'''

			'''native sparse attention'''

			<!-- Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.-->
			==Sources==
			[https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]

	~~==Sources==~~		[https://fr.wikipedia.org/wiki/Attention_(apprentissage_automatique) Wikipedia - attention clairsemée]
	[https://~~arxiv~~.org/~~abs~~/~~2502.11089 Sources : arxiv~~]

			[https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]

	[[Catégorie:~~vocabulary~~]]		[[Catégorie:Publication]]

Patrickdrouin : Patrickdrouin a déplacé la page Native Sparse Attention vers Sparse attention

2026-03-31T19:07:53Z

Patrickdrouin a déplacé la page Native Sparse Attention vers Sparse attention

← Version précédente	Version du 31 mars 2026 à 15:07
(Aucune différence)

Pitpitt le 12 décembre 2025 à 15:41

2025-12-12T15:41:08Z

← Version précédente		Version du 12 décembre 2025 à 11:41
Ligne 12 :		Ligne 12 :
	'''DSA'''		'''DSA'''

	Hardware-Aligned and Natively Trainable Sparse Attention		'''Hardware-Aligned and Natively Trainable Sparse Attention'''

	Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.		Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.

Pitpitt : Page créée avec « == EN CONSTRUCTION == == Définition == xxxxx == Français == '''xxxxx ''' == Anglais == '''Native Sparse Attention''' '''DSA''' Hardware-Aligned and Natively Trainable Sparse Attention Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model... »

2025-12-12T15:40:46Z

Page créée avec « == EN CONSTRUCTION == == Définition == xxxxx == Français == '''xxxxx ''' == Anglais == '''Native Sparse Attention''' '''DSA''' Hardware-Aligned and Natively Trainable Sparse Attention Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model... »

Nouvelle page

== EN CONSTRUCTION ==

== Définition ==
xxxxx

== Français ==
'''xxxxx '''

== Anglais ==
'''Native Sparse Attention'''

'''DSA'''

Hardware-Aligned and Natively Trainable Sparse Attention

Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.

==Sources==
[https://arxiv.org/abs/2502.11089 Sources : arxiv]

[[Catégorie:vocabulary]]