« Attention clairsemée » : différence entre les versions
m (Patrickdrouin a déplacé la page Sparse attention vers Attention clairsemée) |
Aucun résumé des modifications |
||
| (3 versions intermédiaires par un autre utilisateur non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Technique d'optimisation d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention. | |||
== Compléments == | |||
Au lieu de comparer tous les [[segment textuel|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc. | |||
Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI. | |||
== Français == | == Français == | ||
| Ligne 16 : | Ligne 21 : | ||
'''native sparse attention''' | '''native sparse attention''' | ||
Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance. | |||
==Sources== | ==Sources== | ||
[https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ] | [https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ] | ||
| Ligne 24 : | Ligne 30 : | ||
[https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention] | [https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention] | ||
[[Catégorie: | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
Dernière version du 19 avril 2026 à 12:32
Définition
Technique d'optimisation d'une architecture auto-attentive qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention.
Compléments
Au lieu de comparer tous les segments textuels entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.
Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI.
Français
attention clairsemée
attention parcimonieuse
attention creuse
attention clairsemée native
Anglais
sparse attention
native sparse attention
Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.
Sources
Aroosa Hameed (2023) - attention clairsemée
Contributeurs: Patrick Drouin, wiki
