Cache clé-valeur - Historique des versions

Pitpitt le 11 mars 2026 à 17:07

2026-03-11T17:07:32Z

← Version précédente		Version du 11 mars 2026 à 13:07
Ligne 25 :		Ligne 25 :
	[https://cyrilzakka.github.io/llm-playbook/nested/kv-cache.html Source : The Large Language Model Playbook]		[https://cyrilzakka.github.io/llm-playbook/nested/kv-cache.html Source : The Large Language Model Playbook]

	[[Catégorie:~~vocabulary~~]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Pitpitt le 11 mars 2026 à 17:05

2026-03-11T17:05:55Z

← Version précédente		Version du 11 mars 2026 à 13:05
Ligne 26 :		Ligne 26 :

	[[Catégorie:vocabulary]]		[[Catégorie:vocabulary]]

	~~[[[[Catégorie:publication]]~~

Claude COULOMBE : Claude COULOMBE a déplacé la page KV Cache vers Cache clé-valeur

2026-03-10T22:27:55Z

Claude COULOMBE a déplacé la page KV Cache vers Cache clé-valeur

← Version précédente	Version du 10 mars 2026 à 18:27
(Aucune différence)

Claude COULOMBE le 10 mars 2026 à 22:27

2026-03-10T22:27:32Z

← Version précédente		Version du 10 mars 2026 à 18:27
Ligne 9 :		Ligne 9 :
	'''cache clé-valeur'''		'''cache clé-valeur'''

	'''cache KV"		'''cache KV'''

	== Anglais ==		== Anglais ==

Claude COULOMBE le 10 mars 2026 à 22:26

2026-03-10T22:26:58Z

← Version précédente		Version du 10 mars 2026 à 18:26
Ligne 1 :		Ligne 1 :
	==~~en construction~~==		== Définition ==
			Technique d'optimisation utilisée pour accélérer l''''[[inférence]]''' dans les '''[[Modèle\|modèles]]''' d''''[[apprentissage automatique]]''', en particulier dans les '''[[Modèle autoattentif\|modèles autoattentifs]]'''.

	~~== Définition ==~~		Elle consiste à cacher les clés et les valeurs antérieures afin d'éliminer le besoin de les recalculer pour chaque nouveau '''[[segment textuel]]'''. Ceci réduit considérablement la taille des '''[[Matrice\|matrices]]''' et accélère les calculs.
	Technique utilisée pour accélérer l''''[[inférence]]''' dans les '''[[Modèle\|modèles]]''' d''''[[apprentissage automatique]]''', en particulier dans les '''[[Modèle autorégressif\|modèles autorégressifs]]'''. Elle consiste à cacher les clés et les valeurs antérieures afin d'éliminer le besoin de les recalculer pour chaque nouveau '''[[segment textuel]]'''. Ceci réduit considérablement la taille des '''[[Matrice\|matrices]]''' ~~utilisées dans les calculs~~ et accélère les ~~multiplications matricielles~~.

	Autrement dit, le modèle utilisant cette technique réutilise les calculs passés pour obtenir des résultats plus rapides, ce qui lui permet de rester rapide même avec des textes plus longs et d'éviter les calculs répétitifs.		Autrement dit, le modèle utilisant cette technique réutilise les calculs passés pour obtenir des résultats plus rapides, ce qui lui permet de rester rapide même avec des textes plus longs et d'éviter les calculs répétitifs.

	== Français ==		== Français ==
	''' ~~XXXXXXXXX~~ '''		'''cache clé-valeur'''

			'''cache KV"

	== Anglais ==		== Anglais ==
Ligne 23 :		Ligne 25 :
	[https://cyrilzakka.github.io/llm-playbook/nested/kv-cache.html Source : The Large Language Model Playbook]		[https://cyrilzakka.github.io/llm-playbook/nested/kv-cache.html Source : The Large Language Model Playbook]

			[[Catégorie:vocabulary]]

	[[Catégorie:~~vocabulary~~]]		[[[[Catégorie:publication]]

Arianne le 9 novembre 2025 à 17:13

2025-11-09T17:13:45Z

← Version précédente		Version du 9 novembre 2025 à 13:13
Ligne 2 :		Ligne 2 :

	== Définition ==		== Définition ==
	~~XXXXXXXXX~~		Technique utilisée pour accélérer l''''[[inférence]]''' dans les '''[[Modèle\|modèles]]''' d''''[[apprentissage automatique]]''', en particulier dans les '''[[Modèle autorégressif\|modèles autorégressifs]]'''. Elle consiste à cacher les clés et les valeurs antérieures afin d'éliminer le besoin de les recalculer pour chaque nouveau '''[[segment textuel]]'''. Ceci réduit considérablement la taille des '''[[Matrice\|matrices]]''' utilisées dans les calculs et accélère les multiplications matricielles.

			Autrement dit, le modèle utilisant cette technique réutilise les calculs passés pour obtenir des résultats plus rapides, ce qui lui permet de rester rapide même avec des textes plus longs et d'éviter les calculs répétitifs.

	== Français ==		== Français ==
Ligne 10 :		Ligne 12 :
	'''KV Cache'''		'''KV Cache'''

	a KV cache stores intermediate key (K) and value (V) computations for reuse during inference (after training), which results in a substantial speed-up when generating text. The downside of a KV cache is that it adds more complexity to the code, increases memory requirements (the main reason I initially didn'~~t include it in the book), and can~~'~~t be~~ used ~~during training. However,~~ the inference ~~speed-ups are often well worth the trade-offs~~ in ~~code complexity and memory when using LLMs~~ in ~~production.~~		''A technique used to accelerate the inference process in machine learning models, particularly in autoregressive models. It involves caching the previous keys and values, so we don’t need to recalculate them for each new token, thus reducing the size of matrices used in calculations, making matrix multiplications faster. The model employing this technique reuses past calculations for faster results, so it stays fast even with longer texts by avoiding repeated work.''
	~~KV cache is a technique used in transformer~~ models ~~to improve inference efficiency by storing key (K) and value (V) states of previously computed tokens~~. ~~This allows~~ the ~~model~~ to ~~avoid redundant computations during the generation of~~ new ~~tokens~~, ~~thereby~~ reducing the ~~time and resources required~~ for ~~inference~~




			<!-- a KV cache stores intermediate key (K) and value (V) computations for reuse during inference (after training), which results in a substantial speed-up when generating text. The downside of a KV cache is that it adds more complexity to the code, increases memory requirements (the main reason I initially didn't include it in the book), and can't be used during training. However, the inference speed-ups are often well worth the trade-offs in code complexity and memory when using LLMs in production.
			KV cache is a technique used in transformer models to improve inference efficiency by storing key (K) and value (V) states of previously computed tokens. This allows the model to avoid redundant computations during the generation of new tokens, thereby reducing the time and resources required for inference-->
	== Sources ==		== Sources ==
	[https://arxiv.org/html/2407.18003v1 Source : Arxiv]		[https://arxiv.org/html/2407.18003v1 Source : Arxiv]

Arianne le 28 octobre 2025 à 15:21

2025-10-28T15:21:57Z

← Version précédente		Version du 28 octobre 2025 à 11:21
Ligne 16 :		Ligne 16 :


	== ~~Source~~ ==		== Sources ==
			[https://arxiv.org/html/2407.18003v1 Source : Arxiv]

	[https://huggingface.co/blog/not-lain/kv-caching Source : huggingface]		[https://huggingface.co/blog/not-lain/kv-caching Source : huggingface]

			[https://cyrilzakka.github.io/llm-playbook/nested/kv-cache.html Source : The Large Language Model Playbook]


	[[Catégorie:vocabulary]]		[[Catégorie:vocabulary]]

Pitpitt le 19 juin 2025 à 17:36

2025-06-19T17:36:23Z

← Version précédente		Version du 19 juin 2025 à 13:36
Ligne 11 :		Ligne 11 :

	a KV cache stores intermediate key (K) and value (V) computations for reuse during inference (after training), which results in a substantial speed-up when generating text. The downside of a KV cache is that it adds more complexity to the code, increases memory requirements (the main reason I initially didn't include it in the book), and can't be used during training. However, the inference speed-ups are often well worth the trade-offs in code complexity and memory when using LLMs in production.		a KV cache stores intermediate key (K) and value (V) computations for reuse during inference (after training), which results in a substantial speed-up when generating text. The downside of a KV cache is that it adds more complexity to the code, increases memory requirements (the main reason I initially didn't include it in the book), and can't be used during training. However, the inference speed-ups are often well worth the trade-offs in code complexity and memory when using LLMs in production.
	KV cache is a technique used in transformer models to improve inference efficiency by storing key (K) and value (V) states of previously computed tokens. This allows the model to avoid redundant computations during the generation of new tokens, thereby reducing the time and resources required for inference		KV cache is a technique used in transformer models to improve inference efficiency by storing key (K) and value (V) states of previously computed tokens. This allows the model to avoid redundant computations during the generation of new tokens, thereby reducing the time and resources required for inference

Pitpitt : Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' XXXXXXXXX ''' == Anglais == '''KV Cache''' a KV cache stores intermediate key (K) and value (V) computations for reuse during inference (after training), which results in a substantial speed-up when generating text. The downside of a KV cache is that it adds more complexity to the code, increases memory requirements (the main reason I initially didn't include it in the book), and can't be us... »

2025-06-19T17:35:50Z

Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' XXXXXXXXX ''' == Anglais == '''KV Cache''' a KV cache stores intermediate key (K) and value (V) computations for reuse during inference (after training), which results in a substantial speed-up when generating text. The downside of a KV cache is that it adds more complexity to the code, increases memory requirements (the main reason I initially didn't include it in the book), and can't be us... »

Nouvelle page

==en construction==

== Définition ==
XXXXXXXXX

== Français ==
''' XXXXXXXXX '''

== Anglais ==
'''KV Cache'''

a KV cache stores intermediate key (K) and value (V) computations for reuse during inference (after training), which results in a substantial speed-up when generating text. The downside of a KV cache is that it adds more complexity to the code, increases memory requirements (the main reason I initially didn't include it in the book), and can't be used during training. However, the inference speed-ups are often well worth the trade-offs in code complexity and memory when using LLMs in production.
KV cache is a technique used in transformer models to improve inference efficiency by storing key (K) and value (V) states of previously computed tokens. This allows the model to avoid redundant computations during the generation of new tokens, thereby reducing the time and resources required for inference

== Source ==
[https://huggingface.co/blog/not-lain/kv-caching Source : huggingface]

[[Catégorie:vocabulary]]