Échantillonnage à troncature k fixe

Définition

Stratégie d'échantillonnage qui prélève un élément parmi nombre fixe k des meilleurs éléments d'un ensemble. La valeur de k reste constante,

Ceci signifie que la méthode ne s'adapte pas au contexte, ce qui a conduit à l'échantillonnage à troncature de masse p.

Compléments

Cette stratégie d'échantillonnage est utilisée par les grands modèles de langues pour choisir aléatoirement un segment parmi un nombre fixe k de segments textuels. La valeur de k reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré.

Une valeur K plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur K plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.

Cette limitation a conduit à l'échantillonnage à troncature de masse p.

---

Le terme « échantillonnage à troncature k fixe » est plus exact que terme « échantillonnage des k meilleurs » car elle définit l'action mathématique (la troncature) plutôt que simplement le résultat.

---

Attention: À ne pas confondre avec la température d'un grand modèle de langues.

Français

Échantillonnage à troncature k fixe

Échantillonnage parmi les k meilleurs

Échantillonnage Top-k

Anglais

Top-k sampling

Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.

A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.

Sources

Source : Medium

Source : The Large Language Model Playbook

Source : Wikipedia