Échantillonnage à troncature de masse p
Définition
Stratégie d'échantillonnage où un modèle génère une distribution de probabilité pour tous les éléments possibles d'un ensemble. On ne conserve que les éléments les plus probables dont la somme des probabilités atteint un seuil p défini (la masse de probabilité) également appelée noyau.
Les probabilités de ces éléments sont alors normalisées pour que leur somme soit égale à 1 avant le tirage aléatoire.
Voir aussi échantillonnage à troncature k fixe
Compléments
Cette stratégie d'échantillonnage est utilisée par les grands modèles de langues pour choisir aléatoirement un segment textuel parmi un ensemble de segments textuels.
Alors que l'échantillonnage à troncature k fixe limite l'échantillon à un nombre k fixe de mots, l'échantillonnage à troncature de masse p spécifie une probabilité cumulée p entre 0 et 1 et on échantillonne parmi un nombre variable de segments textuels dont la somme des probabilités atteint ou dépasse p.
En pratique, l'échantillonnage à troncature de masse p est préféré à l'échantillonnage à troncature k fixe car il est plus adaptatif.
Notez qu'il est généralement recommandé de spécifier soit la température, soit le paramètre p, mais pas les deux.
Français
Échantillonnage à troncature de masse p
Échantillonnage des p-meilleurs
Échantillonnage du noyau
Échantillonnage par troncature dynamique
Échantillonnage par seuil de probabilité cumulée
Échantillonnage top-p
Anglais
Top-p sampling
Nucleus sampling
Stochastic decoding strategy for generating sequences form autoregressive probabilistic models that introduces randomness while maintaining quality. The choice of p can significantly influence the generated text. Its core idea is to sample from a smaller, more credible set of tokens at each step (called the nucleus). It is useful when you want more adaptative and context-sensitive text generation.
In practice, top-p sampling is often preferred over top-k because it’s adaptive. It is generally recommended to specify either the temperature or the top_p parameter, but not both.
Sources
Medium - Top-k sampling, Top-p sampling
Contributeurs: Arianne Arel, Claude Coulombe, Patrick Drouin, wiki
