Top-P (Nucleus Sampling)
Paramètre choisissant le prochain mot parmi l'ensemble des mots dont la probabilité cumulée atteint le seuil P.
Le Top‑P (ou nucleus sampling) est une stratégie d’échantillonnage utilisée lors de la génération de texte par un modèle de langage. Au lieu de choisir systématiquement le mot le plus probable, il limite le choix à un sous-ensemble dynamique de candidats, ce qui permet d’équilibrer cohérence et diversité.
Comment ça fonctionne
À chaque étape, le modèle produit une distribution de probabilités sur le prochain token. Avec Top‑P, on trie ces tokens par probabilité décroissante puis on conserve le plus petit ensemble dont la somme des probabilités atteint un seuil P (ex. 0,9). Le prochain token est ensuite tiré aléatoirement dans cet ensemble, proportionnellement aux probabilités.
- P bas (ex. 0,6) : ensemble plus petit, sorties plus conservatrices et répétitives.
- P élevé (ex. 0,95–0,98) : ensemble plus large, plus de créativité, plus de risque d’erreurs.
À quoi ça sert
Top‑P améliore souvent la qualité perçue des textes par rapport à un simple top‑k (qui prend un nombre fixe de candidats), car la taille du “noyau” s’adapte au contexte : plus large quand le modèle hésite, plus étroit quand il est sûr.
Exemples d’usage
- Chatbots : réduire les réponses “robotiques” tout en restant pertinents.
- Rédaction créative : augmenter la variété des formulations.
- Complétion de code : préférer un P plus faible pour limiter les alternatives risquées.