Top-K

Le Top-K est une technique d’échantillonnage utilisée lors de la génération de texte. Elle sert à contrôler la part d’aléatoire en restreignant le choix du prochain token à un sous-ensemble de taille K parmi les tokens les plus probables selon le modèle.

Comment ça fonctionne

À chaque étape, le LLM produit une distribution de probabilités sur le vocabulaire. Avec le Top-K :

1. on trie les tokens par probabilité décroissante ;
2. on conserve uniquement les K premiers ;
3. on renormalise leurs probabilités ;
4. on tire le prochain token au hasard dans ce groupe (ou on choisit le plus probable si combiné à une stratégie plus déterministe).

Un K faible rend la sortie plus prévisible et “prudente” (risque de répétitions). Un K élevé augmente la diversité (risque d’incohérences).

À quoi ça sert

• Réduire les dérives en évitant des tokens très improbables.
• Ajuster créativité vs. stabilité selon le cas d’usage.
• Limiter certains comportements (hallucinations, digressions), sans les supprimer.

Exemple

• K=1 ≈ greedy decoding (toujours le plus probable).
• K=40–100 : génération plus variée, souvent utilisée pour du contenu créatif.