Guide pour les Nuls sur l'Échantillonnage des LLM Modernes

Cet article technique fournit un guide complet sur les méthodes d'échantillonnage utilisées dans la génération de texte par les grands modèles de langage (LLM). Il commence par expliquer pourquoi les LLM utilisent la tokenisation des sous-mots au lieu des mots ou des lettres, puis approfondit divers algorithmes d'échantillonnage, notamment l'échantillonnage de température, les méthodes de pénalité (Présence, Fréquence, Répétition, DRY), Top-K, Top-P, Min-P, Top-A, XTC, Top-N-Sigma, Échantillonnage sans queue, Seuillage Eta, Seuillage Epsilon, Échantillonnage localement typique, Échantillonnage quadratique et Mirostat. Chaque algorithme est expliqué avec du pseudo-code et des illustrations. Enfin, il discute de l'ordre des méthodes d'échantillonnage et de leurs interactions, soulignant l'impact significatif de l'ordre différent sur la sortie finale.