Eine Anleitung für Dummies zum modernen LLM-Sampling

Dieser technische Artikel bietet eine umfassende Anleitung zu den im Textgenerierungsprozess großer Sprachmodelle (LLM) verwendeten Stichprobenmethoden. Er beginnt mit der Erklärung, warum LLMs Subwort-Tokenisierung anstelle von Wörtern oder Buchstaben verwenden, und geht dann auf verschiedene Stichprobenalgorithmen ein, darunter Temperatur-Sampling, Strafmethoden (Präsenz, Häufigkeit, Wiederholung, DRY), Top-K, Top-P, Min-P, Top-A, XTC, Top-N-Sigma, schwanzfreies Sampling, Eta-Cutoff, Epsilon-Cutoff, lokal typisches Sampling, quadratisches Sampling und Mirostat. Jeder Algorithmus wird mit Pseudocode und Abbildungen erläutert. Abschließend wird die Reihenfolge der Stichprobenmethoden und deren Interaktionen besprochen, wobei der erhebliche Einfluss unterschiedlicher Reihenfolge auf die Endergebnisse hervorgehoben wird.