現代LLMサンプリングの超入門ガイド
2025-05-04
この技術記事は、大規模言語モデル（LLM）のテキスト生成で使用されるサンプリング手法に関する包括的なガイドです。まず、LLMが単語や文字ではなくサブワードトークナイゼーションを使用する理由を説明し、次に、温度サンプリング、ペナルティ手法（プレゼンス、周波数、繰り返し、DRY）、Top-K、Top-P、Min-P、Top-A、XTC、Top-N-Sigma、テールフリーサンプリング、イータカットオフ、イプシロンカットオフ、局所的に典型的なサンプリング、2次サンプリング、ミクロスタットなど、さまざまなサンプリングアルゴリズムについて詳しく説明します。各アルゴリズムは疑似コードと図解で説明されています。最後に、サンプリング手法の順序とその相互作用について議論し、異なる順序が最終出力に与える大きな影響を強調しています。