小型モデルと合成データを用いた自律型LLMゲームマスターの構築

この記事では、テーブルトークRPG（TTRPG）のための自律型LLMゲームマスターを構築する過程を詳細に説明しています。当初はエージェント方式を目指していましたが、モデル開発へのより深い理解を得るために、ボトムアップ方式を採用しました。計算リソースの制約から、小さなQwen3モデルを選択し、OCRでMarkdownに変換されたShadowdark RPGのルールブックでトレーニングしました。評価のためにShadowdark QAベンチを作成し、キーワードマッチングに基づく指標に落ち着く前に、いくつかの指標を比較しました。事前トレーニングと知識拡張（ルールブックテキストの複数の言い換えを作成）の後、モデルはベンチマークで60％の精度を達成し、著者の目標を達成しました。次のステップはアシスタントのチューニングです。