LLMにおける探索のボトルネック：経験収集の次なるフロンティア

大規模言語モデル（LLM）の成功は、膨大なテキストデータによる大規模な事前学習に依存していますが、この資源は最終的に枯渇します。AIの未来は「経験の時代」へと移行し、パラメータの単純な積み重ねではなく、学習に役立つ適切な経験を効率的に収集することが重要になります。この記事では、事前学習がどのようにして探索問題の一部を暗黙的に解決しているか、そしてより良い探索がどのように一般化能力を向上させるかについて探ります。著者は、探索は「世界のサンプリング」（学習環境の選択）と「パスのサンプリング」（環境内でのデータ収集）という2つの軸で構成されると提案しています。将来のAIのスケーリングでは、これらの2つの軸の情報密度を最適化し、パラメータの規模やデータ量を単純に追求するのではなく、計算資源を効率的に割り当てる必要があります。