確率的オウムを超えて：大規模言語モデルの回路

大規模言語モデル（LLM）は、単に訓練データの統計的パターンを記憶し、繰り返す「確率的オウム」に過ぎないと、一部の人々から却下されてきました。しかし、最近の研究は、より微妙な現実を明らかにしています。研究者たちは、これらのモデルの中に複雑な内部「回路」を発見しました。これは、特定の種類の問題を解決するために自己学習されたアルゴリズムです。これらの回路は、訓練データにはない状況への一般化を可能にします。例えば、韻を踏む詩句の生成、さらにはこれらの詩句の構造を積極的に計画することさえできます。制限は残っていますが、これらの発見は「確率的オウム」という物語に異議を唱え、モデルの知性の本質に関するより深い疑問を提起しています。LLMは、完全に新しい問題を解決するために、新しい回路を独立して生成できるのでしょうか？