Meta AIのCOCONUT：連続思考連鎖によるLLM推論能力の向上
2024-12-31
Meta AIは、大規模言語モデル（LLM）の推論能力を向上させる新しい手法であるCOCONUT（連続思考連鎖）を発表しました。従来のテキストベースのChain-of-Thought（CoT）とは異なり、COCONUTはLLMが連続的な潜在空間で推論することを可能にし、言語表現の制約を回避します。研究によると、COCONUTは複雑な計画を必要とするタスクで優れた性能を示し、幅優先探索（BFS）に似た推論パターンを示します。その多段階トレーニングプロセスは、モデルが潜在空間で推論することを段階的に学習させ、最終的に精度と効率を向上させます。
続きを読む