リアルタイム内省圧縮：トランスフォーマーに良心を与える

大規模言語モデル（LLM）は、内省機能の欠如と一時的な認知という2つの主要な制約を抱えています。この記事では、これら両方の問題に対処する、新しいリアルタイム内省圧縮手法を提案します。軽量な「サイドカー」モデルをトレーニングして、トランスフォーマーの内部状態を圧縮することで、モデルの内部動作への効率的なアクセスと再生を実現します。この手法は、ゲームの状態を保存するのと同様に、トランスフォーマーの状態を低次元潜在空間に圧縮し、完全な状態を保存するという計算上の課題を克服します。これにより、推論の巻き戻し、思考軌跡に基づく強化学習、メモリ効率の良いチェックポイントの保存など、新しい機能が可能になり、最終的にはより強力で解釈可能なAIシステムにつながります。