Transformer²：自己適応型LLMが新たな境地を開拓
2025-01-15
Transformer²は、様々なタスクに対して重みを動的に調整する、新しい機械学習システムです。タコが色を変える、脳が損傷後も再配線されるといった自然界の適応メカニズムから着想を得ており、大規模言語モデル（LLM）がリアルタイムで新しいタスクに適応することを可能にします。特異値分解（SVD）と強化学習（RL）を用いて、Transformer²はモデルの重みを独立したコンポーネントに分解し、数学、コーディング、推論、視覚的理解など、様々なタスクに対してそれらを最適に組み合わせる方法を学習します。結果は、Transformer²がLoRAなどの従来の静的アプローチよりも効率性とタスク固有のパフォーマンスにおいて優れており、はるかに少ないパラメータで済むことを示しています。この研究は、継続的に学習し進化する「生きた知性」を持つAIシステムの構築への道を切り開きます。
続きを読む
AI