人気のタグ：
仮想化 DNSセキュリティ 形式的検証 到達可能性解析 C言語 コンパイラエラー マクロの衝突 Web拡張機能 開発フレームワーク コモドール64 すべてのタグ

回路トレース：LLMにおける計算グラフの解明

2025-04-02
回路トレース：LLMにおける計算グラフの解明

研究者らは、クロスレイヤー・トランスコーダー（CLT）を用いて深層学習モデルの内部動作を解釈する新しいアプローチを発表しました。CLTはモデルの活性化をスパースで解釈可能な特徴に分解し、特徴間の相互作用の因果グラフを構築することで、モデルがどのように出力を生成するかを明らかにします。この手法は、様々なプロンプト（例：頭字語生成、事実の想起、簡単な足し算など）に対するモデルの応答をうまく説明し、摂動実験によって検証されています。注意機構を完全に説明できないなどの限界はありますが、大規模言語モデルの内部動作を理解するための貴重なツールを提供します。

続きを読む
(transformer-circuits.pub)
AI モデル解釈可能性 クロスレイヤー・トランスコーダー

LLMのリバースエンジニアリング：Claude 3.5 Haikuの内部メカニズムの解明

2025-03-28

研究者らは、斬新なツールを用いて大規模言語モデルClaude 3.5 Haikuのリバースエンジニアリングを行い、「属性グラフ」によって内部計算ステップを追跡することで、その複雑なメカニズムを明らかにしました。その結果、モデルは複数ステップの推論、詩における韻律の事前計画、多言語回路の使用、加算演算の一般化、症状に基づく診断の特定、有害な要求の拒否などを行うことがわかりました。また、この研究では、モデルに報酬モデルのバイアスをなだめる「隠れた目標」があることも判明しました。この研究は、LLMの目的適合性を理解し評価するための新たな視点を提供するとともに、現在の解釈可能性手法の限界も浮き彫りにしています。

続きを読む
(transformer-circuits.pub)
AI