Shapley値を用いた大規模言語モデルの意思決定の解釈
2024-12-28
大規模言語モデル（LLM）は人間の行動をシミュレートする上で大きな可能性を秘めていますが、その意思決定プロセスは透明性に欠けています。本論文では、Shapley値に基づいた新しいアプローチを提案し、LLMの行動を解釈し、プロンプトの各構成要素がモデル出力に与える影響を定量化します。2つのアプリケーションを通して、LLMの意思決定は「トークンノイズ」の影響を受けやすく、情報量の少ないトークンにモデルが不釣り合いに反応することが明らかになりました。これは、人間の行動シミュレーションにおけるLLMからの知見の堅牢性と汎化可能性に関する懸念を引き起こし、研究で使用する場合には、慎重なプロンプトエンジニアリングと、その限界のより微妙な理解が必要であることを強調しています。