LLMはNULLを理解するのか？コード生成モデルの内部表現を探る
2025-04-07
大規模言語モデル（LLM）はコード生成において著しい進歩を見せているが、コードを本当に「理解」しているかどうかは依然として疑問である。本研究は、コードにおけるNULL値の理解について、外部評価（コード補完）と内部プロービング（モデル活性化分析）の両方の手法を用いてLLMを調査した。その結果、LLMはNULL値に関するプログラミングルールを学習し適用できることが明らかになったが、その理解能力はルールの複雑さとモデルのサイズによって変化することが示された。また、LLMがNULL値を内部的にどのように表現し、その理解がトレーニング中にどのように進化するかも明らかにされた。
AI
NULL値