大型语言模型如何理解代码中的空值？

近年来，大型语言模型（LLM）在代码生成领域取得了显著进展，但它们是否真正“理解”代码仍是一个悬而未决的问题。本文研究了LLM对代码中空值（nullable）的理解，通过外部评估（代码补全）和内部探测（模型激活分析）两种方法，发现LLM能够学习并应用关于空值的编程规则，但其理解能力会随着规则复杂度和模型参数量的增加而变化。研究还揭示了LLM内部表示空值的方式，以及这种理解能力在模型训练过程中的发展轨迹。