LLMs entendem nulos? Investigando as representações internas de modelos de geração de código

Modelos de linguagem grandes (LLMs) demonstraram um progresso notável na geração de código, mas sua verdadeira compreensão de código permanece uma questão. Este trabalho investiga a compreensão de LLMs sobre nulidade em código, empregando avaliação externa (completação de código) e sondagem interna (análise de ativação do modelo). Os resultados revelam que LLMs aprendem e aplicam regras sobre valores nulos, com o desempenho variando com base na complexidade da regra e no tamanho do modelo. O estudo também esclarece como os LLMs representam internamente a nulidade e como esse entendimento evolui durante o treinamento.