¿Entienden los LLM los nulos? Investigando las representaciones internas de los modelos de generación de código
2025-04-07
Los modelos de lenguaje grandes (LLM) han mostrado un progreso notable en la generación de código, pero su verdadera comprensión del código sigue siendo una cuestión. Este trabajo investiga la comprensión de los LLM sobre la nulidad en el código, empleando la evaluación externa (compleción de código) y la exploración interna (análisis de activación del modelo). Los resultados revelan que los LLM aprenden y aplican reglas sobre los valores nulos, con el rendimiento que varía en función de la complejidad de la regla y del tamaño del modelo. El estudio también aclara cómo los LLM representan internamente la nulidad y cómo esta comprensión evoluciona durante el entrenamiento.
Leer más