Les LLM comprennent-ils les valeurs nulles ? Exploration des représentations internes des modèles de génération de code
2025-04-07
Les grands modèles de langage (LLM) ont montré des progrès remarquables dans la génération de code, mais leur véritable compréhension du code reste une question. Ce travail étudie la compréhension des LLM de la notion de nullité dans le code, en utilisant à la fois une évaluation externe (complétion de code) et une exploration interne (analyse de l'activation du modèle). Les résultats révèlent que les LLM apprennent et appliquent des règles sur les valeurs nulles, les performances variant en fonction de la complexité de la règle et de la taille du modèle. L'étude éclaire également la manière dont les LLM représentent la nullité en interne et comment cette compréhension évolue pendant l'entraînement.
Lire plus