Verstehen LLMs Nullwerte? Untersuchung der internen Repräsentationen von Code-generierenden Modellen
2025-04-07
Große Sprachmodelle (LLMs) haben bemerkenswerte Fortschritte in der Codegenerierung gezeigt, aber ihr tatsächliches Verständnis von Code bleibt eine offene Frage. Diese Arbeit untersucht das Verständnis von LLMs für Nullwerte in Code, indem sowohl eine externe Evaluierung (Code-Vervollständigung) als auch eine interne Untersuchung (Analyse der Modell-Aktivierungen) verwendet werden. Die Ergebnisse zeigen, dass LLMs Regeln über Nullwerte lernen und anwenden, wobei die Leistung je nach Komplexität der Regel und der Größe des Modells variiert. Die Studie beleuchtet auch, wie LLMs Nullwerte intern repräsentieren und wie sich dieses Verständnis während des Trainings entwickelt.
Mehr lesen
KI
Nullwerte
