KI-Debugging bleibt hinter den Erwartungen zurück: Microsoft-Studie deckt Grenzen von Codegenerierungsmodellen auf

Microsoft-Forschung zeigt, dass selbst Modelle von Top-KI-Laboren wie OpenAI und Anthropic Schwierigkeiten haben, Software-Bugs so effektiv zu beheben wie erfahrene Entwickler. Eine Studie, die neun verschiedene Modelle testete, ergab, dass diese Modelle selbst mit Debugging-Tools nicht mehr als die Hälfte der Debugging-Aufgaben im SWE-bench Lite-Benchmark erfolgreich abschlossen. Die Studie weist auf Datenknappheit als Hauptgrund hin; den Modellen fehlen ausreichend Trainingsdaten, die menschliche Debugging-Prozesse repräsentieren. Obwohl KI-gestützte Programmiertools vielversprechend sind, unterstreicht diese Forschung die Grenzen der KI im Bereich des Codings und betont die weiterhin wichtige Rolle menschlicher Entwickler.