Le débogage par IA est insuffisant : une étude de Microsoft révèle les limites des modèles de génération de code
Des recherches de Microsoft révèlent que même les modèles des meilleurs laboratoires d’IA, tels qu’OpenAI et Anthropic, ont du mal à déboguer les bogues logiciels aussi efficacement que les développeurs expérimentés. Une étude ayant testé neuf modèles a montré que, même avec des outils de débogage, ces modèles n’ont pas réussi à mener à bien plus de la moitié des tâches de débogage dans le benchmark SWE-bench Lite. L’étude met en avant la rareté des données comme facteur principal ; les modèles manquent de données d’entraînement suffisantes représentant les processus de débogage humains. Bien que les outils de programmation assistée par IA soient prometteurs, cette recherche souligne les limites de l’IA dans le codage, soulignant que les humains restent essentiels.