La depuración con IA se queda corta: un estudio de Microsoft revela las limitaciones de los modelos de generación de código
Investigaciones de Microsoft revelan que incluso los modelos de los principales laboratorios de IA, como OpenAI y Anthropic, tienen dificultades para depurar errores de software con la misma eficacia que los desarrolladores experimentados. Un estudio que probó nueve modelos mostró que, incluso con herramientas de depuración, estos modelos no lograron completar con éxito más de la mitad de las tareas de depuración en el benchmark SWE-bench Lite. El estudio señala la escasez de datos como un factor principal; los modelos carecen de datos de entrenamiento suficientes que representen los procesos de depuración humana. Si bien las herramientas de programación asistida por IA son prometedoras, esta investigación destaca las limitaciones de la IA en la codificación, subrayando que los humanos siguen siendo esenciales.