Devin: El Ingeniero de Software IA Autónomo Que No Era

Answer.AI realizó una evaluación de un mes de Devin, una herramienta de IA promocionada como capaz de realizar ingeniería de software totalmente autónoma. Las pruebas iniciales mostraron promesa, con Devin manejando con éxito tareas simples, como migrar datos de Notion a Google Sheets. Sin embargo, a medida que aumentaba la complejidad de las tareas, las deficiencias de Devin se hicieron evidentes. Tuvo dificultades para crear nuevos proyectos, realizar investigaciones y modificar código existente, a menudo atascándose en callejones sin salida técnicos o produciendo soluciones excesivamente complejas. De 20 tareas, solo 3 tuvieron éxito, 14 fallaron y 3 fueron inconclusas. El equipo concluyó que la naturaleza autónoma de Devin resultó ser un pasivo, perjudicando su eficacia. Actualmente, los flujos de trabajo dirigidos por desarrolladores complementados con asistencia de IA ofrecen un enfoque más confiable.