El autoproclamado 'primer ingeniero de software de IA' falla miserablemente en las pruebas del mundo real
Devin, comercializado como el primer ingeniero de software de IA, no ha cumplido con las expectativas en evaluaciones recientes. A pesar de las afirmaciones de construir e implementar aplicaciones de extremo a extremo y de corregir errores de forma autónoma, Devin solo tuvo éxito en 3 de 20 tareas. Los evaluadores descubrieron que Devin tuvo dificultades con tareas sencillas, atascándose en callejones sin salida técnicos y buscando soluciones imposibles. Si bien ofrece una experiencia de usuario pulida, su éxito poco frecuente y su tendencia a perder el tiempo en objetivos inalcanzables destacan las limitaciones de la tecnología de IA actual y plantean preocupaciones sobre las expectativas exageradas en torno a las herramientas de IA.