Devin : L'ingénieur logiciel IA autonome qui ne l'était pas

Answer.AI a réalisé une évaluation d'un mois de Devin, un outil IA présenté comme capable de réaliser une ingénierie logicielle totalement autonome. Les premiers tests ont été prometteurs, Devin réussissant des tâches simples comme la migration de données de Notion vers Google Sheets. Cependant, avec l'augmentation de la complexité des tâches, les lacunes de Devin sont apparues. Il a eu des difficultés à créer de nouveaux projets, à mener des recherches et à modifier du code existant, se retrouvant souvent bloqué dans des impasses techniques ou produisant des solutions excessivement complexes. Sur 20 tâches, seules 3 ont été réussies, 14 ont échoué et 3 ont été inconcluantes. L'équipe a conclu que la nature autonome de Devin s'est avérée un handicap, nuisant à son efficacité. Actuellement, les flux de travail pilotés par les développeurs, complétés par une assistance IA, offrent une approche plus fiable.