Devin: Der autonome KI-Softwareentwickler, der es nicht war
Answer.AI führte eine einmonatige Evaluierung von Devin durch, einem vielversprechenden KI-Tool für die vollständig autonome Softwareentwicklung. Erste Tests zeigten vielversprechende Ergebnisse, Devin meisterte einfache Aufgaben wie die Datenmigration von Notion zu Google Sheets. Mit steigender Komplexität der Aufgaben traten jedoch die Schwächen von Devin zutage. Es kämpfte mit der Erstellung neuer Projekte, der Durchführung von Recherchen und der Modifikation bestehenden Codes, geriet oft in technische Sackgassen oder lieferte übermäßig komplexe Lösungen. Von 20 Aufgaben waren nur 3 erfolgreich, 14 scheiterten und 3 waren nicht eindeutig. Das Team schloss, dass Devins Autonomie im praktischen Einsatz eher hinderlich war und somit die Effektivität beeinträchtigte. Derzeit bieten Entwickler-gesteuerte Workflows, ergänzt durch KI-Unterstützung, einen zuverlässigeren Ansatz.