Devin：自律型AIエンジニアの現実
2025-01-17
Answer.AIは、完全に自律的なソフトウェアエンジニアリング機能を約束するAIツール、Devinを1ヶ月間評価しました。初期のテストでは、NotionからGoogleスプレッドシートへのデータ移行など、簡単なタスクを成功裏に処理するなど、有望な結果を示しました。しかし、タスクの複雑さが増すと、Devinの欠点が明らかになりました。新しいプロジェクトの作成、調査の実施、既存コードの修正において苦労し、技術的な行き詰まりに陥ったり、過度に複雑なソリューションを生み出したりすることが多々ありました。20個のタスクのうち、成功したのは3個のみ、14個は失敗、3個は結論が出ませんでした。チームは、Devinの自律的な性質が実際には足かせとなり、効率性を阻害していると結論付けました。現在では、AIアシスタンスを補完した開発主導のワークフローの方が信頼性が高いと考えられています。