AI软件工程师Devin:潜力巨大,但现实骨感

2025-01-17
AI软件工程师Devin:潜力巨大,但现实骨感

Answer.AI团队对号称全自动软件工程师的AI工具Devin进行了为期一个月的测试。初期,Devin在处理简单任务(如Notion数据迁移到Google Sheets)时表现惊艳,但随着任务复杂度的增加,问题逐渐暴露。Devin在创建新项目、执行研究和修改现有代码方面都表现不佳,经常陷入技术死胡同或生成过于复杂的解决方案,甚至在面对不可能完成的任务时仍然执迷不悟。最终,20个测试任务中只有3个成功,14个失败,3个结果不确定。团队总结认为,Devin的自主性在实际应用中反而成为累赘,目前更可靠的方案是开发者主导开发流程,辅以AI辅助工具。