Devin: 기대와 달랐던 자율형 AI 엔지니어
2025-01-17
Answer.AI는 완전 자율적인 소프트웨어 엔지니어링 기능을 제공하는 AI 도구인 Devin을 한 달 동안 평가했습니다. 초기 테스트에서는 Notion에서 Google 스프레드시트로 데이터를 마이그레이션하는 등 간단한 작업을 성공적으로 처리하는 등 유망한 결과를 보였습니다. 그러나 작업의 복잡성이 증가함에 따라 Devin의 단점이 명확해졌습니다. 새로운 프로젝트 생성, 연구 수행, 기존 코드 수정에 어려움을 겪었으며, 기술적인 막히는 지점에 자주 갇히거나 과도하게 복잡한 솔루션을 생성하는 경우가 많았습니다. 20개의 작업 중 성공한 것은 3개뿐이었고, 14개는 실패했으며 3개는 결론을 내릴 수 없었습니다. 팀은 Devin의 자율적인 특성이 실제로는 걸림돌이 되어 효율성을 저해한다는 결론을 내렸습니다. 현재로서는 AI 지원을 보완한 개발자 중심의 워크플로우가 더 신뢰할 수 있는 접근 방식으로 간주됩니다.