자칭 '최초의 AI 소프트웨어 엔지니어'가 실제 테스트에서 처참하게 실패하다
2025-01-26
최초의 AI 소프트웨어 엔지니어라고 홍보된 Devin이 최근 평가에서 기대에 크게 못 미쳤다. 엔드투엔드 애플리케이션 구축과 버그 자동 수정을 약속했지만, 20개의 과제 중 단 3개만 성공했다. 테스터들은 Devin이 간단한 작업에서도 어려움을 겪고 기술적 막히는 지점에 갇히거나 불가능한 해결책을 추구하는 것을 발견했다. 세련된 사용자 경험을 제공하지만, 성공률이 낮고 달성 불가능한 목표에 시간을 낭비하는 경향은 현재 AI 기술의 한계를 보여주고 AI 도구에 대한 과도한 기대에 대한 우려를 불러일으킨다.