AI 디버깅, 기대에 못 미침: Microsoft 연구, 코드 생성 모델의 한계를 드러내다

Microsoft 연구에 따르면, OpenAI 및 Anthropic과 같은 최고 AI 연구소의 모델조차도 숙련된 개발자만큼 효과적으로 소프트웨어 버그를 디버깅하지 못하는 것으로 나타났습니다. 9가지 모델을 테스트한 연구 결과, 디버깅 도구를 사용하더라도 이러한 모델들은 SWE-bench Lite 벤치마크의 디버깅 작업 절반 이상을 성공적으로 완료하지 못했습니다. 연구는 데이터 부족을 주요 원인으로 지적했습니다. 모델에는 사람의 디버깅 프로세스를 나타내는 충분한 훈련 데이터가 없습니다. AI 지원 프로그래밍 도구는 유망하지만, 이 연구는 코딩 분야에서 AI의 한계를 강조하며, 인간 개발자의 중요성을 재확인했습니다.