단위 테스트 생성에서 대규모 언어 모델 평가에 대한 획기적인 연구

연구원들은 단위 테스트 자동 생성에서 대규모 언어 모델(LLM)의 잠재력에 대한 포괄적인 평가를 수행했습니다. 17개의 Java 프로젝트에서 5개의 오픈소스 LLM과 클로즈드소스 GPT-4, 기존 도구인 Evosuite를 비교하고 다양한 프롬프트 전략의 영향을 조사했습니다. 그 결과, 오픈소스 LLM은 데이터 프라이버시 측면에서 우수하며 특정 작업에서 뛰어난 성능을 보이는 반면, LLM 기반 단위 테스트 생성의 한계도 드러났습니다. 이 연구는 이 분야에서 LLM의 미래 응용을 위한 귀중한 통찰력을 제공합니다.