평가만으로는 충분하지 않다: LLM 평가의 한계

본 글은 대규모 언어 모델(LLM) 소프트웨어의 성능을 보장하기 위해 평가에 의존하는 일반적인 관행을 비판합니다. 서로 다른 기본 모델을 비교하거나 단위 테스트에서 평가의 역할을 인정하면서도, 저자는 실제 적용에서 나타나는 몇 가지 심각한 결함을 강조합니다. 포괄적인 테스트 데이터 세트를 만드는 어려움, 자동 점수 매기기 방법의 한계, 시스템 전체 성능을 고려하지 않고 기본 모델만 평가하는 것의 부족함, 그리고 평가 결과의 평균화로 인한 심각한 오류의 은폐 등입니다. 저자는 평가만으로는 LLM에 고유한 '롱테일 문제', 즉 운영 환경에서 예측할 수 없는 상황이 항상 발생하는 문제를 해결할 수 없다고 주장합니다. 결론적으로, 본 글은 LLM 개발 방식의 변화를 주장하며, 평가에만 의존하는 것이 아니라 사용자 테스트와 보다 포괄적인 시스템 테스트를 우선시해야 한다고 제안합니다.