고전적인 머신러닝으로 멍청한 LLM 검색 심판관 정복하기

저자는 OpenAI를 사용하는 대신 로컬 LLM을 검색 관련성 판정관으로 사용하는 방법을 탐구합니다. 개별 LLM의 판단은 신뢰성이 부족하기 때문에, 본 글에서는 여러 LLM이 제품의 다양한 속성(이름, 분류, 설명 등)에 대해 평가한 결과를 고전적인 머신러닝(예: 의사결정 트리)을 사용하여 통합하여 정확도를 높이는 것을 제안합니다. 실험 결과, 이 방법은 어느 정도 인간의 선호도를 예측할 수 있으며, 인간 라벨링 뒤에 숨겨진 논리를 밝혀냄으로써 검색 엔진 최적화에 도움이 될 수 있음을 시사합니다.