古典的な機械学習でダメなLLM検索判定官を制覇する

著者は、OpenAIを利用する代わりに、ローカルLLMを検索関連性の判定官として使う方法を探求しています。個々のLLMの判断は信頼性に欠けるため、本稿では複数のLLMが製品の様々な属性（名前、分類、説明など）について行った評価を、古典的な機械学習（例：決定木）を用いて統合し、精度を向上させることを提案しています。実験の結果、この手法は人間の好みをある程度予測でき、人間のラベル付けの背後にある論理を明らかにすることで、検索エンジンの最適化に役立つことが示唆されています。