用经典机器学习对抗愚笨的LLM搜索评判员

作者尝试用本地LLM作为搜索相关性评判员，代替昂贵的OpenAI服务。单个LLM判断结果不够准确，文章提出将多个LLM针对产品不同属性（名称、分类、描述等）的判断结果，结合传统机器学习方法（例如决策树）进行整合，提高最终判断的准确性。实验结果表明，这种方法在一定程度上能够预测人类的偏好，并能帮助理解人类标注背后的逻辑，为搜索引擎优化提供参考。