廉价有效的语言翻译质量基准测试
2025-05-20
一位开发者尝试使用配对评估和Bradley-Terry模型构建更科学的语言翻译质量基准测试。最初的尝试由于成本过高而失败，每次实验需要数百甚至数千美元。于是，开发者设计了一个折衷方案，结合了旧的评分系统和配对评估方法，通过迭代处理句子、利用多个翻译评估系统进行评分并结合统计分析，大大降低了成本，并获得了具有良好p值的可靠结果。这个新系统虽然牺牲了一些盲测的严格性，但显著提高了效率，只需6美元即可完成德语测试。
阅读更多
开发