从实践中汲取的关于语言模型可重复性评估的经验教训 (arxiv.org)

这篇论文探讨了语言模型评估中的挑战，并提供了解决方案和最佳实践。作者指出模型评估对设置的敏感性、方法比较的难度以及可重复性和透明性的缺乏是主要挑战。他们提出了语言模型评估工具包（lm-eval），这是一个开源库，用于独立、可复制和可扩展的语言模型评估。