如何检测大型语言模型的不确定性

本文介绍了Entropix项目如何通过在不确定性情况下进行更智能的采样来改进大型语言模型的推理能力。Entropix使用熵和变异熵来度量模型预测的不确定性，并根据不同的不确定性状态采取不同的采样策略，例如分支预测或插入“思考”标记。文章还讨论了注意力熵和注意力一致性作为衡量不确定性的其他指标。