大型语言模型输出的熵：一个信息论视角

本文从信息论的角度探讨了大型语言模型（如ChatGPT）的输出。作者通过计算每个输出token的熵，来衡量模型对下一个token预测的确定性。实验结果表明，在句子结尾或单词片段处，熵值较低，模型预测较为确定；而在描述性语句中，熵值较高，模型预测的不确定性更大。作者还比较了低熵和高熵情况下模型选择的token类型，发现低熵通常与事实陈述（包含专有名词）相关，而高熵则与描述性语句相关。最后，作者用泰米尔语的例子进行了补充说明，并强调了辨别信息真伪的重要性。