Transformer 的残差流如何表征信念状态几何 (www.lesswrong.com)

本文探讨了 Transformer 在进行下一词预测训练时所构建的计算结构。研究表明，这种结构是由数据生成过程中隐藏状态的信念更新元动力学决定的。作者使用隐藏马尔可夫模型 (HMM) 来表征训练数据，并引入了混合状态表示 (MSP) 的概念来描述信念更新的元动力学。实验结果表明，Transformer 的残差流激活可以线性地表征 MSP 的几何结构，这意味着 Transformer 不仅学习了世界模型，还学习了同步到该模型的计算结构。