大型语言模型的拜占庭音乐符号密码

研究人员发现，大型语言模型如Claude和GPT-4能够解码一种基于拜占庭音乐符号Unicode块的特殊密码。这种密码类似于凯撒密码，但偏移量为118784。模型能够在不进行链式思考的情况下，直接解码这种密码，其成功率甚至高于普通的凯撒密码。研究人员推测，这可能是由于特定Unicode范围内的加法运算与标记空间中的加法运算存在线性关系，使得模型能够学习到一种基于此关系的移位密码。这种现象的出现，暗示了大型语言模型内部可能存在着我们尚未完全理解的机制。