Transformer架构与量子力学的惊人相似性

一位研究者发现Transformer架构与量子力学之间存在惊人的相似性。例如，Transformer中的tokens在语境明确之前处于一种语义叠加态，类似于量子力学中的粒子同时存在多种状态；自注意力机制将单词连接起来，如同量子纠缠；嵌入向量则像概率波函数，最终坍缩为确定的解释。虽然两者并非完全相同，但这种相似性值得深入研究，或许揭示了Transformer强大能力的奥秘。