热门标签：
Mac 多显示器 显示器扩展 requests patch 并发 Alpine Linux BSD Linux 电动汽车 全部标签

Transformer架构与量子力学的惊人相似性

2025-02-11
Transformer架构与量子力学的惊人相似性

一位研究者发现Transformer架构与量子力学之间存在惊人的相似性。例如，Transformer中的tokens在语境明确之前处于一种语义叠加态，类似于量子力学中的粒子同时存在多种状态；自注意力机制将单词连接起来，如同量子纠缠；嵌入向量则像概率波函数，最终坍缩为确定的解释。虽然两者并非完全相同，但这种相似性值得深入研究，或许揭示了Transformer强大能力的奥秘。

阅读更多
(robleclerc.substack.com)
AI

神经网络的通用理论

2024-07-14
神经网络的通用理论

本文探讨了神经网络的通用理论，涵盖了从基因调控网络到人工神经网络的广泛领域。作者提出了通用激活网络（UAN）的概念，认为其是多种复杂系统，包括基因调控网络、细胞网络、神经网络、合作社会网络以及先进的人工神经网络的共同基础。文章认为，UAN 的核心在于其可演化性和开放性，并通过对人工基因调控网络的研究，揭示了网络拓扑结构对于网络功能的重要性，并提出了关键拓扑的概念。作者还提出了一系列关于 UAN 的猜想，例如，任何功能性 UAN 都存在一个关键拓扑，该拓扑结构是网络运行所必需的核心架构。文章最后指出，对 UAN 理论进行跨领域的严格实证检验，将有助于确定 UAN 是否代表了自然界信息处理的基本原则。

阅读更多
(robleclerc.substack.com)
46
未分类 通用理论 通用激活网络