超越自回归：AI下一个前沿

当前大多数生成式AI模型都是自回归的，这意味着它们预测下一个词元，而Transformer架构因其计算效率而被广泛采用。然而，自回归模型存在固有的局限性，例如缺乏规划和推理能力、长期记忆不足以及容易出现“幻觉”。作者认为，人类思维并非完全自回归，它包含非顺序的思考和规划。为了实现更接近人类认知的AI，研究者们正在探索其他范式，例如JEPA和扩散模型，这些模型试图通过迭代细化或从噪声中去噪来生成内容，更贴近人类的思考方式。