Gemini Diffusion：快速文本生成的秘密武器？

Google最新发布的Gemini Diffusion凭借其惊人的速度令人印象深刻，甚至需要刻意放慢演示速度才能让人看清过程。这究竟是什么魔法？文章深入探讨了扩散模型为何如此之快，以及它与传统自回归模型（如GPT-4、Claude）的关键区别。扩散模型一次性生成整个输出，而非逐个生成token，这使得它能够并行生成正确的部分，并通过减少迭代次数来加快速度。然而，它在处理长上下文时效率较低，并且在推理能力方面仍存在疑问。虽然扩散模型内部也可能使用Transformer，但其整体架构使其行为与自回归模型截然不同。