今日生成式 AI 短板：Token 惹的祸？ (techcrunch.com)

文章指出，当前生成式 AI 模型普遍使用的基于“Token”的文本处理方式存在弊端，导致模型在理解语义、处理不同语言、数学计算等方面表现不佳。作者以“Once upon a time”为例，解释了不同空格和大小写对 Token 化的影响，进而影响模型理解。文章还探讨了 Token 化导致非英语语义理解偏差和数学计算难题的原因，并介绍了 MambaByte 等新型模型架构，它们或将解决 Token 化带来的挑战。