赋予Transformer模型内省能力的实时压缩技术
2025-04-02
大型语言模型(LLM)面临着内省能力不足和认知短暂性两大限制。本文提出了一种新颖的实时内省压缩方法，通过训练一个轻量级的“副驾驶”模型来压缩Transformer内部状态，从而实现对模型内部状态的高效访问和重放。该方法将Transformer的内部状态压缩到低维潜在空间，类似于保存游戏进度，从而解决了保存全部状态的计算难题。这将使LLM能够进行推理回溯、基于思想轨迹的强化学习以及高效的检查点保存等，最终实现更强大的AI系统。
AI
内省