本文探讨了大型语言模型（LLM）的上下文窗口的扩展如何极大提升了其能力。作者以亲身体验为例，讲述了如何用LLM将自己的书籍《地狱机器》改编成互动游戏，并分析了这种能力背后的关键因素——上下文窗口的扩大。文章将LLM的上下文窗口比作人类的短期记忆，并以H.M. 病例说明了上下文窗口的重要性。作者认为，更大的上下文窗口不仅提高了LLM 的事实准确性和连贯性，还使其能够理解复杂的叙事、进行个性化定制以及实现集体智慧。最后，作者展望了长上下文模型在知识管理、专业咨询和组织决策等领域的应用前景。
阅读更多
