大型语言模型的推理：几何视角 (arxiv.org)

这篇论文探讨了大型语言模型 (LLM) 的推理能力，并将其与几何理解联系起来。研究发现，LLM 中自注意力图的密度与其表达能力之间存在关联，密度越高，表达能力越强。论文通过理论分析和示例证明了这一点，并提供了经验证据，将这一几何框架与增强 LLM 推理能力的最新方法联系起来。