大型语言模型的推理能力极限：爱因斯坦的谜题与Transformer的瓶颈

研究人员发现，当前基于Transformer架构的大型语言模型（LLM）在解决需要组合推理的任务上存在根本性局限。例如，在解决爱因斯坦的逻辑谜题和多位数乘法时，LLM的表现远低于预期，即使经过大量数据微调，也难以突破其在处理复杂组合问题上的能力上限。这引发了对Transformer架构是否适合通用学习的质疑，并促使研究者探索新的方法，例如改进训练数据和采用链式思维提示等，以提升LLM的推理能力。