深思熟虑反而有害？思维链方法在某些任务中降低模型性能 (arxiv.org)

本文研究了思维链（CoT）提示方法在哪些情况下会降低大型语言和多模态模型的性能。研究发现，在某些人类思考会降低表现的任务中，例如隐式统计学习、视觉识别和包含例外模式的分类任务，CoT也会降低模型性能。实验结果表明，多种先进模型在使用推理时，性能显著下降。相比之下，在一些虽然人类思考会降低表现，但不符合模型约束条件的任务中，CoT则不会降低模型性能。研究指出，虽然模型的认知过程与人类不完全相同，但考虑人类思考的负面后果可以帮助识别CoT的负面影响，为理解提示选择和推理的影响提供了新工具。