AI能力预测图表的谬误：病毒式传播的危险

METR发布了一份关于大型语言模型软件能力的报告，其图表预测AI进步速度惊人，引发病毒式传播。然而，该图表基于一个有缺陷的前提：用人类解决问题所需时间来衡量问题难度，并用AI解决一半问题所需时间来衡量其能力。这种方法忽略了问题复杂性的多样性，导致结果任意且无法用于预测。文章指出，虽然METR的数据集和对当前AI局限性的讨论很有价值，但将图表用于预测未来AI能力是误导性的，其病毒式传播反映了人们倾向于相信自己想相信的东西。