AI予測グラフの誤り：バイラル拡散の危険性

非営利研究機関METRが、大規模言語モデルのソフトウェアタスクにおける急速な進歩を示すレポートを発表し、バイラルな議論を巻き起こしました。しかし、そのグラフの前提は誤りです。人間の解決時間を問題の難易度測定に、AIの50％成功率の時間を能力の測定に使用しているためです。これは問題の複雑性の多様性を無視しており、予測に適さない恣意的な結果をもたらします。METRのデータセットと現在のAIの限界に関する議論は貴重ですが、このグラフを将来のAI能力の予測に用いるのは誤解を招きます。バイラル拡散は、妥当性よりも自分が信じたいものを信じようとする傾向を示しています。