AI 예측 차트의 오류: 바이럴 확산의 위험성

비영리 연구 기관 METR이 대규모 언어 모델의 소프트웨어 작업에서의 급속한 발전을 보여주는 보고서를 발표하여 바이럴 논쟁을 불러일으켰습니다. 그러나 해당 차트의 전제는 잘못되었습니다. 인간의 해결 시간을 문제의 난이도 측정에, AI의 50% 성공률 시간을 능력 측정에 사용하고 있기 때문입니다. 이는 문제의 복잡성 다양성을 무시하여 예측에 적합하지 않은 임의적인 결과를 초래합니다. METR의 데이터 세트와 현재 AI의 한계에 대한 논의는 귀중하지만, 이 차트를 미래 AI 능력 예측에 사용하는 것은 오해의 소지가 있습니다. 바이럴 확산은 타당성보다 자신이 믿고 싶은 것을 믿으려는 경향을 보여줍니다.