Fehlerhafte KI-Prognose-Grafik geht viral: Eine Mahnung

METR, ein gemeinnütziges Forschungslabor, veröffentlichte einen Bericht, der den schnellen Fortschritt großer Sprachmodelle bei Softwareaufgaben zeigt und virale Diskussionen auslöste. Die Prämisse des Diagramms ist jedoch fehlerhaft: Es verwendet die menschliche Lösungsdauer, um die Schwierigkeit des Problems zu messen, und die Zeit der 50%igen Erfolgsrate der KI als Maß für die Fähigkeit. Dies ignoriert die verschiedenen Komplexitäten von Problemen und führt zu willkürlichen Ergebnissen, die sich nicht für Vorhersagen eignen. Obwohl der Datensatz von METR und die Diskussionen über die aktuellen Grenzen der KI wertvoll sind, ist die Verwendung des Diagramms für Vorhersagen der zukünftigen KI-Fähigkeiten irreführend. Seine virale Verbreitung unterstreicht die Tendenz, das zu glauben, was man glauben möchte, anstatt sich auf die Gültigkeit zu konzentrieren.