Un graphique de prévision de l'IA erroné devient viral : un récit d'avertissement

METR, un laboratoire de recherche à but non lucratif, a publié un rapport montrant les progrès rapides des grands modèles de langage dans les tâches logicielles, suscitant des discussions virales. Cependant, la prémisse du graphique est erronée : il utilise le temps de résolution humaine pour mesurer la difficulté du problème et le temps de taux de réussite de 50 % de l'IA comme mesure de capacité. Cela ignore les complexités diverses des problèmes, conduisant à des résultats arbitraires impropres à la prédiction. Bien que l'ensemble de données de METR et les discussions sur les limites actuelles de l'IA soient précieux, utiliser le graphique pour des prédictions de capacité future de l'IA est trompeur. Sa propagation virale souligne une tendance à croire ce que l'on veut croire plutôt que de se concentrer sur la validité.