Gráfico de predicción de IA defectuoso se vuelve viral: una historia de advertencia
METR, un laboratorio de investigación sin fines de lucro, publicó un informe que muestra el rápido progreso de los grandes modelos de lenguaje en tareas de software, generando debates virales. Sin embargo, la premisa del gráfico es defectuosa: utiliza el tiempo de solución humana para medir la dificultad del problema y el tiempo de tasa de éxito del 50% de la IA como una medida de capacidad. Esto ignora las complejidades diversas de los problemas, lo que lleva a resultados arbitrarios inadecuados para la predicción. Si bien el conjunto de datos de METR y las discusiones sobre las limitaciones actuales de la IA son valiosas, usar el gráfico para predicciones de capacidad futura de la IA es engañoso. Su propagación viral destaca una tendencia a creer lo que uno quiere creer en lugar de concentrarse en la validez.