Gráfico de previsão de IA falho viraliza: um conto de advertência

O METR, um laboratório de pesquisa sem fins lucrativos, publicou um relatório mostrando o rápido progresso dos grandes modelos de linguagem em tarefas de software, gerando discussões virais. No entanto, a premissa do gráfico é falha: ele usa o tempo de solução humana para medir a dificuldade do problema e o tempo de taxa de sucesso de 50% da IA como uma medida de capacidade. Isso ignora as complexidades diversas dos problemas, levando a resultados arbitrários inadequados para previsão. Embora o conjunto de dados do METR e as discussões sobre as limitações atuais da IA sejam valiosos, usar o gráfico para previsões de capacidade futura da IA é enganoso. Sua propagação viral destaca uma tendência de acreditar no que se quer acreditar em vez de se concentrar na validade.