O Hype da IA: Benchmarks vs. Realidade

Uma startup que usa modelos de IA para escaneamento de segurança de código descobriu melhorias práticas limitadas, apesar do aumento das pontuações de referência desde junho de 2024. O autor argumenta que os avanços em grandes modelos de linguagem não se traduziram em utilidade econômica ou generalização, contradizendo afirmações públicas. Isso levanta preocupações sobre os métodos de avaliação de modelos de IA e a possível exaltação das capacidades pelos laboratórios de IA. O autor defende o foco no desempenho de aplicativos do mundo real em vez de pontuações de referência e destaca a necessidade de uma avaliação robusta antes de implantar IA em contextos sociais.