Depuração de IA fica aquém: estudo da Microsoft revela limites dos modelos de geração de código

Pesquisas da Microsoft revelam que mesmo modelos de laboratórios de IA de ponta, como OpenAI e Anthropic, têm dificuldades para depurar bugs de software com a mesma eficácia que desenvolvedores experientes. Um estudo que testou nove modelos mostrou que, mesmo com ferramentas de depuração, esses modelos falharam em concluir com sucesso mais da metade das tarefas de depuração no benchmark SWE-bench Lite. O estudo aponta a escassez de dados como um fator principal; os modelos carecem de dados de treinamento suficientes que representem os processos de depuração humana. Embora as ferramentas de programação assistida por IA apresentem promessas, esta pesquisa destaca as limitações da IA na codificação, sublinhando que os humanos permanecem essenciais.