OpenAI admite: Mesmo os modelos de IA mais avançados não conseguem substituir programadores humanos

Um novo artigo da OpenAI revela que mesmo os modelos de linguagem grandes (LLMs) mais avançados, como GPT-4 e Claude 3.5, são incapazes de lidar com a maioria das tarefas de engenharia de software. Os pesquisadores usaram um novo benchmark, SWE-Lancer, com mais de 1400 tarefas de engenharia de software do Upwork. Os resultados mostraram que esses modelos só conseguiam resolver problemas superficiais, falhando em encontrar bugs ou causas raiz em projetos maiores. Embora os LLMs sejam rápidos, sua precisão e confiabilidade são insuficientes para substituir programadores humanos, contradizendo previsões do CEO da OpenAI, Sam Altman.