IA pode substituir US$ 1 milhão em Engenharia de Software Freelance? Pesquisa mais recente da OpenAI

O novo artigo da OpenAI, SWE-Lancer, avalia modelos de IA de ponta em tarefas reais de desenvolvimento de software. Usando mais de 1400 trabalhos freelance do Upwork (totalizando mais de US$ 1 milhão), o estudo dividiu as tarefas em tarefas de contribuidor individual (correção de bugs, construção de recursos) e tarefas de gerente de engenharia (seleção da melhor solução). Mesmo o melhor desempenho, Claude 3.5 Sonnet, completou apenas 33,7% das tarefas, ganhando aproximadamente US$ 403.000. A IA se destacou na seleção de soluções em vez de criá-las, sugerindo que os aplicativos iniciais podem se concentrar em revisão de código e decisões arquitetônicas. Este benchmark oferece uma maneira concreta de medir o progresso da IA, ajudando os líderes a entender e prever as capacidades e o impacto da IA.