Ferramentas de IA atrasam desenvolvedores experientes de código aberto: Um ensaio controlado randomizado

Um ensaio controlado randomizado (RCT) investigou o impacto das ferramentas de IA do início de 2025 na produtividade de desenvolvedores experientes de código aberto trabalhando em seus próprios repositórios. Surpreendentemente, os desenvolvedores que usaram ferramentas de IA levaram 19% mais tempo para concluir as tarefas - a IA os tornou mais lentos. Os pesquisadores veem isso como um instantâneo das capacidades atuais de IA; eles planejam continuar com esta metodologia para rastrear a aceleração da IA a partir da automação de P&D de IA. O estudo explora fatores potenciais que contribuem para a desaceleração e examina discrepâncias entre este RCT e outros benchmarks e evidências anedóticas, destacando a necessidade de metodologias de avaliação diversas para avaliar de forma abrangente as capacidades de IA.