AI工具反而降低了程序员效率?一项RCT研究的惊人发现
2025-07-11
一项随机对照试验(RCT)研究了2025年初AI工具对经验丰富的开源开发者在其自身代码库中的生产力影响。令人惊讶的是,结果显示,使用AI工具的开发者完成任务的时间比不使用AI工具的开发者长19%——AI反而降低了他们的效率。研究人员认为,这反映了2025年初AI能力在特定场景下的一个快照;随着这些系统持续快速发展,他们计划继续使用这种方法来帮助评估AI研发自动化带来的AI加速效果。研究还探讨了多种潜在因素,并分析了不同评估方法之间结果差异的原因,强调了对AI能力进行全面评估的重要性。
(metr.org)
开发