AIツールが熟練のオープンソース開発者を遅らせる：無作為化比較試験

無作為化比較試験（RCT）は、2025年初頭のAIツールが、自身のレポジトリで作業する経験豊富なオープンソース開発者の生産性に与える影響を調査しました。驚くべきことに、AIツールを使用する開発者は、使用しない開発者よりもタスク完了に19％長くかかりました。AIによって作業が遅くなったのです。研究者たちは、これを現在のAI能力のスナップショットと見なし、AI研究開発の自動化によるAIの加速を追跡するために、この方法論を継続する予定です。本研究は、この速度低下に寄与する可能性のある要因を調査し、このRCTと他のベンチマークや逸話的な証拠との間の矛盾点を調べ、AI能力を包括的に評価するために多様な評価方法が必要であることを強調しています。