AIは100万ドル規模のフリーランスソフトウェアエンジニアリングを代替できるか？OpenAIの最新研究

OpenAIの新しい論文、SWE-Lancerは、最先端のAIモデルを現実世界のソフトウェア開発タスクでベンチマークしています。Upworkの1400以上のフリーランスの仕事（合計100万ドル以上）を使用して、この研究はタスクを個々の貢献者のタスク（バグ修正、機能構築）とエンジニアリングマネージャーのタスク（最適なソリューションの選択）に分けました。最高のパフォーマーであるClaude 3.5 Sonnetでさえ、タスクの33.7％しか完了せず、約40万3000ドルを獲得しました。AIは、ソリューションを作成するよりもソリューションを選択することに優れており、初期のアプリケーションはコードレビューとアーキテクチャ上の意思決定に焦点を当てる可能性があることを示唆しています。このベンチマークは、AIの進歩を測定する具体的な方法を提供し、リーダーがAIの能力と影響をよりよく理解し、予測するのに役立ちます。