Kann KI 1 Million Dollar in freiberuflicher Softwareentwicklung ersetzen? Die neueste Forschung von OpenAI

OpenAIs neuer Bericht, SWE-Lancer, bewertet Spitzentechnologie-KI-Modelle bei realen Softwareentwicklungsaufgaben. Mit über 1400 freiberuflichen Aufträgen von Upwork (im Gesamtwert von über 1 Million Dollar) teilte die Studie die Aufgaben in Aufgaben für einzelne Mitwirkende (Bugfixing, Feature-Entwicklung) und Aufgaben für Engineering-Manager (Auswahl der besten Lösung) auf. Selbst das leistungsstärkste Modell, Claude 3.5 Sonnet, erledigte nur 33,7 % der Aufgaben und verdiente ungefähr 403 000 Dollar. KI übertraf die Erstellung von Lösungen bei der Auswahl von Lösungen, was darauf hindeutet, dass anfängliche Anwendungen sich auf Code-Reviews und Architekturentscheidungen konzentrieren könnten. Dieser Benchmark bietet eine konkrete Möglichkeit, den Fortschritt von KI zu messen und Führungskräften zu helfen, die Fähigkeiten und die Auswirkungen von KI besser zu verstehen und vorherzusagen.