L'IA peut-elle remplacer 1 million de dollars en ingénierie logicielle freelance ? La dernière recherche d'OpenAI
Le nouveau document d'OpenAI, SWE-Lancer, évalue les modèles d'IA de pointe sur des tâches réelles de développement de logiciels. Utilisant plus de 1 400 emplois indépendants sur Upwork (pour un total de plus de 1 million de dollars), l'étude a divisé les tâches en tâches de contributeur individuel (correction de bogues, création de fonctionnalités) et tâches de responsable de l'ingénierie (sélection de la meilleure solution). Même le modèle le plus performant, Claude 3.5 Sonnet, n'a terminé que 33,7 % des tâches, gagnant environ 403 000 $. L'IA a excellé dans la sélection des solutions plutôt que dans leur création, ce qui suggère que les applications initiales pourraient se concentrer sur la revue de code et les décisions architecturales. Ce benchmark offre un moyen concret de mesurer les progrès de l'IA, aidant les dirigeants à comprendre et à prévoir les capacités et l'impact de l'IA.
Lire plus