¿Puede la IA reemplazar US$ 1 millón en ingeniería de software freelance? La última investigación de OpenAI
El nuevo artículo de OpenAI, SWE-Lancer, evalúa modelos de IA de vanguardia en tareas reales de desarrollo de software. Utilizando más de 1400 trabajos freelance de Upwork (con un total de más de US$ 1 millón), el estudio dividió las tareas en tareas de contribuyente individual (corrección de errores, creación de funciones) y tareas de gerente de ingeniería (selección de la mejor solución). Incluso el mejor desempeño, Claude 3.5 Sonnet, solo completó el 33,7% de las tareas, ganando aproximadamente US$ 403.000. La IA sobresalió en la selección de soluciones en lugar de crearlas, lo que sugiere que las aplicaciones iniciales podrían centrarse en la revisión de código y las decisiones arquitectónicas. Este punto de referencia ofrece una forma concreta de medir el progreso de la IA, ayudando a los líderes a comprender y predecir las capacidades y el impacto de la IA.
Leer más