Avance en la evaluación de los modelos de lenguaje grandes para la generación de pruebas unitarias

Los investigadores realizaron una evaluación exhaustiva del potencial de los Modelos de Lenguaje Grandes (LLMs) en la automatización de la generación de pruebas unitarias. Compararon el rendimiento de cinco LLMs de código abierto frente al GPT-4 de código cerrado y la herramienta tradicional Evosuite en 17 proyectos Java, investigando el impacto de diferentes estrategias de solicitud. El estudio descubrió que los LLMs de código abierto ofrecen ventajas en la privacidad de los datos y superan en rendimiento en ciertas tareas, pero también reveló limitaciones en la generación de pruebas unitarias basada en LLM. Esta investigación proporciona información valiosa para orientar las futuras aplicaciones de los LLMs en esta área.