Percée dans l'évaluation des grands modèles de langage pour la génération de tests unitaires
2024-12-30
Des chercheurs ont mené une évaluation complète du potentiel des grands modèles de langage (LLM) dans l'automatisation de la génération de tests unitaires. Ils ont comparé les performances de cinq LLM open source au GPT-4 propriétaire et à l'outil traditionnel Evosuite sur 17 projets Java, en étudiant l'impact de différentes stratégies d'invite. L'étude a révélé que les LLM open source offrent des avantages en matière de confidentialité des données et surpassent les autres dans certaines tâches, mais a également mis en évidence les limites de la génération de tests unitaires basée sur les LLM. Cette recherche fournit des informations précieuses pour guider les futures applications des LLM dans ce domaine.