Avanço na Avaliação de Modelos de Linguagem Grandes para Geração de Testes Unitários
Pesquisadores realizaram uma avaliação abrangente do potencial de Modelos de Linguagem Grandes (LLMs) na automação da geração de testes unitários. Eles compararam o desempenho de cinco LLMs de código aberto contra o GPT-4 de código fechado e a ferramenta tradicional Evosuite em 17 projetos Java, investigando o impacto de diferentes estratégias de prompt. O estudo descobriu que os LLMs de código aberto oferecem vantagens em privacidade de dados e superam em desempenho em determinadas tarefas, mas também revelou limitações na geração de testes unitários baseada em LLM. Esta pesquisa fornece insights valiosos para orientar aplicações futuras de LLMs nessa área.
Leia mais