Durchbruch bei der Bewertung großer Sprachmodelle für die Generierung von Unit-Tests

Forscher führten eine umfassende Bewertung des Potenzials großer Sprachmodelle (LLMs) bei der Automatisierung der Unit-Test-Generierung durch. Sie verglichen die Leistung von fünf Open-Source-LLMs mit dem proprietären GPT-4 und dem traditionellen Tool Evosuite an 17 Java-Projekten und untersuchten den Einfluss verschiedener Prompting-Strategien. Die Studie ergab, dass Open-Source-LLMs Vorteile in Bezug auf Datenschutz bieten und in bestimmten Aufgaben besser abschneiden, aber auch Einschränkungen bei der LLM-basierten Unit-Test-Generierung aufzeigte. Diese Forschung liefert wertvolle Erkenntnisse, um zukünftige Anwendungen von LLMs in diesem Bereich zu leiten.