Benchmark für Longform Creative Writing für LLMs
2025-04-10
Dieser Benchmark bewertet die Fähigkeit großer Sprachmodelle, lange Geschichten zu schreiben. Er bewertet Brainstorming, Überarbeitung und das Schreiben von acht Kapiteln à 1000 Wörtern. Metriken umfassen die Kapitellänge, die Flüssigkeit (Vermeidung überstrapazierter Phrasen), Wiederholungen und den Qualitätsabfall des Schreibens über die Kapitel hinweg. Eine endgültige Punktzahl (0-100) wird von einem Bewertungs-LLM vergeben.
Mehr lesen