Erstellung eines autonomen LLM-Spielleiters mit kleinen Modellen und synthetischen Daten

Dieser Beitrag beschreibt den Prozess der Entwicklung eines autonomen LLM-Spielleiters für Tabletop-Rollenspiele (TTRPGs). Zunächst war ein agentenbasierter Ansatz geplant, doch der Autor entschied sich für einen Bottom-up-Ansatz, um das Modellentwicklungsverständnis zu vertiefen. Aufgrund begrenzter Rechenressourcen wurde ein kleines Qwen3-Modell gewählt, das mit dem über OCR in Markdown konvertierten Regelwerk von Shadowdark RPG trainiert wurde. Ein Shadowdark QA Bench wurde zur Evaluierung erstellt, wobei verschiedene Metriken verglichen wurden, bevor eine stichwortbasierte Übereinstimmung gewählt wurde. Nach dem Vortraining und der Wissensaugmentation (Erstellung mehrerer Umformulierungen des Regelwerkstextes) erreichte das Modell eine Genauigkeit von 60 % beim Benchmark und erfüllte damit das Ziel des Autors. Der nächste Schritt ist die Feinabstimmung des Assistenten.