用小型模型和合成数据构建一个自主的LLM游戏大师

作者尝试构建一个能够运行TTRPG（桌上角色扮演游戏）的自主LLM游戏大师。起初计划使用代理方法，但为了更深入地理解模型能力的端到端开发，决定从头开始，先构建一个能够辅助GM或玩家的模型。由于计算资源有限，作者选择了Qwen3系列小型模型，并使用Shadowdark RPG的规则书作为训练数据。通过OCR技术，作者将规则书转换成markdown格式，并构建了一个Shadowdark QA Bench用于评估模型性能。作者尝试了几种评估指标，最终选择了基于关键词匹配的指标。在对模型进行预训练和知识增强后，模型在Shadowdark QA Bench上达到了60%的准确率，达到了预设目标。下一步将进行辅助模型微调。