소형 모델과 합성 데이터를 사용한 자율형 LLM 게임 마스터 구축
2025-05-29
이 글에서는 TRPG(테이블토크 RPG)를 위한 자율형 LLM 게임 마스터를 구축하는 과정을 자세히 설명합니다. 처음에는 에이전트 방식을 목표로 했지만, 모델 개발에 대한 더 깊은 이해를 얻기 위해 바텀업 방식을 채택했습니다. 계산 자원의 제약으로 인해 작은 Qwen3 모델을 선택하여 OCR을 통해 Markdown으로 변환된 Shadowdark RPG 규칙서로 학습시켰습니다. 평가를 위해 Shadowdark QA 벤치마크를 만들고, 키워드 매칭 기반 지표에 정착하기 전에 여러 지표를 비교했습니다. 사전 학습과 지식 증강(규칙서 텍스트의 여러 다른 표현 방식 생성) 후 모델은 벤치마크에서 60%의 정확도를 달성하여 저자의 목표를 달성했습니다. 다음 단계는 어시스턴트 미세 조정입니다.
개발
TRPG