LLM 추론에서의 비결정성 극복
2025-09-11
대규모 언어 모델(LLM) 추론 결과의 재현성 부족은 오랫동안 문제가 되어 왔습니다. 이 글에서는 그 근본 원인이 단순한 부동 소수점 연산의 비결합성이나 병렬 실행이 아니라 커널 구현에서의 "배치 불변성" 부족에 있음을 밝힙니다. 개별 커널이 결정론적이더라도 배치 크기의 비결정적 변화(서버 부하로 인해)가 최종 출력에 영향을 미칩니다. 저자들은 RMSNorm, 행렬 곱셈, 어텐션 메커니즘에서의 배치 불변성 달성의 어려움을 분석하고, 커널 구현을 수정하여 비결정성을 제거하는 방법을 제안합니다. 이를 통해 LLM 추론의 완전한 재현성과 강화 학습 훈련에 대한 긍정적인 영향을 얻을 수 있습니다.
AI
비결정성