대규모 언어 모델 출력의 엔트로피: 정보이론적 관점

이 글에서는 ChatGPT와 같은 대규모 언어 모델(LLM)의 출력을 정보이론적 관점에서 살펴봅니다. 저자는 각 출력 토큰의 엔트로피를 계산하여 모델이 다음 토큰을 예측할 때의 확실성을 측정합니다. 실험 결과, 문장 끝이나 단어 조각에서는 엔트로피가 낮고(확실성이 높고), 서술적인 문장에서는 엔트로피가 높은 것(불확실성이 높은 것)으로 나타났습니다. 낮은 엔트로피와 높은 엔트로피 상황에서 모델이 선택한 토큰의 종류를 비교해 보면, 낮은 엔트로피는 사실적 진술(고유명사 포함)과, 높은 엔트로피는 서술적인 문장과 상관관계가 있는 것으로 나타났습니다. 또한, 타밀어 예시를 사용하여 설명하고, 진실을 가려내는 것의 중요성을 강조합니다.