문자열의 언어 모델 토큰 수를 쉽게 계산하는 방법

이 글에서는 문자열에서 언어 모델 토큰의 수를 계산하는 간단한 방법을 소개합니다. 이는 애플리케이션 실행 비용 추산, 텍스트가 사용 중인 언어 모델의 컨텍스트 창에 맞는지 확인, 청크 처리 여부 결정에 매우 중요합니다. 문자 수를 4로 나누어 대략적인 추정치를 얻을 수도 있지만, 더 정확한 방법은 실제로 사용하는 언어 모델(Hugging Face 또는 OpenAI 모델)을 사용하는 것입니다. 저자는 문자열, 파일 또는 폴더 내의 모든 파일의 토큰 수를 계산하기 위한 Jupyter Notebook을 제공하며, 외부 서비스 의존성을 제거하고 안전하고 무료로 사용할 수 있도록 합니다.