TokenDagger: OpenAI TikToken의 고성능 구현

TokenDagger는 대규모 텍스트 처리를 위해 최적화된 OpenAI TikToken의 고성능 대안입니다. 벤치마크 테스트 결과, 코드 토큰화에서 TokenDagger는 TikToken보다 4배 이상 빠르며 처리량은 2배 향상되었습니다. 최적화된 PCRE2 정규 표현식 엔진과 간소화된 BPE 알고리즘을 사용하여 대규모 특수 토큰 어휘집의 성능 저하를 완화합니다. 몇 줄의 명령어로 간편하게 설치하고 성능 테스트를 실행할 수 있습니다.