TokenDagger：OpenAIのTikTokenの高性能実装

TokenDaggerは、大規模なテキスト処理向けに最適化された、OpenAIのTikTokenの高性能な代替手段です。ベンチマークテストによると、コードのトークン化において、TokenDaggerはTikTokenの4倍以上の速度を達成し、スループットは2倍に向上しました。最適化されたPCRE2正規表現エンジンと、簡素化されたBPEアルゴリズムを採用することで、大規模な特殊トークンボキャブラリの性能への影響を軽減しています。数行のコマンドで簡単にインストールして性能テストを実行できます。