Yek: LLM向けリポジトリファイルの高速チャンク化ツール

Yekは、リポジトリまたはディレクトリからテキストベースのファイルを読み取り、チャンク化し、大規模言語モデル（LLM）で使用できるようにシリアル化する、高速なRustベースのツールです。不要なファイルをインテリジェントにスキップし（.gitignoreルールとGit履歴を使用）、トークン数またはバイトサイズに基づいてコンテンツをチャンクに分割し、カスタム無視パターンやファイル優先順位ルールなどの広範な構成オプションを提供します。Yekは、LLMのデータ準備プロセスを合理化し、効率性を向上させることを目的としています。