Yek: LLM을 위한 리포지토리 파일의 빠른 청크화 도구

Yek는 리포지토리 또는 디렉토리에서 텍스트 기반 파일을 읽고, 청크화하고, 대규모 언어 모델(LLM)에서 사용할 수 있도록 직렬화하는 빠른 Rust 기반 도구입니다. 불필요한 파일을 스마트하게 건너뛰고(.gitignore 규칙과 Git 히스토리를 사용), 토큰 수 또는 바이트 크기에 따라 콘텐츠를 청크로 분할하며, 사용자 지정 무시 패턴 및 파일 우선 순위 규칙과 같은 광범위한 구성 옵션을 제공합니다. Yek는 LLM의 데이터 준비 프로세스를 간소화하고 효율성을 높이는 것을 목표로 합니다.