Yek: Uma ferramenta rápida para particionar arquivos de repositório para LLMs

Yek é uma ferramenta rápida baseada em Rust projetada para ler arquivos de texto de um repositório ou diretório, dividi-los em partes e serializá-los para consumo por modelos de linguagem grandes (LLMs). Ele inteligentemente ignora arquivos indesejados (usando regras .gitignore e histórico do Git), divide o conteúdo em partes com base na contagem de tokens ou tamanho em bytes e oferece amplas opções de configuração, como padrões de ignorância personalizados e regras de prioridade de arquivos. Yek visa otimizar o processo de preparação de dados para LLMs, aumentando a eficiência.