Yek: Una herramienta rápida para dividir archivos de repositorios para LLMs

Yek es una herramienta rápida basada en Rust diseñada para leer archivos de texto de un repositorio o directorio, dividirlos en fragmentos y serializarlos para el consumo de modelos de lenguaje grandes (LLMs). Inteligentemente omite archivos no deseados (usando reglas .gitignore e historial de Git), divide el contenido en fragmentos basados en el conteo de tokens o el tamaño en bytes, y ofrece amplias opciones de configuración como patrones de omisión personalizados y reglas de prioridad de archivos. Yek tiene como objetivo optimizar el proceso de preparación de datos para LLMs, aumentando la eficiencia.