Yek : Un outil rapide pour le découpage de fichiers de référentiel pour les LLMs

Yek est un outil rapide basé sur Rust conçu pour lire les fichiers texte d'un référentiel ou d'un répertoire, les découper en morceaux et les sérialiser pour la consommation par les grands modèles de langage (LLMs). Il ignore intelligemment les fichiers indésirables (à l'aide des règles .gitignore et de l'historique Git), divise le contenu en morceaux en fonction du nombre de jetons ou de la taille en octets, et offre de nombreuses options de configuration telles que des modèles d'ignorance personnalisés et des règles de priorité des fichiers. Yek vise à rationaliser le processus de préparation des données pour les LLMs, augmentant ainsi l'efficacité.