Chonky : Segmentation de texte intelligente avec des Transformers
2025-04-13
Chonky est une bibliothèque Python qui divise intelligemment le texte en morceaux sémantiques significatifs à l'aide d'un modèle de transformateur finement ajusté. Cette bibliothèque est utile dans les systèmes de génération augmentée par la récupération (RAG). Elle traite efficacement les longs textes, en les divisant en morceaux plus petits et plus faciles à gérer pour faciliter l'analyse et le traitement. L'exemple de code montre comment utiliser Chonky pour diviser un texte d'exemple en morceaux sémantiquement cohérents.