Chonky: Segmentación inteligente de texto con transformadores

Chonky es una biblioteca de Python que divide inteligentemente el texto en fragmentos semánticos significativos utilizando un modelo de transformador afinado. Esta biblioteca es útil en sistemas de Generación Aumentada por Recuperación (RAG). Procesa textos largos de manera eficiente, dividiéndolos en fragmentos más pequeños y manejables para facilitar el análisis y el procesamiento. El código de ejemplo muestra cómo usar Chonky para dividir un texto de muestra en fragmentos semánticamente coherentes.