Chonky: Segmentação de Texto Inteligente com Transformadores

Chonky é uma biblioteca Python que divide inteligentemente o texto em pedaços semânticos significativos usando um modelo de transformador refinado. Esta biblioteca é útil em sistemas de Geração Aumentada por Recuperação (RAG). Ela processa textos grandes de forma eficiente, dividindo-os em pedaços menores e gerenciáveis ​​para facilitar a análise e o processamento. O código de exemplo mostra como usar o Chonky para dividir um texto de amostra em pedaços semanticamente coerentes.