Chonky:基于Transformer的智能文本分割库
2025-04-13
Chonky是一个Python库,它利用微调的Transformer模型将文本智能地分割成有意义的语义块。这个库可用于基于检索的增强生成系统(RAG)。它能够处理大量的文本,并将其分解成更易于管理和理解的片段,方便后续的文本处理和分析。示例代码展示了如何使用Chonky将一段文本分割成多个语义块。
开发
文本分割