GitHub - bhavnicksm/chonkie: 使用 Chonkie ✨ 对文本进行分块 - 简洁的 RAG 分块库

Chonkie 是一个轻量级、快速且功能丰富的 RAG 分块库，用于文本处理。它支持多种分块方法，包括基于 Token、单词、句子和语义的分块，并具有较高的性能。Chonkie 安装简单，易于使用，并支持多种 tokenizer。