Chonky: Transformer를 사용한 지능형 텍스트 분할

Chonky는 미세 조정된 Transformer 모델을 사용하여 텍스트를 의미있는 의미 단위로 지능적으로 분할하는 Python 라이브러리입니다. 이 라이브러리는 검색 증강 생성(RAG) 시스템에서 유용합니다. 대량의 텍스트를 효율적으로 처리하고 더 작고 관리하기 쉬운 조각으로 나누어 분석 및 처리를 용이하게 합니다. 예제 코드는 Chonky를 사용하여 샘플 텍스트를 의미적으로 일관된 조각으로 분할하는 방법을 보여줍니다.