Chonky: تقسيم النص الذكي باستخدام المحولات
2025-04-13
Chonky هي مكتبة بايثون تقسم النص بذكاء إلى أجزاء معنوية ذات مغزى باستخدام نموذج محول مُحسّن. هذه المكتبة مفيدة في أنظمة توليد المعزز بالاسترجاع (RAG). تعالج النصوص الطويلة بكفاءة، وقسمها إلى أجزاء أصغر وأكثر سهولة في الإدارة لتسهيل التحليل والمعالجة. يوضح مثال الكود كيفية استخدام Chonky لتقسيم نص مثال إلى أجزاء متماسكة دلاليًا.
التطوير
تقسيم النص