تعزيز البحث المتجهي باستخدام إعادة ترتيب ColBERT في PostgreSQL
2025-01-24
يعتمد البحث المتجهي التقليدي على تضمين الجمل، مما قد يؤدي إلى فقدان التفاصيل الدقيقة. يتغلب ColBERT على هذه المشكلة من خلال تمثيل النص كمتجهات متعددة على مستوى الرموز، مما يحافظ على معلومات دقيقة ويحسن الدقة. ومع ذلك، فإن التفاعل على مستوى الرموز مكلف من الناحية الحسابية. توضح هذه المدونة كيفية دمج البحث المتجهي على مستوى الجمل مع إعادة ترتيب ColBERT على مستوى الرموز باستخدام امتدادات PostgreSQL VectorChord و pgvector. ينفذ هذا النهج بحثًا أوليًا سريعًا باستخدام تضمين الجمل، متبوعًا بإعادة ترتيب باستخدام ColBERT لتحقيق نتائج أفضل. وقد لوحظت تحسينات كبيرة في العديد من مجموعات بيانات BEIR.
التطوير
البحث المتجهي