بحث النص الكامل في PostgreSQL: زيادة السرعة بمقدار 50 مرة من خلال تحسينات بسيطة

2025-04-09
بحث النص الكامل في PostgreSQL: زيادة السرعة بمقدار 50 مرة من خلال تحسينات بسيطة

أظهر مقياس أداء حديث من Neon أن البحث النصي الكامل (FTS) المدمج في PostgreSQL كان أبطأ من pg_search. ومع ذلك، تكشف هذه المقالة أن مقياس أداء Neon استخدم إعداد FTS قياسيًا غير مُحسّن. من خلال الحساب المسبق وتخزين عمود `tsvector` وتكوين مؤشرات GIN مع `fastupdate=off`، يتم تحقيق زيادة كبيرة في الأداء. أظهرت التجارب على مجموعة بيانات مكونة من 10 ملايين سجل تحسينًا في السرعة بنسبة 50 مرة تقريبًا، مما يثبت أن FTS القياسي المُحسّن بشكل صحيح يمكنه منافسة محركات البحث المخصصة. كما تتناول المقالة VectorChord-BM25، وهي امتداد قائم على خوارزمية BM25، والذي يمتاز بأداءه المتميز في مهام الترتيب.

اقرأ المزيد
التطوير

VectorChord-BM25: تعزيز بحث النص الكامل في PostgreSQL

2025-03-03
VectorChord-BM25: تعزيز بحث النص الكامل في PostgreSQL

VectorChord-BM25 عبارة عن امتداد جديد لـ PostgreSQL يستخدم خوارزمية BM25 وخوارزمية Block WeakAnd لتحسين سرعة ودقة بحث النص الكامل في PostgreSQL بشكل كبير. يُبسّط عملية البحث ويتكامل بسلاسة مع PostgreSQL. مقارنةً بـ ElasticSearch، يحقق VectorChord-BM25 زيادةً في معدل الاستعلامات في الثانية (QPS) بمقدار 3 أضعاف في المتوسط لعمليات الاستعلام من نوع Top 1000، بالإضافة إلى درجات NDCG@10 قابلة للمقارنة أو حتى أفضل، لكنه يتطلب محاذاة دقيقة لاستراتيجيات التجزئة من أجل مقارنة عادلة.

اقرأ المزيد

تعزيز البحث المتجهي باستخدام إعادة ترتيب ColBERT في PostgreSQL

2025-01-24
تعزيز البحث المتجهي باستخدام إعادة ترتيب ColBERT في PostgreSQL

يعتمد البحث المتجهي التقليدي على تضمين الجمل، مما قد يؤدي إلى فقدان التفاصيل الدقيقة. يتغلب ColBERT على هذه المشكلة من خلال تمثيل النص كمتجهات متعددة على مستوى الرموز، مما يحافظ على معلومات دقيقة ويحسن الدقة. ومع ذلك، فإن التفاعل على مستوى الرموز مكلف من الناحية الحسابية. توضح هذه المدونة كيفية دمج البحث المتجهي على مستوى الجمل مع إعادة ترتيب ColBERT على مستوى الرموز باستخدام امتدادات PostgreSQL VectorChord و pgvector. ينفذ هذا النهج بحثًا أوليًا سريعًا باستخدام تضمين الجمل، متبوعًا بإعادة ترتيب باستخدام ColBERT لتحقيق نتائج أفضل. وقد لوحظت تحسينات كبيرة في العديد من مجموعات بيانات BEIR.

اقرأ المزيد
التطوير البحث المتجهي