بناء محرك بحث ويب من الصفر: 3 مليارات من الاندماجات وشهريْن من العمل الشاق
2025-08-13
يروي الكاتب رحلته التي استمرت شهرين لبناء محرك بحث ويب من الصفر، مستخدماً 3 مليارات من اندماجات SBERT. وقد دفعته أوجه القصور في محركات البحث الحالية - وفرة رسائل البريد العشوائي SEO ونقص المحتوى عالي الجودة - إلى تطوير مشروع يهدف إلى تحسين صلة البحث وفهم الاستفسارات المعقدة. وتفصل هذه التدوينة العملية، وتغطي جمع البيانات، وتطبيع النص، والتقسيم، ومعالجة السياق الدلالي، وإنشاء الاندماجات، والتخزين (باستخدام RocksDB و HNSW)، والاسترجاع. ويُظهر محرك البحث الناتج زمن انتظار استجابة قدره 500 مللي ثانية، ويتعامل مع الاستفسارات المعقدة باللغة الطبيعية، مُظهراً نتائج عالية الجودة.
اقرأ المزيد