تحسين أداء ClickHouse على معالجات Intel Xeon ذات عدد النواة فائق الارتفاع

2025-09-17
تحسين أداء ClickHouse على معالجات Intel Xeon ذات عدد النواة فائق الارتفاع

تتميز أحدث معالجات Intel بمئات من النواة، مما يوفر فرصًا هائلة وتحديات كبيرة لقواعد البيانات التحليلية مثل ClickHouse. قام مهندسو Intel في شنغهاي بتحليل أداء ClickHouse بشكل منهجي على الخوادم ذات عدد النواة فائق الارتفاع، وقاموا بتحديد خمسة نقاط اختناق رئيسية، وهي: تضارب الأقفال، وتحسين الذاكرة، وعدم كفاية التوازي، واستخدام تعليمات SIMD، والمشاركة الزائفة. من خلال تقليل أوقات الاحتفاظ بالأقفال، وتحسين مُخصّص الذاكرة، وتوازي المراحل التسلسلية، واستخدام خوارزميات SIMD أكثر ذكاءً، وتحسين تخطيط الذاكرة، فقد قاموا بتحسين قابلية ClickHouse للتطوير بشكل كبير على أنظمة ذات عدد نواة فائق الارتفاع، حيث حققوا سرعات تصل إلى 10 أضعاف في الاستعلامات الفردية، وتحسينًا بنسبة 10% في المتوسط الهندسي العام. يبرز هذا العمل الحاجة إلى تحسين متعدد الأوجه لقواعد البيانات في عصر عدد النواة فائق الارتفاع، مع مراعاة الجوانب الخوارزمية وجوانب تخطيط الذاكرة.

اقرأ المزيد

استكشاف نظام ORM لقواعد بيانات OLAP: نهج Moose OLAP

2025-08-17
استكشاف نظام ORM لقواعد بيانات OLAP: نهج Moose OLAP

تعتمد التطبيقات الحديثة بشكل متزايد على تحليلات موجهة للمستخدم وذكاء اصطناعي مدعوم بتجميعات عبر مجموعات بيانات ضخمة، مما يدفع المطورين إلى استخدام قواعد بيانات تحليلية مثل ClickHouse. تستكشف هذه المقالة إمكانيات وتحديات إنشاء نظام ORM لقواعد بيانات OLAP. إن توسيع أنظمة ORM الخاصة بـ OLTP الحالية إلى OLAP أمرٌ مثيرٌ للمشاكل بسبب الاختلافات الدلالية. يحاول Moose OLAP، وهو مشروع مفتوح المصدر، توفير واجهة مشابهة لأنظمة ORM لـ ClickHouse. يستفيد من نقاط القوة في أنظمة ORM الخاصة بـ OLTP، ولكنه يتكيف مع خصائص OLAP، مثل التعامل مع قيم NULL وقواعد التوحيد بشكل مختلف. يشدد Moose OLAP على المخطط كشيفرة، ويوفر دلالات وقيم افتراضية خاصة بـ OLAP، ويدعم عمليات الهجرة الإصدارية لإدارة التغييرات الديناميكية في المخططات المتأصلة في بيئات OLAP.

اقرأ المزيد
التطوير

خطأ مزعج في إنشاء فتحات النسخ المتماثل المنطقي في PostgreSQL، وكيف قمنا بإصلاحه

2025-07-15
خطأ مزعج في إنشاء فتحات النسخ المتماثل المنطقي في PostgreSQL، وكيف قمنا بإصلاحه

واجه فريق ClickPipes خطأ محيراً أثناء إنشاء فتحات النسخ المتماثل المنطقي في PostgreSQL: استغرقت الاستعلام الذي كان من المفترض أن يستغرق ثوانٍ ساعات ولم يكن من الممكن إنهاؤه. كشف التحقيق عن خطأ في Postgres حيث، في النسخ المتماثل للقراءة، تعلق إنشاء فتحة النسخ المتماثل المنطقي في حلقة نوم طويلة أثناء انتظار انتهاء المعاملات الأساسية، مما يجعل من المستحيل مقاطعتها. أرسل الفريق تصحيحًا إلى مجتمع Postgres بإضافة فحص مقاطعة، مما يحل المشكلة بفعالية. يبرز هذا المثال كيف يمكن حتى لأنظمة قواعد البيانات الناضجة أن تحتوي على حالات حدية غير متوقعة، والدور الحيوي لتعاون مجتمع المصدر المفتوح في حلها.

اقرأ المزيد

منصة مراقبة ClickHouse Cloud بسعة 100 PB: تطور LogHouse

2025-06-21
منصة مراقبة ClickHouse Cloud بسعة 100 PB: تطور LogHouse

في غضون عام، نمت منصة تسجيل الدخول الداخلية الخاصة بسحابة ClickHouse، LogHouse، من 19 PiB إلى أكثر من 100 PiB، وزاد عدد الصفوف من 40 تريليون إلى 500 تريليون. للتعامل مع زيادة حجم الأحداث بمقدار 20 ضعفًا، طورت مجموعة LogHouse برنامج SysEx، وهو مُصدّر مخصص قلل من استخدام وحدة المعالجة المركزية إلى أقل من 10٪ من المتطلب السابق. ينسخ SysEx البيانات مباشرةً من جداول النظام في ClickHouse، متجاوزًا اختناق تحليل وترجمة OpenTelemetry. في الوقت نفسه، دمجت LogHouse برنامج HyperDX، وهو واجهة مستخدم مراقبة ClickHouse الأصلية، مما يوفر استكشافًا وسياقًا وتحليلًا للأسباب الجذرية بسلاسة.

اقرأ المزيد
التكنولوجيا

ClickHouse تحصل على 350 مليون دولار في جولة تمويل من السلسلة C لدعم التطبيقات الأصلية للذكاء الاصطناعي

2025-05-29
ClickHouse تحصل على 350 مليون دولار في جولة تمويل من السلسلة C لدعم التطبيقات الأصلية للذكاء الاصطناعي

أعلنت قاعدة بيانات تحليلات الوقت الفعلي ClickHouse عن جولة تمويل من السلسلة C بقيمة 350 مليون دولار، مما يرفع إجمالي تمويلها إلى أكثر من 650 مليون دولار. سيتم استخدام هذا الاستثمار لدعم تطوير المنتجات، والتوسع العالمي، والشراكات التي تدعم الموجة القادمة من تطبيقات الذكاء الاصطناعي الأصلية. تمكن محرك تخزين الأعمدة عالي الأداء من ClickHouse الاستعلامات التحليلية التفاعلية على مجموعات البيانات الضخمة مع أدنى حد من زمن الوصول، مما يدعم تطبيقات الذكاء الاصطناعي/التعلم الآلي، وتحليلات الوقت الفعلي، وتخزين البيانات السحابية، وأعباء عمل المراقبة. مع نمو سنوي يزيد عن 300% وخدمة أكثر من 2000 عميل، بما في ذلك Anthropic و Tesla و Mercado Libre، تواجه ClickHouse تحدي بناء منصات بيانات في الوقت الفعلي لعصر الذكاء الاصطناعي، وتضع نفسها كمحرك افتراضي لمنتجات البيانات الذكية من الجيل التالي.

اقرأ المزيد
التكنولوجيا

التحقيق المادي الكسول في ClickHouse: زيادة السرعة بمقدار 1500 مرة

2025-04-22
التحقيق المادي الكسول في ClickHouse: زيادة السرعة بمقدار 1500 مرة

يحقق ClickHouse تحسينًا في السرعة بمقدار 1500 مرة باستخدام تحسين جديد يسمى "التحقيق المادي الكسول". تقوم هذه التقنية بتأجيل قراءة بيانات العمود حتى تكون هناك حاجة إليها بالفعل، مما يقلل بشكل كبير من عمليات الإدخال/الإخراج غير الضرورية. تستخدم المقالة مجموعة بيانات مراجعات عملاء أمازون لتوضيح كيف أن التحقيق المادي الكسول، جنبًا إلى جنب مع تحسينات الإدخال/الإخراج الأخرى مثل التخزين العمودي، والفهارس الأساسية المتفرقة، وPREWHERE، يقلل من وقت تنفيذ الاستعلام من 219 ثانية إلى 139 ميلي ثانية. يُعد التحقيق المادي الكسول فعالاً بشكل خاص للاستعلامات Top N، حيث يوفر مكاسب كبيرة في الأداء دون تغيير SQL.

اقرأ المزيد

ClickHouse تعتمد Rust: رحلة تكامل مليئة بالتحديات

2025-04-09
ClickHouse تعتمد Rust: رحلة تكامل مليئة بالتحديات

بدأ برنامج ClickHouse، المكتوب أصلاً بلغة C++، رحلة لدمج Rust لجذب المزيد من المطورين وتوسيع قدراته. وتفصل المقالة هذه العملية بالتفصيل، من اختيار دالة التجزئة BLAKE3 كمشروع تجريبي أولي إلى دمج لغة الاستعلام PRQL ومكتبة Delta Lake. واجهت الرحلة العديد من التحديات، بما في ذلك دمج نظام البناء، وإدارة الذاكرة، ومعالجة الأخطاء، ومشاكل التجميع المتقاطع. على الرغم من مشاكل مثل أخطاء في مكتبات Rust، وأسماء الرموز الطويلة جدًا، ومشاكل التشغيل البيني مع التعليمات البرمجية C++، فقد تغلب فريق ClickHouse على هذه العقبات، ودمج Rust بنجاح في المشروع، مما مهد الطريق للتطوير في المستقبل.

اقرأ المزيد
التطوير