vLLM V1: تقديم نماذج اللغات الكبيرة بكفاءة على نطاق واسع

2025-06-29
vLLM V1: تقديم نماذج اللغات الكبيرة بكفاءة على نطاق واسع

تستخدم خدمة Ubicloud السحابية مفتوحة المصدر vLLM V1 لتقديم نماذج اللغات الكبيرة بكفاءة. تتعمق هذه المقالة في بنية vLLM V1، مفصلةً مسار طلب الاستدلال من الاستقبال، والجدولة، وتنفيذ النموذج إلى معالجة الإخراج. يتم شرح التقنيات الرئيسية مثل IPC غير المتزامن، والمعالجة المتواصلة للدُفعات، وإدارة ذاكرة التخزين المؤقت KV. يعمل vLLM V1 على زيادة استخدام وحدة معالجة الرسومات (GPU) من خلال المعالجة غير المتزامنة، وخوارزمية المعالجة المتواصلة للدُفعات، والحساب الموازي على وحدة معالجة الرسومات (GPU)، مما يسمح بتوليد نص عالي الأداء على نطاق واسع. يوفر هذا رؤى قيّمة لخبراء هندسة الذكاء الاصطناعي الذين ينشرون نماذج اللغات الكبيرة، وأولئك المهتمين بفهم كيفية تقديم نماذج اللغات الكبيرة بكفاءة.

اقرأ المزيد
الذكاء الاصطناعي استدلال النموذج

محركات أقراص الحالة الثابتة NVMe المحلية: مستقبل قواعد البيانات السحابية؟

2025-06-02
محركات أقراص الحالة الثابتة NVMe المحلية: مستقبل قواعد البيانات السحابية؟

تم تصميم التخزين السحابي في البداية حول قيود الأجهزة القديمة، باستخدام أقراص متصلة بالشبكة لتحسين المتانة والقدرة على التوسع. ومع ذلك، فإن محركات أقراص الحالة الثابتة NVMe الاقتصادية اليوم توفر أداءً أفضل بكثير. تُظهر هذه المقالة أن قواعد بيانات PostgreSQL التي تستخدم محركات أقراص الحالة الثابتة NVMe المحلية تتفوق على AWS RDS و Aurora عدة مرات في معايير TPC-C و TPC-H. على الرغم من أن التخزين المتصل بالشبكة يحتفظ بمزايا في المرونة والمتانة، إلا أن موثوقية وملاءمة التكلفة لمحركات أقراص الحالة الثابتة NVMe تعوض الآن إلى حد كبير، مما يجعل محركات أقراص الحالة الثابتة NVMe المحلية خيارًا جذابًا لمستقبل قواعد البيانات السحابية.

اقرأ المزيد

آلات Ubicloud الافتراضية القابلة للانفجار: تقطيع وحدة المعالجة المركزية باستخدام cgroups v2

2025-05-02
آلات Ubicloud الافتراضية القابلة للانفجار: تقطيع وحدة المعالجة المركزية باستخدام cgroups v2

أطلقت Ubicloud، وهي بديل مفتوح المصدر لـ AWS، آلات افتراضية قابلة للانفجار لتقليل تكاليف الحوسبة السحابية. باستخدام تقنية Linux cgroups v2، تعمل هذه الآلات الافتراضية على جزء صغير من موارد وحدة المعالجة المركزية المشتركة، مع زيادة استخدامها أثناء ذروات الأحمال. تشرح المقالة بالتفصيل تكوين واستخدام cgroups v2، بما في ذلك وحدات التحكم cpuset و cpu، والإدارة عبر نظام الملفات الظاهري أو systemd. أظهرت الاختبارات أن الآلات الافتراضية القابلة للانفجار تحقق زيادة في الأداء بنسبة 30٪ تقريبًا تحت الأحمال الخفيفة، ولكن هذا يقتصر على قيود المقاطع الزمنية الدقيقة لـ cgroups v2.

اقرأ المزيد

كابوس موثوقية خادم Hetzner AX162: رحلة تصحيح أخطاء مؤلمة

2025-02-19
كابوس موثوقية خادم Hetzner AX162: رحلة تصحيح أخطاء مؤلمة

واجهت شركة Ubicloud مشاكل خطيرة في موثوقية خوادم Hetzner AX162 الجديدة: حيث كانت نسبة الأعطال أعلى بـ 16 مرة من سابقتها AX161. بعد أشهر من تصحيح الأخطاء، اشتبهوا في أن الحد من استهلاك الطاقة من قبل Hetzner وعيوب في اللوحة الأم هما السببان الرئيسيان. أدت ترقيات الأجهزة المتعددة، خاصة استبدال اللوحات الأم، إلى حل المشكلة في النهاية. علمتهم هذه التجربة مخاطر التبني المبكر وأدت إلى تحسينات في العمليات، بما في ذلك عمليات فحص أكثر شمولاً ونشرًا تدريجيًا للأجهزة.

اقرأ المزيد

غوص عميق في تقنية المحاكاة الافتراضية السحابية: Red Hat و AWS Firecracker و Ubicloud من الداخل

2025-01-24
غوص عميق في تقنية المحاكاة الافتراضية السحابية: Red Hat و AWS Firecracker و Ubicloud من الداخل

تتناول هذه المدونة بالتفصيل بنى تقنية المحاكاة الافتراضية السحابية الأساسية، باستخدام Red Hat و AWS Firecracker و Ubicloud كدراسات حالة لمقارنة اختلافاتها في مراقبي الآلات الافتراضية (VMMs)، والمحاكاة الافتراضية للنواة، وعزل الموارد. تشرح هذه المدونة أدوار المكونات الأساسية مثل KVM و QEMU و libvirt، وتحليل استخدام تقنيات مثل cgroups و nftables و seccomp-bpf في تحقيق عزل الموارد والأمان. كما يقارن الكاتب نظام AWS Nitro، ملخصًا تطور تقنية المحاكاة الافتراضية السحابية وأهمية تقنية المصدر المفتوح في هذا المجال.

اقرأ المزيد