smallpond و 3FS من DeepSeek: توسيع نطاق DuckDB إلى بيبيبايت
2025-03-02
أصدرت DeepSeek AI نظامي smallpond و 3FS، المصممين لتوسيع قاعدة بيانات DuckDB من أجل التعامل مع مجموعات بيانات بحجم بيتابايت. يُعد smallpond إطار عمل خفيف الوزن لمعالجة البيانات الموزعة، والذي يسمح لـ DuckDB بمعالجة البيانات بالتوازي عبر عقد متعددة، بينما يُعد 3FS نظام ملفات متوازية عالي الأداء يستخدم محركات أقراص الحالة الصلبة (SSDs) وتقنية شبكات RDMA لتحقيق إنتاجية عالية للغاية. ومع ذلك، فإن نشر هذه الأدوات واستخدامها أمر معقد، ويتطلب معدات متخصصة وخبرة في مجال DevOps. بالنسبة لمجموعات البيانات التي تقل عن 10 تيرابايت، تُعدّ استخدام مثيل DuckDB ذي عقدة واحدة أو حلول أبسط أكثر كفاءة. فقط عند التعامل مع مجموعات بيانات ضخمة تظهر smallpond و 3FS مزاياها.
التطوير
تخزين عالي الأداء