SmallPond: إطار عمل خفيف لمعالجة البيانات

SmallPond هو إطار عمل خفيف وعالي الأداء لمعالجة البيانات، مبني على DuckDB و 3FS. يُمكنه معالجة مجموعات بيانات ضخمة تصل إلى مستوى البيتابايت بدون الحاجة إلى خدمات تعمل لفترة طويلة، ويدعم بايثون من الإصدار 3.8 إلى 3.12. تتيح واجهة برمجته البسيطة سهولة تحميل البيانات ومعالجتها وحفظها. أظهر اختبار GraySort على مجموعة من 50 عقدة حوسبة و 25 عقدة تخزين تعمل على 3FS، أن SmallPond قام بفرز 110.5 تيرابايت من البيانات في 30 دقيقة و 14 ثانية، محققًا معدل إنتاجية متوسطًا يبلغ 3.66 تيرابايت/دقيقة.