Bruin: بناء خطوط أنابيب البيانات باستخدام SQL و Python
2024-12-17
Bruin هي أداة قوية لأنابيب البيانات تجمع بين استخراج البيانات، وتحويل البيانات باستخدام SQL و Python، والتحقق من جودة البيانات في إطار عمل واحد. تعمل مع منصات البيانات الرئيسية وتعمل على جهازك المحلي، أو مثيل EC2، أو GitHub Actions. تشمل الميزات الرئيسية استخراج البيانات، وتحويلات SQL و Python، والتحقق من جودة البيانات، وقوالب Jinja، والتحقق من النهاية إلى النهاية، ودعم بيئات متعددة. يتم تعريف خطوط الأنابيب بسهولة باستخدام ملف pipeline.yml بسيط.
التطوير
خط أنابيب البيانات