Bruin : Construisez des pipelines de données avec SQL et Python
2024-12-17
Bruin est un outil puissant de pipeline de données qui combine l'ingestion de données, la transformation de données avec SQL et Python, et les contrôles de qualité des données en un seul framework. Il fonctionne avec les principales plates-formes de données et s'exécute sur votre machine locale, une instance EC2 ou GitHub Actions. Les fonctionnalités clés incluent l'ingestion de données, les transformations SQL et Python, les contrôles de qualité des données, les modèles Jinja, la validation de bout en bout et la prise en charge de plusieurs environnements. Les pipelines sont facilement définis à l'aide d'un simple fichier pipeline.yml.
Développement
pipeline de données