Bruin: Erstellen Sie Datenpipelines mit SQL und Python
2024-12-17
Bruin ist ein leistungsstarkes Tool für Datenpipelines, das Datenaufnahme, Datentransformation mit SQL und Python sowie Datenqualitätsprüfungen in einem einzigen Framework vereint. Es funktioniert mit den wichtigsten Datenplattformen und läuft auf Ihrem lokalen Rechner, einer EC2-Instanz oder GitHub Actions. Zu den Hauptfunktionen gehören Datenaufnahme, SQL- und Python-Transformationen, Datenqualitätsprüfungen, Jinja-Templating, End-to-End-Validierung und Unterstützung für mehrere Umgebungen. Pipelines werden einfach mit einer einfachen pipeline.yml-Datei definiert.
Entwicklung
Datenpipeline