Bruin: Construa pipelines de dados com SQL e Python
2024-12-17
Bruin é uma poderosa ferramenta de pipeline de dados que combina ingestão de dados, transformação de dados com SQL e Python e verificações de qualidade de dados em uma única estrutura. Funciona com as principais plataformas de dados e é executado em sua máquina local, em uma instância EC2 ou em GitHub Actions. Recursos importantes incluem ingestão de dados, transformações SQL e Python, verificações de qualidade de dados, modelos Jinja, validação de ponta a ponta e suporte para vários ambientes. Os pipelines são facilmente definidos usando um simples arquivo pipeline.yml.
Desenvolvimento
pipeline de dados