dataframely: Uma biblioteca de validação de DataFrames nativa do Polars

2025-04-30

O esforço da QuantCo para modernizar uma base de código antiga revelou uma falha crítica no processamento de seus DataFrames: falta de validação. A migração do pandas para o Polars, buscando ganhos de desempenho, destacou esse problema. Bibliotecas existentes como pandera e patito se mostraram insuficientes. Para resolver isso, eles desenvolveram o dataframely, uma biblioteca nativa do Polars que permite a validação declarativa de DataFrames. O dataframely define esquemas, valida o conteúdo do DataFrame, suporta validação entre DataFrames e oferece validação suave, melhorando significativamente a robustez e a legibilidade dos pipelines. Já está em uso em várias equipes e projetos.

Desenvolvimento validação de dados