dataframely: Una biblioteca de validación de DataFrames nativa de Polars
2025-04-30
El esfuerzo de QuantCo para modernizar una base de código heredada reveló un fallo crítico en el procesamiento de sus DataFrames: la falta de validación. La migración de pandas a Polars, buscando ganancias de rendimiento, puso de manifiesto este problema. Bibliotecas existentes como pandera y patito resultaron insuficientes. Para solucionarlo, desarrollaron dataframely, una biblioteca nativa de Polars que permite la validación declarativa de DataFrames. dataframely define esquemas, valida el contenido del DataFrame, admite la validación entre DataFrames y ofrece validación suave, mejorando significativamente la robustez y la legibilidad de los pipelines. Ya se utiliza en varios equipos y proyectos.
Desarrollo
validación de datos