dataframely : Une bibliothèque de validation de DataFrame native de Polars

2025-04-30

Les efforts de QuantCo pour moderniser une base de code héritée ont révélé un défaut critique dans le traitement de leurs DataFrames : l’absence de validation. La migration de pandas à Polars, pour des gains de performances, a mis en évidence ce problème. Des bibliothèques existantes comme pandera et patito se sont avérées insuffisantes. Pour y remédier, ils ont développé dataframely, une bibliothèque native de Polars permettant la validation déclarative de DataFrames. dataframely définit des schémas, valide le contenu des DataFrames, prend en charge la validation entre DataFrames et offre une validation souple, améliorant ainsi considérablement la robustesse et la lisibilité des pipelines. Elle est déjà utilisée dans plusieurs équipes et projets.

Développement validation des données