dataframely: Eine Polars-native Bibliothek zur Datenrahmen-Validierung
QuantCos Bemühungen, eine alte Codebasis zu modernisieren, zeigten einen kritischen Fehler in der Verarbeitung ihrer DataFrames auf: das Fehlen von Validierung. Die Migration von pandas zu Polars zur Leistungssteigerung hob dieses Problem hervor. Bestehende Bibliotheken wie pandera und patito erwiesen sich als unzureichend. Um dies zu beheben, entwickelten sie dataframely, eine Polars-native Bibliothek, die eine deklarative Datenrahmen-Validierung ermöglicht. dataframely definiert Schemata, validiert den Inhalt von DataFrames, unterstützt die Validierung zwischen DataFrames und bietet eine weiche Validierung, wodurch die Robustheit und Lesbarkeit von Pipelines erheblich verbessert werden. Es wird bereits in mehreren Teams und Projekten eingesetzt.
Mehr lesen