xorq: Vereinfachung von Multi-Engine-ML-Pipelines
xorq ist ein Framework für verzögerte Berechnungen, das die Reproduzierbarkeit und Leistung deklarativer Pipelines in das Python-ML-Ökosystem bringt. Es ermöglicht das Schreiben von pandas-artigen Transformationen, die niemals den Speicher erschöpfen, zwischengespeicherte Ergebnisse automatisch zu cachen und nahtlos zwischen SQL-Engines und Python-UDFs zu wechseln – und das alles bei gleichzeitiger Wahrung der Reproduzierbarkeit. xorq basiert auf Ibis und DataFusion und bietet deklarative Ausdrücke, Multi-Engine-Unterstützung, integriertes Caching, serialisierbare Pipelines, portable UDFs und eine Arrow-native Architektur. Es bietet sowohl eine interaktive Bibliothek als auch eine Befehlszeilenschnittstelle für einen nahtlosen Übergang von der explorativen Forschung zu produktionsreifen Artefakten.