xorq: Simplificando Pipelines de ML com Múltiplos Engines
2025-03-27
xorq é uma estrutura de computação diferida que traz a reprodutibilidade e o desempenho de pipelines declarativos para o ecossistema Python ML. Permite escrever transformações no estilo pandas que nunca ficam sem memória, armazena em cache automaticamente os resultados intermediários e move-se perfeitamente entre engines SQL e UDFs Python, mantendo a reprodutibilidade. Construído sobre Ibis e DataFusion, xorq possui expressões declarativas, suporte para múltiplos engines, cache embutido, pipelines serializáveis, UDFs portáteis e arquitetura nativa Arrow. Oferece uma biblioteca interativa e uma CLI para uma transição suave da pesquisa exploratória para artefatos prontos para produção.
Desenvolvimento
reprodutibilidade