xorq:简化多引擎机器学习管道的利器
2025-03-27
xorq是一个延迟计算框架,它将声明式管道的可重复性和性能带入Python机器学习生态系统。它使我们能够编写永不耗尽内存的pandas风格转换,自动缓存中间结果,并在SQL引擎和Python UDF之间无缝切换,同时保持可重复性。xorq构建在Ibis和DataFusion之上,具有声明式表达式、多引擎支持、内置缓存、可序列化管道、可移植UDF和Arrow原生架构等特性,并提供交互式库和命令行界面,方便从探索性研究过渡到生产就绪型工件。
开发