Apache DataFusion：一个强大的Rust编写的可扩展查询引擎
2025-01-16
Apache DataFusion是一个用Rust编写的可扩展查询引擎，它使用Apache Arrow作为其内存格式。它提供SQL和DataFrame API，支持CSV、Parquet、JSON和Avro等多种数据格式，并具有出色的性能和可定制性。DataFusion拥有完整的查询规划器、列式、流式、多线程、矢量化执行引擎以及分区数据源，几乎可以在所有方面进行定制，包括添加数据源、查询语言、函数和自定义运算符。它还拥有相关的子项目，例如DataFusion Python、DataFusion Ray和DataFusion Comet，分别提供Python接口、分布式版本和Apache Spark加速器。