Apache DataFusion Comet:Apache Spark 高性能加速器
2024-05-31
Apache DataFusion Comet 是一款构建于 Apache DataFusion 查询引擎之上的高性能 Apache Spark 加速器。Comet 旨在显著增强 Apache Spark 工作负载的性能,同时利用现有硬件并与 Spark 生态系统无缝集成,无需更改任何代码。它具有多项优势:大幅提升 Spark 查询速度,在 TPC-H 测试中,整体运行时间缩短了 1.5 倍;可以使用现有硬件,无需昂贵的硬件升级;与 Apache Spark 完全兼容,无需更改代码即可集成到现有 Spark 部署中;与 Apache DataFusion 紧密集成,利用其强大的执行引擎。
56