Apache DataFusion Comet：Apache Spark 高性能加速器
2024-05-31
Apache DataFusion Comet 是一款构建于 Apache DataFusion 查询引擎之上的高性能 Apache Spark 加速器。Comet 旨在显著增强 Apache Spark 工作负载的性能，同时利用现有硬件并与 Spark 生态系统无缝集成，无需更改任何代码。它具有多项优势：大幅提升 Spark 查询速度，在 TPC-H 测试中，整体运行时间缩短了 1.5 倍；可以使用现有硬件，无需昂贵的硬件升级；与 Apache Spark 完全兼容，无需更改代码即可集成到现有 Spark 部署中；与 Apache DataFusion 紧密集成，利用其强大的执行引擎。
55