Polars Cloud:一个可扩展的、无服务器的 DataFrame 处理平台

2025-03-07
Polars Cloud:一个可扩展的、无服务器的 DataFrame 处理平台

Polars 团队正在构建 Polars Cloud,一个基于高性能计算的灵活 DataFrame API 平台。它旨在弥合 Pandas 和 PySpark 之间的差距,提供易用性和可扩展性。Polars Cloud 支持分布式计算、无服务器计算、可配置硬件(GPU 和 CPU)、水平和垂直扩展(对角线扩展)、多云支持(AWS、Azure、GCP)、本地许可、容错、数据血缘和可观察性。用户可以通过简单的 API 调用远程执行查询,并支持批量和交互式模式。Polars Cloud 还支持多种扩展策略,包括分布式查询、分区查询和并行查询,以应对各种规模的数据处理需求。

开发