Polars Cloud: Uma Plataforma Escalável e Serverless para Processamento de DataFrames

A equipe Polars está construindo o Polars Cloud, uma plataforma de API de DataFrame flexível com base em computação de alto desempenho. Ele visa preencher a lacuna entre Pandas e PySpark, oferecendo facilidade de uso e escalabilidade. O Polars Cloud suporta computação distribuída, computação sem servidor, hardware configurável (GPU e CPU), escalonamento diagonal (horizontal e vertical), suporte multicloud (AWS, Azure, GCP), licenciamento local, tolerância a falhas, linhagem de dados e observabilidade. Os usuários podem executar consultas remotamente com chamadas simples da API, suportando modos batch e interativo. O Polars Cloud também suporta várias estratégias de escalonamento, incluindo consultas distribuídas, particionadas e paralelas, para lidar com várias necessidades de processamento de dados.