Apache DataFusion: Um poderoso mecanismo de consulta extensível em Rust
2025-01-16
O Apache DataFusion é um mecanismo de consulta extensível escrito em Rust que usa o Apache Arrow como seu formato de memória. Ele oferece APIs SQL e DataFrame, possui excelente desempenho e suporte integrado para CSV, Parquet, JSON e Avro. O DataFusion possui um planejador de consultas completo, um mecanismo de execução colunar, de streaming, multi-threaded, vetorizado e fontes de dados particionadas. É altamente personalizável, permitindo a adição de fontes de dados, linguagens de consulta, funções, operadores personalizados e muito mais. Subprojetos relacionados incluem DataFusion Python (bindings Python), DataFusion Ray (versão distribuída) e DataFusion Comet (acelerador Apache Spark).
Desenvolvimento
Mecanismo de Consulta