Apache Hudi: Upserts, Deleções e Processamento Incremental para Big Data
2025-01-23
O Apache Hudi é uma plataforma de data lakehouse de código aberto, construída em um formato de tabela aberta de alto desempenho para ingerir, indexar, armazenar, servir, transformar e gerenciar seus dados em vários ambientes de dados na nuvem. Ele suporta vários formatos de dados e fontes, oferece commits atômicos com suporte de rollback/restauração e possui recursos rápidos de upsert/delete. Um subsistema de indexação escalonável acelera as consultas, enquanto o suporte para consultas de snapshot, incrementais e de viagem no tempo oferece flexibilidade. A integração com armazenamentos de metadados como o Apache Hive Metastore também está incluída.
Desenvolvimento
processamento incremental