Apache Hudi: 빅데이터의 Upsert, 삭제, 증분 처리
2025-01-23
Apache Hudi는 여러 클라우드 데이터 환경에서 데이터를 수집, 색인, 저장, 제공, 변환 및 관리하기 위해 고성능 오픈 테이블 형식을 기반으로 구축된 오픈소스 데이터 레이크하우스 플랫폼입니다. 다양한 데이터 형식과 소스를 지원하며, 롤백/복원 기능이 있는 원자적 커밋을 제공하고, 빠른 upsert/삭제 기능을 갖추고 있습니다. 확장 가능한 색인 하위 시스템은 쿼리를 가속화하며, 스냅샷, 증분, 타임 트래블 쿼리 지원을 통해 유연성을 높입니다. Apache Hive Metastore와 같은 메타데이터 저장소와의 통합도 포함되어 있습니다.