Apache Iceberg의 등치 삭제 문제: RisingWave의 해결책

Apache Iceberg는 데이터 인프라에서 주목받는 기술이지만, 실시간 데이터 스트리밍은 여전히 과제입니다. 주요 시스템들은 Change Data Capture(CDC)를 Iceberg에 직접 작성하는 것을 기본적으로 지원하지 않습니다. 이 글에서는 Iceberg의 두 가지 삭제 메커니즘인 위치 삭제와 등치 삭제를 자세히 살펴봅니다. 등치 삭제는 스트리밍 CDC에 적합하지만 쿼리 성능에 영향을 미치며, 많은 주요 엔진들이 이를 지원하지 않습니다. RisingWave는 하이브리드 삭제 전략(배치 업데이트에는 위치 삭제, 그 외에는 등치 삭제)과 예약 가능한 압축을 통해 이 문제를 해결하여 엔드투엔드 스트리밍 CDC에서 Iceberg로의 파이프라인을 구현했습니다. 이는 Siemens 등의 기업에서 성공적으로 도입되어 데이터 가용성을 크게 향상시켰습니다.