Apache Icebergにおける等値削除問題：RisingWaveによる解決策
2025-08-13
Apache Icebergはデータインフラストラクチャにおいてホットトピックとなっていますが、リアルタイムデータストリーミングには課題があります。主流のシステムは、Change Data Capture（CDC）をIcebergに直接書き込むことをネイティブにサポートしていません。この記事では、Icebergの2つの削除メカニズム、位置削除と等値削除について詳しく説明します。等値削除はストリーミングCDCに適していますが、クエリのパフォーマンスに影響を与え、多くの主流エンジンはこれをサポートしていません。RisingWaveは、ハイブリッドな削除戦略（バッチ更新には位置削除、その他は等値削除）とスケジューリング可能な圧縮によってこの問題を解決し、エンドツーエンドのストリーミングCDCからIcebergへのパイプラインを実現しました。これはSiemensなどの企業で成功裏に導入され、データの可用性を大幅に向上させています。
続きを読む
開発