حل مشكلة حذف المساواة في Apache Iceberg: نهج RisingWave

أصبح Apache Iceberg موضوعًا ساخنًا في بنية البيانات الأساسية، لكن دفق البيانات في الوقت الفعلي يمثل تحديات. لا تدعم الأنظمة التقليدية كتابة التقاط بيانات التغيير (CDC) مباشرةً في Iceberg. تتناول هذه المقالة آليتي الحذف في Iceberg: حذف الموقع وحذف المساواة. حذف المساواة مناسب لدفق CDC، لكنه يؤثر على أداء الاستعلامات، ولا تدعمه العديد من محركات الأنظمة التقليدية. يحل RisingWave هذه المشكلة من خلال إستراتيجية حذف هجينة (حذف الموقع للتحديثات الدفعية، وحذف المساواة لحالات أخرى) والضغط القابل للجدولة، مما يسمح بخط أنابيب دفق CDC إلى Iceberg من الطرف إلى الطرف، وقد تم نشره بنجاح في شركات مثل Siemens، مما يحسن بشكل كبير من توفر البيانات.