أرويو: مُحلل JSON فائق السرعة مبني على أرو
2025-03-26
يواجه محرك معالجة الدفق أرويو التحدي الرئيسي المتمثل في معالجة تدفقات البيانات الضخمة من نوع JSON بكفاءة. تشرح هذه المقالة كيف يستخدم أرويو تنسيق Arrow في الذاكرة القائم على الأعمدة واستراتيجية فك تشفير JSON من خطوتين لتحسين سرعة إلغاء تسلسل JSON بشكل كبير. الخطوة الأولى تبني بنية بيانات "شريط" مسطحة، بينما الخطوة الثانية تبني مصفوفات Arrow بالتوازي بناءً على المخطط. هذه الطريقة أسرع حتى 2.3 مرة من مُحللات إلغاء التسلسل القائمة على Jackson في اختبارات المقاييس. علاوة على ذلك، يوسع أرويو الدعم لـ JSON الخام ومعالجة البيانات غير الصحيحة، مما يتيح معالجة أكثر مرونة لبيانات الدفق في العالم الحقيقي.