نشأة كافكا: ملحمة دمج البيانات
2025-08-24
في عام 2012، واجهت لينكدإن تحديًا هائلاً في دمج البيانات. كانت أنابيب البيانات الموجودة غير فعالة، وغير قابلة للتطوير، وعانت من عزل البيانات. لحل هذه المشكلة، قاموا بإنشاء Apache Kafka. تتعمق هذه المقالة في أصول كافكا، وكيف أن تصميمه كان مدفوعًا بالحاجة إلى المتانة، وقابلية التطوير، والقدرات في الوقت الحقيقي، ودمج البيانات السلس. وهي تستكشف كيف استخدمت لينكدإن بذكاء مخططات Avro وسجل المخططات لضمان اتساق البيانات وتوافقها، لتحقيق إدارة بيانات فعالة في النهاية. كما تعكس المقالة على نقص دعم المخططات من الدرجة الأولى في كافكا، وتقارنه بالنهج الأحدث مثل فلسفة Buf التي تضع المخططات في المقام الأول.
التطوير
المخطط