بناء وكلاء الذكاء الاصطناعي للمؤسسات باستخدام Flink SQL: ربط نماذج اللغات الكبيرة بالبيانات الداخلية

2025-06-18

تتناول هذه المقالة بناء وكلاء الذكاء الاصطناعي للمؤسسات باستخدام Flink SQL، وربط نماذج اللغات الكبيرة (LLMs) بالبيانات والموارد الداخلية. بالنسبة للبيانات المنظمة، تدمج دلالات الانضمام SQL في Flink SQL بسهولة بيانات قواعد البيانات الخارجية مع إدخال LLM. بالنسبة للبيانات غير المنظمة، تقترح المقالة توليدًا معززًا بالاسترجاع (RAG)، حيث يتم ترميز البيانات في متجهات مخزنة في قاعدة بيانات متجهة، ثم يتم الاستعلام عنها ودمجها عبر دعم نوع المتجه في Flink SQL. باستخدام مثال تلخيص أوراق البحث وتضمين الأبحاث الداخلية، توضح المقالة كيفية بناء نظام وكيل ذكاء اصطناعي باستخدام وظيفتين Flink SQL: تقوم إحداهما بتحديث مخزن المتجهات، والأخرى تستعلم وتستدعي LLM. وأخيرًا، تذكر المقالة استخدام دوال جدول العمليات (PTFs) لدمج معيار MCP من Anthropic لبناء وكلاء ذكاء اصطناعي أكثر مرونة.

اقرأ المزيد
التطوير

البث مقابل المعالجة الدُفْعِيَّة: الأمر يتعلق في الواقع بالدفع مقابل السحب

2025-05-18

النقاش الشائع حول "البث مقابل المعالجة الدُفْعِيَّة" مضلل. تستخدم العديد من أنظمة البث المعالجة الدُفْعِيَّة داخليًا لتحسين الأداء، لكن التمييز الحقيقي يكمن في دلالات معالجة البيانات: أنظمة "الدفع" تُقدّم البيانات في الوقت الفعلي، مما يوفر عرضًا كاملاً وفي الوقت المناسب؛ أنظمة "السحب" تستعلم عن البيانات بشكل دوري، مما قد يؤدي إلى فقدان التحديثات والحذف. على الرغم من أن نظام "الدفع" أكثر تعقيدًا، إلا أن ميزته في الوقت الفعلي مُقنِعة. بمجرد تجربة سحر تحديث البيانات على مستوى الثانية، لن ترغب في العودة مرة أخرى. من الناحية العملية، يكمل كلا النهجين بعضهما البعض، حيث تُستخدم المعالجة الدُفْعِيَّة غالبًا لإعادة التعبئة في أنظمة البث.

اقرأ المزيد

مستقبل كافكا: ما بعد التقسيمات، نحو نظام رسائل أكثر قوة

2025-04-25

تتناول هذه المقالة التحسينات المستقبلية لكافكا، والتي تتمحور حول التخلي عن الوصول القائم على التقسيمات والانتقال إلى نهج يركز على المفاتيح. سيؤدي هذا إلى تمكين الوصول إلى البيانات وإعادة تشغيلها بكفاءة أكبر، وتوسيع نطاق المستهلكين ديناميكيًا، وحل مشكلات حظر رأس الخط. بالإضافة إلى ذلك، تقترح المقالة ميزات مثل التسلسلات الهرمية للمواضيع، والتحكم في التزامن، ودعم المخططات من جانب وسيط الرسائل، وقابلية التوسع، واستدعاءات الالتزام المتزامنة، وإنشاء لقطات، ودعم متعدد المستأجرين، وذلك لتحسين أداء كافكا وموثوقيته وسهولة استخدامه، مما يجعله أكثر ملاءمة لتطبيقات البيانات الحديثة.

اقرأ المزيد
التطوير نظام الرسائل

ذاكرة التخزين المؤقت AOT لـ Kafka 4.0 تعزز وقت بدء التشغيل بنسبة 59%

2025-03-28

تُظهر هذه المقالة كيفية الاستفادة من عملية التجميع المسبق (AOT) في Java لتحسين وقت بدء تشغيل Apache Kafka 4.0 بشكل كبير. من خلال إنشاء ملف ذاكرة تخزين مؤقت AOT، تمكن الكاتب من تقليل وقت بدء تشغيل Kafka من 690 ميلي ثانية إلى 285 ميلي ثانية، وهو تحسن مذهل بنسبة 59%. اشتملت العملية على التغلب على تعارض JMX، مما أدى في النهاية إلى إنشاء وتطبيق ذاكرة التخزين المؤقت AOT بنجاح، مما أدى إلى مكاسب كبيرة في الأداء.

اقرأ المزيد

ميزانية التزامن: تقليل المكالمات المتزامنة في الأنظمة الموزعة

2025-03-27

تتناول هذه المقالة أهمية إدارة المكالمات المتزامنة عند بناء أنظمة الخدمات الموزعة. يقدم الكاتب مفهوم "ميزانية التزامن"، وينادي بتقليل الطلبات المتزامنة بين الخدمات لتحسين الأداء والتوفر. المكالمات المتزامنة مكلفة، مما يؤثر على أوقات الاستجابة واستقرار النظام. باستخدام مثال معالجة الطلبات في التجارة الإلكترونية، توضح المقالة كيفية التعامل مع التفاعلات مع خدمات المخزون والشحن بشكل غير متزامن (مثل استخدام Kafka)، مع الاحتفاظ بالمكالمات المتزامنة للحالات التي تكون فيها ضرورية (مثل خدمات الدفع). يتناول الكاتب أيضًا نمط Outbox وتقنية CDC للتعامل مع تخزين الرسائل مؤقتًا ومزامنة البيانات في الاتصال غير المتزامن، مما يحقق في النهاية نظامًا موزعًا عالي الأداء وعالي التوفر.

اقرأ المزيد