الثلاثي المميت: تحديات جديدة في أمن نماذج اللغات الكبيرة

ركز حديثٌ في مجال أمن الذكاء الاصطناعي على حقن المُحفزات (prompt injection)، وهو هجومٌ جديدٌ يستغل نقاط الضعف المتأصلة في نماذج اللغات الكبيرة (LLMs) المبنية من خلال دمج السلاسل النصية. صاغ المتحدث مصطلح "الثلاثي المميت"، الذي يصف ثلاثة شروط للهجوم: وصول LLM إلى البيانات الخاصة، وتنفيذ عمليات استدعاء الأدوات، وإخراج البيانات. نوقشت أمثلة عديدة لهجمات حقن المُحفزات، مُسلطة الضوء على عدم كفاية وسائل الدفاع الحالية، وتأكيد الحاجة إلى تقييد وصول LLM إلى المدخلات غير الموثوقة بشكل أساسي. تناول العرض التقديمي أيضًا ثغرات أمنية في بروتوكول سياق النموذج (MCP)، مُشيرًا إلى أن أسلوبه القائم على المزج والمطابقة يُحوّل مسؤولية الأمن بشكل غير معقول إلى المستخدمين النهائيين.