هجمات تسميم أدوات نماذج اللغة الكبيرة: تسميم المخطط الكامل وهجمات تسميم الأدوات المتقدمة

يسمح بروتوكول سياق النموذج (MCP) من أنثروبيك لنماذج اللغة الكبيرة (LLMs) بالتفاعل مع الأدوات الخارجية، لكن الباحثين اكتشفوا هجمات جديدة: هجمات تسميم الأدوات (TPAs). ركزت الأبحاث السابقة على حقول وصف الأدوات، لكن الاكتشافات الجديدة تكشف أن سطح الهجوم يمتد إلى مخطط الأداة بأكمله، والذي يُطلق عليه "تسميم المخطط الكامل" (FSP). والأكثر خطورة هي "هجمات تسميم الأدوات المتقدمة" (ATPAs)، التي تتحكم في مخرجات الأدوات، مما يجعل التحليل الثابت صعبًا. تخدع ATPAs نماذج اللغة الكبيرة (LLMs) لتسريب معلومات حساسة من خلال إنشاء رسائل خطأ مضللة أو مطالبات متابعة. تقترح الورقة التخفيف من هذه الهجمات من خلال الكشف الثابت، والإنفاذ الصارم، وفحص وقت التشغيل، والتحقق من سلامة السياق.