رموز شاذة في DeepSeek: كتالوج للأعطال
اكتشف باحث مجموعة من "الرموز الشاذة" في نموذج اللغة الكبير مفتوح المصدر DeepSeek-V3 و r1. هذه الرموز، عند إدخالها، تجعل النموذج يُظهر سلوكًا غريبًا، مثل استبدال الكلمات برموز Unicode غير عادية أو اختصارات أو رموز تعبيرية. قام الباحث باختبار كل رمز من مفردات DeepSeek بشكل منهجي، مع تحديد و تصنيف هذه الأعطال. بعض الرموز، المسماة "الرموز المجزأة"، تُظهر فقط شذوذًا في سياقات محددة. رموز أخرى، مثل "Nameeee" و "EDMFunc"، تُنتج باستمرار استبدالات غريبة. "Nameeee" ينتج غالبًا كلمات أو رموزًا مرتبطة بـ "M"، بينما يفضل "EDMFunc" الكلمات التي تبدأ بـ "H" والأسماء اليابانية. تم العثور أيضًا على العديد من الرموز الشاذة غير الإنجليزية، بشكل أساسي من السيبواانو ولغات الفلبين الأخرى. الرموز الخاصة مثل "<｜end of thinking｜>" قد تُعطل وظائف النموذج بشكل أكبر. هذه الأبحاث تقدم رؤى قيّمة حول آلية عمل نماذج اللغة الكبيرة و تُمهد الطريق لأبحاث مستقبلية.
اقرأ المزيد