إنتروبيا مخرجات نماذج اللغات الكبيرة: منظور نظري للمعلومات
2025-01-13
تستكشف هذه المشاركة مخرجات نماذج اللغات الكبيرة (مثل ChatGPT) من منظور نظري للمعلومات. يحسب المؤلف إنتروبيا كل رمز ناتج لقياس يقين النموذج في التنبؤ بالرمز التالي. تُظهر التجارب إنتروبيا منخفضة (يقين عالٍ) في نهاية الجمل أو أجزاء الكلمات، وإنتروبيا عالية (مزيد من عدم اليقين) في العبارات الوصفية. تُظهر مقارنة أنواع الرموز في الإنتروبيا المنخفضة مقابل العالية أن الإنتروبيا المنخفضة غالبًا ما ترتبط ببيانات واقعية (تحتوي على أسماء خاصة)، بينما ترتبط الإنتروبيا العالية بالعبارات الوصفية. يُستخدم مثال باللغة التاميلية لإيضاح إضافي، مع التأكيد على أهمية تمييز الحقيقة عن الزيف.
الذكاء الاصطناعي
نظرية المعلومات