السعة المدهشة للتضمين في GPT-3: الهندسة متعددة الأبعاد وبرهان جونسون-ليندنشتراوس
2025-09-15
تتناول هذه المدونة كيفية استيعاب نماذج اللغات الكبيرة مثل GPT-3 ملايين المفاهيم المختلفة داخل مساحة تضمين متواضعة نسبيًا تبلغ 12,288 بعدًا. من خلال التجارب وتحليل برهان جونسون-ليندنشتراوس، يكشف الكاتب عن أهمية العلاقات المتجهية "شبه المتعامدة" في الهندسة متعددة الأبعاد، وطرق تحسين ترتيب المتجهات في مساحات التضمين لزيادة السعة. وتجد الدراسة أن مساحة تضمين GPT-3، حتى مع مراعاة الانحرافات عن التعامد الكامل، تتمتع بسعة مذهلة تكفي لتمثيل المعرفة والتفكير البشريين.
اقرأ المزيد