TinyStories: هل لا تزال نماذج اللغات الصغيرة قادرة على إنتاج نصوص إنجليزية متماسكة؟
2025-01-02
يقدم الباحثون TinyStories، وهي مجموعة بيانات اصطناعية من القصص القصيرة التي تستخدم فقط المفردات التي يفهمها الأطفال من سن 3 إلى 4 سنوات، تم إنشاؤها بواسطة GPT-3.5 و GPT-4. يُظهرون أن نماذج اللغات المدربة على TinyStories، حتى تلك التي تحتوي على أقل من 10 ملايين معلمة وهياكل بسيطة (كتلة محول واحدة)، يمكن أن تولد قصصًا متماسكة وسلسة من فقرات متعددة، وتظهر قواعد نحوية و قدرات استدلالية جيدة بشكل مدهش. هذا يتحدى فكرة أن إنشاء نص متماسك يتطلب نماذج ضخمة وهياكل معقدة، ويقدم أسلوبًا جديدًا للتقييم يستخدم GPT-4 لتصنيف القصص المُولدة مثل معلم بشري، متغلبًا على قيود المعايير القياسية.