Transformer²: نماذج اللغات الكبيرة ذاتية التكيف تحقق إنجازًا جديدًا
2025-01-15
Transformer² هو نظام جديد للتعلم الآلي يضبط أوزانه ديناميكيًا لمهام متنوعة. مستوحى من آليات التكيف في الطبيعة، مثل تغيير لون الأخطبوط أو إعادة توصيل الدماغ لنفسه، يسمح هذا النظام للنماذج اللغوية الكبيرة (LLMs) بالتكيف مع المهام الجديدة في الوقت الحقيقي. باستخدام تحليل القيمة المفردة (SVD) وتعلم التعزيز (RL)، يقوم Transformer² بتفكيك أوزان النموذج إلى مكونات مستقلة ويتعلم كيفية دمجها بشكل مثالي لمهام متنوعة، بما في ذلك الرياضيات والترميز والتفكير والفهم البصري. تُظهر النتائج أن Transformer² يتفوق على النهج الثابتة التقليدية مثل LoRA من حيث الكفاءة والأداء الخاص بالمهمة، مع الحاجة إلى عدد أقل بكثير من المعلمات. هذا العمل يمهد الطريق لبناء أنظمة ذكاء اصطناعي "حية" تتعلم وتتطور باستمرار.
اقرأ المزيد
الذكاء الاصطناعي