تايتنز: بنية عصبية جديدة للتعلم عن طريق الحفظ وقت الاختبار
2025-01-16
يقدم الباحثون تايتنز، وهي بنية عصبية جديدة تجمع بين وحدة ذاكرة عصبية وآلية انتباهية لتذكر سياق تاريخي طويل الأمد بفعالية. وعلى عكس النماذج المتكررة التقليدية وآليات الانتباه، تُظهر تايتنز كفاءة ودقة أعلى في التعامل مع التسلسلات الطويلة، وتتفوق بشكل خاص في مهام "إيجاد إبرة في كومة قش". وتتفوق على نماذج ترانسفورمر والنماذج المتكررة الخطية الحديثة في العديد من المهام، بما في ذلك نمذجة اللغة، والتفكير المنطقي، والجينوميات، والمتسلسلات الزمنية، وتتوسع إلى نوافذ سياقية تتجاوز 2 مليون رمز.