فك تشفير نشاط الدماغ اللغوي البشري باستخدام Whisper

استخدم الباحثون نموذج Whisper لتحليل إشارات تخطيط كهربية القشرة الدماغية (ECoG) وإشارات الكلام من أربعة مرضى مصابين بالصرع أثناء محادثات طبيعية. أظهرت النتائج أن التضمينات الصوتية، والكلام، واللغة من Whisper تنبأت بدقة بالنشاط العصبي، خاصة أثناء إنتاج الكلام وفهمه. برزت تضمينات الكلام في المناطق الحسية والحركية، بينما حققت تضمينات اللغة أداءً أفضل في المناطق اللغوية ذات المستوى الأعلى. تكشف الدراسة عن كيفية ترميز معلومات الكلام واللغة عبر مناطق متعددة في الدماغ، وكيف تؤثر معلومات الكلام على معالجة اللغة. كما تم اكتشاف ديناميكيات زمنية مميزة لتدفق المعلومات أثناء إنتاج الكلام وفهمه، بالإضافة إلى الاختلافات بين نماذج التعلم العميق والنماذج الرمزية في التنبؤ بالنشاط العصبي.