مُطابقات Whisper مُدهشة مع نشاط الدماغ البشري أثناء الكلام

تكشف دراسة عن تطابق مُدهش بين نموذج التعرف على الكلام Whisper من OpenAI والنشاط العصبي في الدماغ البشري أثناء المحادثات الطبيعية. من خلال مُقارنة مُطابقات Whisper مع النشاط الدماغي في مناطق مثل الجيروس الأمامي السفلي (IFG) والجيروس الصدغي العلوي (STG) ، وجد الباحثون أن مُطابقات اللغة بلغت ذروتها قبل مُطابقات الكلام أثناء إنتاج الكلام ، والعكس صحيح أثناء الفهم. هذا يُشير إلى أن Whisper ، على الرغم من عدم تصميمه مع وضع آليات الدماغ في الاعتبار ، يُمسك بجوانب أساسية من معالجة اللغة. كما تُبرز النتائج "هيكلية ناعمة" في معالجة اللغة في الدماغ: المناطق ذات الرتبة الأعلى مثل IFG تُعطي الأولوية للمعلومات الدلالية والنحوية ، لكنها تُعالج أيضًا ميزات سمعية منخفضة المستوى ، بينما تُعطي المناطق ذات الرتبة الأدنى مثل STG الأولوية للمعالجة الصوتية والسمعية ، لكنها تُمسك أيضًا بمعلومات على مستوى الكلمات.