Whisperによる人間の脳言語活動の解読

研究者らは、Whisperモデルを用いて、4人のてんかん患者が自然な会話を行っている間のECoG信号と音声信号を分析しました。その結果、Whisperの音響、音声、言語の埋め込みが、特に音声生成と理解中に、ニューラル活動を正確に予測することが示されました。音声埋め込みは知覚運動領域で優れており、言語埋め込みはより高次の言語領域で優れたパフォーマンスを示しました。この研究は、音声と言語の情報が脳の複数の領域でどのように符号化され、音声情報が言語処理にどのように影響するかを明らかにしています。また、音声生成と理解における情報の流れの異なる時間的ダイナミクス、そしてニューラル活動を予測する上での深層学習モデルと記号モデルの違いも発見されました。