Whisperの埋め込みが、驚くほど人間の脳活動と一致

研究により、OpenAIのWhisper音声認識モデルと、自然な会話中の人の脳の神経活動との間に驚くべき一致が見つかりました。Whisperの埋め込みと、下前頭回（IFG）や上側頭回（STG）などの脳の領域における脳活動を比較することで、研究者たちは、発話中は言語の埋め込みが音声の埋め込みよりも先にピークに達し、理解中は逆になることを発見しました。これは、脳のメカニズムを考慮せずに開発されたWhisperが、言語処理の重要な側面を捉えていることを示唆しています。また、この発見は、脳の言語処理における「ソフト階層」についても明らかにしています。IFGのような高次領域は、意味や構文情報に優先順位を付けますが、低レベルの聴覚特徴も処理します。一方、STGのような低次領域は、音響的および音声的な処理を優先しますが、単語レベルの情報も捉えます。