Décodage de l'activité cérébrale du langage humain avec Whisper
Des chercheurs ont utilisé le modèle Whisper pour analyser les signaux d'ECoG et de parole de quatre patients épileptiques lors de conversations naturelles. Les résultats ont montré que les plongements acoustiques, de la parole et du langage de Whisper prédisaient avec précision l'activité neuronale, en particulier pendant la production et la compréhension de la parole. Les plongements de la parole excellaient dans les zones perceptives et motrices, tandis que les plongements du langage obtenaient de meilleurs résultats dans les zones du langage de niveau supérieur. L'étude révèle comment les informations de la parole et du langage sont codées dans plusieurs régions du cerveau et comment les informations de la parole influencent le traitement du langage. Des dynamiques temporelles distinctes du flux d'informations pendant la production et la compréhension de la parole ont également été découvertes, ainsi que des différences entre les modèles d'apprentissage profond et les modèles symboliques dans la prédiction de l'activité neuronale.