Decodificando a Atividade Cerebral da Linguagem Humana com o Whisper

Pesquisadores usaram o modelo Whisper para analisar sinais de ECoG e fala de quatro pacientes com epilepsia durante conversas naturais. Os resultados mostraram que as incorporações acústicas, de fala e de linguagem do Whisper previram com precisão a atividade neural, especialmente durante a produção e compreensão da fala. As incorporações de fala se destacaram em áreas perceptivas e motoras, enquanto as incorporações de linguagem tiveram melhor desempenho em áreas de linguagem de nível superior. O estudo revela como as informações de fala e linguagem são codificadas em várias regiões cerebrais e como as informações de fala influenciam o processamento da linguagem. Também foram descobertas dinâmicas temporais distintas do fluxo de informações durante a produção e compreensão da fala, e diferenças entre modelos de aprendizado profundo e modelos simbólicos na previsão da atividade neural.