Dekodieren der menschlichen Gehirnaktivität von Sprache mit Whisper

Forscher haben das Whisper-Modell verwendet, um ECoG- und Sprachsignale von vier Epilepsiepatienten während natürlicher Gespräche zu analysieren. Die Ergebnisse zeigten, dass die akustischen, Sprach- und Spracheinbettungen von Whisper die neuronale Aktivität präzise vorhersagten, insbesondere während der Sprachproduktion und des Sprachverständnisses. Spracheinbettungen zeichneten sich in perzeptiven und motorischen Bereichen aus, während Spracheinbettungen in höherwertigen Sprachbereichen bessere Ergebnisse erzielten. Die Studie zeigt, wie Sprach- und Sprachinformationen in mehreren Gehirnbereichen kodiert werden und wie Sprachinformationen die Sprachverarbeitung beeinflussen. Es wurden auch unterschiedliche zeitliche Dynamiken des Informationsflusses während der Sprachproduktion und des Sprachverständnisses sowie Unterschiede zwischen Deep-Learning- und symbolischen Modellen bei der Vorhersage neuronaler Aktivität entdeckt.