Whisper-Einbettungen stimmen überraschend mit der menschlichen Gehirnaktivität während des Sprechens überein

Eine Studie zeigt eine überraschende Übereinstimmung zwischen OpenAIs Whisper-Spracherkennungsmodell und der neuronalen Aktivität im menschlichen Gehirn während natürlicher Gespräche. Durch den Vergleich der Whisper-Einbettungen mit der Gehirnaktivität in Regionen wie dem inferioren frontalen Gyrus (IFG) und dem superioren temporalen Gyrus (STG) stellten die Forscher fest, dass die Spracheinbettungen während der Sprachproduktion vor den Spracheinbettungen ihren Höhepunkt erreichten und umgekehrt während des Sprachverständnisses. Dies deutet darauf hin, dass Whisper, obwohl es nicht unter Berücksichtigung von Gehirnmechanismen entwickelt wurde, wichtige Aspekte der Sprachverarbeitung erfasst. Die Ergebnisse heben auch eine „weiche Hierarchie“ in der Verarbeitung von Sprache im Gehirn hervor: höherwertige Bereiche wie der IFG priorisieren semantische und syntaktische Informationen, verarbeiten aber auch niederwertige Hörmerkmale, während niederwertige Bereiche wie der STG akustische und phonetische Verarbeitung priorisieren, aber auch Informationen auf Wortebene erfassen.