Las incrustaciones de Whisper se alinean sorprendentemente con la actividad cerebral humana durante el habla

Un estudio revela una sorprendente alineación entre el modelo de reconocimiento de voz Whisper de OpenAI y la actividad neuronal en el cerebro humano durante conversaciones naturales. Al comparar las incrustaciones de Whisper con la actividad cerebral en regiones como el giro frontal inferior (IFG) y el giro temporal superior (STG), los investigadores descubrieron que las incrustaciones del lenguaje alcanzaron su punto máximo antes que las incrustaciones del habla durante la producción del habla, y viceversa durante la comprensión. Esto sugiere que Whisper, a pesar de no haber sido diseñado teniendo en cuenta los mecanismos cerebrales, captura aspectos clave del procesamiento del lenguaje. Los hallazgos también destacan una 'jerarquía suave' en el procesamiento del lenguaje cerebral: las áreas de orden superior, como el IFG, priorizan la información semántica y sintáctica, pero también procesan características auditivas de bajo nivel, mientras que las áreas de orden inferior, como el STG, priorizan el procesamiento acústico y fonémico, pero también captan información a nivel de palabras.