Decodificando la Actividad Cerebral del Lenguaje Humano con Whisper

Investigadores utilizaron el modelo Whisper para analizar señales de electrocorticografía (ECoG) y de habla de cuatro pacientes con epilepsia durante conversaciones naturales. Los resultados mostraron que las incrustaciones acústicas, del habla y del lenguaje de Whisper predijeron con precisión la actividad neuronal, especialmente durante la producción y comprensión del habla. Las incrustaciones del habla destacaron en áreas perceptivas y motoras, mientras que las incrustaciones del lenguaje tuvieron un mejor rendimiento en áreas del lenguaje de nivel superior. El estudio revela cómo la información del habla y el lenguaje se codifican en múltiples regiones cerebrales y cómo la información del habla influye en el procesamiento del lenguaje. También se descubrieron dinámicas temporales distintas del flujo de información durante la producción y comprensión del habla, y diferencias entre los modelos de aprendizaje profundo y los modelos simbólicos en la predicción de la actividad neuronal.