Whisper模型解码人类大脑语言活动

研究人员利用Whisper模型，对4名癫痫患者在日常对话中的脑电图（ECoG）和语音信号进行了分析。结果表明，Whisper模型的声学、语音和语言嵌入可以准确预测神经活动，尤其是在语音产生和理解过程中。语音嵌入在感知和运动区域表现出色，而语言嵌入在高级语言区域表现更好。该研究揭示了语音和语言信息在多个大脑区域的编码方式，并阐明了语音信息如何影响语言处理。研究还发现了语音产生和理解过程中信息流的不同时间动态，以及深度学习模型与传统符号模型在预测神经活动方面的差异。