Whisper를 사용한 인간 뇌 언어 활동 해독

연구원들은 Whisper 모델을 사용하여 자연스러운 대화 중인 4명의 간질 환자의 ECoG 신호와 음성 신호를 분석했습니다. 그 결과 Whisper의 음향, 음성 및 언어 임베딩이 특히 음성 생성 및 이해 중에 신경 활동을 정확하게 예측하는 것으로 나타났습니다. 음성 임베딩은 지각 운동 영역에서 뛰어났으며, 언어 임베딩은 고차원 언어 영역에서 더 나은 성능을 보였습니다. 이 연구는 음성과 언어 정보가 뇌의 여러 영역에서 어떻게 인코딩되고 음성 정보가 언어 처리에 어떻게 영향을 미치는지 밝힙니다. 또한 음성 생성 및 이해 중 정보 흐름의 서로 다른 시간적 역동성과 신경 활동을 예측하는 데 있어 심층 학습 모델과 기호 모델의 차이점도 발견되었습니다.