Whisper 임베딩이 놀랍게도 인간 뇌 활동과 일치

연구에 따르면 OpenAI의 Whisper 음성 인식 모델과 자연스러운 대화 중 인간 뇌의 신경 활동 사이에 놀라운 일치가 발견되었습니다. Whisper 임베딩과 하전두피질(IFG) 및 상측두회(STG)와 같은 뇌 영역의 뇌 활동을 비교하여 연구자들은 발화 중에는 언어 임베딩이 음성 임베딩보다 먼저 최고점에 도달하고, 이해 중에는 반대되는 것을 발견했습니다. 이는 뇌 메커니즘을 고려하지 않고 개발된 Whisper가 언어 처리의 중요한 측면을 포착하고 있음을 시사합니다. 또한 이러한 발견은 뇌 언어 처리의 '소프트 계층'에 대해서도 밝히고 있습니다. IFG와 같은 고차원 영역은 의미 및 구문 정보에 우선 순위를 두지만 저수준 청각 기능도 처리합니다. 반면 STG와 같은 저차원 영역은 음향 및 음운 처리를 우선시하지만 단어 수준의 정보도 포착합니다.