洪波研究组发文揭示语言声调的大脑处理机制

发布日期:2017-10-31

2017年10月31日,清华-IDG/脑科学研究院、清华大学医学院研究员洪波研究组在《美国科学院院报》(PNAS)在线发表题为《汉语声调类别处理的大脑皮层协作网络》(Cooperative cortical network for categorical processing of Chinese lexical tone)的论文。研究组和神经外科合作,借助病人手术切除脑部病灶前进行临床神经电生理监测的机会,直接获取清醒状态下大脑皮层表面高时空分辨率的神经电活动,结合磁共振等影像方法,揭示了听觉、语言和运动脑区如何通过精细的时空协作,实现语言声调类别化处理的机制;在传统的听觉处理通路之外,发现了运动相关脑区在语言声调处理中的作用。声调是语音表意的重要形式,该发现为大脑语言处理机制研究打开新的思路,也为开发语音脑机接口、神经外科手术中保护语言功能等提供了生理基础。

 

微信图片_20171222012328.jpg

语言声调的基频变化在大脑听觉皮层引起的脑电响应

 

声调是人类语言进化产生的提高语言信息容量的独特方式。世界语言中有一半以上是声调语言,汉语是其中的典型代表。我国著名语言学家赵元任、刘半农等开辟了汉语声调定量研究的先河,揭示了汉语四声的物理本质是语音的基频F0动态变化模式。之后的语言学研究发现,和人类通过视觉区分物体类别的规律一样,汉语声调的感知也是类别化的:跨类别声调的感知距离被放大,而同类别声调的感知距离被压缩。这是一种典型的认知处理模式,但其背后的大脑处理机制一直不清楚。近年来磁共振、脑电等脑成像技术的发展,为这方面的研究提供了可能,但因为无法同时获得高时空分辨率的脑活动记录方法,该领域的研究进展缓慢。

 

洪波研究组经过长期探索和攻关,与清华玉泉医院癫痫中心等开展合作,融合手术前的磁共振成像、手术中的大脑皮层脑电记录、手术后的CT成像三种数据,通过信号处理和信息建模方法,得到了人脑不同脑区的精细活动图谱,解决了时空分辨率的问题。本项研究中,病人在临床神经电生理监测期间,进行汉语声调感知的测试,一方面为医生手术时保护语言功能提供精准依据,另一方面为揭示语言声调处理神经机制提供了宝贵的机会。研究组发现,大脑皮层的颞叶语言区、感觉运动区的脑电响应非线性地放大了不同声调之间的神经表征距离,揭示了语言声调类别感知的神经机制。除了传统的听觉和语言处理脑区之外,该研究发现运动相关脑区也参与了声调的类别化处理,而且运动相关脑区和听觉语言脑区之间存在精细的响应时序关系和因果性的信息传递。这一发现提示大脑语音处理可能需要听觉和运动模态的协同,为神经语言学中久有争议的“语言感知的运动理论”提供了新的证据。在此工作基础上,研究组计划进一步研究语义和句法层次的大脑处理机制,开发能够通过脑电信号解读语音和语言的脑机接口系统,并为语言康复和人工智能语音语言处理提供生理模型。研究组已经和解放军总医院、清华长庚医院、宣武医院、天坛医院等建立了临床研究合作。

 

洪波研究员是该论文的通讯作者,清华大学医学院生物医学工程系博士生司霄鹏为论文第一作者。清华大学玉泉医院癫痫中心主任周文静作为临床合作者参加了该项研究。本项研究中的磁共振成像得到了清华大学生物医学影像中心的支持。研究得到了国家自然科学基金委、科技部重点研发计划、清华IDG麦戈文脑科学研究院的资助。

 

原文链接:

http://www.pnas.org/content/early/2017/10/25/1710752114.full