官方网站-首页【导语】一名45岁男子在患上肌萎缩侧索硬化症后失去清晰说话能力,但通过一种创新的脑机接口(BCI)装置,他如今能够富有表现力地说话和歌唱。该装置能将他的神经活动实时转化为话语,并实现语调变化和音调哼唱,标志着对早期BCI技术的重大改进。这项研究成果于6月11日(rì)发(fā)表(biǎo)于(yú)《自(zì)然(rán)》杂志,被誉为语音BCI领域的重大突破,为患者提供了更接近真实、自发、连续讲话的交流方式。
一名患有严重语言障碍的男子,借助大脑植入装置,能够富有表现力地说话和歌唱。该装置可以将他的神经活动转化为话语,不仅能实现语调变化,强调他选择的单词,还能让他以(yǐ)3个(gè)音(yīn)调(diào)哼(hēng)唱(chàng)一(yī)串(chuàn)音(yīn)符(fú)。
该(gāi)系(xì)统(tǒng)被(bèi)称(chēng)为(wèi)脑(nǎo)机(jī)接(jiē)口(kǒu)(BCI),使(shǐ)用(yòng)人(rén)工(gōng)智(zhì)能(néng)解(jiě)码(mǎ)参(cān)与(yǔ)者(zhě)说(shuō)话(huà)时(shí)的(de)脑(nǎo)电活动。该装置是第一个不仅能再现一个人的意图,还能复制自然语言特征的BCI。而音调、音高、重音等自然语言特征有助于表达意思和情感。
在一项研究中,一种模仿参与者声音的合成声音,在他的神经活动发出说话意图信号的10毫秒内就说出了他的话。这项6月11日发表于《自然》的研究成果标志着对早期BCI的重大改进。早期BCI通常在3秒内输出语音,或者仅在用户模拟完整个句子后才能生成语音。

植入运动皮层的电极有助于记录和语言相关的大脑活动。图片来源:Kateryna Kon
“这是语音BCI领域的圣杯。”荷兰马斯特里赫特大学的Christian Herff说,“这是真实、自发、连续的讲话。”
这项研究的参与者是一名45岁男子,在患上一种运动神经元疾病——肌萎缩侧索硬化症后,失去了清晰说话的能力。这种疾病会损害控制肌肉运动的神经,包括说话所需的神经。虽然他还能发音和说话,但说得很慢,也不清楚。
在症状出现5年后,这名男子接受了手(shǒu)术(shù),在(zài)控(kòng)制(zhì)运(yùn)动(dòng)的(de)大(dà)脑(nǎo)区(qū)域插(chā)入(rù)256个(gè)硅(guī)电(diàn)极(jí),每(měi)个(gè)长(zhǎng)1.5毫(háo)米(mǐ)。论(lùn)文作者之一、美国加利福尼亚大学戴维斯分校的Maitreyee Wairagkar和同事训练了深度学习算法,能够每10毫秒捕捉一次大脑中的信号。团队的系统实时解码了该男子试图发出的声音,而不是他想要表达的具体词语或基本音素——构成单词的语音亚单位。
“我们并不总是用语言表达想法。我们还有感叹词,以及一些词汇表里没有的富有表现力的发音。为了实现这一点,我们采用了这种完全不受限制的方法。”Wairagkar解释说。
该团队还通过训练人工智能算法,根据病人生病前的采访录音,将合成声音个性化,使其听起来像病人自己的声音。
研究人员要求参与者尝试发出“啊”“哦”“嗯”之类的感叹词,并说出虚构的单词。BCI成功产生了这些声音,表明它可以在不需要固定词汇的情况下生成语音。
使用这款BCI,这名男子可以拼写单词、回答开放式问题,并使用解码器训练数据库之外的一些单词说出想说的话。他告诉研究人员,听到合成声音说话让他“感到高兴”,感觉就像他的“真实声音”。
在其他实验中,BCI能够识别出参与者是想把一个句子说成疑问句还是陈述句。该装置还能判断他在一句话中想强调哪些词语,并相应调整合成声音的语调。“我们正在引入人类语言中所有这些重要的元素。”Wairagkar说,以前的BCI只能产生单调的语音。
瑞士日内瓦大学的Silvia Marchesotti说,该装置的功能“对于患者的日常使用至关重要”。“从某种意义上说,这是一种范式转变,可以真正带来一种现实生活中的工具。”
相关论文信息:https://doi.org/10.1038/s41586-025-09127-3
(原标题为《脑机接口首次让患者有感情地说话唱歌,可实时将思想转化为语言》)