科学家发现了一种将大脑信号解码成语言的方法！

患有运动神经元疾病的瘫痪病人通常依靠技术来帮助他们说话。图片来源：BJ Warnick / Alamy

为了给不能说话的人提供声音，神经科学家设计了一种可以将大脑信号转换为语音的设备。

这项研究是朝着一个系统迈出的第一步，这个系统将能够帮助严重瘫痪的人说话——或许有一天，这个消费电子产品可以让任何人直接从大脑发送一条短信。

这项技术目前还不够成熟，无法在实验室外使用，尽管它可以合成大多数可理解的整个句子。它的创造者在4月24日发表在《自然》杂志上的一项研究中描述了他们的语音解码设备。

佐治亚州亚特兰大埃默里大学的神经工程师Chethan Pandarinath说，科学家们以前用人工智能来翻译单个单词，主要由大脑活动中的一个音节组成，他与研究者共同撰写了一篇评论文章。他说：“从单音节到句子的跨越在技术上是相当具有挑战性的，也是使当前作品如此令人印象深刻的因素之一。”

许多失去说话能力的人使用这项技术进行交流，这项技术要求他们做出微小的动作来控制在屏幕上选择字母或单词的光标。患有运动神经元疾病的英国物理学家斯蒂芬霍金就是一个著名的例子。研究负责人，加州大学旧金山分校的神经外科医生Edward Chang说，他使用了由他脸颊肌肉激活的语音生成装置。

Chang说，因为使用这种设备的人必须逐字输出单词，这些设备可能非常慢，每分钟最多可产生10个单词。自然语音平均每分钟150个单词。“这是声道的效率，使我们能够做到这一点，”他说。所以Chang和他的团队决定在构建解码器时对声音系统进行建模。

研究人员在参与者的头骨中植入与这些类似的电极来记录他们的大脑信号。图片来源：UCSF

五个人研究人员一起工作，这些人的电极植入大脑表面作为癫痫治疗的一部分。首先，当参与者大声朗读数百个句子时，团队记录了大脑的活动。然后，Chang和他的同事将这些记录与之前实验的数据相结合，这些数据确定了舌头、嘴唇、下颌和喉部的运动是如何产生声音的。

该团队训练了这些数据的深度学习算法，然后将该程序合并到他们的解码器中。该装置将大脑信号转换成声道的估计运动，并将这些运动转化为合成语音。Chang说，听了101个合成句子的人平均可以理解70％的单词。

匹兹堡大学(University of Pittsburgh)研究此类技术的研究员安德鲁施瓦茨(Andrew Schwartz)表示:“这可能是目前在BCI(脑-机接口)领域所做的最好的工作。”他说，如果研究人员将探针放入脑组织中，而不仅仅是覆盖大脑，那么精确度可能会高得多。

在另一项实验中，研究人员要求一位实验者参与者大声朗读句子，然后通过嘴形的变化在不接收声音的情况下来模仿相同的句子。Chang说，在这次测试中合成的句子质量低于用听觉语音创建的句子，但结果仍然令人备受鼓舞。

加州圣地亚哥州立大学的神经科学家StephanieRiès表示，通过将大脑活动映射到声道运动并将其转化为声音而创建的语音比通过将大脑活动直接映射到声音所产生的语音更容易理解。

一些硅谷公司曾表示，他们希望发展商业思维，以文字大脑读者。Facebook曾表示：他们正在为加州大学旧金山分校的相关研究提供资金，“用以促成第一个能够每分钟输入100个单词的无声语音界面”。

Facebook没有支付当前研究的费用，加州大学旧金山分校（UCSF）也拒绝说明它代表这个社交媒体巨头所做的进一步研究。但Facebook表示，它认为植入的系统是朝着它想要创建的消费类设备迈出的一步。

“这一目标与UCSF为不能说话的人开发植入式通讯假体的使命是一致的，这是我们支持的使命。Facebook没有开发需要植入式设备的产品，但UCSF的研究可能会为非侵入性技术的研究提供信息。

但西雅图华盛顿大学的神经工程师Amy Orsborn表示，尚不清楚新的语音解码器是否可以与人们只能思考的词语配合使用。“这篇文章非常出色地证明了这适用于模仿语言，”她说。“但是当有人不动嘴时，这怎么会起作用呢？”

伊利诺伊州芝加哥西北大学的神经学家Marc Sl utzky对此表示赞同并称解码器的性能仍有改进的余地。他指出，听众通过从一组选择中选择单词来识别合成语音; 随着选择数量的增加，人们在理解这些词语时会遇到更多麻烦。

Slutzky说，这项研究“是一个非常重要的步骤，但在合成语音易于理解之前还有很长的路要走”。