天桥脑科学研究院

Our News

研究院动态

 

# 追问按

宇宙之于人类,是亘久运行的谜,而人类自身的“三磅小宇宙”——大脑,也让无数科学家为之倾倒。层出不穷的研究让我们一步步接近真实,也让我们愈发困惑。由此,追问公众号推出全新栏目“追问顶刊”,我们聚焦公众瞩目的发布在Science和Nature等期刊的重磅研究,我们与研究的主导者进行深入对话,我们与您一起聆听他们对于研究的解读。

在第一期“追问顶刊”中,我们与读者一起追问了Krishna Shenoy教授,Shenoy教授同我们详细探讨了他的团队发表在《自然》刊物的重磅研究《通过手写实现高效大脑-文本沟通》(High-performance brain-to-text communication via handwriting)。以下为具体内容,欢迎阅读。

Krishna Shenoy

霍华德休斯医学研究所 ( HHMI )研究员,神经假肢系统实验室 ( NPSL )主任,Hong Seh 和 Vivian WM Lim 工程学教授,神经假肢转化实验室(NPTL)联合主任

Shenoy教授领导斯坦福大学的神经假肢系统实验室(NPSL),其团队主要从事神经科学及神经工程研究,通过对大脑运动控制系统的解码,设计医疗装备帮助存在运动障碍的人群。同时Shenoy教授也与神经外科医学博士 Jaimie Henderson 共同领导神经假肢转化实验室(NPTL;2009 年成立),申请用于瘫痪患者的脑机接口的FDA临床试验。

本文由TCCI追问团队呈现

问题筹备:Aaron

采访:Jiahui

翻译:Nevaeh,张旭晖

整理&审校:Vicky

编辑:lixia,Jiahui,EY

Q

让我们先从简单的问题开始吧,能否请您向读者们简要介绍您的研究领域?

Shenoy:没问题。我们正在尝试帮助那些无法行动不能动或者无法交流的人群。他们往往患有神经损伤或神经疾病,例如脊髓损伤、肌萎缩性脊髓侧索硬化症(渐冻人症)或者中风。为了帮助这些人,我们能做的就是通过研究大脑和其中数百亿个神经元,以及这些神经元是如何控制那些能产生正常行为的神经活动的

如果我们可以发现并解码这些神经信号,并将这种大脑的语言翻译出来,那么我们就能移动机械臂、控制电脑屏幕上的光标,或者用书面文本来帮助那些无法交流的人群。

这项工作既包含了神经科学,又与神经工程学相关,像是电子工程、计算机科学和机器学习。还有很大一部分,就是转化——我们正努力让科研成果造福大众。为了让这项技术能真正帮到大众,一般来说,必须要通过一家甚至好几家公司。所以,我们也在试着帮助一些公司,让他们可以做出真正可使用的系统,希望不久后,数万人甚至数百万人,可以用上这些系统。

Q

我们今天的采访尤其关注您的团队近期在《自然》期刊上发表的《通过手写实现高效大脑-文本沟通》(High-performance brain-to-text communication via handwriting)一文,可以简要介绍一下这篇论文吗?

Shenoy:当然。我们从小就学着如何在纸上书写,我想这几年纸张已经变成了平板电脑,但书写的本质并未改变,它是一种非常棒的沟通方式。当然,讲话这一方式也很妙,但是书写这么好的沟通方式,却从没有人想过了解人脑是怎么控制它的。

所以,我们就提出了这一问题。我们招募了可以说话却无法移动上肢的受试者,他们的胳膊一直处于绝对静止的状态。接着,我们要求受试者尽可能尝试写下所有的英文字母。字符种类那么多,包括日文汉字、梵文和中文字等,但我们选择了英文。很有趣的是,我们发现,在受试者书写英文字母时,我们能很快且正确地解读与之相关的神经活动,受试者在想要书写的一瞬间,屏幕上就出现了字母。因此,这个系统为受试者们提供了一个与世界沟通的新方式。我们还打算针对其他语言和不同的疾病状态继续研究,希望能让这个系统速度更快,也更准确。

 

▷ Nature 封面

Volume 593 Issue 7858, 13 May 2021

 

Q

我们从年轻科学家以及其他对该研究感兴趣的学者那里征集了一些问题。第一个问题是这个系统可以持续多久?它能长期、稳定地输入文本吗?

Shenoy:是的,这是个非常好的问题。系统的可使用生命周期非常重要,因为安装这个系统需要进行外科手术。手术过程中,我们把一个小拇指指甲大小的电极传感器植入大脑表层,深度大约是大脑表层下方一毫米处。但这仍然是一种侵入式手术,确实存在着风险,千万不要在家中尝试。如今,很多人不想做手术,我们需要其他系统来解决这个问题。当然有一些不做手术就能使用的系统,但是它们往往速度更慢,错误也会更多。我们选择了植入传感器的方式,所以您的问题实际上是问这些传感器可以持续工作多久?在这个问题上,我们其实是消费者的角色。我们其实是从一家公司购入这些4×4平方毫米大小的电极阵列和100个硅电极的,用的也是人们日常使用的计算机芯片技术。所以,我想表明我们并不从中获益,这些传感器并非我们制造,我们与之没有利益冲突。我们可以用它们记录至少5年的信号,或许更久。但通常我们的受试者在使用了5年后,会倾向于说:“要不还是把传感器取出来吧,我的日常生活开始变得有点儿更费劲了,我不想再继续参与研究了。”

Q

用了5年传感器以后,体验会有什么不一样吗?

Shenoy:取出传感器后,他们没法再使用系统。使用年限能否超过5年是个很有趣的问题,我们认为它是可以的。重点是如何让电极变得更好、更小、更灵活,更持久,而这些都需要大量的工程科学技术突破。有许多研究团队正在做这方面的研究,这很重要,我们也很乐意与他们合作,试用他们的系统。

Q

明白了。我们的一位读者对文本识别很感兴趣,他提出了下面这个问题。在输入文本时,系统如何提高文本识别的准确性?是否需要更高通量的数据处理?还是算法会自动补偿?

Shenoy:在我看来,回答这一问题的关键之处在于,受试者们每天都会使用系统,我们获取那些数据,并将它们上传到电脑中。

有了这些数据,我们可以训练新的神经网络模型、机器学习模型,系统也可以通过这种方式不断优化。因为你已经知道,当人们试图写“a”、“b”、“c”时,神经活动会作何反应,在这一基础上,系统每天都在学习更多的数据。到了某个时刻,也许是一到两周后,不再像之前那样有许多的新数据,因为所有能学习的东西都已经在系统里了。

这时会发生一件事,而受试者们自己甚至都不知道这件事正在发生。神经活动开始发生改变,是非常轻微的改动,我们称之为“可塑性”(plasticity),它让系统运行得甚至更好。这有点像我们学习打网球,也许能击中网球,也许会犯错,但随着日复一日、年复一年地练习,你的水平会逐渐提高。这种练习效应(practice effect)之所以发生,就是因为大脑在同时改进对躯体的控制。同样地,大脑也会慢慢改进对翻译文本的机器学习算法的控制。我认为有两个关键点:有了更多的数据,你就能更好地解码;以及,人们使用这个系统越久,即使他们没有觉察,他们的大脑也能逐渐适应

Q

是不是可以说练习效应在这里起到了最重要的作用?

Shenoy:是的,我认为在刚开始的1-2周里,输入尽可能多的数据,建立起解码模型,是最重要的。但你说得非常对,两周过后,练习效应就是最重要的了。

Q

下一个问题比较笼统,请问如何才能扩展输入功能,比如编辑、删除等,以及如何扩充字符集,收录更多的语言,像是中文或者是大写字母等。

Shenoy:是的,这个问题很棒,对此我有两个答案。首先,在论文中,我们展示了输入26个英文字母和5个特殊字符,像是逗号、问号这种。但我们并不知道如何解码大写字母之类的字符,因为这个系统可以起作用已经出乎我们的意料,尤其是可以解码非常精细的手指活动。即便是只能输入基础字符,为了达到我们想要的性能,光是完成第一个试验就已经投入了非常多的精力。

所以,第一个问题是,现在它也许能输入更多的字符。我们还不知道,但不妨这样说,由于系统还没有尝试更多字符,所以我不知道,而我也不想直接假设它可以做到。好,接下来我们说说中文字符。当你想写汉字时,一定会遇到两个问题,对吧?第一,汉字的细节太多了,英文字母很简单,超级简单,“a”、“b”、“c”就行了。汉字却很精细,所以要难得多。不过,由于我们是从控制笔移动的脑区收集信号,应该可以解码、采集那些精巧的汉字线条,只是我们的了解还不够多。

Q

我们得解码不同语言的特点。

Shenoy:没错。所以我们需要做些什么,如何做,是个很好的问题。我们正在试着让受试者写下某种语言里的单个字符,同时记录他的神经数据。我们会让他们把同一个字符写很多遍,但不是在同一行全写同一个字符,而是在里面间隔插入其他字符,像是随机地让他写另一个字符,直到电脑将书写每个字符的神经数据都保存下来。然后,我们会训练机器学习算法,在1秒种内把那个字符准确地识别出来,接下来就可以解码了。所以,就汉字而言,一方面汉字太精细了,还有一个问题是,中文字符真的太多了。请见谅,这个答案我应该知道才是。粗略来说,中文里有多少个汉字?普通话和粤语是一样的,对吧?汉字总数应该一样?

Q

其实,我也不太确定,但我猜大概有数千个?常见字可能有数千个。

Shenoy:是的,我试过搞清楚这个问题,因为我对它很好奇。我妻子是越南人,她写越南语会用到五种声调。我有一个亲戚是中国人,我也问过他,但没想到会有上千个这么多。

Q

没错,但每种语言肯定都会有些特点,我想未来人们可以解码全世界的语言。

Shenoy:肯定可以做到的。比如印度的梵语,我父亲对它很熟悉,总共有52个字符,也很复杂。简单来说,首先,每个字符都有精妙的特征,第二点,字符数太多导致难度更大。所以,我们并不知道可以做到哪一步,但的确存在解决方法。而这一方法正是你们刚刚提出的问题。我们需要更高的带宽吗?需要更多信息吗?是的,我们确实需要这些,还需要更多的电极。每当我们往大脑中放入一个电极,我们就记录了来自一个或者几个神经元的信号。所以,如果有足够多的神经元,也许是1000个,而非200,那么我想应该可以解决问题。为什么我这么自信?原因是我们可以写下所有的字符。我不会写中文,但是你(指采访者)可以做到,你写得又快又好看,所以你的大脑知道该怎么做。那么,我们只需要从足够多的脑细胞那儿,监听到足够多的神经活动,这一点是可能做到的。不过具体需要多少神经元,只有时间会给出答案了。很抱歉我回答了这么多,这样解释可以帮助读者理解吗?

Q

非常有帮助。但我也有个问题:怎么区分那些相似的字符,比如“2”和“z”?英文的曲线也许能轻松区分出来,但我想其他语言则不尽然。

Shenoy:没错,你说得太对了。例如,我们在论文中举的例子,就是字母 “h”,它有一个长竖,而“Nancy”中的“n”与“h”的差别是,“n”第一笔是短竖。有时候,就连我们也会搞混,因为它俩真的很相似。在书写的时候,二者也很像。当然,大部分时候我们都会写对,但当出现错误时,往往就是混淆了那些看起来相似的字母。

Q

我们能做些什么来改进呢?

Shenoy:我们可以使用另一种机器学习,它熟悉不同字符之间存在的各种可能性。有许多示例,论文里我们用了“the”这个词来解释,当我们写下这个词时,有时候会认为它是“tne”,对吧?但并不存在“tne”这个词,只有“the”。

如果你使用所有现存语言的机器学习,或者说语言模型,包括英文、中文、梵文等,当前面一个字母是“t”时,跟在它后面的字母更可能是“h”,而不是“n”。所以你写下“t”“n”“e”后,继续写下一个词,系统可以自动识别这里存在拼写错误。那我就会把“n”改成“h”,变成词语“the”。这是不是很像在电脑上打字?电脑会自动纠正,这里的原理相同,自动纠正的数据库也一样。

通常我们更关注的是,当系统不带有自动纠正或者自动填充功能时,它还能不能很好地发挥作用,这样我们就能知道,它在没有辅助功能的情况下效果如何。但我们是可以开启辅助功能的。你看,所有系统都有辅助功能,谷歌、阿里巴巴,每个系统都有。你打字的同时,系统就会自动纠正,或者是自动填充。对我来说,纠正的情况更多。我有一台iPhone,它并没有多好用,可是,当字母之间的差异非常小,甚至难以区分时,手机仍然可以帮我输入地更准确。无论你在大脑里放了多少个电极,这些电极运转地多么好,总是会出现错误。而我刚刚说的那些,就可以很好地改善这种情况。

Q

感谢您的回答。下一个问题更像是对下一阶段研究的提问。您的团队已经达到每分钟拼写90个字符的速度。这已经很令人惊叹,不过说话往往比打字快得多,理解大脑如何编码语音又非常难。您有解决这一问题的打算吗?还是说,这正是您下一阶段的研究?我们对此非常好奇。

Shenoy:是的,那正是我们下一步打算做的。我们认为关于书写,还有许多可以挖掘的地方,而且书写本身是一个很有趣的话题。但是你刚刚说的很对,当我们说话时,两个人沟通起来会更快。现在的情况是怎样呢?加州大学旧金山分校的Edward Chang跟我认识很久了,我们是好朋友,也有合作,住处也离得很近。他正在做一项非常棒也非常重要的研究,用脑皮层电图(ECoG)记录大脑表层的信号。在他最新一篇发表在《新英格兰医学杂志》的论文中,他们做了一个包含50个词语的词汇集,受试者在其中任意选择一个,解码准确率可以达到75%。这项工作非常棒,但也让大家看到了局限性。

那为什么会存在这些局限呢?因为记录信号的大电极位于大脑表层。通过一台外科手术,把电极放到大脑表层,可是它并没有听到单个神经元的活动,它做不到只记录单个神经元的电活动。打个比方,假设在一个足球场里,看台上有十万个观众,而我坐在直升飞机上,从空中往下悬吊一个麦克风,位置要高过看台的观众们,我只能根据听不听得到吼叫,来判断主场球队是否进球。

但如果我可以把麦克风放得更低,那么我就能听到更多的对话。在这个比喻中,我就是神经元。而单个神经元就是记录、聆听、衡量的最佳对象。

▷ Edward Chang团队的研究

Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria,DOI: 10.1056/NEJMoa2027540

 

Q

这是否意味着,在解码时存在许多噪音?

Shenoy:不,噪音更少。其实你基本说对了。如果我只记录一个神经元的信号,确实有许多噪音。但是如果我用前面提到的电极阵列记录100个神经元的信号,那么你就有1个麦克风靠近你和其他100个人。即使有些许噪音,你也能得到很强的信息集,里面有非常多的信息。把麦克风悬在所有人头顶上方的问题是,会让大家的声音相互减弱,你听不到某一个对话,或者只能听到人们说话声音的大小,仅此而已。这样,你就没办法听懂我们之间对话的内容。我想说明的是,把电极放到大脑内部,这样电极尖端会靠近单个神经元细胞,你可以记录到更多信息,我想所有人都会同意这点,它就是这样工作的。我们已经发表了两三篇论文,来阐述已完成的实验,那就是我们第一次弄明白大脑、单个神经元如何控制讲话。接下来,我们打算在受试者大脑的语言区植入电极,以建立起可以听到电活动并解码的系统,用这个系统真正创建语音、合成声音或者在屏幕上打字,你可以选择任一方式。这就是我们接下来的研究方向,虽然还没有正式开始,但国立卫生研究院(National Institute of Health, NIH)和其他联邦拨款将会用于这个用途,我们的团队也正在准备,想快一点得到结果。现在说回Edward Chang,他和我一致认为,我俩的研究方法应该合在一起,同时使用两个方法,而不是选择哪一个方法更好。他的研究方法可以覆盖一半大脑,因为电极位于表面,覆盖面积更大。我们的方法则是深入某一个区域,希望是能记录到许多单个神经元的最佳区域。所以,在我看来,研究前景就是将二者结合起来。

Q

我们非常期待看到这两项研究问世。接下来让我们回到与识别准确性提升有关的打字研究,是否有可能实现几乎实时的思维-文本对话呢?是否有可能同步对话速度与思维速度呢?

Shenoy:非常好的问题。所以,这实际上是两个问题。首先,我们能要求一个人尝试或想象手吗?请记住,他们的手是无法移动的、瘫痪的。那么,我们能要求他们尽可能快速地书写、尽可能快速地尝试书写并且实时进行解码吗?是的,我们可以做到。这一点我们实际上已经在《自然》期刊上的论文中展示过了。

当下,要知道思维是什么还有些困难,因为没有人真的知道思维是什么。但是,我们通常认为思维是以语言的形式表达出来的。如果我问你,你是怎么思考的?也许你会说,我用语言思考,我用句子思考,诸如此类。所以也许我可以自我纠正,但是我认为可能你的意思是我们是否能像思考语言一样尽可能快速地解码。在此,我想我们还不知道这个问题的答案,我们还没这么干过,但我相信答案会是肯定的,因为说话和书写非常相似。想想什么是书写?书写是非常准确地、迅速地活动不同的肌肉,说话则是非常快速地活动不同的肌肉、你的声带、口腔和嘴唇。

所以,我们在书写方面展示的所有数学、机器学习的内容都应该适用于说话。并且,我想大多数人也会认同。但我们必须证明这一点。在我们能够真正证明它之前,我不相信任何事。因为有时候你可能会出错,对吧?我想,对于有些人来说,当他们认为自己能够在脑海中描绘出这些词语时,但实际上他们很难做到。这是对的,我想有一些很罕见的案例,一小部分人可能是以绘画或颜色或事物的形式进行思考,但我想我们大多数人,比如我自己,是以语言来思考的。所以以上就是我的回答,虽然我们不知道,但这在神经科学中是非常有趣的,非常基础的脑科学。

Q

沿着这个问题,就像我们能够把文本信号传输给大脑,我们是否能够连接两个人的脑机接口让他们能彼此交流呢?

Shenoy:有人问到这个问题很正常。首先,我不知道,但这是个很有趣的问题。所以,让我们一起来想想。如果我正在思考词语,我认为我能阅读、提取、解码它们,也能以一定速度说出这些词语。那么,你的问题的第二个部分是,因为你会认为你能够听到或想到我的想法,那么我能够电刺激你的大脑神经元吗?从科学的角度来看,我认为我们还不知道这是否可能。但如果是可能的,那我们应该会有一种电子的、无线的方式彼此交流。我确实认为有可能,随着时间的推移,可能是1年、5年或者20年,我不知道。但我的确相信,我们大脑里的一切、精神生活的一切都是单个神经元的活动,所以应该是有可能的。某一天,我的大脑里会有一个小小的电脑芯片,向你的脑袋发送无线电信号,它刺激你的大脑,然后再反过来给我发送信号刺激我的大脑。你和我可以通过这样的方式交流,却不需要说任何话。

Q

接下来我有一个问题,如果我完全不懂英语,那么您要如何理解我的意思呢?

Shenoy:你是对的,这是一个很好的角度,因为我们也不知道,这取决于英语是我们的第一语言、第二语言还是第三语言,以及它在大脑中如何表征。我认为这些问题都很吸引人。你可能是正确的。如果我们交流,你说,嘿,Krishna,你一定懂普通话吧。然后你在我的大脑里植入一个芯片,开始输入普通话,我可能会说:我根本不懂普通话。

Q

或许一种解决方案是在通路中间放上一个翻译器?

Shenoy:是的,所以我认为,当我们想到这些技术可以帮助残疾人时,这实际上引出了一个非常有意思的问题。我们正在做的也在推动科学发展,它促使我们对大脑提出新的有趣的问题,如果我们不思考如何利用这些信息,有些问题可能就不会被问到,就像这场关于语言和其他问题的对话。我也不知道,这不像是基础的神经科学研究者,我们必须像你和观众一样思考这个问题。

Q

但如果它们能连接每个人的大脑,那真的是有趣的想法,当然,也很可怕。

Shenoy:是的,所以伦理(什么是对的、什么是错的)是很重要的。你说得真的很对,我们所有人都在担忧自己在手机上花了多少时间,我们在手机、电脑和互联网上都在干些什么。但如果它真的就在你的大脑里,真的很可怕。所以,我自己非常谨慎保守,因为我不想无意中伤害任何人,我的一生都在努力尝试从医学角度帮助有需要的人们。并且,就像在科学和工程领域一样,你可以用不同的方式来使用它,但事实上可能不会帮到人们,就这点而言,我必须时刻保持谨慎。

Q

说到临床使用,另一个问题是,您预计脑机接口需要多长时间才能准备好用于临床使用?未来你们将面对的挑战是什么?

Shenoy:脑机接口的临床应用是个非常有趣的问题。当下,从已有论文来看,一小部分人拥有临床的脑机接口系统,在中国至少有1~2个人,美国很少。这个数字非常小,但是有人在做所谓的临床试验,安全性测试和其他各个方面的相关试验非常少。

但如果我们考虑临床使用,我认为你想说的可能是,如果我脖子受伤了,身体不能动了,我能不能直接去一家大医院(可能不是距离最近的医院),也许在北京或某个地方,然后作为常规健康护理的一部分完成手术?我希望如此,所以这也只是推测,我不知道,但我希望只需要再过10年我们就可以实现这一切。对于不知道的问题,人们总会给出10年这样的答案。

但为什么我说10年呢?我自己其实也很惊讶,大概是因为现在有许多公司开始对脑机接口很感兴趣,如果公司有成百上千名员工能为此全职工作,这就是我所说的10年的含义。好比我的研究组有10人,只有10人,我们只是构思想法,让公司来实际践行我们的想法,得出的成果之后能帮到数以千计的人。但这些公司现在正在起步阶段,制造电极的黑石微系统(Blockrock microsystems),还有一些中国或者欧洲的企业,美国埃隆·马斯克(Elon Musk)创办的Neuralink公司等等。

脑机接口开始受到关注并获得了大量资金和人力支持,这一事实让我变得更加乐观。不过,也有可能会全面失败,我不知道。但我想,因为许许多多的人们真的在遭受痛苦,我们努力尝试总归是件好事。许多人真的需要像脑机接口这样的系统。

Q

所以我想10年是一个乐观的猜测。

Shenoy:我猜这也太乐观了,我是这么认为的。但如果5年前你问我同样的问题,我想我会说20或30年,改变这一切的是数亿美元以及成千上万为此努力付出的人,这真的让我很惊讶也很开心。因为我认为只要每个在这个领域工作的人能各尽其才,我的意思是,显然有很多人致力于这个领域,包括(在加州理工学院建立天桥脑科学研究院的)陈天桥、雒芊芊夫妇,还有加州理工学院的理查德·安德森(Richard Anderson)。我曾在安德森门下接受训练,最开始做神经义肢时我和他一同工作,1995年到2001年间,我是他负责培训的博士后。陈氏夫妇在加州理工学院所做的一切都非常了不起。

 

▷ 天桥脑科学研究院(TCCI)在加州理工学院建成的科研大楼

 

Q

我们也收集了一些科学家们的问题,他们对于数据非常好奇,您的团队有可能向公众分享原始数据吗?也会包含原始的电生理数据吗?

Shenoy:这是个很好的问题,答案是“是的”。我们已经向大家分享了,但让我再多解释一点。在处理人类神经数据时,人们必须对于隐私性非常谨慎,所以,我们耗费了2年时间确保我们已经考虑过每一种不同的方法来保护我们的受试者。我们找到了一种好方法,我想每个人都会为此感到开心。当然,在论文中你可能没有注意到,但它在论文很底部的位置,如果你想要获取这篇论文中提到或没有提到的所有神经数据,你可以去Dryad数据库下载,它向公众开放。你现在就可以下载全部数据,还有python代码,用于展示如何一步步完成机器学习的所有步骤。我们花了很长时间做这件事,这些代码数据就存储在GitHub网站上——读者们可能对此很熟悉。所以,据我们所知,这是第一次有一项人类研究公布了论文所有的数据和代码。我们收到了许多非常积极的反馈,因为我们的目标是让相关研究加速推进。我们想要帮助人们,我们想要帮助机器学习专家做得更好,我们想要帮助其他研究组,让他们知道要记录什么。出于这些原因,我们做了这件不寻常的事情,这是前所未有的。

Q

我想,所有的科学家,包括在中国的科学家,他们应该会感激你们开放的态度。

Shenoy:那太好了。我们认为我们会一直这样做,除了人们的隐私很难确保,我们很难确保科学家们也在保护他们的隐私。因为也许有人看到了神经信号,然后发现某个人得了别的病或类似的病。但某种程度上,这个风险很低,好处却很大。能用这个做点什么呢?这些数据非常重要也很有意义。最后我们的受试者也授权了数据开放。我们解释了我们认为应该做的一切,受试者也理解了我们的意图,在反复询问之后我们得到的依然是肯定的答复,受试者最终签字同意。所以,受试者知道这是最重要的事情。老实讲,我们非常高兴,我们花了很多时间,我们没有因此获得任何嘉奖。但是没关系,我们不在乎荣誉,我们只是希望这些数据能够帮助到别人。

Q

接下来的问题来自于一位工程师,他比较关心这项研究的硬件问题。他想问的是,你们下一步打算如何改进当前硬件?包括准确性、速度、效率、大大降低侵入性以及让设备使用起来更加简易。

Shenoy:这个问题非常好。硬件实际意味着两件事。其一是植入大脑的电极,其二是基于植入电极的所有电脑系统和连接器。虽然我们研究组不制造电极,但我们做的和这两件事息息相关。首先,我们所做的与神经像素紧密相关,这是霍华德休斯医学院(Howard Hughes Medical Institute)和比利时微电子研究中心(Interuniversity Microelectronics Center, IMEC)的合作成果,他们用数百个微电极来制造电极,我们现在已经在动物模型上使用了这些产品,我们也已经发表了第一篇论文的预印本,目前有本期刊正在审稿。我们也在人类身上使用了这些产品,因此我们能记录下3倍多的神经元活动。

第二个问题是大脑外的硬件?目前,患者头顶上会有一个小连接器,你们可能在视频中看到过,我们必须去掉它。它穿透了皮肤,是安全的,但我们不得不留下它,当然,它看起来不太好看,人们不太喜欢。所以我们需要的是较小的蓝牙无线发射器,或者可能不是蓝牙的而是无线的发射器。我们目前研究的还是侵入式的,我的意思是它仍然需要被植入到皮肤下方,大约深入到大脑表层下方1毫米或0.5毫米的位置。除此之外,我们没有其他的研究方法,因为我们不知道还有任何其他方法能记录或测量单个神经元。现在,有些出色的研究组在研究用于皮肤表面的电极,也就是EEG,这确实也很有效,但它们每秒从大脑获取的信息并不多,比如Jonathan Wolpaw在纽约的研究组等等都是采用这种方式。所以,我们不是在研究非侵入性的方法,而是低侵入性的方法。

Q

我们还有一些关于您个人兴趣的问题。除了脑机接口,您还对神经科学的其它领域感兴趣吗?

Shenoy:当然,脑机接口只是我们研究内容的一半,另一半非常相关但并不相同,是纯粹的基础科学。我们非常感兴趣的是,大脑如何控制运动?它是如何学习运动的?它是如何适应运动、手臂运动和决策的?你是如何做决策的?以及你如何理解和解释这些决定等等。之所以我说这个部分与脑机接口不同,是因为脑机接口是一种应用,对吧?它是我们如何运用科学知识、通过工程学来帮助人们的体现,而我现在提到的是纯粹的基础科学。比如,许多神经元如何一起工作来表征信息、计算信息、控制等等,这是我们的基础科学研究,我们致力于相关研究已有20年之久了。

Q

未来5~10年内您的研究目标是?在这个领域您的终生目标又是什么呢?

Shenoy:我认为在高层次目标方面,实际上有三个,我先说前面两个,因为第三个是顺其自然的。一个是帮助残疾人,帮助无法行动的人们,这是一个非常清晰的目标。我的第二个非常强烈的愿望是培训学生和博士后,帮助他们学习如何选择研究问题、如何解决问题,当事情不顺时不会沮丧,如何继续前行。我觉得帮助残疾人和帮助人们发展自己的事业,这是最重要的事情。现在第三个目标就很明显了,那就是深层次地、真正地理解大脑,因为它是如此的迷人,这正是我一生所想,也许没那么久,从大学开始吧。至少在大学以前,我对大脑真的没有太多想法。一个暑期,我偶然得到了一份研究职位,基本上是关于神经计算的课题,我当时就对大脑感兴趣了,真的太酷了,我很想知道大脑如何运作。35年来,我真的很想越来越多地了解大脑。我知道,终我一生也不可能将大脑了解透彻,那是不可能的,就像物理学家一样,一辈子也永远不可能理解物理学的一切。但是没关系,我只想有所贡献。

Q

您今天说了很多内容,我们采访结束后会把您所说的分享给许多年轻科学家。最后,您能分享一些想对年轻科学家们说的话和建议吗?

Shenoy:当然可以,这是一个非常好的机会来分享我的一些想法。我的智慧可能还不足以来分享任何东西,但如果让我说的话,我想大家应该跟随自己的内心。是什么不重要,但你得跟随自己的内心。在我自己的职业生涯中,我喜欢电子工程,我喜欢神经科学,因为我喜欢去了解有多少像小晶体管一样的小部件变成了电脑,有多少神经元变成了大脑。我当时在麻省理工学院读书,马上就要获得电子工程学博士学位。我决定拒绝一份非常赚钱的工作,遵从自己的内心。因为我知道,我只有在研究大脑、研究大脑如何帮助人们时,我才会感到满足、感到快乐。我之所以说追随你的内心或所热爱的事务,是因为唯一能让自己更为优秀的途径,是唯一能够有所成的方法。因为如果你从事一些不喜欢的事业,做一些你毫无触动的事情,每天起床、全身心投入都会很困难,更别说第二天、接下来50年都是如此。所以我认为,有时候年轻科学家们、年轻学生们感觉自己理所应当知道自己所热爱的事业是什么,但事实并非如此。你是无法控制自己喜欢上一件事情以及什么时候会喜欢上的。就像是在人际关系中,你不知道什么时候你会遇到对的人、什么时候你会结婚。你不知道什么时候你会找到你喜欢的职业,你只需要继续寻找你终会找到毕生的追求,并不懈探索。我想你不仅会过得很开心,更会有所成就。

21

2021-10

 

认知科学在过去十年取得了巨大进展,几年前还被认为是天马行空的科学技术,现在已经迅速成为世界各地前沿实验室的标准方法和日常工作。这反映了现代神经科学的跨学科思维,科学家正在用跨学科方法来攻克有关人类思维和认知的深层问题。与此同时,不断涌现的革命性技术也让这一切变得可能。

每年,天桥脑科学研究院(Tianqiao and Chrissy Chen Institute, TCCI)和《科学》杂志(Science)都会举行一场认知科学会议,在会上各方集中讨论认知科学领域的最新突破性成果。在本次会议期间,来自中美两国的科学家们介绍了前沿研究成果,并热情回答了听众们的问题。

毛颖:临床神经外科

应用神经科学中的机器学习

主讲人

毛颖

复旦大学

毛颖教授是TCCI转化中心主任、华山医院院长、中华医学会神经外科分会主任(候任),他还担任上海市抗癌协会副理事长、中华医学会神经外科分会副主任委员、中国医师协会神经外科分会副会长、上海市医学会神经外科分会主任委员等职务。毛颖教授曾经于美国密歇根大学Crosby神经外科实验室从事博士后研究,并在日本、中国和美国的多所学术机构深造。2017年,毛颖教授荣获了由上海市医学会颁发的上海医学发展杰出贡献奖。

毛颖教授介绍了机器学习(ML)在神经医疗诊断中三个方面的应用,分别是医疗图片处理、脑电仪(EEG)数据加工以及手术协助中应用到的机器学习技术。

首先,机器学习能够应用到放射组学(Radiomics)研究中的图像处理、特征提取以及分类预测等方面,大大提高数据处理效率。毛颖教授通过机器学习技术,开发了应用于脑部肿瘤诊断的人工智能系统。该系统中的核心机器学习模型,通过对 300 余个病例进行训练,最终对脑部肿瘤诊断精确性能够达到 85% 以上。

此外,在脑电仪的应用基础上,毛颖教授开发了更加精确的深脑刺激方法。传统的电极刺激方法范围较大,刺激不精确,且强度较不可控,易引发癫痫。而毛颖教授实验室开发的新型刺激方法能精确刺激各个脑区,为病人大脑制作高精度的功能图谱。毛颖教授举例他们对中央沟(central sulcus)周围脑区(主要感受皮层和主要运动皮层)的制图,并强调,该“被动功能性制图”技术在病人清醒和麻醉的情况下都可使用。

机器学习还为临床神经手术带来了一系列的变革。传统的神经开颅手术不仅耗费人力,手术时程还过长。近年来,算法、人工智能以及虚拟现实技术应用的逐渐发展为临床带来了立体定向神经外科技术,但该技术仍旧耗时费力。

毛颖教授介绍到,如今,通过结合手术机器人以及前沿人工智能技术,他们开发出了新一代的神经手术机器人,更好地解决了传统手术的短板。尽管如此,毛颖表示,新的技术无法替代神经外科医生。这项新技术的作用在于帮助医生更精准快捷地完成手术。

最后,毛颖教授总结道,机器学习技术为临床医生提供了更加有力的工具,进一步的加强了神经手术的诊断精确度以及治疗有效性。这项技术的核心,在于使手术过程变得更加简单,帮助医生做出更加正确的诊断。

然而,要想更好地发展这项技术,我们还需要更多的研究人员参与技术研发,更多的诊断病例训练模型。他相信,我们将很快揭开大脑“黑箱”的神秘面纱,证明机器学习应用于诊断技术的有效性。我们应当相信机器学习技术,也要更加相信新一代的神经外科医生。

Q&A

1)关于医疗人工智能与神经外科医生。机器学习的诊断准确率是否高于神经外科医生?

毛颖教授表示,要想让人工智能达到与临床医生相同的诊断精确度,我们还需要更多的病例来训练人工智能。但无论训练进行到何种程度,医生都是无可替代的。

2)关于医疗人工智能的灵敏性及特异性。评判医疗人工智能的表现水平,存在灵敏度(sensitivity)及特异性(specificity)两项指标。目前的AI水平达到诊断要求了么?

毛颖教授认为,目前我们还没有明确的量化诊断标准,为了强化人工智能表现,还需要进一步优化人工智能结构以及采集更多的优质数据。但他同时对这项技术的发展持充足信心:目前在TCCI与复旦大学附属华山医院合作建立的脑疾病研究中心,有超出700个床位以及200余名神经外科医生。这些科学家们的帮助,能使我们尽快提升医疗人工智能的诊断表现。

*注:灵敏度=真阳性人数/(真阳性人数+假阴性人数)*100%,为正确诊断病人的机率;特异性=真阴性人数/(真阴性人数+假阳性人数))*100%,为正确诊断非病人的几率。

3)关于医疗人工智能的未来。二十年后,人工智能在医疗领域的应用会是什么样的?

毛颖教授认为,首先,随着医疗机器人的发展,大脑手术的创口将越来越小。如今我们正在着力使手术的开颅尺寸减小、深入大脑的路径变小,我们或将最终实现脑部无创医疗。另外,毛颖教授还表示,随着人工智能的普及,我们将进一步解决城乡医疗资源分配不均问题。如今,毛颖教授所在的医学中心正与乡村合作,通过医疗机器人结合5G技术,指导乡村医生进行脑部手术。未来,我们或许还能够进一步帮助欠发展国家、地区,提高他们的医疗水平。

Edward Chang:

言语的神经编码

主讲人

Edward Chang

加州大学旧金山分校

Edward Chang是加州大学旧金山分校神经外科学教授,神经外科系主任。他专长于通过高级脑功能定位手术保留大脑语言功能区。他还是加州大学伯克利分校和加州大学旧金山分校神经工程与假肢中心联合主任,该中心由加州大学旧金山分校和伯克利分校共同设立。他的研究主要关注人类行为(例如语言和情绪)背后的大脑机制。举例来说,通过研究与说话时的身体运动相关的大脑活动,他的团队成功的使用计算机解码这些大脑信号并将其转换为人工合成的语音。这项技术最终有可能为丧失了说话能力的瘫痪人群提供语言假肢。他曾获Blavatnik 全国生命科学桂冠和美国国立卫生院院长创新奖。他同时还是美国霍华德休斯医学研究所(HHMI)学者成员。

Edward Chang教授希望探究人类听觉皮质中出现的高水平的知觉调控,譬如人们是如何将听觉信号转化为音素表征的。他在演讲中分享了听觉和语言系统衔接中起到关键作用的一些因素。

在近十年来,Edward Chang实验室在探究语音信息的神经加工时,侧重于以下几个方面:我们在进行语音信息处理时关注的三个因素分别为,这场对话的内容是什么,这时加工的信息包括加工语音信息中的元音、辅音等;其次是,这句话是如何说出来的,例如在一个句子中,由音调高低着重强调的重点信息,最后是,这句话是由谁说出来的。这对理解语义有重要作用,譬如,知道一句话是由男性还是女性说出口,便于我们理解音调信息。

在列举近期的研究发现时,Edward Chang教授提到了此前与华山医院之间的合作经历。为了探究音调信息的神经加工,他希望能与中国研究者合作。这是因为与英文语言系统不同,对于诸如中文在内的有声调语言而言,音调信息非常重要:在这类语言中,音调信息决定了文字的语义信息。

Edward Chang教授表示,他非常荣幸能够在毛颖教授之后进行发言,这是因为此前他曾与华山医院的中国团队合作,一同探究了在有声调及无声调语言使用者中,人类皮质对音调信息的编码有何不同。研究对比了中美两国的被试,发现在单个电极记录条件下,两组被试对音调加工没有显著差异,而在神经元群水平上,他们仅在中文使用者中发现了具有音调特殊性的编码活动。

Q&A

1)人类是通过同一组神经元加工不同的口音吗?

Edward Chang教授表示,这是一个很好的问题。首先,口音是不同文化对同一个词语的不同发音,而同音异位(allophonic)词是同一文化中对同一个音素的不同发音。因此,我们能在跨文化和文化内部两种条件下分别探究这两种情况;这能告诉我们语言及言语在多大程度上是由我们习得的知识决定的。最简单的答案是,能分辨口音的地方人口通过大脑颞上回(STG)语音信息处理器来分辨不同的语音集群;而当我们研究的样本增多,我们能够提取出的就是基本的语音类别信息,如元音及辅音表征等。

2)语音封包(speech envelope)中的情绪效应会对言语的解读和解码带来什么问题?

Edward Chang教授认为,除了传递语义信息,英语的重音规律与我们的情绪感受息息相关。研究证明抑郁症人口在言语表达中的重音使用更少,语调更加平缓。而倾听他人的发言有时也能使我们感受到情绪,这可能是因为大脑听觉加工区域与负责情绪加工的边缘区域(limbic area)相联。我们的后续研究也许会着眼于这些话题。

3)如今能否通过高精度的核磁功能成像技术,从(STG)部位的活动解码言语表征?

Edward Chang教授认为这当然是可能的。但fMRI的问题在于,虽然它的空间精度很高,但时间精度太低。我相信结合更先进的计算技术,这个领域能得到很快的发展,但本质上的局限,即较低的时间精度,是难以规避的。与此同时,我们可以利用其他的技术来进行解码,例如EEG等。

4)在时间上,针对言语特征的神经元反应是稳定的么?此外,在听觉皮层的表征是否稳定,这又如何影响我们对于言语特征的解码呢?

这些特征的表征是十分稳定的。尽管如此,在我们几个月前发表 于PNAS的研究中,我们训练了住院病人学习汉语音调。这项研究显示听觉皮层具有一定的可塑性,但从长时程的角度来看,言语表征还是十分稳定的。此外,我们还从信号-噪声的角度研究了这个问题。非常有意思的特点是,如果在播放言语的同时加入噪声,听觉皮层只会加工言语信息,而不是背景噪声。此前我们还进行过另外一项研究,即在双耳实验中,被试佩戴的两只耳机如果同时播放不同的言语饮品,颞上回只会加工被试注意到的那只耳机中播放的言语。

5)您是否有关注双语/多语使用者的语言表征?人们学习新语言的年龄会带来什么影响?

Edward Chang教授表示,目前我们研究项目的重点就是这个领域。我认为这个问题非常重要,因为过往研究中大部分的精力都聚焦在英语语言的神经表征上。全世界有超出 7000 种语言,它们都享有一定的共性,但也有许多不同。在未来的 5-10 年中,我们将与华盛顿医院以及来自全球的研究所进行合作,寻找普遍语音编码。我认为这会是一个非常重要的研究。

6)用来解码言语的神经元,是否能够同时解码音乐?

Edward Chang教授回答说,在目前正在进行的一项研究中,我们探讨了言语跟音乐的神经元表征。我们发现一组神经元同时负责英语以及音乐的处理。我们正在尝试用fMRI进行信号处理,但这或许远达不到侵入式成像技术的精确度。

Evelina Fedorenko:

人工神经网络作为人类大脑语言理解的模型

主讲人

Evelina Fedorenko

麻省理工学院

Fedorenko博士是一位研究语言系统的认知神经科学家。她于2002年获得了哈佛大学的学士学位,并于2007年从麻省理工学院获得博士学位。随后,她获得了美国国立卫生研究院国家儿童健康与人类发展研究所颁发的 K99R00 职业发展奖。2014 年,她成为了哈佛医学院/马萨诸塞州波士顿总院的教职员工。她于 2019 年回到麻省理工学院,目前在大脑认知科学系和麦戈文脑科学研究所担任副教授。Fedorenko博士使用fMRI、EEG / ERP、MEG,颅内记录和刺激以及计算模型等技术来研究成人和儿童,研究对象中包括患有发育性和后天性脑部疾病的患者。

Evelina Fedorenko教授的研究关注人类思维以及大脑中与语言相关的计算及表征,她的报告主题是通过人工神经网络理解人类语言的表征及其背后的神经元活动。

语言功能问题一直困扰着科学家们。针对这个问题,从哲学层面一般存在两种假设:其一是,语言的功能在于交流思想,另一种是,在演化进程中,语言让我们具有了更深邃的思维。她认为哲学无法解决这两种假设,我们应当从实证的角度为这个问题找到答案。

在这次报告中,她通过两支实证研究反对了语言的功能是为了承载更复杂思想:1)语言与复杂思想、推理能力之间的关系;2)语言用于交流的实用特征。

在第一支研究中,Fedorenko教授列举了一系列来自功能性成像技术及针对大脑损伤患者的研究。这些研究显示,高级语言能力不与认知执行功能(如注意、工作记忆等)共享认知资源。与之相对的是,语言与社会认知功能存在极大的关联性。

在第二支研究中,Fedorenko教授列举了自然语言的形态一般便于高效传递信息;随后,她报告了通过人工智能网络进行的语言预测研究。此前的语言模型存在的问题是,我们没有能从语言中提取语义的算法。但近年来,随着人工智能算力的提升,出现了如生成预训练转化器(GPT)这样的语言预测算法。这证明从语言中提取语义是可能的。我们这样的语义生成算法与人脑进行对比研究,探讨了人脑是如何处理语言的。研究发现,语言预测能力更强的网络也能够更好地预测人类神经活动。

Q&A

1)您认为语言不是产生复杂思维的基石,那么您有什么其他的假设吗?

Evelina Fedorenko教授表示,这是一个非常有趣的大问题,目前针对人类为何有如此高级的智能,也存在着许多不同的解释。对此我唯一想要表达的是,人们总是低估大脑的智能,依次来表达我们演化出了一个新的大脑区域,因此能进行新的计算。我觉得我们应当以一种更为宏观的视角看待大脑同路,从视觉到语言等认知功能都是紧密相连的,而我们的整体认知远比目前认为的要更为精密。

2)人类大脑是如何表征不同语言的呢?

Evelina Fedorenko教授表示,首先对于多语种使用者而言,表征不同语言的系统虽然有一些细化的差别,但总体上是相同的。当然我们也发现,多语种使用者的语言网络表征要比单语种使用者的网络表征更加高效。当然,未来我们也想要多语种使用者在表征语法差异较大的语言时有什么不同的表现。

3)您提到了语言不能支持其他的认知能力,那么从另一方面来看,什么认知能力支持了语言呢?

Evelina Fedorenko教授认为,这取决于提问者想要探究什么方面。举个例子,当我们在阅读的时候,语言肯定需要视觉系统的支持;另外两种较为热门的假设分别是社会推理能力以及认知执行功能。但我认为从计算的角度来看,语言系统更像是一种“自给自足”的认知功能,它可能与其他的认知功能存在着交互关系。

4)语言网络占据了大脑中很大一部分,这部分脑区纯粹仅用于语言加工么?

Evelina Fedorenko教授表示,首先我们不清楚语言加工脑区的具体边界,它们中的一部分可能与其他的认知功能相关。我认为语言脑区的体积较大,可能与我们对语言的依赖相关,譬如知识主要通过语言存储。目前我们仍在从解剖学联结以及功能性联结两方面来探讨语言系统内的信息流动,或许未来能为这个问题给出答案。

5)这个问题是关于语言生成的。为什么新语言的生成(如社区手势语言)更多的是由儿童及未成年人一同发展出来的呢?

Evelina Fedorenko教授认为提问者想要针对的问题与乔姆斯基提出的语言生成论相关,这可能也设计了人类早期大脑具有更强的可塑性。但我认为语言不是自动形成的,除非你把语言用在交流的场合。来自爱丁堡大学的Simon M. Kirby 曾在一项研究中将成年人放在交流环境里,并让他们开发出了一种能用于交流的微型语言(mini-language),这部分证明了成人并非无法开发新语言。尽管如此,随着人类年龄增大,人们的认知灵活性显然是随之下降的,这可能也导致了成年人进行这项任务不像儿童那样轻松。

13

2021-10

 

界精神健康日

10月10日是世界精神卫生日,由世界精神卫生联盟提出。为了提高政府部门、社会各界,广大群众对精神卫生重要性和迫切性的认识,普及精神卫生知识和对精神发育障碍疾病的研究认识,计划10月10日前后在全国开展“世界精神卫生日”宣传活动。

今天是10月10日,也是2021年世界精神卫生日。今年世界卫生组织(WHO)提出的运动口号是:“让人人享有精神卫生保健成为现实”,而我国卫健委将心理健康问题聚焦到下一代的儿童青少年身上来,所定的主题为:“青春之少年,青春之心灵”。

过去一年半的新冠疫情,给这个年份留下了特殊的历史记号:我们的日常生活与人际交往因封锁和隔离而发生了重大的变化,特别是对青少年产生了极大影响。

面临心理“风暴”的青少年群体

疫情隔离在家,许多孩子要对着屏幕上网课,原有学习方式的改变所带来的不适应,使得学习效果大打折扣、成绩下滑;同时正常的社会生活被疫情中断,孩子和父母长时间共处一室,摩擦增多,家庭矛盾得不到向外排解,反倒让脆弱的孩子成了父母的出气筒;困于室内,失去了和朋辈共同玩耍的空间,孩子们把更多的时间精力转移到了网络上……

疫情之下,学业压力、亲子矛盾、网络依赖等等因素的共同作用,暴露出更多青少年心理危机的问题。据《中国国民心理健康发展报告(2019-2020)》统计,2020年中国青少年的抑郁检出率高达24.6%,其中轻度抑郁17.2%,重度抑郁为7.4%。而青少年抑郁症和双相情感障碍症,也是极易诱发青少年自杀行为的精神障碍,因此应该得到重视和预防。

引起热议的成都49中学生坠亡事件为我们敲响了警钟。在媒体报道的事件后续调查中披露,该学生于自杀前曾数次割腕,而警察通过调取该生手机数据也发现,该生在和朋友的聊天记录中表达出自我贬低等抑郁倾向。[1] 这些不好的苗头如果能早点被发现,并得到家长和学校的重视,悲剧或许可以避免。

 

▷ Image by Tra Nhu

 

“Z世代”的精神疾病诊疗方式

针对青少年抑郁和双相情感障碍的治疗方式,一般需要结合心理疗法与药物治疗,双管齐下。其中,心理治疗包括认知行为疗法,人际与社会节律治疗与家庭心理治疗。在精神疾病的临床治疗中,数字疗法具有治疗、评估和预防三种功能,也可对应在疾病的不同阶段发挥不同的功能。而在这个案例中,如果应用数字化疗法,进行社交网络的数据监控并提前干预,或许可以防止类似悲剧的发生。这也体现了数字化疗法在预防精神疾病方面的作用

数字疗法,是在数字化时代下衍生出来的新型心理治疗方式,也是将信息技术应用于治疗的一种手段。根据梅根·科德尔(Megan Coder)在2019年的定义,从狭义上来看,数字疗法是指由软件驱动、并以循证治疗为基础的,能够用于预防、管理和治疗某种医学疾病或障碍的一种治疗方式。[2] 具体应用数字技术的治疗方法包括:在线治疗,社交机器人,可穿戴设备、AR/VR游戏化疗法、数字药物等等。

对于Z世代来说,他们早早就接触了手机平板,对各种数字产品使用起来也更加得心应手,因此,在他们身上,数字疗法也具有更好的应用基础。数字疗法给我们带来了极大的便利,在以往,人们可能会由于“病耻感”害怕确诊精神疾病而不敢到医院看医生;而在现在,我们可以随时随地进行在线咨询、查找信息并寻求专业帮助

例如,在疾病发生及确诊的早期,可以通过社交媒体上的数据进行分析,以此来评估用户的情绪状态,测算并控制疾病发生的风险,防患于未然。还有利用可穿戴设备监测生理指标的做法,包括监测患者心率、脑电图、皮肤电活动等,用以形成临床上可操作的数字表型,为医生在做出疾病诊断时提供可靠的判断依据。[3](点击阅读更多

而在病程中,如果想要得到安全、私密的心理治疗环境,也可运用VR系统来实现。由牛津大学丹尼尔·弗里德曼(Daniel Freeman)教授及其团队开发的一个用于心理治疗的VR系统gameChange,能够模拟患者在做心理咨询时害怕遇到的社交情境。这种VR系统提供了一种沉浸式的交互环境,有利于消除患者的不安情绪,并使他们的症状逐渐减轻。

以及有更多的聊天机器人如Woebot被设计来督促患者面对心理压力和焦虑。这些基于手机端的移动应用,克服了时间和空间上的限制,在患者无法正常获得心理治疗的情况下作为补充的治疗,可以为患者心理健康提供有益指导,也能够提高患者治疗的参与度和依从性。

疗效上,大量研究表明,类似聊天机器人的网络认知行为疗法,作为认知行为疗法的变体与延伸,的确可以有效缓解焦虑与抑郁症状,也足以应对强迫性障碍(OCD)与体像障碍(BDD)等更为棘手的问题。[4]

 

▷ Image credit: Glenn Thomas

 

对数字疗法的追问

技术的发展带来便捷,但数字疗法也是一把双刃剑,我们也要考虑数字疗法的两面性。数字时代,数据的获取变得轻而易举,而这背后的隐私性问题也仍尚存疑虑。数据使用的边界该由谁来制定?我们不排除在未来将有许多机构(政府、医院、社区)可能参与到这些用户数据的共享之中,但在多大程度上,用户身份信息能够被消除、隐私能够被保护?退至底线来看,如果一款设计不完备、可能遭受黑客攻击的软件,收集了几乎关于你的所有医疗数据,一旦信息泄露,我们还能拿什么来捍卫自己的隐私权?

回到理论上来,数字疗法的设计也一部分受制于现有的理论模型,需要考虑的问题是,要收集哪些数据?对数据的精确度有何种要求?数据的分析方法是否可靠?面对大数据驱动的精神疾病的数字化疗法,我们应避免步入机械的还原论误区、造成只注重数据的片面结果,既要借助技术与理论研究的力量,发展出更新更完善的数据分析方法与理论框架,也要从精神疾病的社会隐喻层面去理解

从微观的生物层面上来看,精神疾病的产生有着具体而微的分子生物学机制,精神疾病成因之复杂,而现有的精神疾病的动物模型通常过于简单,我们也还期待建构出更好的理论模型来加以分析。[5] 深入研究双相情感障碍(biopolar disorder,BD)在大脑的细胞与分子层面的发病机理,将有助于建构BD的易感基因与环境压力之间的动物模型。在2020年,由姚骏研究组发表在《PNAS》上的论文提出了BD致病机理的树型理论假说,认为在分子层面上,某条分子机制的缺陷是导致BD高遗传率的关键,为进一步研究找到了突破口。[6]

从宏观的社会层面上来理解,精神疾病的形成是一个生物-心理-社会因素相互关联的过程,理解大脑如何形成宽广而复杂的神经网络,与揭开精神疾病的成因有着密不可分的关系。我们吸收内化社会知识并在大脑中形成表征,在语言的表达中做出清晰的概念定义,给那些新出现的事物冠以名词解释。但获取如此之多的大数据,找出变量、机制来理解大脑中正在发生的非线性系统,反而却增加了知识的复杂性。尽管神经科学关于大脑意识的产生还未有定论,但至少可以确定的一点是,我们的大脑并不是一颗完全孤立的大脑,而是活生生地以身体的形式嵌入在各种社会联结的变动与发展之中。

数字疗法有将我们的身体过度抽象化的风险,毕竟,我们的大脑和身体不是简单的输入-输出机器,大数据也只是经验世界的镜像反映。它的出现可以重新塑造我们对世界的认知,但我们也不能够过分受限于虚拟现实。

 

▷ Image credit: Freepik

 

探讨青少年精神障碍问题的特殊性

青少年精神疾病问题具有特殊性。在医学人类学生命叙事视角下,青少年是人生命周期的早期阶段,少年时罹患精神疾病是一个十分重要的生命事件,将对人一生产生极其重大的影响

近年来,青少年抑郁与双相情感障碍面临着发病率逐年提高的趋势,根据《柳叶刀》词条,双相情感障碍有约七分之一(13%-16%)的终生患病率,一生中重复发作的可能性大。病情严重的情况下,患者会产生自杀的倾向,约有10%-20%的双相情感障碍患者以自杀的方式结束自己的生命,有三分之一的患者承认至少有过一次自杀的尝试。[7]但尽管病情恶化的后果凶险,但只要能够得到长期关注与持续治疗,保持心理健康的状态,使病情完全处于控制之下,就能够享受幸福的人生。因此,重新建立我们的认识,要看到精神疾病只是慢性疾病的一种。

目前我国的精神障碍的疾病负担较重,在2019年的疾病负担报告中,抑郁障碍在所有精神障碍中位居首位。为了进一步提高对疾病的社会干预,我国已经出台了多项政策规定,2020年我国卫健委发布了《探索抑郁症防治特色服务工作方案》,提出把抑郁症筛查纳入高中及高等院校的抑郁症防治要求中;在今年世界精神卫生日上也提出了“积极推进积极推进《健康中国行动(2019-2030年)》心理健康促进行动和《健康中国行动一儿童青少年心理健康行动方案(2019-2022年)》”。这些方案都体现出我国在精神卫生方面的建设性的探索实践。

回归现实,结合脑科学与人工智能技术的发展,我们呼吁对青少年精神健康问题给予充分的关注与支持,共同营造一个有利于青少年身心健康发展的良好社会环境,一起建设面向未来的精神卫生服务,毕竟没有精神健康就没有健康。

#TCCI持续支持中国精神健康事业

2021年7月26日,天桥脑科学研究院(Tianqiao and Chrissy Chen Institute,TCCI)捐赠五千万与上海市精神卫生中心签约,合作建设人工智能与精神健康实验室,重点关注如何通过人工智能在精神卫生(心理健康)领域的深入研究和转化应用,针对个体行为和症状建立的大数据,开展精神疾病评估和干预,以助提升民众心理健康水平。(点击阅读更多)

11

2021-10

(图片来源:Unsplash)

 

本次会议核心是分享与脑科学相关的最新科学领域的突破性技术,分别探讨包括情感计算、情绪和面部表情,以及机器学习、演讲和语言等具体议题,希望利用现代化、跨领域的科学手段来攻克有关人脑和大脑认知的深层问题。

 

钛媒体编辑丨林志佳

随着人工智能(AI)、深度学习(ML)技术的不断演进发展,很多研究人员发现,AI 在脑科学领域的应用前景广阔,特别是在精神脑、老年脑、儿童脑的研究中,能够提供更好的方法与策略。
北京时间10月7日、8日的凌晨,由盛大网络创始人、慈善家陈天桥夫妇出资成立的天桥脑科学研究院(以下简称TCCI),与顶级学术期刊《Science》(科学)杂志共同举办了一场两天共计6小时的线上研讨会。
本次线上研讨会售价100美元(学生证免费),主题为“认知科学领域的前沿研究”,核心是分享与脑科学相关的最新科学领域的突破性技术,两天分别探讨包括情感计算、情绪和面部表情,以及机器学习(ML)、演讲和语言等具体议题,希望利用现代化、跨领域的科学手段来攻克有关人脑和大脑认知的深层问题。
两天的演讲嘉宾(按照出场顺序)包括上海交通大学心理与行为科学研究院特聘研究员杨志博士,德国马克斯·普朗克神经生物学研究所娜丁·戈加拉(Nadine Gogalla)博士,麻省理工学院 Rosalind Picard博士,TCCI转化中心主任、华山医院院长毛颖教授,加州大学旧金山分校神经外科学教授Edward Chang,以及麻省理工学院麦戈文脑科学研究所、脑神经科学副教授Evelina Fedorenko.
据悉,TCCI是由陈天桥、雒芊芊夫妇私人出资10亿美元创建,是一所主要聚焦大脑探知、大脑相关疾病治疗和大脑功能开发三大领域研究的机构,旨在支持、推进全球范围内脑科学研究,TCCI一期投入了5亿元人民币支持中国的脑科学研究,并与华山医院、上海市精神卫生中心等建立战略合作;而《科学》杂志则是由美国科学促进会(AAAS)于1880年起出版的英文学术期刊,是极具权威性和影响力的世界顶级学术刊物。目前该期刊订阅人数约为13万。根据《期刊引证报告》,《科学》杂志在2019年的影响因子为41.845。
实际上,早在今年9月16日,科技部网站正式公布科技创新2030“脑科学与类脑研究”重大项目2021年度项目申报指南的通知,涉及59个研究领域和方向,国家拨款经费预计超过31.48亿元人民币。
这标志着,比肩美国脑计划、酝酿6年多的中国脑计划项目正式启动。那么,本次研讨的机器学习(ML)、脑科学等交叉学科融合技术,是否会预示着行业新的科研技术发展前景?脑科学领域还能实现哪些技术突破?

利用看电影对照实验识别精神分裂症患者

人的大脑成像信息十分重要,医院中就有多项“脑电图”相关的检查项目,就是利用脑成像提供的独特信息,来更好地诊断和早期检测精神等类型疾病。那么,不断进步的神经影像方法是否可以帮助我们客观和定量化地测量脑的一些高级的、整合的功能呢?
作为研讨会上第一位演讲嘉宾,上海交通大学心理与行为科学研究院特聘研究员、TCCI转化中心研究员杨志博士,在线上分享了他与科研团队在去年8月1日《NeuroImage》(神经影像)杂志上发表的一篇重要研究成果:利用开发的一种个性化的精神病神经影像技术,基于126名参与者在观看电影剪辑时记录到的大脑活动,就可以检测识别出具有精神分裂症特征的患者。结果显示,通过训练SVM分类器(机器学习分析样本工具)识别精神分裂症参与者,在交叉验证测试中获得了71-78%的准确率,在独立的验证数据中实现了95%的准确度、100%的灵敏度和90%的特异性。
这一研究成果使转化精神病学领域受益,并反映了这种方法在个体化诊断临床工具方面的潜力。

 

杨志在接受采访时表示,他认为这一研究成果也可以应用诊断其他精神疾病。“我们的这项工作验证了,通过测量人在接近生活的场景下产生的脑活动,我们可以测量脑的复杂功能,并据此对心理状态和精神障碍进行推断。我们的另外一项研究支持了这种方法在反映个体差异时的可靠性。因此这个方法有望用于研究其他的心理健康问题,我们也正在开展一些相关研究。”
对于本研究成果的局限性,杨志解释称,这一研究方法在解释大脑活动的个体差异方面的能力有限。我们测量的脑功能是高度复杂和整合的。这好比我们可以测量智商,但是无法很清楚地解释究竟为什么一个人智商很高。接下来,团队将试图通过一些措施,更好的解释大脑系统或主体的行为状态。
据悉,这项研究是由中国国家自然科学基金,上海市教委-高峰高原临床医学建设计划等资助,上海市精神卫生中心研究基金、以及TCCI转化中心(天桥脑科学研究院和上海周良辅医学发展基金会合作成立的上海陈天桥脑健康研究所)等机构的支持。

用老鼠的情绪表达佐证人脑的“情绪神经元”

第二位演讲者是德国马克斯·普朗克神经生物学研究所的娜丁·戈加拉(Nadine Gogalla)。她在研讨会上分享了关于用机器学习技术获取老鼠的情绪表达与神经关联,从而通过情绪发现人脑奥秘的研究故事。
实际上,情绪的神经生物学起源对研究人员来说十分神秘。科学家们仍然没有充分理解情绪是如何在人脑的复杂回路中出现的,只能通过理解如小鼠等动物情绪的实验尝试,从而探究人脑对于情绪的分析与表达。
过去几年,戈加拉博士和同事们通过一种AI 机器学习算法来分析小鼠的面部表情,用先进的机器视觉技术在毫秒时间尺度上客观和定量地对鼠标面部表情进行分类,识别出了诸如愉悦、厌恶和不适等情绪相关的面部表情,并佐证至人类的基本情绪,进而深层研究人类大脑内部情感体验区域——岛叶(Insula)皮层的反馈,从而表明了“情绪神经元”的存在。
据悉,这一研究成果于去年4月3日登在了《科学》杂志上。
“我们的工作提供了一种客观的分析工具,它对于理解情绪的神经生物学机制,识别物种特异性情绪以及确定个体之间的变异性是至关重要的。”戈加拉博士在本次研讨会上表示,他们从这一研究中发现了情绪状态的神经学起源,这项工作可能有助于朝着一种更加普遍且基于演化的情感定义及其跨物种的神经基础迈进。

 

实际上,与人类相似,当小鼠尝到了甜味或苦味,或变得焦虑时,它们的脸看起来完全不同。有了这种测量小鼠情绪的新方法,神经生物学家将得以研究大脑中产生和处理情绪的基本机制。利用机器视觉,研究人员能够可靠地将五种情绪状态与小鼠的面部表情关联起来:小鼠的快乐、厌恶、恶心、疼痛和恐惧,对于计算机算法来说,小鼠的每个面部表情和情绪是有明显差异的。
研究表明,小鼠的面部表情实际上不仅仅是对环境的反应。它反映了触发因素(trigger)的情感价值。戈加拉举了个实验中的例子,当口渴的小鼠舔糖水时,它们露出的表情要比饱足的小鼠愉悦得多,而尝了非常咸的水的小鼠则表现出“厌恶”的表情。从这些实验和其它实验中,研究人员得出结论:脱离感官刺激,面部表情实际上反映了一种情绪的内在特性。
发现小鼠面部表情的主要好处是让人类得以探索产生情绪的机制。论文显示,大脑区域是岛叶皮层(insular cortex),可以与动物和人类的情感行为和情感感知相关。当科学家们用双光子显微镜测量单个神经元的活动,并同时记录小鼠的情绪面部表情时,竟显示出,人类岛叶皮层的单个神经元反应与小鼠的面部表情强度相同,发生时间也完全相同。此外,每个神经元只与一种情绪有关联,即存在“情绪神经元”这种观点。
线上研讨会中,戈加拉博士表示,这一研究可以确信,情感也存在于孤独的动物身上,它们只是保护了自己的情感而已,所以说明动物也有沟通和社交功能,情绪对个人或动物来说是具有非常主观和自我的功能之一。

机器学习是临床中重要医疗工具之一

10月8日凌晨的在线研讨会上,华山医院院长、TCCI转化中心主任毛颖教授发表演讲,详细分析了 AI、机器学习(Machine learning,简称 ML)等技术方法对于潜在的临床实践(即诊断、治疗)神经外科学中带来的影响。
 
毛颖表示,ML 的意义与人类大脑的学习模式是一致的,主要取决于经验的积累、应用和修改。而ML 不等于AI,他认为,ML 不仅是 AI 的一部分,而且AI 中最重要的部分主要还有深度学习和强化学习,这些非常流行的精确学习技术方法,现在都属于机器学习的范畴。
随着ML算法的发展和演变,其技术已广泛应用于包括神经外科在内的医学教育疾病诊断的术前计划、互操作、导航指引等。例如,传统的开颅手术耗时且有风险,而未来随着装配下一代AI技术的神经外科职能机器人,神经外科医生将在手术中非常有效和容易实现手术,降低手术过程的风险。

 

据悉,毛颖教授是中国著名神经外科专家,现任复旦大学附属华山医院院长,还担任中华医学会神经外科分会候任主委等诸多重要学术职务。
具体来说,基于机器学习模型,毛颖团队开发了一种 AI 脑肿瘤病理诊断系统。通过对300例确诊病例的90000多张MRI(核磁共振)图像进行深度学习建立模型,这一系统最终的准确率在85% 以上,并随着病例数量的增加,该模型将得到改进。此外,毛颖团队还研发了一种新的算法系统,识别运动任务过程中不同脑区的时间顺序,从而应用于搭载脑机接口的患者,以及时规范大脑活动。
毛颖表示,机器学习方法为潜在的临床实践(即诊断、治疗)提供了神经外科医生友好的医疗工具,而且还让事情更简单,动作更快,在神经外科学中做出正确的决定。当然,这其中大样本、前瞻性、多中心化的数据是必不可少的。毛颖还认为,未来常规临床实践中,都需要使用基于ML技术的方法手段。“最好的机器学习比临床医生表现更好。”
不过,毛颖也指出,深度学习或 AI 技术依然基于条件经验以及大数据算法支撑,目前仍处于弱人工智能阶段,需要输入大量高质量数据,才能取得接近准确的结果。但他相信,在不久的将来,计算机会变得越来越聪明,从而更好地帮助神经外科医生。
“但老实说,用机器人替代神经外科医生是不可能的,依然还需要我们医生来继续做手术。”毛颖在研讨会上回答主持人提问时表示。

 

他在演讲中强调,现在 ML 技术,人类只能看到前方的一小段距离,距离完成类似登顶运动这样的“全智能神经外科手术流程”,还有很长的路要走。
(本文首发钛媒体App,作者|林志佳)

09

2021-10

 

会议介绍

认知科学在过去十年取得了巨大进展,几年前还被认为是天马行空的科学技术,现在已经迅速变成世界各地前沿实验室的标准方法和日常工作。这反映了现代神经科学的跨学科思维,科学家正在用跨学科方法来攻克有关人类思维和认知的深层问题。与此同时,不断涌现的革命性技术也让这一切变得可能。每年,天桥脑科学研究院(TCCI)和《科学》杂志(Science)都会举行一场认知科学会议,在会上各方集中讨论认知科学领域的最新突破性成果。

 

今年的会议将于北京时间10月7-8日(U.S. Pacific Time:10月6-7日)举行,聚焦于过去几年取得重大进展的两个领域。第一天,我们将讨论情感计算、情绪和面部表情的最新进展,第二天,我们将集中讨论机器学习、言语和语言的研究进展。

会议费用

1. 普通注册用户:$100

2. 报名注册了6月16日Science网络研讨会“人类与机器渐行渐近”(The shrinking distance between human and machine)的用户:$80

 

 

日程安排

Day.1 :情感计算、情绪和面部表情

北京时间10月7日

电影中的脑测试

Brain tests when watching a movie

时间:0:00 AM

人们有时以同样的方式理解世界,有时则具有鲜明的个性。研究表明,当我们在现实生活中拥有相同的知觉、感受和心理状态时,我们的大脑会表现出相似的活动模式。由此反推,我们的大脑对同一事件的反应可能有助于解码我们在认知和感受方面的个体差异。在本次演讲中,我将介绍我们是如何按照上述原理开发生态大脑测试。通过测量大脑对定制电影的反应,我们建立了机器学习模型来评估儿童和青少年的情绪成熟度以及识别精神障碍。

讲者 · Speaker

杨志

上海交通大学

上海市精神卫生中心研究员、博士生导师、上海交通大学心理与行为科学研究院特聘研究员、TCCI转化中心研究员;研究领域:人脑发育、儿童青少年精神健康、神经影像技术。

小鼠情绪表达及其神经元相关性

Expressions of emotion and their neuronal correlates in mice

时间:1:00 AM

情绪作为人类必要的生存功能,它控制着个人和社会行为。尽管情绪在生活中发挥着重要作用,但它仍然是大脑功能中最不为人知的产物之一。在本次演讲中,我将讨论我们实验室最近的工作:证明如何通过面部表情可以敏感地读出小鼠的情绪状态。此外,正在进行的研究如阐明岛叶皮层在情绪过程中的作用,也会在此次演讲中提及。

讲者 · Speaker

Nadine Gogalla

马克斯-普朗克研究所

2007年在巴塞尔大学获得神经生物学博士学位,然后在哈佛大学 Takao Hensch 实验室从事博士后研究。自2014年起,Gogolla博士在德国马克斯·普朗克神经生物学研究所担任研究小组组长。2017年,她荣获欧洲研究委员会启动研究基金。Gogolla博士的研究项目旨在研究情绪背后的神经元活动。为了实现这个目标,她的实验室研发出了有创新性的行为范式和的数据分析模式来测量动物的情绪状态。她的工作将这些读取到的数据与系统神经科学的前沿技术结合起来,包括双光子钙成像、单元体内膜片钳电生理学、光纤光度、病毒追踪和光遗传学。

我们能从智能手环和智能手机中了解哪些有关大脑健康的信息?

What can we learn about brain health from a wristband and smartphone?

时间:2:00 AM

多年前,我带领我们在麻省理工学院的团队创建了第一个可穿戴和非接触式成像机器学习算法,通过测量生理指标以数字化的方式表征人类情绪状态。我们重新设计了可穿戴传感器,该传感器能全天不停歇地收集数据,这让我们有了一些意想不到的发现。例如,我们最初的设想只是对汗液压力反应进行简单的测量,其结果却证明这一反应存在特定模式,这甚至比 100 年来实验室里研究的“皮肤电活动”(EDA)更有趣。我们进一步了解到,EDA 在睡眠的某些阶段以及被特定类型的神经刺激激活时也可以达到最高峰值。本次演讲将重点介绍在情绪测量过程中的最新发现,及其对焦虑、抑郁、睡眠记忆巩固、癫痫和自闭症等的影响。有了这些新发现和智能手机,我们可以解决哪些未来将会面临的重要挑战?

讲者 · Speaker

Rosalind Picard

麻省理工学院

Rosalind Picard是一位教授、发明家、工程师和科学家。她撰写了《情感计算》一书,概述了如何赋予机器情商技能,此书推动了情感计算这一科学领域的发展。她的发明利用AI技术推动了神经病学和精神病学的进步,她还与他人共同创立了两家成功的企业 Affectiva 和 Empatica:Affectiva 为 情感人工智能提供软件支持。Empatica 打造了第一款经 FDA 批准的智能手表,当有危及生命的癫痫发作可能时,该手表会发出警告,以及一种新的 AI 可穿戴设备:在疾病症状出现之前,会警告使用者病毒感染的可能性,目前美国卫生与公共服务部正在对其进行研究。在麻省理工学院,她是媒体实验室(Media Lab)的全职教授,负责教学和指导研究,并担任麻省理工学院校园健康计划 MindHandHeart 的创始教员主席。Picard博士获得了许多认可,包括工程师的最高荣誉之一,入选国家科学院。

Day.2 

机器学习、言语和语言

北京时间10月8日

临床神经外科和应用神经科学中的机器学习

Machine-Learning in Clinical Neurosurgery and Applied Neuroscience

时间:0:00 AM

讲者 · Speaker

毛颖

复旦大学

毛颖教授是TCCI转化中心主任、华山医院院长、中华医学会神经外科分会主任(候任),他还担任上海市抗癌协会副理事长、中华医学会神经外科分会副主任委员、中国医师协会神经外科分会副会长、上海市医学会神经外科分会主任委员等职务。毛颖教授曾经于美国密歇根大学Crosby神经外科实验室从事博士后研究,并在日本、中国和美国的多所学术机构深造。2017年,毛颖教授荣获了由上海市医学会颁发的上海医学发展杰出贡献奖。

言语的神经编码

The neural code of speech

时间:1:00 AM

人类语言认知的产生源于神经计算将外部接收到的语音信号转化为内部文字表征。大脑颞上回(STG)包含非主要听觉皮层,它也是语音处理的关键核团。我将为大家阐述颞上回中的语音表征是如何依赖于非线性且动态的处理过程,比如分类、规范化、语境还原以及对时序的提炼。颞上回局部皮质位点的空间嵌合展示了不同语音和韵律特征的复杂听觉代码。我们认为,作为一个群体集合,这些分布式神经活动模式产生了抽象且高阶的音素和音节表征,进而产生了语言感知。我将介绍颞上回进行语音处理的多模态、循环神经网络,这将进一步证明颞上回在听觉和语言系统衔接中起到的关键作用。

讲者 · Speaker

Edward Chang

加州大学旧金山分校

Edward Chang是加州大学旧金山分校神经外科学教授,神经外科系主任。他专长于通过高级脑功能定位手术保留大脑语言功能区。他还是加州大学伯克利分校和加州大学旧金山分校神经工程与假肢中心联合主任,该中心由加州大学旧金山分校和伯克利分校共同设立。他的研究主要关注人类行为(例如语言和情绪)背后的大脑机制。举例来说,通过研究与说话时的身体运动相关的大脑活动,他的团队成功的使用计算机解码这些大脑信号并将其转换为人工合成的语音。这项技术最终有可能为丧失了说话能力的瘫痪人群提供语言假肢。他曾获Blavatnik 全国生命科学桂冠和美国国立卫生院院长创新奖。他同时还是美国霍华德休斯医学研究所(HHMI)学者成员。

人工神经网络作为人类大脑语言理解的模型

Artificial neural networks as models of language comprehension in the human brain

时间:2:00 AM

我的研究计划旨在理解计算和表征及其背后的神经元活动,正是这些计算与表征使我们能够通过语言分享复杂的思想。十年前,我开发了一种可靠的新方法来研究大脑中的语言,其基础是从功能上识别个体参与者的语言反应皮层。使用这种方法,我识别并描绘出了一组额叶和颞叶脑区的特点:1) 支持语言理解和产生(口语和书面语);2) 与较低级别的感知(例如,语音处理)和运动(例如,发音)脑区完全分离;3) 不同语言(来自 11 个语系的 40 多种语言)在空间和功能上相似;4) 形成一个功能集成的系统,不同组成部分之间具有大量冗余。我将重点介绍我们工作中的三个主要发现。

首先,我将展示语言相关的大脑区域在各种非语言过程中对语言具有高度选择性——从数学和音乐到执行过程、再到非语言语义认知,甚至是处理计算机代码。同时,这些脑区还与支持社会认知的系统有深度且有趣的联系。

其次,与许多主要观点相反,我将证明语言脑区支持词义理解和句子结构的构建,语言网络的任何部分都没有选择性地进行组合/句法处理。我们通常认为大脑中的记忆和计算在空间上是没有分离开来的,而词义和结构构建之间的有力整合与这一论点一致。

最后,我将列举一些自然理解过程中语言网络预测编码的最新证据。我还会展示最先进的人工神经网络语言模型(针对预测处理进行了优化)在语言理解过程中准确捕获了神经反应。第二点对于研究语言理解的机制来说是关键的第一步。

讲者 · Speaker

Evelina Fedorenko

麻省理工学院

Fedorenko博士是一位研究语言系统的认知神经科学家。她于2002年获得了哈佛大学的学士学位,并于2007年从麻省理工学院获得博士学位。随后,她获得了美国国立卫生研究院国家儿童健康与人类发展研究所颁发的 K99R00 职业发展奖。2014 年,她成为了哈佛医学院/马萨诸塞州波士顿总院的教职员工。她于 2019 年回到麻省理工学院,目前在大脑认知科学系和麦戈文脑科学研究所担任副教授。Fedorenko博士使用fMRI、EEG / ERP、MEG,颅内记录和刺激以及计算模型等技术来研究成人和儿童,研究对象中包括患有发育性和后天性脑部疾病的患者。

26

2021-09

9月16日至19日,中国最大规模的神经科学年会在重庆举行。天桥脑科学研究院(TCCI)不仅继续赞助支持大会的主题发言,还首次在现场举办了TCCI专题学术论坛,吸引了诸多科学家的关注。

 

 

TCCI专题学术论坛以“追问推动科学探索”为主线,邀请来自神经和精神医学、认知科学、人工智能等领域的专家就“脑机接口与应用神经技术”和“人工智能与精神健康”两个主题,进行了分享和追问。

 

追问是TCCI今年以来强调的关键词。早些时候,TCCI创始人陈天桥在接受媒体专访时说,基础研究对于中国科学很重要,基础研究的出发点是好奇和追问。爱因斯坦曾说:“重要的是不停地提出新的问题,好奇心是一种天赋,它的存在是有理由的”。陈天桥也希望用追问来推动脑科学的研究,鼓励青年科学家追问行业大咖,鼓励热爱脑科学的非专业人士比如企业家、慈善家、创业者和学生追问科学家,共同关注脑科学,探索科学的边界。

陈天桥还透露,正在建设一个叫追问的互联网社区,预计今年上线,目的就是为了进一步鼓励和支持追问。此外,TCCI今年已经推出了“对话大脑”院士论坛,上线了追问公众号(id: nextquestion),追问布局日渐立体。

此次TCCI学术论坛,追问大主题下的两个讨论专题,则体现了TCCI中国两个前沿实验室的重点研究方向。去年和今年,TCCI宣布各捐赠5000万元人民币,与华山医院合作建立应用神经技术实验室,与上海市精神卫生中心合作建设人工智能与精神健康实验室。

在第一场脑机接口和应用神经技术专题讨论会上,主持人、华山医院院长、TCCI转化中心主任毛颖教授开门见山地提出:“脑机接口仅仅是大火的概念,还是已经实实在在造福人类?” 

 

 

针对该问题,华山医院神经外科教授、TCCI中国研究员陈亮展示了脑机接口已经取得的临床科研和医疗成果,并提出需要有更好的技术应用落地解决临床需求。对此,TCCI神经应用技术前沿实验室顾问Gerwin Schalk给出了他的见解,介绍了非侵入式的前沿脑机接口技术如超声、血管介入等,并追问除了医疗以外的应用场景。中科院上海微系统所副所长、TCCI中国研究员陶虎应声接上前两位专家的提问,介绍了自主研发的免开颅、高安全的柔性脑机接口前沿技术,以及脑机接口在消费级的应用前景。圆桌讨论环节,现场观众纷纷追问,“有创和无创,未来谁将是脑机接口的王道?”

 

 

在人工智能与精神健康的专题讨论中,主持人、上海市精神卫生中心院长、TCCI人工智能与精神健康实验室负责人徐一峰教授,从追问公众号读者征集的问题中选出一个作为开场提问:“精神卫生被称为脑疾病最后一座堡垒,在脑科学基础研究突破尚需时日之际,我们能做什么?”

 

上海市精神卫生中心副院长、TCCI研究员李春波教授回答了精神疾病为何难治,同时介绍了人工智能和大数据在精神疾病治疗中的最新成果。随后,浙大心理与行为科学系特聘研究员陈骥介绍了多模态信息采集的新进展,并追问了如何让实验走出实验室,解决数据瓶颈的问题。对此,上海交通大学心理与行为科学研究院副研究员、TCCI研究员张洳源认为,通过用户在游戏等社交媒体中的行为研究,开展认知和精神心理测评是一条可行之路。

 

 

来自产业界的代表、世纪华通总裁谢斐认可这一思路,并分享了发展游戏类新型数字药物的展望。此后,专家们针对读者的提问“人工智能是否会颠覆我们对精神疾病的认识?”“新技术能否帮助人们更好地正视和接受精神疾病治疗”等进行了讨论。

 

 

TCCI追问社区负责人介绍,此前的两个月里,追问公众号(id: nextquestion)持续对脑机接口进行了一系列的追问和报道,征集了青年科学家和读者对人工智能与精神健康主题的问题。这次会议的讨论话题集中体现了这些互动和追问。今天会议现场和在线观众又提出了很多更深层次的问题,他们将及时整理收集,继续开展追问。

17

2021-09