用机器学习重新连接瘫痪后的大脑

脑机接口用触觉信号恢复触觉


脊髓受伤后不到一年,伊恩Burkhart准备好迎接接下来的一切了。2010年的一次潜水事故切断了他的脊柱,伯克哈特失去了二头肌下方的知觉和运动能力。但他并没有放弃恢复其中一些能力。

当时他正在与俄亥俄州立大学韦克斯纳医学中心的医生和理疗师一起治疗他的伤势。在开始治疗几个月后,他开始询问他的医疗团队他的选择。

他说:“我想知道今天有什么可能,以及我对未来有什么希望。”

学习伙伴,伊恩·伯克哈特。图片来源:巴特尔

受伤三年后,他学会了如何参与塑造未来。俄亥俄州立大学的一个研究小组正在计划一项脑机接口(BCI)的实验试验伯特立这里距离伯克哈特接受治疗的地方只有几个街区。

“结果非常完美,”Burkhart说。“这是正确的时间,正确的地点。”

“我想知道今天可能发生什么,以及我对未来有什么希望。”

Ian Burkhart, NeuroLife的研究伙伴

直接连接大脑和肌肉

神经系统是大脑和身体其他部分之间的沟通途径。它在大脑之间传递信号,允许肌肉和皮肤进行交流,所以当你想“拿起铅笔”时,神经提供触觉,你的手通过弯曲正确的肌肉做出捏的动作做出反应。当神经系统受损时,这些信号会被阻断,无法到达目标,导致瘫痪和无感觉。

bci使用计算系统来记录和分析大脑信号,将这些信号以命令的形式发送给执行动作的设备。几十年来,科学家们一直致力于为瘫痪患者开发bci,但这些系统仍主要局限于实验室。俄亥俄州立大学和巴特尔团队以及其他团队的目标是创造一种便携式设备,可以恢复这些人的一些功能和独立性。

巴特尔的神经生命系统旨在帮助伯克哈特恢复对手指、手和手腕的意识控制。

一些bci通过脑电图(EEG)分析大脑电信号,EEG是一种将电极固定在头皮上记录大脑活动的系统。基于脑电图的bci使参与者能够做一些简单的事情,比如只用他们的思想在屏幕上移动光标,或者像控制机器人假肢这样的高级任务。

其他的bci需要电脑芯片通过手术直接植入大脑。这些芯片有一组电极,可以记录来自一小群但特定的神经元的信号。虽然更具侵入性,但这些系统提供了精度,因为电极直接从所需的细胞记录。巴特尔和俄亥俄州立大学的研究人员选择了一种植入芯片,将伯克哈特瘫痪的手部肌肉与大脑运动皮层的特定部分重新连接起来。伯特立的系统,称为NeuroLife,旨在帮助伯克哈特恢复对手指、手和手腕的意识控制。

在前面的研究BCI使伯克哈特能够移动他的手和手臂。(a)植入微电极阵列的位置以及该位置与手臂运动时神经元活动的重叠位置。(b)神经肌肉电刺激袖。(c)正在使用的神经旁路系统。(d)与尝试腕部运动相对应的神经元放电的栅格和直方图。图片来源:巴特尔

分阶段方法

巴特尔系统的最早版本根本不是BCI。在进行植入芯片的手术之前,Burkhart测试了帮助肌肉运动的设备,当时的肌肉是由贴在手臂上的电极组成的。当电极在他的前臂上施加小电流时,它们会发出激活和弯曲特定肌肉的信号。

电脑没有使用他的想法来控制设备,而是激活电极,刺激肌肉运动。巴特尔大学的首席研究科学家帕特里克·甘泽尔说:“第一阶段的研究显示出了足够的希望,伊恩同意参与这个研究项目。”

俄亥俄州立大学的助理教授、物理医学和康复医生Marcie Bockbrader说:“在伊恩的脑海中,这是毫无疑问的,这将会起作用。”Marcie Bockbrader是这项试验的首席研究员。“在他看来,如何使用它一直是个问题。”

受伤几年后,在这个BCI的帮助下,Burkhart可以移动他的手刷卡,搅拌咖啡,甚至玩一个版本的吉他英雄。

在NeuroLife系统中,Burkhart将物品倒进杯子里。图片来源:巴特尔

2014年,伯克哈特在俄勒冈州立大学韦克斯纳医疗中心接受了脑部手术,植入了芯片。这个由贝莱德微系统公司制造的芯片大约有豌豆大小,位于他的运动皮层中,这是大脑中负责产生自主运动的区域。“它有像麦克风一样的小电线;每一个都只听少量的脑细胞,”甘泽说。芯片就位后,研究小组准备进行第二阶段的工作,使用更复杂的界面。

使用MATLAB®该团队开发了机器学习算法,可以在芯片记录伯克哈特的大脑活动时解码他的想法。为了将伯克哈特的手部运动思想转化为运动,神经生命系统需要绕过脊髓。这种神经旁路技术通过将大脑信号传输到计算机,由算法解码信号并将其转化为命令,从而刺激伯克哈特手部的肌肉。这些指令控制了包裹在Burkhart前臂的一套电极的活动,刺激他的肌肉根据他的想法移动它们。

受伤几年后,在这个BCI的帮助下,Burkhart可以移动他的手刷卡,搅拌咖啡,甚至玩一个版本的吉他英雄®.“所有这些创新最终都是由伊恩推动的,”Bockbrader说。“他并不满足,总是在想接下来会发生什么。”

感知和感受

这个惊人的突破代表了交流的单向方向。Burkhart能够发送信号他的手臂。他会弹吉他,但他感觉不到吉他在他手里。

然后甘泽有了一个主意。他去找研究小组的其他成员,建议进行实验,看看伯克哈特大脑中的芯片是否捕捉到任何残留的触觉。即使伯克哈特无法感知触觉,信号仍有可能通过脊柱中为数不多的完好纤维传递到大脑。

由于芯片位于运动皮层,所以它只能捕捉到伯克哈特的运动意图。但是大脑是有适应能力的,大脑区域之间的界限可以改变。Ganzer说,可能是一些处理触摸的神经元向运动皮层提供了微弱的信号。他的同事们起初持怀疑态度。巴特尔公司的高级数据科学家戴维•弗里登伯格(David Friedenberg)记得曾表示过怀疑,但认为值得一试。

为了验证这个想法,他们蒙上伯克哈特的眼睛,触摸他手臂和手的不同部位。通过分析他大脑中芯片的记录,他们可以判断出运动皮层的一块区域收集了少量的触觉信息,即使伯克哈特报告说他没有任何感觉。

对最近NeuroLife研究(1)植入微电极阵列检测神经活动。(2)研究确定残余的触觉信号到达大脑。(3)电刺激套筒上臂上也有提供闭环反馈的带。(4)触摸和动作信号分离。(5)握力由触摸信号自主控制。图片来源:巴特尔

伯克哈特并不是唯一一个这样做的人。一些研究分析了像伯克哈特这样的脊髓损伤患者的大脑激活和触觉感知。这些研究表明,多达一半的此类损伤是“感觉不完整”。像Burkhart一样,其他感觉不完全受伤的人无法感觉到触摸,但残留的神经纤维仍在向大脑发送感觉信号。巴特尔和俄勒冈州立大学小组的下一步是弄清楚如何利用这一信息为博克哈特谋利。

最初的神经生命系统使伯克哈特能够用他的手做动作,但当他触摸一个物体时,他仍然基本上没有感觉。由于缺乏感觉,伯克哈特无法可靠地判断自己什么时候抓住了一个物体,除非他看着自己的手。巴特尔和俄勒冈州立大学的团队想要提供缺失的感官反馈。

“感官信息的可能性将使系统更好地工作,让我在使用系统时更加独立,”Burkhart说。“但我认为,如果不进行另一次手术,在我大脑的感觉区植入一个不同的设备,这是不可能的。”

巴特尔与伯克哈特合作设计了一种设备,可以与神经生命系统一起提供感官反馈。他们无法恢复伯克哈特的手的触觉,但他们可以利用残余的触觉大脑信号和BCI,在伯克哈特抓住物体时,为他提供人工反馈。

为了做到这一点,该团队需要找到一种方法,将这些大脑信号传送到Burkhart身体上仍有知觉的地方的一个设备上。弗里登伯格说:“找到最好的方式,以他能够理解和理解的方式将信息反馈给他,这是一项挑战。”

“它为未来提供了很多希望,像这样的设备将改变像我这样的人的生活。这是我一直期待的事情。”

Ian Burkhart, NeuroLife的研究伙伴

伯克哈特希望这个装置能让他尽可能自然地感知和控制。他和巴特尔测试了几个不同的想法,比如把反馈装置放在他的背上,让它在他碰到物体时振动。伯克哈特在那里仍然有知觉,但装置需要放在一个他觉得更自然的地方。他需要能够将人工感官反馈与他正在触摸的东西联系起来。“那样的话,我的大脑就不需要进行大量的再学习,”Burkhart说。

最后,他们选定了一种包裹在伯克哈特二头肌上的振动带。这两个区域都有完整的感觉和感觉最自然的伯克哈特。为了将大脑的感觉信息传递给设备,研究人员在MATLAB中构建并训练了机器学习算法,以检测和解码大脑的下意识触摸信号。当Burkhart使用BCI触摸物体时,这些算法将运动信号和感觉信号分离开来,将触觉反馈传递给振动触觉带,并将运动信号传递给电极套。振动带实时振动,向伯克哈特发出信号,表明他正在触摸一个物体。

最初的几次尝试都有点尴尬。当Burkhart得到感官反馈时,它是在他的二头肌上,而不是他的手,实际上是在触摸物体。“这是一个巨大的挑战,有点像重新定位大脑的那部分,”伯克哈特说。“在我能够将这两部分联系起来之前,我做了一些练习。”

在没有反馈的情况下,Burkhart不得不猜测他是否触摸了一个他看不见的物体,而有了振动触觉装置,他可以在90%以上的时间里知道他是否抓住了一个物体,即使是蒙着眼睛。如果没有活跃的人工感官反馈系统,Burkhart基本上只能猜测或完全无法识别物体的触摸,这取决于物体的大小。Burkhart说:“我第一次蒙着眼睛做测试的时候,感觉非常棒。”

Burkhart不仅不用看就能捡起物体,而且由于人工感官反馈,他在使用系统时也更有信心。他说:“这很重要,因为我可以知道我在使用这个系统时不会掉东西。”“像这样的东西真的让它成为一个更自然的使用系统。”

然而,对于Burkhart来说,最新版本的BCI仍然过于笨重和复杂,无法在家中使用。目前,它只能在实验室中使用,设置很复杂。该系统经常需要调整和重新校准。尽管有这些挑战,团队相信总有一天伯克哈特会在家里使用它。

弗里登伯格说:“七年前我们刚开始的时候,这似乎还很牵强。但现在,他表示,这一目标几乎没有障碍。

“它为未来提供了很多希望,像这样的设备将改变像我这样的人的生活,”伯克哈特说。“这是我一直期待的事情。”

面板的导航

生物技术

大力推动为COVID-19大流行制造呼吸机

在47天内为英国呼吸机挑战创造一个新的设计

面板的导航

学术界/人工智能

用数据和机器学习制作更好的啤酒和葡萄酒

戴着gps的狗,电子鼻,倒啤酒的机器人

面板的导航

学术界/机器人

一个由九名本科生组成的团队为他们的最终项目建造了创新的跳跃机器人

小的,敏捷的“Ascento”爬楼梯和避免障碍