技术与创新

单个脑植入装置同时解码言语和手势

一个脑植入装置同时解码了言语和手势意图,让两名重度瘫痪者能够在几秒内通过个性化动画化身进行交流。

这一概念验证系统使用253个电极,放置于感觉运动皮层表面。这一脑区参与言语和身体运动。定制的机器学习模型解读电活动,将其转化为屏幕文字,同时让化身挥手、点头、耸肩或做出其他手势。

一名参与者因脑干卒中而出现言语和运动障碍。另一名参与者患有肌萎缩侧索硬化症,这是一种逐渐影响言语和运动能力的运动神经元疾病。测试期间,两人尝试或想象说出短语、做出手势,既分别进行,也将两者组合,例如一边说“你好”一边挥手。

对于第一名参与者,系统识别手势意图的准确率为88%,识别言语意图的准确率为84%。对于第二名参与者,两项结果分别为66%和70%,而随机猜测的预期准确率约为9%。

研究人员表示,这项研究只是初步探索,设备尚未达到可供日常使用的阶段。研究仅涉及两人,以及有限的短语和手势,准确率仍需提高。不过,同时解码这两种表达方式,最终可能使辅助交流更自然、更细腻。

来源

  1. Nature'Multifunctional' brain implant translates speech and gestures in real time
  2. New ScientistBrain implant lets people with paralysis speak and gesture at the same time | New Scientist

报道说明

内容出处

Unknown

《自然》未披露上游新闻出版机构或通讯社,并在介绍《自然·神经科学》论文的同时提供了直接采访内容。

Unknown

《新科学家》未披露上游新闻出版机构或通讯社,并在介绍研究结果的同时提供了直接采访材料。