뇌 임플란트 하나로 말과 몸짓을 동시에 해독

하나의 뇌 임플란트가 의도한 말과 몸짓을 동시에 해독해, 중증 마비가 있는 두 사람이 개인 맞춤형 애니메이션 아바타를 통해 수초 안에 의사를 전달할 수 있도록 했다.

이 개념 증명 시스템은 말하기와 신체 움직임에 관여하는 뇌 영역인 감각운동피질 표면에 배치한 전극 253개를 사용한다. 맞춤형 머신러닝 모델이 전기 활동을 해석해 화면의 글자로 변환하는 동시에 아바타가 손을 흔들거나 고개를 끄덕이고, 어깨를 으쓱하는 등 여러 몸짓을 하도록 한다.

참가자 한 명은 뇌간 뇌졸중 이후 말하기와 움직임에 장애가 생겼다. 다른 참가자는 말하기와 움직임에 점진적으로 영향을 미치는 운동신경세포 질환인 근위축성 측삭경화증을 앓고 있었다. 시험 과정에서 이들은 문구를 말하거나 몸짓을 하는 것을 각각 시도하거나 상상했으며, 손을 흔들면서 “안녕하세요”라고 말하는 것처럼 두 가지를 결합하기도 했다.

첫 번째 참가자의 경우 시스템은 의도한 몸짓을 88%, 말을 84%의 정확도로 식별했다. 두 번째 참가자의 정확도는 각각 66%와 70%로, 우연히 맞힐 것으로 예상되는 약 9%보다 높았다.

연구진은 이번 연구가 일상에서 바로 사용할 수 있는 기기를 선보인 것이 아니라 초기 단계의 성과라고 설명한다. 참가자가 두 명뿐이었고 사용한 문구와 몸짓도 제한적이었으며, 정확도 역시 개선해야 한다. 그럼에도 두 표현 방식을 함께 해독하면 장차 보조 의사소통을 더욱 자연스럽고 섬세하게 만들 수 있다.