Satu implan otak menerjemahkan ucapan dan gestur secara bersamaan

Satu implan otak berhasil menerjemahkan ucapan dan gestur yang ingin disampaikan secara bersamaan, memungkinkan dua orang dengan kelumpuhan berat berkomunikasi melalui avatar animasi yang dipersonalisasi dalam hitungan detik.

Sistem pembuktian konsep ini menggunakan 253 elektroda yang ditempatkan di permukaan korteks sensorimotor, bagian otak yang berperan dalam berbicara dan gerakan tubuh. Model pembelajaran mesin yang disesuaikan menafsirkan aktivitas listrik dan mengubahnya menjadi teks di layar, sekaligus menggerakkan avatar untuk melambaikan tangan, mengangguk, mengangkat bahu, atau membuat gestur lainnya.

Salah satu peserta mengalami gangguan bicara dan gerak setelah terkena stroke batang otak. Peserta lainnya mengidap sklerosis lateral amiotrofik, penyakit neuron motorik yang secara bertahap memengaruhi kemampuan bicara dan gerak. Selama pengujian, mereka mencoba atau membayangkan frasa dan gestur, baik secara terpisah maupun dalam kombinasi, seperti mengucapkan “halo” sambil melambaikan tangan.

Pada peserta pertama, sistem mengidentifikasi gestur yang ingin dilakukan dengan akurasi 88% dan ucapan dengan akurasi 84%. Pada peserta kedua, hasilnya masing-masing 66% dan 70%, dibandingkan dengan sekitar 9% yang diperkirakan jika hanya berdasarkan kebetulan.

Para peneliti mengatakan penelitian ini merupakan langkah awal, bukan perangkat yang siap digunakan sehari-hari. Penelitian ini hanya melibatkan dua orang serta pilihan frasa dan gestur yang terbatas, dan akurasinya masih perlu ditingkatkan. Meski demikian, penerjemahan kedua bentuk ekspresi secara bersamaan pada akhirnya dapat membuat komunikasi berbantuan menjadi lebih alami dan bernuansa.