Паралізована людина вперше змогла «написати» текст на екрані силою думки. І ні, це не про Neuralink Ілона Маска

Відомо, що мислення людини значно швидше за способи комунікації (як невербальний, так і вербальний). Для людей, які з тих чи інших причин не здатні комунікувати із зовнішнім світом, використання саме мисленнєвого процесу є важливим для взаємодії з іншими.

Сучасні засоби комунікації для паралізованих людей покладаються на зчитування руху очей чи голосові команди. Це доволі повільно: паралізована людина за допомогою зору за хвилину набирає в середньому трохи більш як 47 символів (людина без травми за цей же час набирає 115).

На щастя, існують спеціальні апаратно-програмні комплекси — нейрокомп’ютерні інтерфейси, що зчитують сигнали мозку і здатні перетворювати їх на мовлення. Відомий приклад — Neuralink Ілона Маска, який уже демонстрував його роботу на свинях і мавпі.

Ще у 2017 році у Стенфордському університеті розробили нейрокомп’ютерний інтерфейс, який під’єднувався до моторної кори головного мозку й за допомогою якого троє паралізованих людей змогли уявити рухи руками і в такий спосіб пересувати курсор на екрані.

Так учасники експерименту змогли навчитися друкувати слова на віртуальній клавіатурі. Найшвидший результат — 39 символів на хвилину, що все одно менше, ніж у випадку айтрекерів. Тому досі нейрокомп’ютерні інтерфейси не є вигідними ані комерційно, ані функціонально.

Дослідники Стенфорду на чолі з професором нейробіології Френком Віллетом обрали інший підхід до моделювання нейрокомп’ютерного інтерфейсу: він не визначає, яку літеру із заданого набору обрав користувач, а розшифровує літеру в рукописній формі, як її уявляють.

Іншими словами, йдеться про відтворення в друкованому вигляді рукописного тексту, який людина «пише» силою думки. Щоб це стало можливим, інтерфейс доповнили алгоритмом машинного навчання, призначеним для розпізнавання мовлення.

Його випробували на одному з учасників експерименту 2017 року — чоловікові з кодовим ім’ям Т5. Йому вже за 60 років, у 2007 році він зазнав травми спинного хребта і фактично втратив рухливість тіла нижче рівня шиї.

Спершу Т5 «уявляв» кожну літеру по 10 разів, щоб нейроінтерфейс «натренувався» їх вловлювати й розпізнавати. Потім чоловіка попросили переписати речення, які алгоритм до того не «бачив». Швидкість їх відтворення становила 90 знаків (або близько 18 слів) на хвилину.

Коли Т5 попросили відповісти на відкриті запитання, він зміг «написати» відповіді на дошці силою думки зі швидкість 73,8 знака на хвилину. При цьому помилки траплялися лише в кожному 18-му або 19-му символі — переважно з літерами штибу r, h, n.

Результати дослідження, на думку авторів, мають значний потенціал у контексті створення нового й швидшого способу спілкування паралізованих людей. Проблема полягає в тому, чи вдасться відтворити результати не лише на Т5.

Крім того, поки незрозуміло, як алгоритм «тренуватиметься» на інших мовах, окрім англійської, де більше знаків абетки й ще менше видимих відмінностей між ними. Все це потребує подальших перевірок і досліджень.

Дослідження було оприлюднене 12 травня в науковому журналі Nature.