Парализованный человек впервые смог «написать» текст на экране силой мысли. И нет, это не про Neuralink Илона Маска
Исследователи из Стэнфордского университета впервые разработали интерфейс, который смог считать мозговые сигналы парализованного мужчины и превратить их в рукописный текст с точностью более 90%. Это сможет помочь в открытии способов общения для людей с повреждениями мозга.
Известно, что мышление человека гораздо быстрее способов коммуникации (как невербальных, так и вербальных). Для людей, которые по тем или иным причинам не способны коммуницировать с внешним миром, использование именно мыслительного процесса является важным для взаимодействия с другими.
Современные средства коммуникации для парализованных людей основаны на считывании движения или голосовых командах. Это довольно медленно: парализованный человек с помощью зрения в минуту набирает в среднем чуть более 47 символов (человек без травмы за это же время набирает 115).
К счастью, существуют специальные аппаратно-программные комплексы — нейрокомпьютерные интерфейсы, считывающие сигналы мозга и превращающие их в речь. Известный пример — Neuralink Илона Маска, который уже демонстрировал его работу на свиньях и обезьяне.
Еще в 2017 году в Стэнфордском университете разработали нейрокомпьютерный интерфейс, подключающийся к моторной коре головного мозга, с помощью которого трое парализованных людей смогли представить движения руками и таким образом двигать курсор по экрану.
Благодаря этому участники эксперимента смогли научиться печатать слова на виртуальной клавиатуре. Самый быстрый результат — 39 символов в минуту, что все равно меньше, чем в случае айтрекеров. Поэтому нейрокомпьютерные интерфейсы до сих пор не выгодны ни коммерчески, ни функционально.
Исследователи Стэнфорда во главе с профессором нейробиологии Фрэнком Виллетом выбрали другой подход к моделированию нейрокомпьютерного интерфейса: он не определяет, какую букву из заданного набора выбрал пользователь, а расшифровывает букву в рукописной форме, как ее представляют.
Иными словами, речь идет о воссоздании в печатном виде рукописного текста — человек «пишет» силой мысли. Чтобы это стало возможным, интерфейс дополнили методом машинного обучения, предназначенным для распознавания речи.
Его испытали на одном из участников эксперимента 2017 — мужчине с кодовым именем Т5. Ему уже 60 лет, в 2007 году он получил травму спинного хребта и фактически потерял подвижность тела ниже уровня шеи.
Сначала Т5 «представлял» каждую букву по 10 раз, чтобы нейроинтерфейс «натренировался» их улавливать и распознавать. Затем мужчину попросили переписать предложение, которое алгоритм до того не «видел». Скорость их воспроизведения составляла 90 знаков (или около 18 слов) в минуту.
Когда Т5 попросили ответить на открытые вопросы, он смог «написать» ответы на доске силой мысли со скоростью 73,8 знака в минуту. При этом ошибки случались лишь на каждом 18-м или 19-м символе — преимущественно с буквами вроде r, h, n.
Результаты исследования, по мнению авторов, имеют значительный потенциал в контексте создания нового и быстрого способа общения парализованных людей. Проблема заключается в том, удастся ли проверить это не только на Т5.
Кроме того, пока непонятно, как алгоритм будет «тренироваться» на других языках, кроме английского, где больше знаков азбуки и еще меньше видимых различий между ними. Все это требует дальнейших проверок и исследований.
Исследование было опубликовано 12 мая в научном журнале Nature.