Камера ноутбука дозволить людям з порушенням мовлення спілкуватися з голосовим помічником

Американський програміст створив програму, що дозволяє спілкуватися з голосовим помічником Alexa за допомоги жестової мови. Додаток розпізнає жести за допомогою камери ноутбука та перетворює їх на голосові команди для помічника, а потім розпізнає відповіді помічника та виводить їх на екран у вигляді тексту.

Про це повідомляє Prosthetic knowledge.

За розпізнавання відповідає алгоритм глибокого навчання, реалізований за допомогою фреймворка TensorFlow.js, що дозволяє навчати й запускати нейромережеві моделі в браузері.

Користувач дає команди жестовою мовою, а ноутбук в реальному часі розпізнає слова та вимовляє їх за допомогою системи синтезу мови, а також показує на екрані. Водночас колонка-асистент чує й розпізнає слова комп’ютера та згодом відповідає голосом, який також розпізнається й виводиться на екран.

Інтерфейс програми розділений на дві частини та оформлений як діалог користувача та голосового помічника

Поки розробник не розкриває технічних подробиць реалізації алгоритму, але планує викласти вихідний код програми на GitHub.

Раніше ми рохзповідали, що роботи з машинним навчанням зможуть допомогти лікувати аутизм у дітей