Китайський розробник Юаньчунь Ши і його колеги з Університету Цінхуа розробили голосовий помічник для смартфонів, що вміє розпізнавати мову по губах людини. Додаток створили для того, щоб використовувати його в громадських місцях, не заважаючи стороннім.

Під час роботи додаток визначає обличчя в кадрі з камери смартфона і після цього починає відстежувати стан 20 контрольних точок, які точно описують форму губ. Крім того, він визначає ступінь відкритості рота, що дозволяє відстежувати моменти початку і кінця команди.

Після цього дані передаються на інший алгоритм на основі нейромережі, який займається безпосередньо розпізнаванням мови.

Зазначається, що поки розробники реалізували розпізнавання не на самому смартфоні, а на додатковому і досить потужному комп'ютері.

Автори програми розробили для нього 44 команди, частина з яких відноситься до всієї системи, наприклад, вмикання Wi-Fi тощо. Інша частина — до конкретних додатків, а ще одна частина дозволяє взаємодіяти з будь-яким додатком за допомогою системних служб, наприклад, виділяти текст.

Розробники вирішили реалізувати подібну ідею, оскільки більшість людей не використовують голосові помічники в громадських місцях, адже при цьому вони відчувають себе некомфортно або заважають іншим людям.

Раніше ми розповідали, що Google розробили технологію доповненої реальності для звичайних окулярів.

Поділитись: