Вчені створили алгоритм, який розпізнає написані пальцем у повітрі англійські та китайські слова

Про це йдеться у статті, яку представили на Fourth Workshop on Computer Vision for AR/VR.

Вчені обрали два пристрої, які можна використовувати для розпізнавання тексту: рукавиця з вимірювальним приладом на кінчику вказівного пальця та прилад для відстеження траєкторії та пристрій Leap Motion, який відстежує рух кисті та передає ці дані на комп'ютер.

Leap Motion це невеликий USB-пристрій, який створює невидиме поле для взаємодії. Він відстежує рух предметів у невидимому полі з великою точністю і дозволяє людині безконтактно взаємодіяти з комп'ютером.

Використовуючи ці пристрої, людина має просто написати слова пальцем у повітрі. Пристрої зчитують дані про траєкторію, потім нейромережа порівнює слова, які ввела людина, з тими, які є у її базі даних, та показує слово на екрані.

Вчені перевірили роботу алгоритму на розпізнаванні рукописного тексту з 210 словами у базі даних. Для англійської мови точність розпізнавання 79,7% під час використання Leap Motion і 78,5% — під час використання рукавички. Алгоритм краще розпізнає китайську мову: точність 87,4% — для Leap Motion та 83,4% — для рукавички.

Водночас в алгоритму поки є складності з розпізнаванням різних почерків. Над цим науковці будуть працювати надалі.