Разработчики из Google создали программу, которая определяет, когда человек на видеовстрече использует жестовый язык, и показывает его как активного собеседника. Это должно помочь людям с нарушениями слуха использовать программы для видеосвязи.

Об этом говорится в блоге Google AI.

Во время пандемии, когда компании начали работать удаленно и использовать видеосвязь вместо обычных встреч, у людей с нарушениями слуха могут появиться трудности в использовании таких программ. Например, во время группового видеозвонка программы обычно увеличено показывают другим собеседникам видео человека, который сейчас говорит. А если человек использует жестовый язык — так не происходит.

Поэтому разработчики создали программу, которая должна облегчить жизнь для таких людей. Программа условно состоит из двух частей.

Первая — снимает человека и создает схематическую модель движений тела и рук с помощью алгоритма PoseNet. Он с помощью оптической оценки движений определяет, что собеседник активно двигает руками. Работа алгоритма не зависит от того, как далеко человек сидит от камеры.

Когда алгоритм определяет, что человек использует жестовый язык, он с помощью ультразвукового сигнала передает это приложению видеосвязи.

Например, у человека, который рассказывает что-то жестовой речью, включен микрофон, но он почти не улавливает звуков. Поэтому разработчики решили к записи с микрофонов таких собеседников добавлять ультразвук с частотой 20 кГц, который не слышат люди.

Алгоритм передает эти данные в приложение видеосвязи, а оно определяет такой ультразвук как шум и показывает видео человека с жестовой речью другим участникам видеоконференции.

Разработку протестировали на немецком жестовом языке. Точность определения движений человека составляет 91,5%. В то же время у программы еще есть недостатки.

Например, она определяет активность человека в целом и не различает, когда используют жестовый язык или просто машут руками. Также пока программа работает только с Windows и Mac, неизвестно, когда она сможет работать на смартфонах.

Кроме того, разработчики выложили исходный код программы на GitHub, где желающие могут предложить свои усовершенствования.

Поделиться: