Разработчик написал приложение, которое может «удалять» автомобили с видео

Как сообщил программист в Twitter, приложение работает на основе нейронных сетей, которые распознают автомобили и заменяют области с ними в кадре на синтезированное фоновое изображение улицы или дома.

На опубликованном видео можно видеть, как нейросетевой алгоритм заменяет автомобили в кадре на синтезированное фоновое изображение. В то же время, автор ролика не рассказал, как работает алгоритм. Заметно, что он (алгоритм, — ред.) нуждается в доработке, поскольку не способен «убрать» автомобиль полностью.

Как отмечает издание N+1, можно сделать вывод, что для алгоритма используются две нейросети, одна из которых распознает автомобили в кадре и выделяет их, а другая работает с выделенными областями. Судя по тому, что на некоторых кадрах явно заметна измененная прямоугольная область, в алгоритме не используется отдельная сеть для семантической сегментации. Обычно такие нейросети применяют для относительно аккуратного выделения объекта определенного типа в кадре.

Вероятно, нейросеть для создания фона учитывает соседние области в кадре, поэтому на некоторых кадрах она дорисовывает стволы деревьев и столбы, закрытые автомобилем.

Ранее мы писали, что программист создал приложение для знакомств, аналогичное тому, которое было в эпизоде «Повесь диджея» сериала «Черное зеркало».