Ученые-компьютерщики Калифорнийского университета в Риверсайде стали обнаруживать манипуляции с выражением лица в дипфейковых видео с большей точностью, чем современные современные методы. Это достижение приближает исследователей к разработке автоматизированных инструментов для обнаружения фальшивых видео, содержащих пропаганду или дезинформацию.Развитие программного обеспечения для редактирования видео упростило замену лица одного человека на другое и изменение выражений на оригинальных лицах. Поскольку недобросовестные лидеры и отдельные лица размещают сфабрикованные видеоролики, чтобы повлиять на политические или социальные мнения, способность идентифицировать эти видеоролики многими рассматривается как необходимая для защиты свободных демократий. Существуют методы, которые могут с достаточной точностью определять, когда лица поменялись местами. Но идентифицировать лица, на которых были изменены только выражения, сложнее, и на сегодняшний день не существует надежной методики.
«Что делает область исследований дипфейков более сложной, так это конкуренция между созданием, обнаружением и предотвращением дипфейков, которая будет становиться все более жесткой. Благодаря большему прогрессу в генеративных моделях дипфейки будет легче синтезировать и труднее отличить от настоящих», рассказал соавтор статьи, профессор инженерной электротехники и вычислительной техники Борнского колледжа Амит Рой-Чоудхури.
Метод UC Riverside делит задачу на два компонента в рамках глубокой нейронной сети. Первая ветвь различает выражения лица и передает информацию об областях, содержащих это выражение, таких как рот, глаза или лоб, во вторую ветвь, известную как кодер-декодер. Архитектура кодер-декодер отвечает за обнаружение и локализацию манипуляций.
Фреймворк под названием «Обнаружение манипулирования выражениями» или EMD может как обнаруживать, так и локализовать определенные области изображения, которые были изменены.
«Многозадачное обучение может использовать характерные особенности, изученные системами распознавания выражений лица, для улучшения обучения обычных систем обнаружения манипуляций. Такой подход позволяет добиться впечатляющих результатов в обнаружении манипуляций с выражением лица», сказал руководитель исследования, аспирант Газал Мазахери.
Эталонные наборы данных для манипуляций с лицом основаны на обмене выражениями и идентичностями. Один переносит выражения исходного видео в целевое видео без изменения личности человека в целевом видео. Другой меняет две личности в одном видео.
Эксперименты с двумя сложными наборами данных манипуляций с лицом показывают, что EMD лучше справляется с обнаружением не только манипуляций с выражением лица, но и подмены личности. EMD безошибочно обнаружил 99% обработанных видео.
Статья «Обнаружение и локализация манипуляций с выражением лица» была представлена на конференции 2022 года по приложениям компьютерного зрения.