Новая нейросеть научилась вставлять в картины любые объекты, изменяя их под общий стиль, «как так и было». Весь процесс проходит в три этапа: объект вставляется, раскрашивается, а затем редактируются текстуры. Добавление объектов на изображения – задача, с которой давно справляется специальный софт. Но вставки недостаточно: нужно адаптировать объект под стиль и цветовую гамму изображения. Сделать это вручную нелегко.
Чтоб упростить задачу, команда разработчиков Фужуна Луана, представляющая Корнеллский университет и Adobe Research, создала алгоритм, способный не только вставлять объекты в другие изображения, но и сохранять общую стилистику картины. Работа проходит в три этапа: вставка объекта, первое раскрашивание, восстановление текстур.
В итоге ИИ научился качественно работать с изображениями абсолютно разной стилистики. Это подтвердили добровольцы, сравнивавшие переносы объектов, выполненные разными методами. Сегодня подобные алгоритмы создаются не только для фото, но для видео.