В NVIDIA создали нейросеть, реалистично подделывающую видео

Исследователи NVIDIA создали нейросеть, способную изменить погоду и время года на видео, при этом уменьшив время, необходимое ИИ для обучения. Для этого была использована пара генеративно-состязательных сетей (GAN) и метод обучения без учителя.

Раньше большая часть проектов по глубинному обучению использовала обучение c учителем. Это давало машинам возможность распознавать объекты почти так же хорошо, как человек. Например, контролируемое обучение хорошо работает, когда перед сетью стоит задача увидеть разницу между корги и немецкой овчаркой. В этом случае маркированные изображения обеих пород легко доступны для обучения.

Команда NVIDIA пошла дальше и дала машинам задачу на воображение — показать, как заснеженный дорожный пейзаж будет выглядеть летом. Для этого исследователи использовали обучение без учителя и генеративное моделирование.

Верхние два изображения демонстрируют, что первая сеть обучается на зимней сцене — пасмурное небо, голые деревья, практически все покрыто снегом, кроме автомобилей, едущих по замерзшей дороге. Вторая сеть обучена понимать, как обычно выглядит лето, но она обучалась на другом пейзаже.

Для моделирования идентичной ситуации, но в летнее время, потребовались бы те же кадры, записанные с того же ракурса, с той же перспективой, со встречным движением и другими деталями, но снятые отдельно в летнее и зимнее время. Но при обучении без учителя в этом нет необходимости.

Трансляция изображения стала возможной благодаря использованию сетями совместного скрытого пространства. Таким образом, две генеративные сети были проассоциированы друг с другом через связь своих параметров. Летний вариант зимней картинки был создан путем передачи представления от одной сети другой.

В сообщении компании говорится:

Использование генеративно-состязательных сетей не ново в обучении без учителя, но исследование NVIDIA принесло свои результаты — тени, проглядывающие через густую листву под частично облачным небом — это намного опережает все, что было раньше. Данные могут быть захвачены один раз, а затем смоделированы в различных виртуальных условиях: когда светит солнце или облачно, идет снег или дождь, и даже в ночное время.