Нейросеть, превращающая 3D в аниме

Нейросеть может превратить любое пейзажное фото в солнечный аниме-фон, сохранив при этом ключевые детали.

Сколько людей, столько и мнений, но лично нам всегда хотелось, чтобы реальная жизнь была чуть больше похожа на мультфильмы. Представьте только эти свеженькие куски пирога из Ведьминой службы доставки от Миядзаки или прогулку под палящим солнечным светом живописных пейзажей Макото Синкая. И хотя аниме покойного Сатоши Кона (создателя Паприки и Агента Паранойи) не такое безоблачное, все же есть что-то гипнотическое в его воздушных пейзажах и сказочной эстетике. Вероятно, поэтому фильмы всех трех создателей аниме были выбраны для обучения программы нейросети, которая преображает фотографии в аниме-арты.

Цзе Чен, Ган Лю и Синь Чен - студенты Уханьского университета и Хубэйского технологического университета, работали вместе над созданием AnimeGAN - новой нейросети, способной превратить обычные фотографии в изображения, похожие на арты в стиле аниме. Как они сами заявили, создание аниме вручную может быть «трудоемким», «сложным» и «требующим много времени», поэтому возможность преобразования фотографий снизит рабочую нагрузку и, возможно, даже вдохновит больше людей попробовать свои силы в создании аниме.

▼ Фотография...

▼ И фотография, прошедшая через "Хаяо"-фильтр

Чем действительно хорош этот сайт - тем, что он сохраняет узнаваемость исходных изображений. Если сравнить AnimeGAN с существующими современными искусственными интеллектоми, становится очевидно, что некоторые детали на фото - например, деревья или окна - могут быть сглажены и размыты настолько, что становятся неузнаваемыми. AnimeGAN не только сохраняет все мелкие детали, но и тратит меньше времени на это!

Самое классное, что вы можете протестировать AnimeGAN прямо сейчас, вам не придется скачивать никакие программы. Фильтры конкретных стилей пока недоступны, но вы все еще можете создать интересное изображение в стиле аниме.

▼ Можете оценить результат на этом прекрасном фотогеничном котике

Нельзя не задаться вопросом о названии фильтров. Очевидно, каждый из них говорит о создателе аниме, работы которого "научили" нейросеть использовать конкретный стиль: «Хаяо» основан на фильме Хаяо Миядзаки «Ветер крепчает», «Паприка» - на одноименном фильме Сатоши Кона, а кадры из популярного аниме «Твое имя» Макото Синкая использованы для версии «Синкай». Чередование имени режиссера, фамилии и названия фильма заставляет задуматься о знаменитых создателях аниме и их творениях.

Правда, насколько бы ни был хорош сайт в создании пейзажей, с людьми он пока что справляется не очень.

Тем не менее, раз уж сеть, очевидно, несложно обучить, ничто не помешает людям в будущем создавать свои собственные фильтры - например, Тоторо или Макото; может быть, мы даже сможем передать реальность в пастельных оттенках Сэйлор Мун, если скормить нейросети достаточно изображений? Только небо - и ваше мастерство фотографа - ваш предел! Надеемся, с изображением людей сеть тоже очень скоро начнет справляться, а пока что советуем ограничиться пейзажами и котиками :)