Технологии

Нейросети нарисовали мультфильм по текстовому описанию

16 апреля 2018 0

Флинстоуны

Флинстоуны 

Команда американских разработчиков создала модель нейросетей CRAFT (Composition, Retrieval and Fusion Network), которая способна генерировать анимированное изображение на основе текстового описания, сделанного людьми. Она успешно отрисовала короткие ролики с персонажами из мультсериала «Флинтстоуны».

Нейросети и видео

Нейросеть — частный случай методов машинного обучения для искусственного интеллекта. Особенность ее в том, что она пытается воспроизвести принцип работы нейронной сети живого организма. Алгоритмы в основном занимаются распознаванием образов, классификацией, прогнозированием, принятием решений.

Создание изображений и видео на основе текстов — интересная задача для разработчиков. Например Microsoft недавно представила нейросеть, которая рисовала картинки, используя короткие описания. Так ей удалось создать множество реалистичных изображений птиц. Впрочем, они все были статичными, делать динамичные анимации оказалось довольно сложно.

Новые эпизоды «Флинтстоунов» с помощью нейросетей

Новая модель CRAFT состоит из трех нейросетей сразу, каждая из которых специализируется на отдельной задаче: условно «составляет», «добывает» и «спаивает». В качестве базы данных для обучения каждой нейросети разработчики взяли больше 25 тысяч трехсекундных роликов американского мультсериала «Флинтстоуны», размеченных вручную. Модель последовательно добавляет в видеоряд объекты, в порядке появления их описаний. Используя информацию, полученную в ходе обучения, алгоритм прогнозирует местоположение объектов, определяет типичные действия персонажей и генерирует новые сцены на основе подходящих частей роликов из базы данных.

Пока программа работает не совсем гладко. У персонажей возникают различные «баги». Например в одном из готовых роликов главный герой Фред бежит на месте. Однако принцип работы нейросетей заключается в том, что чем чаще работает алгоритм и чем больше данных он получает, тем лучше учится и совершенствуется. Некоторые сцены уже сейчас выглядят так, как если бы их рисовал человек, прочитав перед этим текстовое описание. К сожалению, минус нового метода в том, что пока для его применения необходима ручная разметка огромного объема базовых данных.

Здесь вы можете посмотреть видео с роликами, которые получились у нейросетей.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Рассказать друзьям

0 Комментариев

Подписаться на рассылку

Комментарии

Войти с помощью 

Присоединяйтесь к нам в социальных сетях

В наших группах вы можете узнать много нового и интересного, а так же - принять участие в опросах и конкурсах

Присоединиться
Присоединиться