Привет! Сегодня я хочу поделиться с вами своим недавним приключением в мире нейросетей и видеокомиксов. Это пока скорее хобби, чем что-то серьезное, но результаты оказались довольно забавными и надо признать, довольно неожиданными.
Все началось с того, что я решил создать серию видеокомиксов. Ничего особенного, просто хотелось чем-то заняться и попробовать что-то новое. И тут я наткнулся на инструменты нейросети, которые позволяли генерировать изображения. "Почему бы и нет?" – подумал я и решил включить эти изображения в свои комиксы. Получилось довольно прикольно, хотя и немного странно.
Вообще по задумке, я собирался сделать целый комикс-сериал. Что бы его было интересно не только читать, но и смотреть, я сделал его видео версию. Получился набор изображений в виде слайд-шоу, смонтированный в рамках одной сюжетной линии. Сверху накладывается текст и музыка.
Две первые серии уже были опубликованы, две готовы к публикации и ещё 4 серии были в работе. И тут нейросети опять сделали гиганский скачок. Они научились оживлять нарисованные картинки.
Мы вообще сейчас с вами живем в удивительно время. Ещё год назад не было никаких нейронок в свободном доступе, а сейчас каждый день выходит, что то новое.
Мы вообще сейчас с вами живем в удивительно время. Ещё год назад не было никаких нейронок в свободном доступе, а сейчас каждый день выходит, что то новое.
Представляете? Нейросеть научилась не только создавать картинки, но и оживлять их! Когда я узнал об этом, моему энтузиазму не было предела. "Это же совсем другой уровень!" – воскликнул я и сразу же принялся за дело.
Переделывать уже готовые комиксы было весело. Я выбирал ключевые моменты и сцены, а затем наблюдал, как они оживают благодаря нейросети. Было интересно видеть, как персонажи начинают двигаться, будто настоящие актеры в мультфильме. Некоторые из них вели себя совсем неожиданно, добавляя в проект нотку юмора и непредсказуемости.
Однако, не всё шло гладко. Например, в одной сцене, где персонаж должен был медленно поднять руку, нейросеть воспроизвела движение слишком резко и неестественно. Мне пришлось десятки раз корректировать параметры, чтобы добиться более плавного и реалистичного движения. В другой сцене, где два персонажа вели диалог, их лица иногда получались искаженными при переходе от одного кадра к другому. Это создавало странный и немного забавный эффект, но явно не тот, который я планировал.
Также были моменты, когда нейросеть не совсем точно интерпретировала эмоции персонажей. В одной сцене, где герой должен был выглядеть удивленным, его лицо выражало скорее замешательство. Иногда казалось, что нейросеть имеет своё собственное представление о том, как должны выглядеть эмоции, и это добавляло процессу некоторую непредсказуемость.
Но несмотря на эти мелкие недочеты, для меня этот процесс чрезвычайно увлекательный. Я каждый день узнаю много нового о работе с нейросетями и о том, как они могут интерпретировать и воспроизводить человеческие движения и эмоции. Это было похоже на сотрудничество с непредсказуемым, но талантливым художником, который иногда вносит свои коррективы в общую картину.
К тому же вы только сравните разницу между статичной картинкой и подвижной. Вот изображение сгенерированное нейросетью как картинка:
А вот тоже самое изображение, но уже оживленное и превращенное в видео:
Конечно это изображение, всего лишь скриншот и не сможет передать того, что происходит в видео, но я думаю и так разница волне очевидна.
Да, нейросети пока непредсказуемы и порой творят полную дичь, но это чертовски увлекательная и залипательная дичь. Я могу рассказывать об этом сколько угодно долго, но лучше увидеть это вживую.
И кстати да! Вы даже не представляете себе, как может выглядеть эта пещера и пауки, если прогнать это изображение через нейросеть. Жутко, красиво, чарующе, обворожительно!
Конечно, это пока скорее эксперимент и мой проект не назовешь чем-то серьезным. Но мне действительно нравится этим заниматься. Это что-то вроде путешествия в неизведанное, где каждый шаг приносит новое и удивительное.
Следующим этапом будет обучение персонажей движениям губ и озвучивание голосами с помощью искусственного интеллекта. А пока, чтобы понять о чём идет речь в сюжете, придётся читать текст как и в обычных комиксах.
Надеюсь, что со временем, мой проект перерастет в нечто большее. В конце концов, Marvel тоже начинали с текстовых комиксов.
Так что если вам интересно увидеть, что из этого всего получилось, загляните сюда. Кто знает, что завтра придумают нейросети? Но я уверен, что это будет что-то веселое и захватывающее. Ведь иногда просто нужно позволить своему хобби, вывести вас на новые горизонты!