Digital + Урок

Это мой старт на Пикабу, не судите строго, народ =)
✦ ✦ ✦
Хочешь полезный контент и ответы на свои вопросы по CG?
Подписывайся на мой Бусти: https://boosty.to/hephaestvs (который начну делать)
✦ ✦ ✦
Кузница искусств Гефест: https://vk.com/hephaestus_arts
Мой инст: https://www.instagram.com/nikolay_gorodnyakov/
Телеграм: https://t.me/cgarts_hps

Как настроить графический планшет | Гефест

Прежде чем начать, кратко для новоприбывших, как установить ControlNet. В automatic1111 идем в Extension-Available жмем Load from. Ищем ControlNet, жмем Install. Скачиваем модели. Сегодня нам понадобится openpose. И кидаем по пути ваша_папка_с_автоматиком\extensions\sd-webui-controlnet\models. Всё. Вы готовы. Можем начинать.

Сегодня продолжим тему, начатую в моем прошлом гайде, будем выжимать из препроцессора openpose все что можно. В том числе используя сторонние расширения.

Давайте сразу их установим. Первое можно найти там же где и устанавливали ControlNet. Называется posex.

Для установки второго(на момент написания статьи), перейдите на вкладку Install from URL.

Вставьте https://github.com/jexom/sd-webui-depth-lib.git нажмите Install.

Так же нужно поднастроить контролнет. Зайдите в Settings - СontrolNet и в MultiControlNet передвиньте ползунок на 3. Так мы сможем использовать сразу несколько моделей.

Сохраняем!!! Apply settings. Перезапускаем полностью автоматик и обновляем страницу.

Если помните то в прошлом гайде я советовал сохранять ужачные позы. Совет все еще хороший, но что делать что нужной вам позы у вас просто нет. Все просто. Создать ее)

Идем в txt2img. Видим внизу новое раскрывающееся меню. Posex заглянем туда.

Send this image to ControlNet. - будет пере отправлять то что видим в окне с позой в контрол нет. Это нам и нужно.

Target ControlNet number - в какую вкладку контролнета отправить позу. Напомню что у нас их теперь 3.

Чуть ниже кнопки сброса: Всего, камеры, позы.

Управление простое и можно разобраться самому, но есть нюансы, поэтому распишу:

С зажатым ПКМ перемещаем холст. Может показаться что позу по экрану, но если добавите еще одну то увидите что они двигаются вместе. (нюанс 1, если в браузере есть управление жестами мыши отключите, иначе будет работать криво)

ЛКМ крутим.

Колесиком приближаем и отдаляем. Для более плавного отдаления\приближения зажмите колесико мышки и двигайте ей.

Чтобы двигать кости, наводить на одну из них, как появится рамка, двигайте.

Нюанс 2. У нас есть две фигуры. Как подвинуть одну из них? Наведите на любую кость, зажмите ПКМ, двигайте. Это было для меня не очевидным, пришлось читать гитхаб. А вот Fixed Roll автор решил не объяснять. Экспериментами выяснить что делает не вышло. Add - добавляем нового скелета. Remove - удаляем. Чтобы удалить, наведите на кость, нажмите ЛКМ\ПКМ, а затем Remove. Разрешение итоговой картинки, чем выше тем чтонее. Может пригодиться если собираетесь делать в дали. Для близких ракурсов и 512 ок. Далее кнопки установки бэкграунда, просто для примерки, он не влияет на генерацию. Но вы можете использовать примерочный бэкграунд позже в контрол нете чтобы он как раз влиял. А так же как референс для позы. Осталось выставить:

Внизу кнопки сохранения поз, там нюансов нет, так что давайте уже что-нибудь сгенерируем!!

Итак, помните про разрешение? Оно нм нужно еще и для изменения композиции. Я ставлю 960 на 512. в настройках генерации либо такое же, либо с таким же соотношением сторон.

Пишу промпт. Беру стандартную позу, выставляю разрешение, раздвигаю по сторонам чтобы картинка получилась интересней, ведь двух девушек вместе мы и без этого можем сгенерировать, а вот врозь уже сложнее(было). Активирую ControlNet, препроцессор None(вы же помните из прошлого урока почему None? Потому что у нас уже есть поза, а препроцессор ее создает. Его работа уже сделана нами) Model - openpose.

Получаем:

на самом деле не сразу получаем, мелкие лица нейросеть рисует не так хорошо, поэтому прогнал через СД апскейл, а потом уменьшил чтобы влезла сюда. А вот что хорошо получается, так портрет. Бывало что не сразу удается добиться нужного приближения? Эти дни в прошлом)

Так же не забываете что промпт должен соответствовать позе. Поставив в т-позуб но написав dansing можете получить искажения.

Еще примеры:

Легко решаем вопрос количества людей:

Теперь большая картинка без кучи клонов делается в разы проще:

Я тут считерил. Поставил в т-позу, но, во-первых, она далеко, во вторых в промпте running, а в третьих Guidanse End поставил на 0.75 (что это, в прошлой статье).

Изменить фигуру:

Повернуть голову в нужную сторону:

Тут признаю честно, в Posex у меня повернуть голову не вышло, как я говорил у меня проблемы с пространственным мышлением) Так что считерил, взял из блендера.

Ну в общем понятно. Туда же и наклон головы, повороты туловища и тд и тп. Это была хорошая часть, а ниже будет про руки. И она, спойлер, не так хороша как ее некоторые блогеры малюют.

Дальше идет часть которую уже тиражируют гайдеры, но делать это с одной стороны рано, а с другой знать полезно.

Руки:

Выставляем позу как нравится и скачиваем нажав под ней Download. Идем во кладку сверху, которая называется Depth Library. Она появилась после установки последнего расширения.

Разрешение ну или соотношение сторон ставим такое же, как и на нашей позе. Надеюсь понятно что за что отвечает. Чтобы превратить левую рук в правую и наоборот, просто берем за край и тянем, это отразит изображение. По гифке видно, что у меня проблемы с пространственным мышлением)) При открытой ладони большие пальцы смотрят в голову)

Как выставили наши руки, вы можете нажать Send to ControlNet, но делать этого не рекомендую потому что отправит во вкладку 0. Лучше нажать сохранить PNG и загрузить его во вторую вкладку вручную. В итогах статьи напишу почему. Далее в Posex, так же скачиваем нашу картинку и помещаем ее на нулевую вкладку. Posex пока не нужен, выключаем и сворачиваем.

Кстати если у вас проблема с нехваткой видеопамяти поставьте в контролнете галочки на чекбоксах Low VRAM.

В итоге у нас на кладке 0. Должна быть поза. Препроцессор None. Модель - openpose. На вкладке 1 руки. Препроцессор None. Модель depth.

Генерирую.

И получаем, вот такой замечательный результат.

Что? Не слишком замечательный?)) Это то что вам не покажут в других гайдах) Обычно в конце гайдов все круто и красиво?

Не во всех. Некоторые просто будто не замечают что вышло фигово. Это те которым надоело ролить в поисках нормального результата.

Дело даже не в ужасных пропорциях всего. Да руку я сделал слишком мелкой. Посмотрите на нашего главного героя, руку. Она так же запуталась в пальцах, хотя у нас относительно крупный пример, с глубиной и все как надо. Это не значит что все что я вам рассказывал нерабочая фигня. Это значит что результат все еще не гарантирован. Если еще увидите гайды по этому расширению обратите внимание что получается, на самом деле полная херня, либо берется простой макет как у меня ниже.

Вот это кто-то даже поставил себе на заставку в ютубе. Больших пальцев нет плюс слипшиеся и мини пальцы.

Так что к сожалению мы все еще живем не в идеальном мире. И чем более небрежно вы делаете каждый этап тем хуже может быть результат. И пока модель все еще не может сгенерировать абсолютно все что ей подсунешь.

(да, я просто приделал руки к Т-позе, писать гайды выматывает )

Что можно сделать, чтобы избежать первого примера и иметь хотя бы второй?

- Самое главное все еще не получится ставить перед сеткой сложные задачи. Перекрещивания, переплетения, те вещи где сложнее уловить края и те вещи которые при обучении главной модели были слишком мелкими по отношению к остальному изображению все еще могут получаться плохо. Все эти инструменты подталкивают диффузию сделать именно лучше, но гарантии нет.

- Следите за разрешением. Чем мельче будет объект тем выше должно быть его разрешение.

Разница между 768 и 512. На 512 мизинец вообще поломало:

- Идите от большего к меньшему. Я придерживаюсь этого когда, пишу промпт, так же работает и тут. В контролнете в нулевую вкладку закидывайте, позу, а во вторую уже руки. Ничего не работает параллельно. Тут все последовательно. Поэтому сначала тело, а потом руки к нему.

- Тоненькие анимешные пальчики могут не получиться с макета руки обычного человека

- Значит ли это что руки все еще недосягаемы? Нет. Если у вас стоит задача сделать. Сделать это можно, просто это потребует больше усилий чем подставить их через расширение. Возможно позже выпущу гайд как сделать хорошо. Коротко, вам понадобится редактор изображений и инпейнт.

И если вы думаете что это всё. Нет не все =)

Но статья и так уже слишком длинная и я уперся в лимит пикабу на кол-во медиа. Так что в другой раз. Подпишитесь чтобы не пропустить. (сюда выкладываю далеко не все, весь контент в тг, ссылка ниже)

Поделиться результатом или задать вопрос, а так же пообщаться с единомышленниками вы можете в нашем нейробратском комьюнити.

Больше гайдов на моем канале, подписывайтесь чтобы не пропустить:

На моем бусти вы сможете найти датасеты для обучения, доп материалы к гайдам и многое другое. Или просто финансово отблагодарить если мои материалы вам как-то помогли.

Сейчас мы научимся генерировать анимации при помощи нейросетей. Пример:

Небольшое предысловие:
Данный гайд предназначено для +- продвинутого пользователя. В нём я не затрону то как устанавливать нейросеть на ваш пк. Однако оставлю ссылочки на то как это делается. Использовать мы будем Стабильную Дефузию. Если у вас видеокарта 2000 серии и выше, то переходите по этой ссылке, там инструкция как всё поставить на ваш железо.
https://www.youtube.com/watch?v=ycQJDJ-qNI8

Если у вас ноутбук или совсем слабенький ПК, то переходите по второй ссылке, там расскажут как запустить нейросеть на Google Colab.
https://www.youtube.com/watch?v=reaj2_G38qs

Весь процесс генерации анимации будет выглядит по этапам так:

1. Выбор исходника\реффа видео.

2. Создание секвенции из видео.

3. Настройка нейросети.

4. Генерация отдельных кадров анимации.

5. Массовая генерация кадров секвенции.

6. Финальная обработка конечного результата.

И так дальше по этапам.

Первый этап (1) - За исходник сойдёт любое видео которое вы подберёте, единственное что могу посоветовать в это плане, это то что исходник должен быть чётки, и всё на нём "читаться" легко. Персонаж не должен сливаться с фонов. Чем лучше начальный исходник, тем лучше будет результат. Но это не значит что вы не можете взять совсем болванки. У этого есть свои особенности, но вполне юзабельно.

Второй этап (2) - Секвенция это покадровое разделение видео. Для создания секвенции из вашего реффа подойдёт почти любая программа для видеомонтажа. Я же использую Affter Effects. Что бы создать секвенцию в нём, загружаем видеофайл в программу.

Делаем из него композицию и при необходимости обрезаем видео\редактируем. Самый лучший момент подправить ваш исходник! Далее важный момент, нужно выставить композиции 15 кадров в секунду. Так как начальные 30 либо 60 это многовато. Оно откушает много вашего времени на этапе работы с нейросетью, а так же сделать из финального результата полнейшую эпилепсию.

После чего рендерим как Эпизоды PNG.

Третий этап (3) - Работаем в Stable Diffusion, за основу в гайде взята модель Anything V3, ссылка на неё: https://civitai.com/models/66/anything-v3

Внутри нейронки переходим во вкладку img2img, после чего закидываем кадр нашей секвенции в место для изображения.

Далее нам необходимо прописать promt и negative promt, второе это набор правил исключений, то чего не должно быть в финальном результате, всякие искажения, отсутствие головы и не каких футанари.
Такой промт можете найти в моём телеграмме, там я поделился 3 самыми лучшими и эффективными под многие задачи. https://t.me/goin_blog/4
В верхний промт указываем то что находится на изображении, описываем на простом английском. Переводчик в помощь.

После заполнения опускаемся ниже к настройкам, количество шагов делаем 20, больше для аниме не нужно, семплинг метод тоже не меняем. Ширину и высоту выставляем по аналогу с видео. Дальше идут важные настройки. CFG Scale и Denoising strength, первая отвечают за силу промта, а так же контрастность. Вторая за то на сколько далеко нейронка отойдёт от оригинала. Мои настройки по умолчанию ниже, тут нужно играться и настраивать для себя.

Теперь мы смело можем приступить к генерации отдельных кадров анимации.

Четвёртый этап (4) - Тыкаем

Если нас удовлетворил результат генерации, то сохраняем его сид, его можно посмотреть тут:

И его вставляем в настройках прямо под Denoising strength. Это поможет немного упохожить изображение анимации. Пробуем ещё пару разных кадров из анимации, если всё ок, приступаем к следующему этапу.

Пятый этап (5) - тут всё просто, переходим во вкладку Batch и указываем путь к нашей секвенции. Ниже куда выводить анимации, после чего тыкаем генерировать и ждём "долгое время".

После успешной генерации всех кадров, мы уже можем полистать их пальчиками и увидеть +- конечный результат. Переходим к сборке и постобработке.

Шестой этап (6) - Возвращение в видеоредактор. И загружаем туда нашу отгенерированную секвенцию. В афтер можно прям перетянуть, он сам её определит.

После этого можем перетянуть нашу секвенцию на таймлайн. После чего правой кнопкой мыши по ней, время и растягивать по времени. По сколько мы делали 15 кадров, а композиция 30, наше видео сейчас в x2 скорости, нужно замедлить на 200%

После этого момента уже можно наслаждаться результатом, любуясь свеже-сгенерированным видосиком. Однако есть ещё что делать. На этом этапе мы можем отредактировать финал результат, тут всё зависит от ваших проф. навыков в монтаже. Если что гуглим уроки как добавить резкость или поменять цвета. По вашим потребностям.

А ещё мы можем попробовать добавить кадры, при помощи функции AF. Тыкнув 2 раза сюда до такой иконки.

Это создаст промежуточные кадры в вашей секвенции. Однако результат не всегда хорош. Иногда это смотрится прям паршиво. Так что на глаз.

В целом это весь процесс создания ai анимации на основе реффа. Дальше уже всё зависит от вашей идейности. Надеюсь незадшнил и все всё было понятно. Если уж где какие праблы. Пишите в телеграмм, в обсуждения, там оперативно отвечу и помогу.

https://t.me/goin_blog

Если вдруг гайд был полезен. Буду рад видеть на своём ютуб канале. В дальнейшем там будет больше полезного. Поделюсь своим опытом в фрилансе, геймдеве, дизайне, оценки алгоритмов и т.д.. Есть что ещё рассказать))

https://www.youtube.com/channel/UCQwRJmkJs1BUIYdLIlKQ3EA

Суть в том, что всегда и у всех стоит один и тот же вопрос "ГАРАНТИИ???"

Я работаю много лет, за эти годы я не разу не поменял ни номера телефона, ни почтовый адрес, не профиль в соц. сетях - ничего. Есть как положительные отзывы, так и негативные (что очевидно, не один человек не может проработать много лет и не нарваться на неадекватных людей, которые после всячески тебя стараются потопить).

И вот о чем хочу сказать: никто и некогда не даст вам действительно гарантий, это все миф! Фрилансер, который работает много лет, не скрывая при этом свое лицо, личные данные и прочее - намного надежнее, нежели студия, агентство и т.п. (официальное лицо).

Был у меня один заказ, все им нравилось, все было хорошо, но так как я Вася из за бугра - доверие ко мне слабенькое, ценник по этому занижается и еще "будем думать..." - что мне всегда нравилось, то есть 100.000 вы мне не дадите, ну вот в 70.000 в самый раз, при этом если все хорошо, я свои 30.000 сверху не получу, а значит занижение ценника весьма необоснованное (лично я так считаю).

И вот, очередной такой заказчик, по мотивам "я вас не знаю" занижает ценник, я ему всячески объясняю, что кинуть может кто угодно, и заниженный ценник не является залогом гарантии, в общем о работе мы не договорились - и тут я решил преподать урок.

Я регистрирую Digital агентство, рисую великолепный логотип, делаю сайт, наполняю портфолио своими же работами (которые ранее никто не видел) - пишу о колоссальном опыте, делаю страничку отзывов (который сам же наполняю - всегда нравилось когда ведутся на отзывы, оставленные на этом же сайте, который их же и модерирует) - и пишу этому же заказчику, якобы "здравствуйте, я менеджер крутой компании, и хотели бы предложить свои услуги..." - ценник увеличиваю в 2 раза, они его сбивают на немного (при условии 100% предоплаты), после чего я беру на работу по объявлению девочку (которая проживает в их городе) и отправляю её подписывать контракт, контракт подписан, работаем )))

Я переоформляю агентство на паренька из Африки (ему плевать, 100$ лишними не бывают), увольняю девочку и исчезаю из их жизни ))

Так проходит месяц. Ко мне пишут эти заказчики, мол "нас кинули, согласны на твои условия, но бюджет теперь еще ниже..." - я соглашаюсь, получаю опять 100% предоплату.

Заканчиваю работу - они счастливы, после чего я напоминаю им о том, что ценник занижался, на что они отвечают "да, вы все круто сделали, через недельку мы вам еще сможем доплатить!!!" - и какого было их удивление, когда я возвращаю им средства, которые они заплатили агентству (минус все мои расходы и той недостающей суммы, которую они изначально оплачивать не хотели).

На мой вопрос о том, помог ли им "договор" и работа с проф. агентством - ответили, что такого уж точно не ждали...

Так вот, дорогие заказчики, если бы эта история была реальна, то никто бы не вернул им деньги, и более того, кинули бы их несколько раз - ваш заказ начинается не с проф. возможностей, не с бюджета, а именно с доверия, вы сразу должны понимать, готовы вы с кем-то работать или нет. И лучше доплатить к ценнику n-сумму, нежели переплатить её другим "крутым людям".

Уже под надоело, думаю такое реально воплощать...