Видеомонтаж

Установщик можно найти на Boosty или собрать свой по видео с канала из GitHub.

Кроме того, в Wunjo вы можете заменять лица, удалять объекты и фон, анимировать губы, менять цвет кожи, волос, одежды и пол, клонировать голос и отделять вокал от музыки. 🎭 Для генерации видео вам потребуется всего 8 Гб видеопамяти! 🎨

Характеристики для генерации видео

Видео может быть сгенерировано из текста и изображений с помощью моделей Stable Diffusion. Вы можете добавить кастомные модели версии 1.5, а также расширить до версии XL. Однако, на мой взгляд, это не имеет особого смысла, так как модель для генерации видео не передаст такое качество, какое можно получить моделями Stable Diffusion XL, а мощности потребуется больше.

Параметры генерации

• FPS: Максимальное значение — 24 FPS, что позволяет получить 4 секунды видео. Уменьшая FPS, вы увеличиваете длительность видео.

• VRAM: Генерация видео возможна на 8 ГБ VRAM.

• Форматы: Доступны популярные соотношения сторон для генерации из текста: 16:9 (YouTube), 9:16 (Shorts), 1:1, 5:2, 4:5, 4:3. Сохраняется соотношение сторон для генерации из изображения.

Но для больших видео или высокого разрешения понадобится много видеопамяти потому что эта технология использует целый каскад нейросетей включающих в себя сегментацию для отслеживания объектов и создания масок и специальную диффузионную модель обученную для работы с видео.

Специально для вас мы с каналом 👾 НЕЙРО-СОФТ сделали портативную версию, которую легко скачать и так же легко удалить, это лучший способ быстро протестировать новую технологию.

Установка очень простая, переходите в публикацию в телеграм, выбираете удобную для себя версию, есть самораспаковывающийся архив 7z, он весит меньше, но нам говорили что на него иногда ругается встроенный антивирус винды, потому рядом есть обычный zip архив, если не хотите отключать антивирус.

Распакуйте содержимое архива и запустите start_nvidia_portable.bat после загрузки всех необходимых компонентов приложение откроется в вашем браузере по умолчанию.

Интерфейс у приложения максимально простой, но чтобы было еще удобнее мы перевели все на русский язык.

Для начала работы загрузите видео в окошке Шаг 1, и нажмите на кнопку Получить информацию о видео.

Очень хорошо работают гифки из телеграма. У них мало кадров и маленькое разрешение, то что нужно для тестирования. Загружать видео больше чем 640х480 и длиннее нескольких сотен кадров - не советую, не хватает даже 24гб видеопамяти.

После того как информация о видео получена надо создать маску на том объекте который надо удалить. Для этого кликните на объект где нужно создать маску. Возможно кликнуть придется много раз, если выделено лишнее нажмите на кнопку Очистить клики и начните сначала.

После того как маска задана надо нажать Добавить маску для сохранения выбранной маски.

Теперь когда маска сохранена можно перейти к Шагу 3, просто нажмите на кнопку Отслеживание.

На этом этапе вы можете проверить хорошо ли отрабатывает автоматическое отслеживание маски и если нет, то создать еще несколько масок указывая другой Начальный кадр отслеживания в шаге 2. Но если все получилось отлично, просто нажмите на кнопочку Инпеинт.

Вот такой получился результат

Можно добиться действительно хороших результатов, хоть и придётся наложить много масок.

Или можно убрать кого-то лишнего.

Иногда приходится создать несколько масок, чтобы получить устойчивое отслеживание.

Качество видео конечно не идеально там где был инпеинтинг. Но для улучшения можно отправить его в Topaz Video AI.

Я увеличил в два раза разрешение, добавил улучшение и интерполяцию кадров, но вернуть лицо парнишке уже не получится.

Мне ProPainter точно пригодится для мелких задачек типа удаления водяных знаков на гифках или лишних артефактов на небольших видео, уверен пригодится этот инструмент и другим контент мейкерам, а в будущем мы увидим его улучшенную версию в составе пакетов для видеомонтажа.

Я рассказываю больше о нейросетях у себя на YouTube, в телеграм и на Бусти. Буду рад вашей подписке и поддержке. Ну и на канал с репаками тоже подпишетесь, чтобы не пропустить ничего полезного. Всех обнял. Удачных генераций!