Полезные нейросети

Kling - китайский аналог Sora. Однако сейчас заметна тенденция перещеголять Runway. Сами посудите:

• Как и Runway GEN-2 встроили инструмент Motion Brush для движения отдельных объектов в свою модель KLING 1.0. В KLING 1.5. пока такой функции нет, как и в новом GEN-3.

• KLING так же как и Runway сделали доступным API.

• Скоро в KLING добавят ИИ редактор видео, и будет вообще китайский конкурент Runway. Итак, остановимся на обновлениях.

Новые обновления Kling:

Новая функция синхронизации губ

Встроенная функция синхронизации губ создает невероятно естественный эффект при загрузке закадрового голоса, даже немного отдаленного персонажа:

или песен, создавая впечатление, что персонаж действительно говорит или поет:

Как работает липсинк:

• Генерируете видео в Kling или модно использовать ранее сгенерированный (а то я до сих пор жду когда мое видео обработается) 

• Выбираете видео и под ним нажимаете кнопку «Match Mouth Type»

• Загружаете аудио - можно песню и Kling AI подгонит движение губ.

Советы по взаимодействию и ограничения:

• Работает в версиях Kling 1.0 и с Kling 1.5

• Подходит для говорящих персонажей и для песен

• Не работает липсинк понятное дело там, где нет лица, например Дарт Вейдер, или на животных. Еще если отсутствует постоянно видимое лицо, или лицо часто уходит с экрана.

• Однозначно классно, что теперь на одной платформе можно сгенерить видео хорошего качества и там же озвучить его

Больше полезного в моем телеграм канале с проверенными инструментами для бизнеса, учебы и работы.

Новый раздел «Сообщество

На официальном сайте появился новый раздел «Сообщество». Там можно делиться своими творениями, и одна работа может принести до 666 бесплатных кредитов! 

API сервисы доступны всем пользователям

Вслед за Luma и Runway, API KLING теперь доступен без списка ожидания! Через API теперь можно получить доступ к генерации видео, изображений, и виртуальной примерочной Virtual Try-on.

Я решила сгенерировать видео в бесплатной версии KLING 1.0, но, к сожалению, мой ролик до сих пор обрабатывается (видно на скрине), а видео, что у меня были, не подходят для липсинка - лицо постоянно двигается:

UPD: прошел час, изменений никаких:

Поэтому любителям бесплатных тарифов, как я, придется запастись терпением. Или посмотреть примеры и подробнее ознакомиться с обновлениями можете здесь. А свой результат, я надеюсь, дождусь и поделюсь им позже.

Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подписывайтесь на НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Увидела запрос на нейросети для клонирования голоса. Кто давно со мной, тот наглядно убедился, что пока равных ElevenLabs нет, убедитесь сами:

• В Wondercraft клонирование голоса через подписку в Elevenlabs. Кстати, обзор на этот инструмент у меня в телеграм канале (крайний пост, там собрала для вас все посты по теме для вашего удобства)

• Voice Engine от OpenAI ждать не приходится пока ...

• Распиаренный MARS5 по качеству тоже дико уступает ElevenLabs. Сравнение с ElevenLabs с MARS5 в клонировании голосов

• Намеренно не стала сравнивать с Whisper Speech и PlayHT, так как они не поддерживают русский язык, про них так же есть обзоры.

Вообще Elevenlabs крутая студия, где доступно много всего, помимо клонирования голоса. Если вам интересно, все ссылки на функциии Elevenlabs и обзоры на сервисы из этой статьи собраны в телеграм.

Как сделать качественную копию голоса в Elevenlabs

Создание копии голоса очень экономит время при монтировании роликов, я не отвлекаюсь на извлечение звука, удаление шумов, пока никто не заметил разницы. Просто напечатала и скачала. Удобно.

На своем опыте я убедилась, что не обязательно платить 22$ в месяц в ElevenLabs, ждать 3 недели, чтобы получить профессиональный клон голоса. Можно вполне обойтись тарифом Starter за 5$ в месяц.

Да, можно загрузить 1 минуту аудио, можно скачать аудиосообщение с вацапп и закинуть в нейросеть, через 10 секунд образец будет готов. Можно напечатать текст и озвучить этим кастомным голосом. Можно сделать клоны голосов 10 разных людей, загружая аудио до 1 минуты в качестве образца. И все это за 5 $ в месяц. Вопросы Как оплатить нейросеть в РФ и как обойти блокировку разобрала в своем Закрытом сообществе НейроУчеба | ИИ для обучения - где мы учимся, как использовать нейросети и делимся лайфхаками.

Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подписывайтесь на НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

subtitles by fframes - нейросеть генерирует субтитры к любому видео за пару секунд. Чтобы вы оценили скорость действия, я не стала редактировать запись экрана, а оставила все как есть.

Подойдет для тех, кто не смог скачать CapCut -там функция Auto Captions тоже представлена. Потому что качество распознавания русского языка иной раз лучше у CapCut. С другой стороны, Subtitles by fframes тоже бесплатный и в браузере.

Работает легко - сразу на сайте бесплатно и без регистрации вставляете видео, и почти сразу открывается видеоредактор с уже встроенными субтитрами, которые можно изменить.

Что крутого в Subtitles by fframes

• Бесплатный и без регистрации

• Отлично распознает английские слова в русской речи и пишет их на английском

• Поддерживает русский и десятки других языков.

• Сами субтитры можно настраивать - менять расположение и вид, таймкоды, редактировать саму транскрипцию.

Кому нужна просто транскрипция видео, хорошие проверенные сервисы в моем телеграм канале, которые я протестировала.

2. Пересказ YouTube видео с My Lens

Прошлый сервис был хорош, а вот функция пересказа видео с YouTube в MyLens излишне распиаренная. Работает только с теми видео, где уже есть транскрипция. Если ее нет, пишет, что ссылка на YouTube недоступна или отсутствует транскрипция. От языка видео это не зависит. Дается 3 видео в день. Так что не теряйте время. Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подписывайтесь на НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Что нового в Llama 3.2

Новая Llama 3.2. стала мультимодальной, теперь она способна обрабатывать текст, изображения, причем, находить на них объекты по описанию, так же умеет читать графики и диаграммы.

Можно использовать на сайте, попробовать на HuggingFace, а можно установить локально с сайта. 

Доступны для скачивания как новые модели с открытым исходным кодом Llama 3.2 1B, 3B, 11B или 90B, так и предыдущая модель Llama 3.1.

Модели с открытым исходным кодом можно дорабатывать, настраивать и внедрять где угодно. К тому же, кто хочет сэкономить на подписке ChatGPT - самое оно, либо скачать на комп, заполнив небольшую анкету:

Либо использовать на сайте с хорошим впн, и без открытых русских вкладок, еще почистить кэш - в общем, мороки много. Но зато мультимодальная модель бесплатно к вашим услугам. Для чего подойдет каждая модель объясню ниже.

Какие новые модели Llama есть (их можно скачать) и для чего подходит каждая ?

- Легкие и экономичные модели Llama 3.2 1B

Llama 3.2 1B и 3B  - можно использовать где угодно на мобильных устройствах и периферийных устройствах.

• 1B лучше подходит для менее сложных задач, где высокая точность не так важна. Она быстрее, но не сможет обрабатывать такие сложные данные или генерировать настолько глубокие ответы, как более крупные модели.

• 3B даст более точные и детализированные ответы, чем 1B, благодаря большему количеству параметров и лучшим способностям к обобщению и анализу данных.

- Мультимодальные модели - Llama 3.2 11B и 90B

Гибкие модели, могут рассуждать на основе изображений высокого разрешения и выводить текст.

• 11B способна генерировать хорошие ответы для большинства задач, но она может уступать по точности и глубине анализа более крупным моделям. Может использоваться для различных задач, включая обработку естественного языка, генерацию текстов, анализ данных, но с некоторыми ограничениями в сложности.

• 90B предоставляет более точные, контекстно богатые и сложные ответы, что делает её более подходящей для задач, требующих детального анализа или сложных логических выводов. Идеально подходит для задач, где важна высокая точность и сложность ответов, а также в сценариях, требующих обработки большого контекста или большого объема данных.

- Llama 3.1 Флагманская модель Foundation 405B, 70B и 8B

• 405B — для сложных вычислений или глубокого анализа, будет давать наиболее сложные и точные ответы

• 70B — хороший баланс между производительностью и ресурсами, подходит для большинства задач.

• 8B — для лёгких задач или при ограниченных ресурсах, будет проще и быстрее, но с меньшей глубиной анализа и понимания информации.

Не спешите списывать со счетов предыдущую модель Llama 3.1. Ниже я объясню, почему она по-прежнему хороша.

Зачем нужна Llama 3.1 405B ?

Llama 3.1 405B — это модель с 405 миллиардами параметров. Это самая большая и мощная версия среди этих трёх моделей.

Она требует больше вычислительных ресурсов для работы, но также может обеспечивать более точные и сложные ответы.

Модель обходит по многим параметрам ChatGPT-4o и Claude 3.5.

Если решите использовать Llama 3.2 на сайте, имейте ввиду, что новая модель не доступна в EC. 

*компания Meta признана экстремистской и запрещена в РФ

Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подписывайтесь на НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Отделить вокал от песни:

• Audio separator - бесплатный инструмент, извлекает вокал из песен. В демо используются модели MDX-Net для разделения вокала и фоновых звуков/ музыки. Сохраняет хорошее качество звука. Просто загружаете файл, выбираете вокал или фон нужно отделить, чтобы дальше уже  произвести какие-то  операции в настройках, например управление громкостью

• Vocal Remover - тоже изолирует инструментальную часть от вокала, и в итоге получаются два трека — караоке и акапельная версия. Их можно скачать по отдельности и бесплатно

Бесплатные нейросети для улучшения звука и удаления шумов

• Adobe Podcast - бесплатный, быстрый, простой, скачивает в mp3, звук похож на студийный, но в качестве моно. 

• Resemble - бесплатный, чистит фоновые звуки, корректирует частоту и компрессирует голос. Аудио получаются в стерео. На мой взгляд, лучше Adobe Podcast, но не всегда. Попробовать можно на Hugging Face, скачать с GitHub.

• Инструмент Voice Isolator в ElevenLabs - работает лучше всех, доступен бесплатно. Новый инструмент, который улучшает качество аудио и убирает фоновый шум. Похож на студийный звук. В отличие от Adobe Podcast, загружать можно как аудио и видео, на выходе получаете аудио. Допустимы файлы размером до 500 МБ и длительностью до 1 часа.

Звуковые эффекты

• Soundeff - бесплатно дается 3 генерации звука, далее подписка от 10$ за 400 генераций. Быстро генерирует звуковые эффекты.

• Sounds Effect - бесплатный инструмент от ElevenLabs (они каждый месяц дают 10к кредитов, которые можно использовать для любого инструмента) введя описание звукового эффекта можно мгновенно получить сэмплы звука — пение, дождь, взрыв, волны, искры и что угодно.

• EzAudio -  генерирует любые звуки- будь то хохот в шумном ресторане, ураган или классическая музыка. Работает быстро, в браузере и бесплатно.

Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подписывайтесь на НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.