Возможно кто-то из вас помнит мой старый пост с первой версией AudioCraft: Audiocraft - нейросеть, создающая музыку по текстовому описанию либо заданной мелодии (portable версия в конце статьи)
AudioCraft Plus основан на самой свежей версии Audiocraft, но кроме этого расширяет ее функциональность, позволяя создавать уже не 30-ти секундные аудио-отрезки, а полноценные треки. Как всегда, я подготовил для вас портативную версию с запуском в 1 клик (ссылка будет в конце статьи). Оригинальный код проекта можно найти на официальной странице GitHub
Вот так выглядит интерфейс:
Для полноценной работы программы требуется видеокарта Nvidia, но, она должна работать и на процессоре, хоть и медленнее.
На первый взгляд, он может показаться сложным, но для упрощения понимания значений, вы можете открыть вкладку Wiki. В портативной версии, я перевел ее на русский.
Итак, программа позволяет создать музыку на основе:
Текстовой подсказки (prompt). Пишите на английском описание того, что бы вы хотели услышать (примеры можно посмотреть на картинке выше) и музыка будет генерироваться согласно этому описанию
На основе мелодии. Для этого во вкладке Audio загрузите файл с мелодией либо же можете использовать микрофон.
Мы с вами разберем пример генерации музыки на примере Prompt. Кто знаком со Stable Diffusion думаю, уже понял принцип работы:
В поле Input Text вводит наш prompt. Допустим, пусть это будет "Classic hard rock in the style of Metallica, rich guitar sound". Установим количество повторений 4, и выставим внизу значение Duration - 60 секунд. Тем самым мы задали продолжительность всего трека. Нажимаем Calculate Timings и вычисляем продолжительность отрезка.
Затем зайдите Settings и в Model выберите Модель которую вы хотите использовать. Если у вас больше 8 гигабайт видеопамяти, то выбирайте large, так как она даст лучшее звучание. Если у вас 6-8 - то выбирайте medium. Ну а если меньше 6 - то small.
В Output Audio Channels выберите Stereo Effect, а в Decoder - MultiBand_Diffusion. По моему мнению, это улучшает итоговое звучание. Но тут уже вы сами можете поиграться и выбрать то, что нравиться именно вам.
Теперь, когда все готово, нажимаем Generate и ждем.
Если вы хотите разнообразить звучание трека, то в таком случае вам необходимо:
В Prompts задать число отрезков, из которых будет состоять трек
Затем, в полях Input Text описать каждый отрывок и задать количество его повторений.
Установить длину трека через Duration
Нажать Calculate Timings, чтобы вычислить длину каждого отрезка.
Используя Overlap установить длительность в секундах для перекрытия одного отрезка другим.
Как я уже сказал, расширенные пояснения каждого из значений можно найти во вкладке Wiki.
Портативную версию AudioCraft Plus можно скачать с Яндекс Диска или с моего облака. Для ее запуска вам необходимо распаковать архив и запустить bat файл. В сборке уже идет small модель, остальные же будут скачаны самостоятельно при первом их запуске.
Ну а будущие обновления программы, а также портативные сборки других нейросетей, о которых я писал ранее, можно найти в моем Телеграм канале.
