Обработка звука

Не секрет, что некоторые из нас проводят вечера, сидя за экраном и создавая в Suno очередной шедевр, готовый порвать весь танцпол на следующей вечеринке.

Теперь в Suno можно легко изменять части трека! Подписчики Pro могут менять текст или добавлять, например, гитарные риффы и другие инструменты.

Как это сделать:

➡️ Кликните правой кнопкой мыши на песне или нажмите “...”, затем выберите "Дополнительно".
➡️ Перейдите в раздел Редактировать > Заменить фрагмент.
➡️ Выберите отрезок (10-30 сек), текст появится автоматически.
➡️ Изменяйте текст или добавляйте drum break или другое.
➡️ Нажмите “Заменить фрагмент”.
➡️ Прослушайте обе версии и выберите понравившуюся.
➡️ Далее все сгенерируется автоматически!

🎉 Пошла жара!

Огибающая

Звук можно рассматривать с разных точек зрения. Со стороны спектра я разобрал в статье про эквалайзер. Но также можно не разбивать звук на отдельные частоты, а смотреть на него в целом. Один из способов - работать с огибающей. Она грубо описывает громкость звука в определенный момент времени. Сколько-нибудь точно измерить громкость в моменте невозможно т.к. звук это колебания, а они существуют только во времени, у них есть период. Поэтому измеряется громкость за счет накопления некоторого количества моментов:

Один из самых популярных приборов для коррекции огибающей - компрессор.

Компрессор и его параметры

Принцип его работы прост: если громкость звука переходит пороговый уровень, то компрессор уменьшает громкость сигнала, когда уровень ниже порога компрессор ничего не делает.

Давайте нарисуем простенькую схему - она поможет разобраться во всех тонкостях работы компрессора:

Здесь есть усилитель на который продается звук, усиление контролируется отдельным сигналом который в простейшем случае идёт с той же дорожки.

Насколько быстро будет происходить изменение громкости мы задаем с помощью ручки атаки.

Компрессор будет работать не сразу как уровень превысит порог (который мы кстати можем сами установить ручкой порога) а с некоторой заданной задержкой. Благодаря этому мы можем не просто уменьшить громкость звука а выделить транзиенты. Транзиентами называются моменты резкого подъема громкости.

Помимо задержки срабатывания есть ещё один важный параметр - релиз. Он отвечает за то сколько времени усилитель будет возвращаться в исходное положение после срабатывания. Релиз работает не мгновенно, а как и атака плавно изменяет усиление.

Как и у любого усилителя мы можем контролировать степень усиления, в случае с компрессором это делается с помощью ручки соотношения, которая задаёт усиление в разах. Т.е. во сколько раз должна уменьшиться громкость при срабатывании компрессора.

В большинстве более менее продвинутых компрессорах есть ещё некоторые важные параметры: удержание (холд) задерживает начало релиза на определенное время, т.е. оставляет сжатие на высоком уровне до того как он плавно начнет меняться: колено отвечает за форму огибающей по которой изменяется громкость звука, она может быть нелинейной:

Сайдчейн

Вернемся к схеме. Управляющий сигнал называют сайдчейном в переводе на русский боковая или же сторонняя цепь. Она не изменяет звук в прямом смысле этого слова а только контролирует изменение громкости, мы можем сделать контроль более сложным и навороченным. Мы можем воткнуть фильтр чтобы компрессор срабатывал только на определенные частоты например на высокие и тогда он будет срабатывать только на звуках "с":

Таким образом мы получили деэссер. И никакие другие плагины кроме компрессора и эквалайзера не нужны. Также можно подать на сайдчейн не сам сигнал который мы обрабатываем а какой нибудь другой, и жать например звук баса от бочки, чтобы они не звучали одновременно и бас не заглушал атаку бочки, т.к. они существуют в одном частотном диапазоне:

На схеме это будет выглядеть как то так:

В теории можно воткнуть любые плагины перед сайдчейном и получить уникальные эффекты. Напишите в комментариях если есть мысли как можно нестандартно использовать компрессор, мне будет интересно почитать и возможно в одном из будущих видео проверить ваши идеи.

Теперь предлагаю посмотреть на разные классические способы использовать компрессор. Я могу выделить две основных.

1. Уменьшение динамического диапазона

Часто бывает необходимо на протяжение всего трека контролировать динамику инструмента, чтобы не было чрезмерных пиков и падений громкости. Лучшее что можно сделать в таком случае - это вручную с помощью огибающей настроить громкость. Результат в таком случае будет идеальным, и если у вас нет потокового производства, то стоит заморочится. Однако если у вас нет столько времени, то имеет смысл вручную изменять только какие-то продолжительные подъемы и спады в громкости, а микродинамику оставить компрессору.

Чтобы он сделал свою работу нужно настроить его на быструю атаку. Общий динамический диапазон уменьшиться, но с ним и общая громкость тоже, поэтому после компрессора нужно поднимать громкость. В некоторых плагинах есть автобаланас громкости, но я бы не советовал им пользоваться. Субъективное человеческое ощущение громкости может отличаться от машинного, из-за некоторых психоакустических эффектов звук после компрессии может восприниматься с другой громкостью даже если по уровню он будет таким же. Так что настраивайте усиление на слух. Да и вообще настраивайте звук всегда на слух а не на глаз.

2. Увеличение динамического диапазона

Как бы ни было парадоксально один и тот же инструмент может как уменьшить динамический диапазон так его и увеличить. Конечно речь идёт о микродинамике в пределах нескольких секунд, но тем не менее компрессор может выделить громкие моменты сделав их субъективно громче или же скорее ярче.

Для этого нужно установить атаку где то от 5 мс, а релиз подлиннее. Здесь нет четких параметров так как от инструмента и темпа будет зависеть необходимая атака и релиз. Например для малого барабана может быть неплохо 5 мс атаки, а релиз будет зависит от того как часто играет барабан, ведь компрессору нужно к каждому новому удару успеть восстановиться. Бочке нужно большее время атаки (~15 мс) ввиду того что она звучит в низких частотах, а чем ниже частота тем больше ее период, и чтобы его услышать должно пройти больше времени. Речь идет все еще о миллисекундах но тем не менее...

Не только с ударными можно использовать компрессор в таком режиме. Например голосу можно таким же образом добавить четкости и читаемости.

Параллельная компрессия

Компрессор не обязательно должен работать в основной цепочке на треке, он может также работать и параллельно. Во многих плагинах есть возможность крутить ручку драй/вет которая изменяет пропорции изменённого сигнала и оригинального, бывает есть вообще отдельные ручки для них, что позволяет оставить основной звук и подмешать к нему некоторое количество скомпрессированного. Так можно выделить атаки но при этом оставить весь жир на месте.

Настраиваем компрессор

У компрессора как и у других плагинов нет каких то идеальных пресетов на все случаи жизни. Могу дать простую рекомендацию по быстрой настройке компрессора в режиме выделения атаки.

Выкручиваете соотношение до больших значений, порог до того уровня чтобы отчётливо слышать компрессию. Атаку ставьте на минимум, релиз чуть больше минимума. Теперь увеличивайте атаку до того момента пока не получите ту самую яркую пробивную атаку. Теперь настройте релиз так чтобы сигнал успевал восстанавливаться до начала следующей атаки.

Дальше есть два пути.

Первый варант: верните соотношение к значению около 4 и увеличивайте порог пока не добьётесь нужного звучания. Если увеличите соотношение то сделаете атаки более жёсткими, а если уменьшите то наоборот более мягкими.

Второй вариант это параллельная компрессия. Когда вы получили яркую атаку но уже потеряли основное тело звука. Вы можете вернуть через драй/вэт оригинальный не скомпрессированный сигнал. И к нему подмешать атаки.

Да, здесь все как в рецептах где нужно посолить "по вкусу". Нет четких рекомендаций по результирующим значениям. Но если вы будете действовать по такому алгоритму то вероятно услышите те самые моменты выделения атак даже если не имел опыта работы с прибором.

Если у вас остались вопросы, напишите в комментариях, я обязательно на них отвечу. Ну и поставьте лайк если было полезно.

Сведение и мастеринг (vk/telegram): @alekseytukbaev

Resemble Enhance - это инструмент на основе ИИ для улучшения качества речи путем шумоподавления и усиления.

Он состоит из двух модулей: шумоподавителя, который отделяет речь от шумного аудио, и улучшателя, который повышает качество звука, устраняя искажения и расширяя полосу пропускания.

Модели обучены на высококачественных речевых данных с частотой дискретизации 44.1 кГц.

Проще говоря, это портативный улучшатель записей голоса, который может пригодиться буквально всем, кто работает с медиа/контентом/звуком.

Это очень хорошая альтернатива плагина GOYO, который на данный момент недоступен. Более того, вам не нужна DAW или другая сторонняя программа, чтобы запустить Resemble, как в случае с GOYO.

Модель пока что подходит только для английской речи. Чтобы развернуть локально, необходима видеокарта NVIDIA минимум с 4 Gb видеопамяти.

По классике, начнем с интерфейса и далее взглянем на возможности более наглядно.

На самом деле, мы постарались и перевели интерфейс на русский язык и он стал уж совсем интуитивно понятным, но все же пробежимся в общих чертах.

1. Выбор Сэмплера ОДУ для CFM

   Если вы уже сталкивались ранее с нейросетями, то знаете, что сэмплер, если просто - метод обработки шума. По стандарту стоит Midpoint и я также советую вам не менять его.

2. Количество вычислений для CFM

То же самое, что и количество шагов. По стандарту 64.

Параметры 3, 4 и 5 показались мне не сильно важными.

В целом, настройки уже выставлены так, чтобы хорошо обработать бОльшую часть записей.

Шумоподавление перед усилением

Последняя галочка важная. Если в записи очень громкий внешний шум, то перед улучшением весь шум необходимо подавить, чтобы оно работало более корректно.

Так же в Resemble Enhance есть возможность записать голос сразу, ускорять запись при прослушивании и возможность вырезать выбранный фрагмент.

Так как я не особо в курсе, где можно взять уже готовые плохие записи голоса, кроме как тех самых туториалов 10-летней давности, то предлагаю взять пару примеров из моих роликов и искусственно испортить исходник: добавим шум ветра, моря, можно чуть исказить с помощью эквалайзера.

Ну и все записи я заранее перевел на английский язык с помощью сервиса HeyGen.

Я добавил в запись своего голоса шум толпы. Представим, что мне пришлось записывать подкаст в ресторане.

Resemble очень хорошо очистил шум с этой задачей он справляется прекрасно, но улучшатор голоса иногда работает не совсем стабильно. В прочем, возможно это из-за искусственного перевода.

Давайте попробуем взять неискуственный, оригинальный кусок на настоящем английском из популярного мультика. К нему я дополнительно чуть-чуть примиксовал шум озера, посмотрим, как нейросеть справится с задачей.

Замечу, здесь улучшатор сработал много лучше.

Вот как это смотрится на видео:

Теперь давайте попробуем взять что-то всем знакомое, от чего становится тепло на душе: протестируем нашу нейросеть на старых мемах.

Я уверен, все слышали про мем Очень очень affordable... Довольно старый мем, местами проскакивает посторонний шум толпы, попробуем её исправить.

Ради эксперимента я не стал переводить его и очень удивился результату, просто взгляните

Следующий уж точно не менее известный мем - салатик и борщ с капусткой, но не красной. Уже его я перевёл, в целом на записи и так достаточно шума и его уж точно больше, чем на прошлой.

Здесь опять же чуть хуже работает улучшатор голоса. Я уверен, что это связано с тем, что перевод искусственный, а модель обучалась на настоящих голосах.

Ну и давайте повысим сложность - легендарный мем Очень плохая музыка с просто ужасным исходником. Громкая музыка, а в оригинале еще и стерео панорама не понятно куда едет. Про микрофон промолчу, записано это чудо 15 лет назад, чему удивляться.

На удивление, даже тут нейросеть прекрасно очистила шум, правда запись все равно осталась низкой по качеству. Улучшатор, конечно, совсем не в кассу - речь превратилась в один из монологов Уинстона Черчилля.

Далее мне стало интересно, и я взял еще одно видео, на нем очень сильное эхо, которое я еще и усилил.

Шумодав подчистил хвосты от эхо, но само оно не пропало, что было очевидно. А вот улучшатору, судя по всему, пришлось переписывать голос по новой.

На возможности нейросети взглянули со всевозможных сторон, теперь расскажу, как установить это действительно полезное чудо техники.

Чтобы установить Resemble Enhance, достаточно скачать нашу портативную версию с установкой в один клик.

Перед установкой отключите антивирус, он ругается на самораспаковывающийся архив. Если переживаете, то скачивайте 7z-архив, который нужно просто разархивировать в любое удобное место.

Надеюсь, статья была полезной, подписывайтесь на 👾Нейро-Софт, канал с портативными версиями ваших любимых нейросетей!