Как разделить голос и музыку с помощью нейросети в 2021?

В 2021 году больше не требуется покупать дорогостоящий софт, корпеть над треками днями и ночами, чтобы получить чистые вокальные/инструментальные партии, которые не будут резать слух. Разделить голос и музыку очень просто, если использовать нейросети!

С их помощью можно удалить музыку из песни, голос из трека, выделить и сохранить в качестве отдельных звуковых дорожек вокал, бас, ударные, пианино и другие инструменты. Главное преимущество нейросетей - это то, что вам не нужно быть профессиональным саунд-дизайнером, звукорежиссёром или композитором, чтобы получить качественный результат.

Нейронные сети, обученные на музыкальных композициях, сделают всю работу за вас. Да, не всегда идеально. Зато нейронки выигрывают в быстродействии, бесплатны и не требуют специальных знаний (при работе через скомпилированные версии с GUI), чтобы разделять вокал и музыку. Поэтому я рекомендую использовать их как любителям, так и профессионалам!

Как разделить голос и музыку с помощью нейросети в 2021 году?

Чтобы бесплатно разделить голос и музыку, добавьте треки в одну из 3-х нейросетей в списке ниже, затем скачайте полученные вокальные/инструментальные партии:

• Lalal.ai;
• Spleeter (онлайн вариант раз, два, оффлайн вариант);
• Vocalremover.

Нейронные сети отличаются по качеству обработки (очистки) треков, возможностям, способам использования. Чтобы вам было проще определиться, с чего начинать, расскажу о них подробнее.

Обзор нейросетей для разделения вокала и музыки

Возможности нейросети Lalal.ai

Lalal.ai — продвинутая нейронная сеть, обученная на 20 ТБ данных, чтобы облегчить создание и микширование музыки для диджеев, музыкантов, звукорежиссёров, танцоров и других творческих людей. Работает только через веб-интерфейс, может разделить голос и музыку не только в аудио, но и видео. Перед добавлением исходников можно выбрать один из трёх уровней обработки (слабый, нормальный, агрессивный), а также алгоритм анализа и разделения треков (старый/новый).

Для расширенного использования и плавной интеграции Lalal.ai предоставляет API (подробности на английском языке).

Особенности Lalal.ai:

• Обработать можно только одну мелодию или видео за раз;
• После обработки получаются два варианта дорожек — с вокалом и без;
• Бесплатно можно добавить только 3 песни суммарной продолжительностью до 10 минут;
• Платные тарифы позволяют обработать от 10 до 30 треков общей продолжительностью до 90-500 минут;
• Для добавления более 30 треков продолжительностью свыше 500 минут можно оформить индивидуальный тарифный план (рассчитывается по запросу);
• Превью (тестовые образцы) можно скачивать без ограничений в любом количестве, не регистрируясь и не используя бесплатные минуты;
• Продолжительность превью — 1 минута.

Если вы хотите сэкономить или для ваших целей достаточно превью, можно разбить треки на минутные отрезки, разделить голос и музыку, а потом объединить дорожки в любом редакторе. Лично я считаю, что лучше поддержать разработчиков, чем использовать низменные методы для обхода ограничений, но рассказать о такой возможности не помешает.

Для Instagram, TikTok и других социальных сетей в использовании платных функций нет необходимости: минутного превью достаточно для использования в коротких видео.

Возможности нейросети Spleeter

Spleeter — ещё одна нейросеть, с помощью которой можно разделить голос и музыку. Главное отличие от Lalal.ai — с помощью Spleeter можно вычленить вокал, бас, ударные, пианино и другие инструменты. Можно настроить, что именно вы хотите получить, разделив аудиофайл на 2, 4 или 5 дорожек.

Библиотеку Spleeter может использовать любой желающий — она находится в открытом доступе на GitHub. Однако, для использования нейронной сети из репозитория потребуются определённые технические навыки. Например, знание того, как использовать Python, TensorFlow, работать с нейросетями и командной строкой.

К счастью для обычных пользователей, энтузиасты сделали веб-версии и приложение для ПК, с помощью которых можно использовать Spleeter, не обладая специальными знаниями.

Чтобы разделить голос и музыку онлайн с помощью Spleeter, используйте mvsep или melody, для работы в оффлайн режиме — скачайте и установите SpleeterGUI (работает только на Windows, поддерживает Windows 10), затем добавьте с помощью интерфейса или простым перетягиванием файлы, которые нужно обработать.

Основные отличия между версиями:

• Mvsep локализован на 11 языков, включая русский, не требует регистрации, обрабатывает файлы размером до 100 мегабайт и хранит историю операций. Можно выбрать, как разделить голос и музыку — на 2, 4 или 5 отдельных дорожек;
• Melody перед заливкой треков требует ввести электронную почту (достаточно заполнить это поле однократно), работает только на английском языке, после разделения треков хранит историю недавних изменений. Можно выбрать либо разделение на 2 дорожки (вокал, инструментал), либо 4 (вокал, ударные, инструментал и всё остальное). Поддерживает заливку файлов размером свыше 100 мегабайт, но часто записывает крупные архивы с ошибками, поэтому стоит ограничиться небольшими треками;
• Установочный файл SpleeterGUI занимает 905 МБ. Программа поддерживает 12 языков, включая русский. Можно выбрать качество звука (стандартное или максимальное), разделить голос и музыку на 2, 4 или 5 дорожек, указать место сохранения и максимальную продолжительность трека (хоть 600, хоть 1600 секунд и более). Не хранит историю операций, сбрасывая их после выхода из программы, работает быстрее веб-версий на мощных ПК. Больше подробностей о SpleeterGUI смотрите на GitHub.

Возможности нейросети Vocalremover

Чтобы разделить голос и музыку в vocalremover, добавьте файл с помощью веб-интерфейса и подождите, пока алгоритм ИИ обработает аудио. После небольшого ожидания вы можете скачать две дорожки на выбор: вокальную или инструментальную.

По сравнению со Spleeter и Lalal.ai, vocalremover предлагает меньше возможностей для предварительной настройки и хуже справляется с разделением треков на составляющие. Например, нельзя выбрать качество обработки, длину трека, степень воздействия или что-либо другое.

Главные недочёты, хорошо заметные при удалении голоса и музыки из аудио с помощью нейросети vocalremover:

• Остаётся много шумов;
• Возникает эхо;
• Пропадают звуки;
• Может сильно искажаться голос.

Что лучше: Lalal.ai, Spleeter или Vocalremover?

На первом месте — Lalal.ai. Нейросеть чаще выдаёт чистый звук без артефактов, шумов и эха. На втором месте — Spleeter. В некоторых жанрах выдаёт результат лучше, чем Lalal.ai, позволяет разделить голос и музыку не только на вокальную и инструментальную части, но и отдельные составляющие, может работать оффлайн. На третьем месте — Vocalremover. Сильно уступает конкурентам как по качеству, так и по возможностям, зато обгоняет по скорости обработки и может проводить дополнительные операции с файлами.

Понравилась статья?

Поддержите автора комментарием, донатом, подпиской на Telegram и другие страницы!