Дубляж видео нейросетью: как сделать и какую нейросеть выбрать

Дубляж видео нейросетью — это когда речь в ролике распознаётся, переводится и озвучивается заново на другом языке, а фон, музыка и шумы остаются на месте. На выходе обычный mp4, который можно выложить куда угодно. Делается за полторы минуты на минуту видео, стоит от 56 ₽ за минуту (5 минут бесплатно), голос спикера при желании сохраняется. Ниже из чего дубляж состоит, как его сделать, какую нейросеть брать под задачу и что придётся поправить руками.

Я делаю speeek.io, поэтому шаги показываю на нём. Там, где другие нейросети лучше, так и пишу.

Что такое дубляж нейросетью и чем он не является

Слова «перевод видео», «озвучка» и «дубляж» в поиске смешаны, а это три разных результата:

• Субтитры. Звук не трогают, снизу текст. Дёшево, но зритель читает, а не смотрит.
• Закадровый перевод. Оригинальная речь остаётся тихим фоном, поверх читает переводчик. Так делали пиратские кассеты. Нейросети так тоже умеют, но зачем.
• Дубляж. Оригинальная речь убирается, вместо неё новая на нужном языке, фон и музыка сохраняются. Зритель не должен догадаться, что ролик снят на другом языке. Именно это делает нейросеть, и именно об этом статья.

Разница со студийным дубляжом одна: вместо актёра говорит синтез, либо стандартным голосом, либо клоном голоса спикера. Всё остальное, разделение речи и фона, укладка в тайминг, сведение, у нейросети тоже есть, и на закадре это заметнее всего.

Из чего состоит нейродубляж

Пять операций подряд, и от каждой зависит, что вы услышите:

1. Распознавание речи

Звук превращается в текст с таймкодами и разметкой спикеров. Ошибки здесь тянутся дальше: не расслышанное имя станет неправильным именем на всех языках.

2. Разделение речи и фона

Голос отделяется от музыки, аплодисментов и шума. Фон потом вернётся под новую речь. Если сервис это делает плохо, дублированный ролик звучит «пусто», как автодубляж YouTube.

3. Перевод с укладкой

Текст переводится по фразам с привязкой ко времени. Русский длиннее английского на 15–25%, поэтому хороший перевод для дубляжа короче хорошего письменного перевода: лишнее либо сжимается по смыслу, либо синтез начинает частить.

4. Синтез голоса

Стандартный голос из библиотеки или клон спикера по минуте его речи. Клон сохраняет тембр и манеру, на эмоциональных пиках звучит ровнее оригинала.

5. Сведение и липсинк

Новая речь кладётся на сохранённый фон и накладывается на видео. Липсинк, подгонка губ под новую речь, отдельный шаг: нужен для говорящей головы крупным планом, для сцены и лекции только мешает.

Как сделать дубляж видео нейросетью: пять шагов

На примере Speeek, у остальных сервисов шаги те же, отличаются кнопки. Подробная версия со скриншотами каждого шага: как перевести видео на русский с озвучкой.

Какую нейросеть выбрать под задачу

Все шесть сервисов, которые я гонял на одном ролике, дубляж делают. Выбор упирается в три вопроса: нужен ли файл, откуда вы платите и что будете править. Подробное сравнение с ценами в отдельной статье, здесь только развилки.

• Просто посмотреть чужой ролик на русском. Яндекс Браузер, кнопка в плеере, бесплатно. Файла не будет, и это единственный его минус.
• Нужен файл, платите российской картой. Speeek: без VPN, МИР и СБП, редактор на всех тарифах, до 5 спикеров, клон голоса на всех тарифах. 5 минут бесплатно: первая минута каждого ролика, с водяным знаком.
• Поток от 100 минут в месяц, есть зарубежная карта. HeyGen: минута с липсинком выходит 25–40 ₽, но правка перевода только с тарифа за 49 $, а на бесплатном файл не скачать.
• Важен именно голос, править не будете, есть VPN. ElevenLabs: лучший тембр в тесте, но без VPN из России сайт не открывается, а редактор стоит от 22 $ и съедает кредиты втрое быстрее.
• Продакшн с пакетной обработкой и API. Rask AI, от 60 $ в месяц за 25 минут.

Как это звучит

Два примера дубляжа с клоном голоса, слева оригинал, справа результат. Обратите внимание на фон: аплодисменты и зал во втором ролике остались на месте.

Интервью на камеру, английский → русский

Речь со сцены, живой зал

Типичные ошибки и как их править

• Ударение. Короткие слова и имена: «что зА ночь» вместо «что за нОчь». Знак ударения после гласной или заглавная буква. После правки соседних слов в строке проверьте ещё раз.
• Ускоренная речь. Русский перевод длиннее, синтез частит. Сократите фразу: убрать вводные слова и повторы, смысл не страдает. В Speeek такие фразы подсвечены, рядом кнопка сокращения.
• Термины и названия. «Overall cost leadership» стал «лидерством по общим издержкам» вместо «абсолютного лидерства по издержкам». Правится в строке за десять секунд, но найти надо ушами.
• Лишние «э-э». Появляются у ElevenLabs и HeyGen, в оригинале их нет. Без платного плана там не убрать, поэтому слушайте до оплаты.
• Пустой фон. Если фон после дубляжа пропал, сервис не разделил речь и музыку. Проверьте на первом ролике, потом уже гоняйте курс.
• Липсинк там, где не нужен. На общем плане губы дёргаются. Включайте только для говорящей головы.

Сколько стоит дубляж нейросетью

От 40 до 200 ₽ за минуту в зависимости от сервиса и модели оплаты. В Speeek Pro с клоном голоса 900 ₽ за 10 минут, в больших пакетах от 56 ₽ за минуту, 5 минут бесплатно. Студийный закадровый перевод с диктором обходится от 3 100 ₽ за минуту при минимальном заказе 15 000 ₽. Расчёты на ролик, курс и канал — в статье сколько стоит перевод видео.

Частые вопросы

Чем дубляж нейросетью отличается от перевода видео?

Ничем, это одно и то же, если на выходе новая речь вместо старой. «Перевод видео» иногда называют и субтитры, дубляж — только замену голоса.

Можно ли сделать дубляж видео нейросетью бесплатно?

Посмотреть чужой ролик: Яндекс Браузер. Получить файл: первую минуту ролика в Speeek, около 5 минут в ElevenLabs через VPN, у обоих с водяным знаком. HeyGen без оплаты файл не отдаёт.

Сохранится ли фоновая музыка?

У сервисов с разделением дорожек да: речь заменяется, фон возвращается. В Speeek фоновые звуки отдельной дорожкой, громкость регулируется в редакторе.

Что с несколькими спикерами?

Укажите их число при загрузке. Speeek разделяет до 5 спикеров и даёт каждому свой голос или клон.

Нужен ли липсинк?

Только для говорящей головы крупным планом. Для лекции, сцены, интервью с общим планом он лишний, в моём тесте у HeyGen губы дёргались.

Можно ли дублировать чужое видео?

Для себя посмотреть — сколько угодно. Публиковать — только своё, с разрешения автора или под открытой лицензией. Примеры выше взяты под Creative Commons.