01 — Кейс · ML Нейросети

«Дубляж» — озвучка контента на 12 языков с клонированием голосов актёров

Дистрибьютору контента нужно локализовать около 340 часов в год, а озвучка у подрядчиков занимала около пяти недель на язык. Мы собрали конвейер дубляжа: машинный перевод с глоссарием и учётом тайминга, клонирование голосов актёров с их согласия, липсинк на крупных планах и автоматическую проверку качества. Переводы правят редакторы-носители, приёмку ведут люди. По замеру за 3 месяца релиз на 12 языках выходит примерно за три недели.

5 месяцев
Обновлено:
Смотреть кейс
срок проекта
5 месяцев
функциональных модулей
6
этапов разработки
5
ключевых технологий
5
«Дубляж» — озвучка контента на 12 языков с клонированием голосов актёров

02 — Контекст

Задача проекта

Исходная ситуация, ограничения и проблемы, которые должна была решить новая система.

Заказчик — дистрибьютор контента. В год у него около 340 часов материала, а в задаче 14 языков. Озвучку вели три подрядчика, на каждый язык уходило около пяти недель, и релизы на новых языках сдвигались на квартал.

Стоимость локализации росла с каждым языком. Все готовые сегменты проверяли вручную.

Требовался конвейер, в котором машина берёт на себя перевод, синтез речи и первичную проверку, а редактура и приёмка остаются за людьми. Отдельное условие касалось голосов: клонировать голос актёра можно только с его отдельного согласия.

  1. Пять недель на каждый язык

    Озвучка у подрядчика занимала около пяти недель на язык. Пока работа не закончена, выпуск на этом языке ждёт.

  2. Релизы уезжают на квартал

    Из-за сроков озвучки выход на новых языках сдвигался на квартал, хотя работу делили три подрядчика.

  3. Стоимость растёт с каждым языком

    При 340 часах контента в год стоимость локализации росла с каждым языком, а в задаче их было 14.

  4. Ручная проверка всего

    Каждый сегмент озвучки принимал человек. Автоматической проверки до приёмки не было, поэтому вручную смотрели весь объём.

  1. Перевод под длину реплики

    Машинный перевод работает с глоссарием проекта: имена, названия и повторяющиеся термины переводятся одинаково во всех эпизодах. Он учитывает тайминг, то есть реплика на другом языке должна уложиться в то же время, что и оригинальная. Черновик перевода затем правит редактор-носитель языка.

  2. Голоса актёров — только по согласию

    Голос актёра клонируется только после его отдельного согласия, и тогда персонаж звучит на других языках его голосом. Четверо из 19 актёров отказались. Их голоса не клонировали, а роли озвучили синтетическими голосами без клонирования.

  3. Синхрон с изображением

    Липсинк, то есть подгонка движения губ под новую речь, применяется только на крупных планах, где губы хорошо видны. В остальных сценах реплика синхронизируется по длине и звучит в те же секунды, что и оригинал. Подгонка губ делается там, где зритель её заметит.

  4. Автоматическая проверка по шести метрикам

    Каждый озвученный сегмент до человека проходит автоматический контроль: длина реплики, произношение, синхрон, громкость по EBU R128 и другие метрики, всего шесть. EBU R128 — европейский вещательный стандарт громкости, по нему звук не скачет между сценами и сериями. С первого раза её проходит около половины сегментов.

  5. Редактура и приёмка людьми

    Переводы правят редакторы-носители языка, готовую озвучку принимают люди. На ручную приёмку уходит часть сегментов, а не все подряд, как раньше: остальные принимаются по результатам автоматической проверки. Окончательное решение о качестве остаётся за человеком. Редактура — самая медленная часть конвейера, и срок релиза задают именно редакторы.

  6. Связка с постпродакшеном

    Конвейер подключён к постпродакшену заказчика. Озвученные дорожки на каждом языке передаются туда через интеграцию и дальше идут по обычному процессу выпуска, как и остальные материалы. Корейский и арабский, которые вернули подрядчику, проходят прежним путём.

04 — Архитектура

Технологический стек

Технологии выбраны под нагрузку, интеграции и дальнейшее развитие продукта.

Зачем в проекте · 01 / 05

Machine Translation (MT)

Модели машинного перевода дают черновик сразу на всех языках. Глоссарий удерживает единые имена и термины, а учёт тайминга заставляет перевод укладываться в длину реплики. Без этого синтезированная речь не совпала бы с картинкой.

05 — Процесс

Как шла разработка

Последовательность работ от исследования задачи до запуска и проверки результата.

  1. Перевод под тайминг

    Настроили машинный перевод с глоссарием и учётом тайминга: реплика на новом языке укладывается в длину оригинальной, а имена и термины одинаковы от эпизода к эпизоду.

  2. Согласия и голоса

    Клонирование голоса требует отдельного согласия каждого актёра. Четверо из 19 отказались, и для их ролей подобрали синтетические голоса без клонирования.

  3. Синхрон с картинкой

    Развели сцены по способу синхрона: на крупных планах работает липсинк, на остальных реплика подгоняется по длине.

  4. Автоматическая проверка

    Собрали контроль качества по шести метрикам, включая произношение, синхрон и громкость по EBU R128, чтобы явные ошибки не доходили до людей.

  5. Редактура, приёмка и запуск

    Встроили редактуру переводов носителями и приёмку людьми, подключили конвейер к постпродакшену. Внедрение до промышленной эксплуатации заняло 5 месяцев, результаты замеряли следующие 3 месяца.

06 — Итог

Результаты

Что создано в рамках проекта: рабочий контур, реализованные возможности и подтверждённые факты.

на релиз на 12 языках вместо ~5 недель, замер за 3 месяца
~3 недели
языков в работе: корейский и арабский вернули подрядчику
12 из 14
сегментов идут на ручную приёмку, раньше проверяли все; замер за 3 месяца
60%

По замеру за 3 месяца релиз на 12 языках выходит примерно за три недели вместо пяти. Машина переводит, озвучивает и проверяет, люди правят переводы и принимают результат. Минута озвучки на язык обходится дешевле, чем у подрядчиков, хотя в её стоимость входят редактура и приёмка.

Автоматическую проверку с первого раза проходит около половины сегментов, и на ручную приёмку попадает 60% вместо всех. Узкое место теперь — редакторы-носители, генерация его не создаёт: из-за редактуры релиз занимает три недели, а не дни.

Не всё получилось. Корейский и арабский вернули подрядчику: машинную озвучку на этих языках не приняли по качеству. Эмоциональные сцены с криком, плачем и шёпотом почти всегда переозвучивают люди. Серии в новой озвучке досматривают на 4% реже, чем версию подрядчика (замер за 3 месяца).

FAQ

Вопросы о проекте

Обсудим похожий проект?

Расскажите о задачах вашего бизнеса — предложим архитектуру и оценим сроки

Голосовые AI-решения