«Дубляж» — озвучка контента на 12 языков с клонированием голосов актёров
Дистрибьютору контента нужно локализовать около 340 часов в год, а озвучка у подрядчиков занимала около пяти недель на язык. Мы собрали конвейер дубляжа: машинный перевод с глоссарием и учётом тайминга, клонирование голосов актёров с их согласия, липсинк на крупных планах и автоматическую проверку качества. Переводы правят редакторы-носители, приёмку ведут люди. По замеру за 3 месяца релиз на 12 языках выходит примерно за три недели.
- срок проекта
- 5 месяцев
- функциональных модулей
- 6
- этапов разработки
- 5
- ключевых технологий
- 5

02 — Контекст
Задача проекта
Исходная ситуация, ограничения и проблемы, которые должна была решить новая система.
Заказчик — дистрибьютор контента. В год у него около 340 часов материала, а в задаче 14 языков. Озвучку вели три подрядчика, на каждый язык уходило около пяти недель, и релизы на новых языках сдвигались на квартал.
Стоимость локализации росла с каждым языком. Все готовые сегменты проверяли вручную.
Требовался конвейер, в котором машина берёт на себя перевод, синтез речи и первичную проверку, а редактура и приёмка остаются за людьми. Отдельное условие касалось голосов: клонировать голос актёра можно только с его отдельного согласия.
Пять недель на каждый язык
Озвучка у подрядчика занимала около пяти недель на язык. Пока работа не закончена, выпуск на этом языке ждёт.
Релизы уезжают на квартал
Из-за сроков озвучки выход на новых языках сдвигался на квартал, хотя работу делили три подрядчика.
Стоимость растёт с каждым языком
При 340 часах контента в год стоимость локализации росла с каждым языком, а в задаче их было 14.
Ручная проверка всего
Каждый сегмент озвучки принимал человек. Автоматической проверки до приёмки не было, поэтому вручную смотрели весь объём.
03 — Возможности
Что делает система
Ключевые сценарии и рабочие модули, собранные в единую систему.
Перевод под длину реплики
Машинный перевод работает с глоссарием проекта: имена, названия и повторяющиеся термины переводятся одинаково во всех эпизодах. Он учитывает тайминг, то есть реплика на другом языке должна уложиться в то же время, что и оригинальная. Черновик перевода затем правит редактор-носитель языка.
Голоса актёров — только по согласию
Голос актёра клонируется только после его отдельного согласия, и тогда персонаж звучит на других языках его голосом. Четверо из 19 актёров отказались. Их голоса не клонировали, а роли озвучили синтетическими голосами без клонирования.
Синхрон с изображением
Липсинк, то есть подгонка движения губ под новую речь, применяется только на крупных планах, где губы хорошо видны. В остальных сценах реплика синхронизируется по длине и звучит в те же секунды, что и оригинал. Подгонка губ делается там, где зритель её заметит.
Автоматическая проверка по шести метрикам
Каждый озвученный сегмент до человека проходит автоматический контроль: длина реплики, произношение, синхрон, громкость по EBU R128 и другие метрики, всего шесть. EBU R128 — европейский вещательный стандарт громкости, по нему звук не скачет между сценами и сериями. С первого раза её проходит около половины сегментов.
Редактура и приёмка людьми
Переводы правят редакторы-носители языка, готовую озвучку принимают люди. На ручную приёмку уходит часть сегментов, а не все подряд, как раньше: остальные принимаются по результатам автоматической проверки. Окончательное решение о качестве остаётся за человеком. Редактура — самая медленная часть конвейера, и срок релиза задают именно редакторы.
Связка с постпродакшеном
Конвейер подключён к постпродакшену заказчика. Озвученные дорожки на каждом языке передаются туда через интеграцию и дальше идут по обычному процессу выпуска, как и остальные материалы. Корейский и арабский, которые вернули подрядчику, проходят прежним путём.
04 — Архитектура
Технологический стек
Технологии выбраны под нагрузку, интеграции и дальнейшее развитие продукта.
Зачем в проекте · 01 / 05
Machine Translation (MT)
Модели машинного перевода дают черновик сразу на всех языках. Глоссарий удерживает единые имена и термины, а учёт тайминга заставляет перевод укладываться в длину реплики. Без этого синтезированная речь не совпала бы с картинкой.
05 — Процесс
Как шла разработка
Последовательность работ от исследования задачи до запуска и проверки результата.
Перевод под тайминг
Настроили машинный перевод с глоссарием и учётом тайминга: реплика на новом языке укладывается в длину оригинальной, а имена и термины одинаковы от эпизода к эпизоду.
Согласия и голоса
Клонирование голоса требует отдельного согласия каждого актёра. Четверо из 19 отказались, и для их ролей подобрали синтетические голоса без клонирования.
Синхрон с картинкой
Развели сцены по способу синхрона: на крупных планах работает липсинк, на остальных реплика подгоняется по длине.
Автоматическая проверка
Собрали контроль качества по шести метрикам, включая произношение, синхрон и громкость по EBU R128, чтобы явные ошибки не доходили до людей.
Редактура, приёмка и запуск
Встроили редактуру переводов носителями и приёмку людьми, подключили конвейер к постпродакшену. Внедрение до промышленной эксплуатации заняло 5 месяцев, результаты замеряли следующие 3 месяца.
06 — Итог
Результаты
Что создано в рамках проекта: рабочий контур, реализованные возможности и подтверждённые факты.
- на релиз на 12 языках вместо ~5 недель, замер за 3 месяца
- ~3 недели
- языков в работе: корейский и арабский вернули подрядчику
- 12 из 14
- сегментов идут на ручную приёмку, раньше проверяли все; замер за 3 месяца
- 60%
По замеру за 3 месяца релиз на 12 языках выходит примерно за три недели вместо пяти. Машина переводит, озвучивает и проверяет, люди правят переводы и принимают результат. Минута озвучки на язык обходится дешевле, чем у подрядчиков, хотя в её стоимость входят редактура и приёмка.
Автоматическую проверку с первого раза проходит около половины сегментов, и на ручную приёмку попадает 60% вместо всех. Узкое место теперь — редакторы-носители, генерация его не создаёт: из-за редактуры релиз занимает три недели, а не дни.
Не всё получилось. Корейский и арабский вернули подрядчику: машинную озвучку на этих языках не приняли по качеству. Эмоциональные сцены с криком, плачем и шёпотом почти всегда переозвучивают люди. Серии в новой озвучке досматривают на 4% реже, чем версию подрядчика (замер за 3 месяца).
FAQ
Вопросы о проекте
Обсудим похожий проект?
Расскажите о задачах вашего бизнеса — предложим архитектуру и оценим сроки

