«Модератор»: нейросети следят за чатом и голосом в игре
Игровая студия с аудиторией 1,8 млн игроков в месяц модерировала чат вручную и только по жалобам, до реакции по медиане проходило 38 минут. За 5 месяцев мы собрали ансамбль моделей для текста, голоса и изображений. Явные нарушения скрываются автоматически, спорные случаи уходят модератору, у игрока остаётся апелляция. Нарушения в текстовом чате скрываются примерно за 3 секунды; модераторы смотрят 55% объёма (замер по еженедельному аудиту).
- срок проекта
- 5 месяцев
- функциональных модулей
- 7
- этапов разработки
- 5
- ключевых технологий
- 5

02 — Контекст
Задача проекта
Исходная ситуация, ограничения и проблемы, которые должна была решить новая система.
Масштаб у студии такой: 1,8 млн активных игроков в месяц, 340 тысяч сообщений в сутки и 90 тысяч голосовых фрагментов. Всё это проверяли люди, и только тогда, когда на сообщение пожаловались.
От жалобы до реакции модератора проходило 38 минут по медиане, и всё это время нарушение оставалось на виду у других игроков. Аудит выборки показал, что 12% нарушений не замечают вовсе.
Тяжелее всего было самим модераторам: самый тяжёлый контент проходил через них, и люди выгорали.
38 минут до реакции
Сообщение скрывали только после жалобы и ручной проверки. Пока очередь доходила до него, нарушение успевали увидеть или услышать другие игроки.
Пропуски по аудиту
Модерация по жалобам видит только то, на что пожаловались, и часть нарушений проходит мимо модераторов совсем.
Выгорание команды
Весь поток жалоб, включая самое тяжёлое, разбирали люди. Автоматического фильтра перед ними не было.
03 — Возможности
Что делает система
Ключевые сценарии и рабочие модули, собранные в единую систему.
Текст: дообученная открытая модель
Сообщения проверяет открытая языковая модель, дообученная методом LoRA. Её основа не меняется, обучается только небольшая надстройка поверх неё. Поэтому модель можно регулярно подстраивать под новый сленг без большого переобучения.
Голос: распознавание речи и классификатор
Голосовой фрагмент сначала переводится в текст системой распознавания речи (ASR), затем классификатор решает, есть ли в нём нарушение. На скрытие голосового нарушения уходит около 9 секунд.
Изображения: хэш-сверка и NSFW-классификатор
Картинка сравнивается по цифровому отпечатку с уже известными запрещёнными изображениями. Новые проверяет готовый классификатор недопустимого контента. Свою модель для изображений не обучали.
Контекст беседы
Сообщение оценивается вместе с разговором, в котором оно появилось. Одна и та же фраза в дружеской перепалке и в травле значит разное, поэтому модель смотрит на разговор целиком.
Риск-скор аккаунта
Кроме самого сообщения система учитывает оценку риска аккаунта, который его отправил. Решение складывается из того, что написано или сказано, и того, кто это сделал.
Порог: скрыть сразу или отдать человеку
Если оценка выше порога, сообщение скрывается автоматически. Если ниже, оно попадает в очередь к модератору. Так люди занимаются спорными случаями, а очевидные система закрывает сама за секунды.
Апелляции
Игрок может оспорить скрытие. Это защита от ошибок модели, которые при таком потоке неизбежны.
04 — Архитектура
Технологический стек
Технологии выбраны под нагрузку, интеграции и дальнейшее развитие продукта.
Зачем в проекте · 01 / 05
PyTorch
Фреймворк для обучения и запуска моделей. На нём дообучается и работает текстовая модель, и в нём же проходит регулярное дотюнивание.
- Open LLM
- Image Classification
- Stream Processing
05 — Процесс
Как шла разработка
Последовательность работ от исследования задачи до запуска и проверки результата.
Точка отсчёта
Точкой отсчёта стали показатели ручной модерации: медиана реакции 38 минут и 12% пропущенных нарушений по аудиту выборки. С ними сравнивали результат.
Модели для текста, голоса и картинок
Для каждого типа контента выбрали свой путь. Текст проверяет открытая модель с LoRA, голос проходит через распознавание речи и классификатор, картинки сверяются по хэшам и через готовый NSFW-классификатор.
Логика решения
Добавили контекст беседы и риск-скор аккаунта, настроили порог автоскрытия, очередь для модераторов и апелляции.
Потоковый запуск
Перевели проверку на поток, чтобы сообщения оценивались сразу после отправки. С этого момента нарушения в чате скрываются за секунды, а не после жалобы.
Аудит и регулярное дотюнивание
Качество проверяется еженедельным аудитом 2 тысяч сообщений. Раз в две недели модель дотюнивается на новых мемах: без этого качество проседает за месяц.
06 — Итог
Результаты
Что создано в рамках проекта: рабочий контур, реализованные возможности и подтверждённые факты.
- до скрытия нарушения в текстовом чате вместо 38 минут, замер по аудиту
- ~3 с
- нарушений пропускается против 12% раньше, еженедельный аудит 2 тыс. сообщений
- 7,5%
- объёма теперь смотрят модераторы, замер по аудиту
- 55%
Замер по еженедельному аудиту 2 тысяч сообщений: нарушение в текстовом чате скрывается примерно за 3 секунды, в голосовом — примерно за 9, вместо 38 минут при ручной модерации. Пропущенных нарушений стало 7,5% вместо 12%, ложных скрытий — немного меньше, чем раньше. Через модераторов проходит 55% объёма, остальное система решает сама.
Что не получилось. 41% ошибок приходится на сарказм и внутриигровой сленг. Распознавание речи на игровом сленге ошибается примерно в четверти слов (WER около 25%), поэтому по голосу пропусков заметно больше, чем по тексту. Изображения отдельно не оценивались. Модель приходится дотюнивать на новых мемах раз в две недели, иначе за месяц качество проседает. Доля апелляций выросла с 3% до 5% от скрытий.
FAQ
Вопросы о проекте
Обсудим похожий проект?
Расскажите о задачах вашего бизнеса — предложим архитектуру и оценим сроки


