01 — Кейс · ML Нейросети

Языковая модель в мессенджере: ассистент за 4 недели

Человек открывает знакомый мессенджер, пишет вопрос и получает ответ языковой модели: ни другой сайт, ни новая учётная запись ему не нужны. Ассистент подключён к официальному API, написан на асинхронном Python и ведёт много бесед одновременно. Команда полного цикла выпустила его за 4 недели. Им пользуются для учёбы, поиска сведений и развлечения.

4 недели
Обновлено:
Смотреть кейс
срок проекта
4 недели
функциональных модулей
7
этапов разработки
5
ключевых технологий
4
Языковая модель в мессенджере: ассистент за 4 недели

02 — Контекст

Задача проекта

Исходная ситуация, ограничения и проблемы, которые должна была решить новая система.

Задача формулировалась коротко: написал сообщение в чат и получил ответ сильной языковой модели. Подключаться решили только через официальный API. Обходные пути не обещают ни ровного качества, ни понятных ограничений, ни законного использования, а публичный продукт без этого выпускать нельзя.

Выбор канала объяснялся поведением людей. О языковых моделях тогда говорили все, но попробовать их мешали отдельный сайт, регистрация и незнакомый интерфейс. На каждом таком шаге часть желающих отсеивалась, зато мессенджером они и так пользовались постоянно.

На всё отводилось 4 недели, и сделать нужно было готовый к работе продукт. Он обязан помнить ход беседы, не заставлять людей ждать друг друга и спокойно переносить перебои внешнего API, от которого зависят все его ответы.

  1. Регистрация отпугивает новичков

    Новый адрес, учётная запись и незнакомые кнопки стоят между человеком и первым вопросом к нейросети. Широкой аудитории достаточно одного из этих препятствий, чтобы отложить знакомство и больше к нему не вернуться.

  2. Мессенджер открыт весь день

    Страницу с нейросетью люди специально не держат открытой, а чат у них всегда под рукой. Там уже есть учётная запись, кнопки привычны, и разговор можно начать первой же репликой.

  3. Ответ одному тормозит всех

    Модель думает секунды. При последовательной обработке каждый новый вопрос ждал бы, пока закончится предыдущий, и очередь росла бы вместе с числом собеседников.

  4. Всё держится на чужом сервисе

    Своих ответов у ассистента нет: их формирует внешняя модель. Любой её перебой пользователь увидел бы напрямую, поэтому такие ситуации нужно было обработать заранее.

  1. Переписка без команд и синтаксиса

    Человек пишет в чат обычным языком. Ассистент отправляет текст модели через API и присылает развёрнутый ответ туда же. Так можно задать вопрос, разобраться в трудной теме, поработать над текстом или поговорить о чём угодно, и никаких особых правил для этого учить не приходится.

  2. Длинные ответы по частям

    Модель часто пишет больше, чем вмещает одно сообщение мессенджера. Ассистент делит такой текст на порции и шлёт их по порядку, причём абзацы и фрагменты кода не рвутся, а разметка остаётся на месте. Человек читает ответ целиком и не сталкивается с обрывом или ошибкой отправки.

  3. История беседы с обрезкой

    Предыдущие реплики сохраняются и уходят в модель с каждым новым вопросом. Поэтому короткое «продолжи» она понимает правильно. Самые старые сообщения постепенно отбрасываются: так запрос укладывается в допустимый размер и лишние токены не расходуются.

  4. Отдельный слой для API модели

    Ключ доступа, сборка запросов, разбор ответов, ошибки и повторные попытки при сбоях сети собраны в одном слое. Остальной код о них не знает. Благодаря этому новую версию модели можно подключить, не затрагивая логику самого ассистента.

  5. Беседы параллельно в одном процессе

    Ожидание ответа модели не занимает процесс целиком. Пока для одного собеседника готовится текст, ассистент принимает и разбирает сообщения других. Асинхронный Python позволяет обслуживать множество диалогов разом, не создавая задержек и блокировок.

  6. Старт, сброс темы и индикатор набора

    При первом запуске ассистент здоровается и подсказывает, что умеет. Отдельная команда очищает контекст, когда хочется сменить тему. Пока ответ формируется, в чате виден индикатор набора, и человек понимает, что запрос в работе. Это помогает тем, кто общается с нейросетью впервые.

  7. Ограничения, журнал и работа при сбоях

    У каждого пользователя есть предел частоты запросов, а обращения пишутся в журнал для разбора проблем. Вместо молчания ассистент объясняет, что произошло. Когда внешний API недоступен, он так и говорит, а после восстановления сам продолжает работу: перезапуск не нужен, диалоги сохраняются.

04 — Архитектура

Технологический стек

Технологии выбраны под нагрузку, интеграции и дальнейшее развитие продукта.

Зачем в проекте · 01 / 04

Async Python

Несущая основа ассистента. Встроенные корутины позволяют не блокировать работу на время ожидания модели и вести много бесед в одном процессе. Сервер расходуется экономно, скорость реакции остаётся ровной, а рост нагрузки не требует усложнять инфраструктуру.

05 — Процесс

Как шла разработка

Последовательность работ от исследования задачи до запуска и проверки результата.

  1. Что войдёт в первую версию

    Срок в 4 недели заставил сразу определить границы. Отобрали сценарии, важные на старте, описали поведение в нестандартных случаях и отложили всё, что не приносит пользы с самой первой реплики.

  2. Сначала живой ответ

    Собрали основу на Python: соединение с мессенджером, слой для API модели, настройки окружений. Ассистент начал отвечать на настоящие сообщения уже на этом этапе, и остальное наращивалось вокруг действующего ядра.

  3. Поведение в переписке

    Добавили работу с контекстом, команды, деление длинных текстов и индикатор набора. Затем проверяли всё на реальных диалогах и подправляли реакции, пока общение не стало похожим на обычную переписку с человеком.

  4. Сбои и наплыв собеседников

    Настроили обработку ошибок API, повторные попытки, пределы частоты и журнал, отдельно проверили отключение внешнего сервиса. Затем сымитировали одновременную работу многих людей: сообщения не терялись, время ответа держалось ровно, расход памяти был предсказуем.

  5. Публикация и донастройка

    После выхода следили за скоростью, тратами токенов и отзывами людей. По этим наблюдениям поправили ограничения и текст служебных сообщений. На исходе четвёртой недели ассистент уже работал в полную силу.

06 — Итог

Результаты

Что создано в рамках проекта: рабочий контур, реализованные возможности и подтверждённые факты.

заняла работа до запуска
4 недели
в сутки ассистент на связи
24 часа
учёба, поиск сведений и досуг
3 задачи
новых учётных записей нужно человеку
0

Языковая модель стала доступна там, где люди и так переписываются. Для разговора с ней не нужно ни заводить учётную запись, ни уходить из чата. Ассистент объясняет трудные темы, помогает с текстами и просто поддерживает беседу, то есть одинаково годится для учёбы, справок и досуга.

Архитектура себя оправдала. Параллельные беседы не снижают скорость, а смена версий модели проходит без потрясений. Изолированный слой API оставляет возможность добавлять сценарии и бизнес-логику, не переделывая ядро. Сейчас мы используем эту схему в LLM-интеграциях для других продуктов.

FAQ

Вопросы о проекте

Обсудим похожий проект?

Расскажите о задачах вашего бизнеса — предложим архитектуру и оценим сроки

LLM-интеграции