Языковая модель в мессенджере: ассистент за 4 недели
Человек открывает знакомый мессенджер, пишет вопрос и получает ответ языковой модели: ни другой сайт, ни новая учётная запись ему не нужны. Ассистент подключён к официальному API, написан на асинхронном Python и ведёт много бесед одновременно. Команда полного цикла выпустила его за 4 недели. Им пользуются для учёбы, поиска сведений и развлечения.
- срок проекта
- 4 недели
- функциональных модулей
- 7
- этапов разработки
- 5
- ключевых технологий
- 4

02 — Контекст
Задача проекта
Исходная ситуация, ограничения и проблемы, которые должна была решить новая система.
Задача формулировалась коротко: написал сообщение в чат и получил ответ сильной языковой модели. Подключаться решили только через официальный API. Обходные пути не обещают ни ровного качества, ни понятных ограничений, ни законного использования, а публичный продукт без этого выпускать нельзя.
Выбор канала объяснялся поведением людей. О языковых моделях тогда говорили все, но попробовать их мешали отдельный сайт, регистрация и незнакомый интерфейс. На каждом таком шаге часть желающих отсеивалась, зато мессенджером они и так пользовались постоянно.
На всё отводилось 4 недели, и сделать нужно было готовый к работе продукт. Он обязан помнить ход беседы, не заставлять людей ждать друг друга и спокойно переносить перебои внешнего API, от которого зависят все его ответы.
Регистрация отпугивает новичков
Новый адрес, учётная запись и незнакомые кнопки стоят между человеком и первым вопросом к нейросети. Широкой аудитории достаточно одного из этих препятствий, чтобы отложить знакомство и больше к нему не вернуться.
Мессенджер открыт весь день
Страницу с нейросетью люди специально не держат открытой, а чат у них всегда под рукой. Там уже есть учётная запись, кнопки привычны, и разговор можно начать первой же репликой.
Ответ одному тормозит всех
Модель думает секунды. При последовательной обработке каждый новый вопрос ждал бы, пока закончится предыдущий, и очередь росла бы вместе с числом собеседников.
Всё держится на чужом сервисе
Своих ответов у ассистента нет: их формирует внешняя модель. Любой её перебой пользователь увидел бы напрямую, поэтому такие ситуации нужно было обработать заранее.
03 — Возможности
Что делает система
Ключевые сценарии и рабочие модули, собранные в единую систему.
Переписка без команд и синтаксиса
Человек пишет в чат обычным языком. Ассистент отправляет текст модели через API и присылает развёрнутый ответ туда же. Так можно задать вопрос, разобраться в трудной теме, поработать над текстом или поговорить о чём угодно, и никаких особых правил для этого учить не приходится.
Длинные ответы по частям
Модель часто пишет больше, чем вмещает одно сообщение мессенджера. Ассистент делит такой текст на порции и шлёт их по порядку, причём абзацы и фрагменты кода не рвутся, а разметка остаётся на месте. Человек читает ответ целиком и не сталкивается с обрывом или ошибкой отправки.
История беседы с обрезкой
Предыдущие реплики сохраняются и уходят в модель с каждым новым вопросом. Поэтому короткое «продолжи» она понимает правильно. Самые старые сообщения постепенно отбрасываются: так запрос укладывается в допустимый размер и лишние токены не расходуются.
Отдельный слой для API модели
Ключ доступа, сборка запросов, разбор ответов, ошибки и повторные попытки при сбоях сети собраны в одном слое. Остальной код о них не знает. Благодаря этому новую версию модели можно подключить, не затрагивая логику самого ассистента.
Беседы параллельно в одном процессе
Ожидание ответа модели не занимает процесс целиком. Пока для одного собеседника готовится текст, ассистент принимает и разбирает сообщения других. Асинхронный Python позволяет обслуживать множество диалогов разом, не создавая задержек и блокировок.
Старт, сброс темы и индикатор набора
При первом запуске ассистент здоровается и подсказывает, что умеет. Отдельная команда очищает контекст, когда хочется сменить тему. Пока ответ формируется, в чате виден индикатор набора, и человек понимает, что запрос в работе. Это помогает тем, кто общается с нейросетью впервые.
Ограничения, журнал и работа при сбоях
У каждого пользователя есть предел частоты запросов, а обращения пишутся в журнал для разбора проблем. Вместо молчания ассистент объясняет, что произошло. Когда внешний API недоступен, он так и говорит, а после восстановления сам продолжает работу: перезапуск не нужен, диалоги сохраняются.
04 — Архитектура
Технологический стек
Технологии выбраны под нагрузку, интеграции и дальнейшее развитие продукта.
Зачем в проекте · 01 / 04
Async Python
Несущая основа ассистента. Встроенные корутины позволяют не блокировать работу на время ожидания модели и вести много бесед в одном процессе. Сервер расходуется экономно, скорость реакции остаётся ровной, а рост нагрузки не требует усложнять инфраструктуру.
05 — Процесс
Как шла разработка
Последовательность работ от исследования задачи до запуска и проверки результата.
Что войдёт в первую версию
Срок в 4 недели заставил сразу определить границы. Отобрали сценарии, важные на старте, описали поведение в нестандартных случаях и отложили всё, что не приносит пользы с самой первой реплики.
Сначала живой ответ
Собрали основу на Python: соединение с мессенджером, слой для API модели, настройки окружений. Ассистент начал отвечать на настоящие сообщения уже на этом этапе, и остальное наращивалось вокруг действующего ядра.
Поведение в переписке
Добавили работу с контекстом, команды, деление длинных текстов и индикатор набора. Затем проверяли всё на реальных диалогах и подправляли реакции, пока общение не стало похожим на обычную переписку с человеком.
Сбои и наплыв собеседников
Настроили обработку ошибок API, повторные попытки, пределы частоты и журнал, отдельно проверили отключение внешнего сервиса. Затем сымитировали одновременную работу многих людей: сообщения не терялись, время ответа держалось ровно, расход памяти был предсказуем.
Публикация и донастройка
После выхода следили за скоростью, тратами токенов и отзывами людей. По этим наблюдениям поправили ограничения и текст служебных сообщений. На исходе четвёртой недели ассистент уже работал в полную силу.
06 — Итог
Результаты
Что создано в рамках проекта: рабочий контур, реализованные возможности и подтверждённые факты.
- заняла работа до запуска
- 4 недели
- в сутки ассистент на связи
- 24 часа
- учёба, поиск сведений и досуг
- 3 задачи
- новых учётных записей нужно человеку
- 0
Языковая модель стала доступна там, где люди и так переписываются. Для разговора с ней не нужно ни заводить учётную запись, ни уходить из чата. Ассистент объясняет трудные темы, помогает с текстами и просто поддерживает беседу, то есть одинаково годится для учёбы, справок и досуга.
Архитектура себя оправдала. Параллельные беседы не снижают скорость, а смена версий модели проходит без потрясений. Изолированный слой API оставляет возможность добавлять сценарии и бизнес-логику, не переделывая ядро. Сейчас мы используем эту схему в LLM-интеграциях для других продуктов.
FAQ
Вопросы о проекте
Обсудим похожий проект?
Расскажите о задачах вашего бизнеса — предложим архитектуру и оценим сроки

