Частная AI-платформа для инженерной компании на 200 сотрудников

Платформа только обслуживает модели, а не обучает их. Для инференса L40S даёт лучшую стоимость токена: около 7 500 € за карту против 28 000 € и выше за H100. Архитектура Ada Lovelace оптимизирована именно под инференс, а PCIe-исполнение встаёт в обычный стоечный сервер без NVLink. Четыре карты по 48 ГБ дают 192 ГБ видеопамяти — этого хватает на Qwen3-32B, младшие модели, Whisper и эмбеддинги.

Да. vLLM использует непрерывный батчинг: запросы разных сотрудников обрабатываются одновременно, а не по очереди. В утренний пик приходит до 40–50 одновременных запросов, и задержка заметно не растёт. Быстрые вопросы к Qwen3-8B получают ответ меньше чем за 2 секунды, сложные задачи на Qwen3-32B — за 5–15 секунд. За неделю платформа обрабатывает больше 12 000 запросов.

В этом проекте Qwen3-32B справляется со сложной аналитикой на уровне, сопоставимом с GPT-4: разбор конструкторских расчётов, подробные предложения, анализ спецификаций. Повседневные задачи — письма, пересказ документов, объяснение терминов — закрывает быстрая Qwen3-8B. Сотрудник выбирает модель в интерфейсе так же, как в ChatGPT выбирают между быстрой и мощной версией, только данные не покидают здание.

Права в RAG повторяют права на папки общего диска. Если у инженера нет доступа к папке конфиденциального клиента, система не найдёт для него эти документы и не перескажет их содержание в ответе модели — даже косвенно. Новые и изменённые файлы индексируются каждую ночь, а приоритетные каталоги — сразу после изменений.

Запуск прошёл в три этапа. Сначала 30 «чемпионов» — по два-три энтузиаста из отдела — разобрали на практических занятиях свои рабочие задачи и стали внутренней поддержкой. Затем доступ получили все 200 сотрудников: вход под рабочей учётной записью, 10-минутный интерактивный курс и библиотека промптов. На третьем этапе платформу встроили в чек-лист запуска проекта и систему управления проектами. Использование выросло с 40 до 94 % за три месяца.

Около 400 € в месяц с учётом электричества, администрирования и обновления моделей; из них примерно 200 € — электричество. Системный администратор тратит на платформу около 4 часов в месяц: обновляет модели Qwen, следит за загрузкой GPU и индексом документов. Стоимость не зависит от числа пользователей: новые сотрудники не добавляют подписок, а сам запрос стоит 0 €.

Все запросы, документы и записи встреч остаются на собственном сервере компании, наружу не уходит ничего. С момента запуска не было ни одного инцидента с утечкой данных. ИТ-отдел подтвердил на ежеквартальном аудите соответствие клиентским NDA и немецким требованиям к защите данных, а несколько заказчиков при продлении контрактов отдельно отметили локальный ИИ как плюс.