Изолированная LLM для оператора электросетей: ИИ без выхода в интернет

Да. Открытые веса модели переносятся внутрь контура и работают без обращения к серверу лицензий. В этом проекте у сервера инференса нет ни одного исходящего правила межсетевого экрана, а телеметрию мы вырезали ещё при сборке, а не отключили в настройках: выключенную функцию легко включить одной правкой. Внутрь система получает только подписанные офлайн-пакеты, наружу не отправляет ничего.

В этом проекте — один сервер с двумя NVIDIA H100 по 80 ГБ. Модель класса 70B в FP16 занимает около 140 ГБ одних весов, поэтому её квантовали в FP8: этот формат ближе к исходной точности, чем 4-бит, и оставляет запас под KV-кеш и одновременные запросы. Перед запуском квантованную сборку заново проверили на полном наборе вопросов объекта, держа запасной вариант с моделью класса 30B.

Через подписанные офлайн-пакеты. Снаружи собирается пакет с образами контейнеров, весами модели, миграциями, конфигурацией, SBOM и подписанным манифестом. Он проходит на проверенном съёмном носителе через шлюз, который оператор уже использовал для патчей поставщиков. Внутри ничего не устанавливается, пока подпись и хеши всех файлов не совпадут; каждая установка оставляет неизменяемую запись, а откат — предыдущий тег образа на диске.

Для этого внутри периметра работает контур оценки качества. Любое изменение модели, промптов или переиндексация базы прогоняет версионированный набор из 400 вопросов, составленный со старшими инженерами объекта, и показывает отличия от предыдущей сборки. Метрики хранятся на том же сервере, журналы запросов и ссылок — в PostgreSQL, а дашборд смотрит команда оператора.

Отказывается отвечать, а не угадывает. В пилоте так произошло примерно с 7 % вопросов, где поиск находил слишком мало, и оператор засчитывает такие отказы как правильное поведение. На объекте, где неверный номер оборудования — событие безопасности, отказ можно исправить, а уверенную ошибку — нет. Каждый же ответ, который система даёт, ссылается на пункт и редакцию документа.

Поиск по документам вместе с зафиксированной схемой ответа закрыл всё, что требовалось объекту. Дообученная модель — это модель, которую при каждом изменении базы документов нужно заново обучать, заново проверять и заново переносить через границу контура. В изолированной среде это лишняя нагрузка на каждый цикл обновления, поэтому дообучение мы не стали делать первым шагом.

На сервере с двумя GPU за воздушным зазором Kubernetes нечего планировать, а каждый компонент его управляющего слоя — ещё одна вещь, которую пришлось бы обновлять через подписанные пакеты. Docker Compose, образы в OCI-архивах и письменный регламент дают воспроизводимую офлайн-установку без обращения к реестру — для такой системы это правильный уровень сложности.