AI-контроль стройплощадки: безопасность и качество в реальном времени

Обновлено:
ML Нейросети8 месяцевNDA

Мы разработали для строительной компании из Западной Европы систему AI-мониторинга строительной площадки: компьютерное зрение анализирует видеопотоки с камер в реальном времени, фиксирует нарушения техники безопасности и автоматически контролирует качество выполняемых работ. Обработка идёт на edge-устройствах прямо на объекте, поэтому система не зависит от нестабильного интернета, а прорабы получают уведомления о событиях в мобильном приложении. Команда полного цикла довела проект от идеи до работающей на объекте системы за 8 месяцев.

AI-контроль стройплощадки: безопасность и качество в реальном времени

Задача

Стройплощадка — среда, где цена ошибки измеряется здоровьем людей. Инженер по охране труда физически не может видеть весь объект: рабочий снимает каску в дальнем углу площадки, и никто этого не фиксирует, пока не случится инцидент или проверка. Нарушения требований к СИЗ всплывают постфактум — в актах, объяснительных и, в худшем случае, в отчётах о травмах.

С качеством работ похожая история: контроль держится на обходах и ручной фотофиксации. Пока инженер дойдёт до участка, этап уже закрыт следующим слоем, и проверить его невозможно. При этом камеры на стройплощадках, как правило, уже есть — но записи с них никто не смотрит: часы видео в архиве не превращаются ни в предотвращённое нарушение, ни в аргумент в споре с подрядчиком.

Строительная компания из Западной Европы пришла к нам с задачей: научить систему смотреть видео вместо человека — замечать нарушения безопасности в момент, когда они происходят, фиксировать ход и качество работ и при этом устойчиво работать в реальных условиях площадки, где стабильного интернета может не быть неделями.

Нарушения видят постфактум

Инженер по охране труда охватывает лишь малую часть площадки. Снятая каска или отсутствующий жилет остаются незамеченными часами, а фиксируются только по итогам инцидента — когда предотвращать уже нечего и остаётся разбирать последствия.

Камеры пишут в пустоту

Видеонаблюдение на стройплощадке, как правило, уже установлено, но живой оператор не в состоянии следить за десятками потоков одновременно. Архив используется изредка и задним числом, а в реальном времени видеоданные не приносят стройке никакой пользы.

Ручной контроль качества

Приёмка этапов опирается на обходы, ручную фотофиксацию и субъективные оценки. Дефекты, скрытые следующим этапом работ, обнаруживаются слишком поздно, а в спорах с подрядчиками не хватает объективных, датированных свидетельств.

Что делает система

Детекция нарушений СИЗ

Система в реальном времени находит людей в кадре и проверяет обязательную экипировку — каску и сигнальный жилет. Для надёжной проверки каски Dlib локализует голову человека, а детекторы на Python и OpenCV анализируют её окрестность. Каждое нарушение фиксируется кадром с отметкой времени и зоны площадки — такая фиксация объективна и не зависит от того, кто и когда делал обход.

Анализ безопасности в реальном времени

Видеопотоки с камер объекта анализируются непрерывно, а не выборочно: система отслеживает присутствие людей в контролируемых зонах и отклонения от правил безопасности, заданных для площадки. События приоритизируются по серьёзности, пороги срабатывания откалиброваны на реальных записях объекта — это удерживает баланс между чувствительностью системы и количеством ложных тревог.

Автоматический контроль качества

Второй контур системы — контроль выполняемых работ. По кадрам с камер накапливается визуальная история каждого участка: видно, когда этап начался, как продвигался и в каком состоянии закрыт. Отклонения от ожидаемого хода работ подсвечиваются инженеру, а датированный фотоархив становится объективной базой для приёмки этапов и разбора спорных ситуаций с подрядчиками.

Edge-обработка на объекте

Модели компьютерного зрения работают на edge-устройствах, установленных прямо на площадке. Видео анализируется на месте и не уходит в облако — наружу передаются только компактные события. Система переживает обрывы связи: события буферизуются локально и синхронизируются с сервером, когда сеть появляется. Для стройплощадки, где стабильного интернета нет, это единственная жизнеспособная архитектура.

Мобильное приложение прораба

Приложение на Flutter — рабочее место прораба и инженера по охране труда. В нём лента событий по объекту, push-уведомления о нарушениях с кадром и указанием зоны, статусы обработки: подтвердить событие или отметить ложное срабатывание. Реакция на нарушение занимает минуты, а решения пользователей возвращаются в систему и помогают дообучать детекторы.

Журнал событий и отчётность

Все зафиксированные события накапливаются в журнале: тип нарушения, зона, время, кадр-доказательство и решение ответственного. Поверх журнала строится статистика — динамика нарушений по неделям, распределение по зонам и типам. Служба охраны труда получает фактуру для инструктажей и точечных мер: видно, где и какие нарушения повторяются, а не абстрактную «культуру безопасности».

Интеграция с камерами объекта

Как правило, система подключается к уже установленным IP-камерам по стандартным видеопотокам — менять инфраструктуру видеонаблюдения обычно не требуется. На этапе обследования мы проверили ракурсы, разрешение и покрытие зон, а REST API открыл события системы для внешних сервисов заказчика: данные о нарушениях доступны за пределами нашего приложения.

Приватность и защита данных

В кадр постоянно попадают люди, поэтому приватность заложена в архитектуру, а не добавлена поверх. Сырое видео не хранится и не покидает площадку — система сохраняет только события-нарушения с отдельными кадрами. Доступ к событиям разграничен по ролям, а требования европейского регулирования по защите персональных данных учитывались с первого дня проектирования.

Технологический стек

Python

Основной язык проекта — от экспериментов с моделями до продакшн-сервисов. Экосистема Python в компьютерном зрении не имеет равных: библиотеки, готовые архитектуры детекторов, инструменты разметки и оценки качества. Один язык на всём конвейере ускорил итерации: гипотеза, проверенная в ноутбуке на записях с площадки, быстро превращалась в рабочий код edge-узла.

OpenCV

Рабочая лошадка видеоконвейера: декодирование потоков с IP-камер, предобработка кадров, геометрия зон и классические алгоритмы зрения там, где нейросеть избыточна. Ядро OpenCV написано на C++, поэтому конвейер обработки укладывается в ресурсы edge-устройств и держит реальное время на нескольких потоках одновременно — без этого система мониторинга теряет смысл.

Dlib

Отвечает за точную локализацию лица и ориентиров головы человека в кадре. Проверка каски привязывается к положению головы конкретного рабочего, а не к факту «где-то в кадре есть каска» — это заметно снижает ложные срабатывания. Библиотека компактна и предсказуема по ресурсам, что критично для работы на ограниченном железе edge-узлов.

Edge Computing

Архитектурное решение, продиктованное самой площадкой. Обработка на месте даёт реальное время без задержек облака, независимость от нестабильного интернета и приватность: видеопоток не покидает объект, наружу уходят только события. Для заказчика из Западной Европы последнее — не опция, а требование регулирования по защите данных.

Flutter

Одна кодовая база для iOS и Android закрыла мобильный контур проекта без удвоения трудозатрат. Прорабы и инженеры по охране труда пользуются разными телефонами, и приложение обязано работать одинаково у всех. Flutter дал нативную отзывчивость интерфейса, стабильные push-уведомления и быстрые итерации по обратной связи с площадки.

REST API

Связующий слой системы: edge-узлы отправляют события на сервер, мобильное приложение получает ленту и уведомления, внешние сервисы заказчика забирают данные о нарушениях. Понятный HTTP-контракт упростил разработку параллельными потоками — команда моделей, команда приложения и интеграции двигались независимо, опираясь на одну спецификацию.

PythonOpenCVDlibEdge ComputingFlutterREST API

Как шла разработка

Обследование площадки

Готово

Начали с реального объекта: расположение и характеристики камер, покрытие зон, регламенты охраны труда заказчика. Вместе со службой безопасности определили, какие нарушения система должна ловить в первую очередь, и зафиксировали требования к работе без стабильной связи.

Датасет и разметка

Готово

Собрали и разметили кадры со строительных камер: люди, каски, жилеты, границы зон. Специально охватили сложные условия — контровый свет, дождь, пыль, дальние ракурсы, — чтобы детекторы не разваливались на реальной площадке, а не только на демонстрационных записях.

Модели зрения

Готово

Обучили детекторы людей и СИЗ, связали их с локализацией головы через Dlib для надёжной проверки касок. Прогоняли модели на записях объекта, калибровали пороги срабатывания и целенаправленно давили ложные тревоги — доверие пользователей к системе решает не меньше, чем точность.

Перенос на edge

Готово

Оптимизировали модели и видеоконвейер под ограниченное железо площадки: несколько потоков в реальном времени на одном узле. Реализовали автономный режим — локальную буферизацию событий и синхронизацию с сервером при появлении сети, чтобы обрывы связи не теряли ни одного события.

Приложение и API

Готово

Параллельно с ML-контуром собрали серверную часть с REST API и мобильное приложение на Flutter: лента событий, push-уведомления с кадром нарушения, подтверждение и отклонение событий. Интерфейс проверяли с будущими пользователями — прорабами и инженерами по охране труда.

Пилот и боевой запуск

Готово

Развернули систему на действующей стройплощадке, дообучили детекторы на местных данных и донастроили правила зон под реальные сценарии. Через 8 месяцев после старта проекта система вышла в штатный режим ежедневной работы на объекте заказчика.

Результаты

За 8 месяцев строительная компания получила систему, которая непрерывно смотрит на площадку вместо человека. Нарушения безопасности фиксируются в момент, когда они происходят, а не при очередном обходе: прораб получает уведомление с кадром и зоной и реагирует за минуты. Контроль качества перестал зависеть от того, успел ли инженер дойти до участка, — визуальная история этапов накапливается автоматически и остаётся доступной даже после того, как работы закрыты следующим слоем.

Edge-архитектура доказала себя в реальных условиях: система стабильно работает при обрывах связи, а видео не покидает объект — что закрывает и технические, и регуляторные требования европейского заказчика. Журнал событий дал службе охраны труда объективную фактуру для инструктажей и споров с подрядчиками. Внутренние показатели клиента по травматизму и качеству закрыты NDA, поэтому здесь мы приводим только собственные цифры и качественные итоги проекта.

8 месяцев

от старта проекта до работы на объекте

Real-time

анализ безопасности без задержек облака

2 контура

безопасность и качество в одной системе

Edge

видео обрабатывается прямо на площадке

Почему кейс без имени клиента

Заказчик проекта — строительная компания из Западной Европы, и соглашение о неразглашении закрывает её имя, названия объектов, кадры с камер и внутренние показатели по травматизму и качеству работ. В кадр системы постоянно попадают живые люди, поэтому к этой части NDA мы относимся так же строго, как к защите данных в самой системе.

Инженерная сторона при этом открыта: архитектура с edge-обработкой, стек Python, OpenCV, Dlib и Flutter, подход к сбору датасета и калибровке детекторов, срок в 8 месяцев. Эти решения мы готовы разобрать применительно к вашей площадке — в границах, которые допускает соглашение.

Вопросы о проекте

Обсудим похожий проект?

Расскажите о задачах вашего бизнеса — предложим архитектуру и оценим сроки

ML и AI-разработка