01 — Кейс · ML Нейросети

«Регресс»: агент, который разбирает падения CI

В продуктовой команде из 180 инженеров 31% прогонов CI падали из-за нестабильных тестов, и на разбор у каждого уходило 2,4 часа в неделю. За 6 месяцев мы сделали агента на LLM: он определяет причину падения, ищет коммит-виновник и по четырём типам проблем сам готовит PR. Агент берёт на себя часть потока: 38% падений разобраны без инженера (замер за 3 месяца), остальные по-прежнему разбирают люди.

6 месяцев
Обновлено:
Смотреть кейс
срок проекта
6 месяцев
функциональных модулей
6
этапов разработки
5
ключевых технологий
4
«Регресс»: агент, который разбирает падения CI

02 — Контекст

Задача проекта

Исходная ситуация, ограничения и проблемы, которые должна была решить новая система.

В команде 180 инженеров, 24 репозитория и около 6 200 интеграционных и e2e-тестов. Один прогон CI шёл 41 минуту.

31% прогонов падали по флейкам, то есть из-за тестов, которые падают нестабильно и без связи с изменениями в коде. Каждое падение приходилось разбирать вручную: настоящая ли это регрессия, проблема окружения или случайный сбой. На это инженер тратил 2,4 часа в неделю.

Релизы при этом сдвигались на 1–2 дня. Нужен был инструмент, который возьмёт на себя первичный разбор и закроет типовые случаи сам, а нетиповые отдаст людям с уже собранными фактами.

  1. Почти треть прогонов падает впустую

    31% прогонов падали по флейкам. Сборка краснела, хотя код был ни при чём, и каждое такое падение требовало внимания инженера.

  2. Часы на разбор

    2,4 часа в неделю на инженера уходило на то, чтобы понять, что именно упало и почему. При 180 инженерах это заметная доля рабочего времени команды.

  3. Сдвиг релизов

    Пока падения разбирали, релиз ждал. Сдвиг на 1–2 дня стал для команды привычным.

03 — Возможности

Что делает система

Ключевые сценарии и рабочие модули, собранные в единую систему.

  1. Триаж падения

    Агент читает логи упавшего прогона и относит падение к одному из трёх типов: флейк, регрессия или проблема окружения. От этого типа зависит, что делать дальше.

  2. Поиск коммита-виновника

    Если падение похоже на регрессию, агент через git ищет коммит, после которого тест начал падать. Инженер получает конкретное изменение, с которого стоит начинать разбор.

  3. Авто-фикс по четырём типам

    Четыре типовых случая агент чинит сам: перезапускает прогон, отправляет тест в карантин, правит таймаут или исправляет селектор. На каждое исправление он открывает PR с описанием того, что и почему изменил.

  4. Квоты на авто-мердж

    Сколько исправлений агента вливается без человека, ограничено квотами. Авто-мердж разрешён только для тестов, модули оплаты агент автоматически не трогает.

  5. Инструменты агента

    У агента есть доступ к логам, к git и к API системы CI, а также результаты статического анализа кода. Выводы он строит по фактам, которые сам собрал через эти инструменты.

  6. Интеграция с CI/CD и трекером

    Агент встроен в конвейер сборки и связан с трекером задач команды, поэтому работает в тех инструментах, которыми инженеры и так пользуются.

04 — Архитектура

Технологический стек

Технологии выбраны под нагрузку, интеграции и дальнейшее развитие продукта.

Зачем в проекте · 01 / 04

Агент на LLM

Языковая модель читает логи, решает, какой инструмент вызвать, и пишет описание к PR. Разобрать разнородные логи 24 репозиториев набором жёстких правил было бы сложнее.

Ещё в проекте
  • LLM Agent
  • Tool Use
  • Static Analysis
  • Issue Tracker

05 — Процесс

Как шла разработка

Последовательность работ от исследования задачи до запуска и проверки результата.

  1. Классификация падений

    Основа системы — научить агента отличать флейк от регрессии и от проблемы окружения. От точности этого шага зависит всё остальное.

  2. Поиск виновника

    Подключили агента к git, логам и API системы CI, чтобы для регрессий он находил коммит, после которого тест начал падать.

  3. Четыре типа авто-фиксов

    Добавили исправления для типовых случаев: повторный прогон, карантин теста, таймаут и правку селектора. Каждое оформляется как PR с описанием.

  4. Квоты и границы

    Ограничили авто-мердж квотами и только тестами, без модулей оплаты. Всё, что выходит за эти рамки, проходит через инженера.

  5. Три месяца замера

    После запуска три месяца измеряли долю разобранных падений, флейки, время CI и время разбора, а верность классификации проверяли выборочно.

06 — Итог

Результаты

Что создано в рамках проекта: рабочий контур, реализованные возможности и подтверждённые факты.

падений разобрано без инженера, замер за 3 месяца; остальные разбирают люди
38%
верных классификаций причины падения, выборочная проверка
86%
медианный разбор одного падения вместо 44, замер за 3 месяца
25 мин

Замер за три месяца: агент разбирает без инженера 38% падений, и по выборочной проверке верно определяет причину в 86% случаев. Авто-PR закрывают меньше пятой части разобранного, смерджено чуть больше половины из них. Прогонов, упавших по флейкам, стало 19% вместо 31%, медианный разбор одного падения занимает 25 минут вместо 44, CI стал немного быстрее.

Результат получен на части объёма: агент разбирает 38% падений, остальные по-прежнему разбирают инженеры. Экономия в пересчёте на инженера — около 0,9 часа в неделю из прежних 2,4. Вызовы языковой модели обходятся примерно в 350 тыс. ₽ в месяц.

Что не получилось. Около половины снижения флейков дал карантин тестов, а не их исправление: покрытие временно упало, и 140 тестов сидят в карантине дольше месяца. Гонки агент распознаёт как флейк, но не чинит. Миграции базы данных не берёт вообще. В 14% случаев неверный триаж стоил инженеру больше времени, чем разбор с нуля. Авто-мердж ограничен тестами и не касается модулей оплаты.

FAQ

Вопросы о проекте

Обсудим похожий проект?

Расскажите о задачах вашего бизнеса — предложим архитектуру и оценим сроки

Разработка AI-агентов