«Регресс»: агент, который разбирает падения CI
В продуктовой команде из 180 инженеров 31% прогонов CI падали из-за нестабильных тестов, и на разбор у каждого уходило 2,4 часа в неделю. За 6 месяцев мы сделали агента на LLM: он определяет причину падения, ищет коммит-виновник и по четырём типам проблем сам готовит PR. Агент берёт на себя часть потока: 38% падений разобраны без инженера (замер за 3 месяца), остальные по-прежнему разбирают люди.
- срок проекта
- 6 месяцев
- функциональных модулей
- 6
- этапов разработки
- 5
- ключевых технологий
- 4

02 — Контекст
Задача проекта
Исходная ситуация, ограничения и проблемы, которые должна была решить новая система.
В команде 180 инженеров, 24 репозитория и около 6 200 интеграционных и e2e-тестов. Один прогон CI шёл 41 минуту.
31% прогонов падали по флейкам, то есть из-за тестов, которые падают нестабильно и без связи с изменениями в коде. Каждое падение приходилось разбирать вручную: настоящая ли это регрессия, проблема окружения или случайный сбой. На это инженер тратил 2,4 часа в неделю.
Релизы при этом сдвигались на 1–2 дня. Нужен был инструмент, который возьмёт на себя первичный разбор и закроет типовые случаи сам, а нетиповые отдаст людям с уже собранными фактами.
Почти треть прогонов падает впустую
31% прогонов падали по флейкам. Сборка краснела, хотя код был ни при чём, и каждое такое падение требовало внимания инженера.
Часы на разбор
2,4 часа в неделю на инженера уходило на то, чтобы понять, что именно упало и почему. При 180 инженерах это заметная доля рабочего времени команды.
Сдвиг релизов
Пока падения разбирали, релиз ждал. Сдвиг на 1–2 дня стал для команды привычным.
03 — Возможности
Что делает система
Ключевые сценарии и рабочие модули, собранные в единую систему.
Триаж падения
Агент читает логи упавшего прогона и относит падение к одному из трёх типов: флейк, регрессия или проблема окружения. От этого типа зависит, что делать дальше.
Поиск коммита-виновника
Если падение похоже на регрессию, агент через git ищет коммит, после которого тест начал падать. Инженер получает конкретное изменение, с которого стоит начинать разбор.
Авто-фикс по четырём типам
Четыре типовых случая агент чинит сам: перезапускает прогон, отправляет тест в карантин, правит таймаут или исправляет селектор. На каждое исправление он открывает PR с описанием того, что и почему изменил.
Квоты на авто-мердж
Сколько исправлений агента вливается без человека, ограничено квотами. Авто-мердж разрешён только для тестов, модули оплаты агент автоматически не трогает.
Инструменты агента
У агента есть доступ к логам, к git и к API системы CI, а также результаты статического анализа кода. Выводы он строит по фактам, которые сам собрал через эти инструменты.
Интеграция с CI/CD и трекером
Агент встроен в конвейер сборки и связан с трекером задач команды, поэтому работает в тех инструментах, которыми инженеры и так пользуются.
04 — Архитектура
Технологический стек
Технологии выбраны под нагрузку, интеграции и дальнейшее развитие продукта.
Зачем в проекте · 01 / 04
Агент на LLM
Языковая модель читает логи, решает, какой инструмент вызвать, и пишет описание к PR. Разобрать разнородные логи 24 репозиториев набором жёстких правил было бы сложнее.
- LLM Agent
- Tool Use
- Static Analysis
- Issue Tracker
05 — Процесс
Как шла разработка
Последовательность работ от исследования задачи до запуска и проверки результата.
Классификация падений
Основа системы — научить агента отличать флейк от регрессии и от проблемы окружения. От точности этого шага зависит всё остальное.
Поиск виновника
Подключили агента к git, логам и API системы CI, чтобы для регрессий он находил коммит, после которого тест начал падать.
Четыре типа авто-фиксов
Добавили исправления для типовых случаев: повторный прогон, карантин теста, таймаут и правку селектора. Каждое оформляется как PR с описанием.
Квоты и границы
Ограничили авто-мердж квотами и только тестами, без модулей оплаты. Всё, что выходит за эти рамки, проходит через инженера.
Три месяца замера
После запуска три месяца измеряли долю разобранных падений, флейки, время CI и время разбора, а верность классификации проверяли выборочно.
06 — Итог
Результаты
Что создано в рамках проекта: рабочий контур, реализованные возможности и подтверждённые факты.
- падений разобрано без инженера, замер за 3 месяца; остальные разбирают люди
- 38%
- верных классификаций причины падения, выборочная проверка
- 86%
- медианный разбор одного падения вместо 44, замер за 3 месяца
- 25 мин
Замер за три месяца: агент разбирает без инженера 38% падений, и по выборочной проверке верно определяет причину в 86% случаев. Авто-PR закрывают меньше пятой части разобранного, смерджено чуть больше половины из них. Прогонов, упавших по флейкам, стало 19% вместо 31%, медианный разбор одного падения занимает 25 минут вместо 44, CI стал немного быстрее.
Результат получен на части объёма: агент разбирает 38% падений, остальные по-прежнему разбирают инженеры. Экономия в пересчёте на инженера — около 0,9 часа в неделю из прежних 2,4. Вызовы языковой модели обходятся примерно в 350 тыс. ₽ в месяц.
Что не получилось. Около половины снижения флейков дал карантин тестов, а не их исправление: покрытие временно упало, и 140 тестов сидят в карантине дольше месяца. Гонки агент распознаёт как флейк, но не чинит. Миграции базы данных не берёт вообще. В 14% случаев неверный триаж стоил инженеру больше времени, чем разбор с нуля. Авто-мердж ограничен тестами и не касается модулей оплаты.
FAQ
Вопросы о проекте
Обсудим похожий проект?
Расскажите о задачах вашего бизнеса — предложим архитектуру и оценим сроки


