Локальный AI для извлечения данных из кредитных досье коммерческого кредитора в США
Мы разработали систему извлечения данных из кредитных досье для коммерческого кредитора из США, которая целиком работает внутри его сети. Налоговые декларации и финансовая отчётность заёмщиков проходят распознавание, извлечение полей открытой моделью Qwen 2.5 72B и детерминированную проверку, а затем попадают в систему выдачи кредитов. 73 % полей проводятся автоматически с точностью выше 98 %, остальные сотрудник проверяет точечно. Первый тип документов вышел в работу за 13 недель.
- срок проекта
- 13 недель
- функциональных модулей
- 6
- этапов разработки
- 5
- ключевых технологий
- 7
02 — Контекст
Задача проекта
Исходная ситуация, ограничения и проблемы, которые должна была решить новая система.
Кредитные аналитики коммерческого кредитора среднего размера из США переносили цифры из кредитных досье вручную — около 650 досье в месяц. Каждое досье — пачка PDF: финансовая отчётность за три года, налоговая декларация с дюжиной приложений, учредительные документы, отчёт об оценке. Аналитик открывал каждый документ, находил нужные числа и набирал их в системе выдачи кредитов.
Очевидное решение — облачный сервис распознавания документов — упиралось в данные. Финансовая информация заёмщиков и KYC-материалы относятся к непубличной персональной информации, которую защищает американский закон Грэмма — Лича — Блайли (GLBA). Служба оценки рисков поставщиков дважды отклоняла облачные инструменты ещё до начала нашей работы: пройти проверку могла только архитектура, в которой документы не покидают сеть кредитора.
Ручной перенос цифр
На одно досье уходило около 90 минут переписывания и сверки. Работа объёмная и рутинная, но требует внимания к каждой цифре в отчётности и декларации.
Ошибка уходит в решение
Неверно набранный показатель обслуживания долга переходил прямо в кредитное решение. При этом служба модельного риска должна была уметь объяснить проверяющему происхождение каждого числа.
Облако под запретом
Документы заёмщиков нельзя отправлять внешним сервисам. Нужна была система на собственном оборудовании кредитора: открытые модели, никаких внешних вызовов и понятный аудит.
03 — Возможности
Что делает система
Ключевые сценарии и рабочие модули, собранные в единую систему.
Приём и классификация документов
Документы поступают через отслеживаемую папку и SFTP. Система разделяет объединённые PDF, выравнивает перекошенные сканы и относит каждый файл к семейству документов — например, налоговая декларация или финансовая отчётность. От семейства зависят схема полей и правила проверки дальше по цепочке. Чистый печатный текст читает Tesseract, сканы и страницы со штампами — модель, учитывающая разметку страницы.
Извлечение полей по схемам
Вместо одной модели, которая читает досье целиком, работают узкие экстракторы под каждое семейство документов. Каждый привязан к явной схеме полей: строки отчёта о прибылях и убытках, графы налоговых форм, сведения о бенефициарных владельцах для KYC. Ограниченное декодирование по JSON-схеме даёт типизированный объект, где отсутствующее поле — явный null, а не догадка модели.
Детерминированная проверка
Ответ модели — гипотеза, а не результат. Активы должны равняться сумме обязательств и капитала, промежуточные итоги — сходиться, итоговая строка декларации — совпадать с приложением, из которого она считается. Периоды должны совпадать между отчётами, а реквизиты — между документами одного досье. Правила написаны обычным кодом, версионируются вместе со схемами и выполняются при каждом извлечении.
Очередь проверки по полям
Поле, прошедшее правила и порог уверенности, проводится автоматически, остальное уходит человеку. Проверяющий видит не документ целиком, а конкретное значение рядом с фрагментом страницы, откуда оно взято, сработавшее правило и альтернативы модели. Он подтверждает или исправляет значение, не перечитывая документ, а исправления становятся размеченными данными для оценки качества.
Аудит каждого поля и доступ
У каждого значения хранятся документ, страница и область, версии моделей OCR и извлечения, версия схемы, уверенность, результат каждого правила, а при ручной правке — кто, когда и какое значение было до неё. Записи только добавляются, ничего не перезаписывается. Идентификационные номера и номера счетов скрыты в списках и раскрываются только явным действием, которое попадает в журнал.
Интеграция и контроль дрейфа
Значения попадают в систему выдачи кредитов через промежуточную таблицу, которую она уже умеет загружать. Сигнал дрейфа — доля ручных исправлений. В первые месяцы она показала новый формат отчётности из одной бухгалтерской программы: правила отправили такие поля на проверку, пока экстрактор не обновили и он заново не прошёл порог качества.
04 — Архитектура
Технологический стек
Технологии выбраны под нагрузку, интеграции и дальнейшее развитие продукта.
Зачем в проекте · 01 / 07
Qwen 2.5 72B + vLLM
Открытая модель извлекает поля прямо на оборудовании кредитора. Веса перенесены в контур заранее и закреплены по хешу, поэтому версия модели не меняется незаметно, а vLLM обслуживает инференс на собственных GPU.
05 — Процесс
Как шла разработка
Последовательность работ от исследования задачи до запуска и проверки результата.
Недели 1–2: обследование и эталонная выборка
Работали рядом с аналитиками, построили классификацию документов на реальных досье и собрали эталонную выборку из 600 документов, вручную размеченных по полям людьми, которые знают смысл каждого поля. Команде клиента это казалось задержкой, но именно эта выборка дала проекту больше всего.
Недели 3–6: извлечение и проверка
Собрали извлечение и правила проверки для первого семейства — налоговых деклараций компаний — от начала до конца. После каждого изменения качество сверяли с эталонной выборкой.
Недели 7–10: очередь и интеграция
Построили очередь проверки по полям и подключение к системе выдачи кредитов. Здесь нашлись главные сюрпризы: расхождения в названиях полей, обязательные поля, которых не было в документации, и триггер проверки на промежуточной таблице, о котором никто не помнил.
Недели 11–13: теневой режим
Система работала параллельно с аналитиками: извлекала всё и ничего не проводила. Так точность каждого поля проверялась на реальном потоке досье, а не только на эталонной выборке.
Переход на автопроводку по полям
Поле переводили на автоматическую проводку, только когда его точность на эталонной выборке и в теневом режиме превышала порог, заданный владельцем поля из кредитного или комплаенс-подразделения. Второе семейство — финансовая отчётность — заработало через пять недель на той же платформе, схемах и очереди.
06 — Итог
Результаты
Что создано в рамках проекта: рабочий контур, реализованные возможности и подтверждённые факты.
- полей проводятся автоматически
- 73 %
- точность автоматически проведённых полей
- > 98 %
- времени аналитика на одно досье
- −60 %
- до работы первого семейства документов
- 13 недель
В установившемся режиме система автоматически проводит 73 % извлечённых полей, каждое — выше порога точности, который задал владелец поля. Измеренная точность автоматически проведённых полей держится выше 98 % и на эталонной выборке, и в сравнении с теневым режимом. Точность и полноту мы считаем по каждому полю и каждому семейству документов, а не одним усреднённым числом: досье, где верно всё, кроме показателя обслуживания долга, — это плохие входные данные для кредитного решения.
Время аналитика на одно досье сократилось примерно на 60 %: с девяноста минут переписывания и сверки до тридцати пяти минут проверки отмеченных полей. Исправления пополняют эталонную выборку именно теми ошибками, которые важны, а каждое проведённое число можно проследить до страницы, версии модели, результата правила и сотрудника.
Детали проекта
Почему кейс без имени клиента
Название клиента мы не раскрываем: это коммерческий кредитор среднего размера из США. Для финансовой организации сведения о заёмщиках и внутренних процессах конфиденциальны, а документы, с которыми работает система, защищены законом GLBA. Рекомендацию клиента можем предоставить по запросу под NDA.
При этом мы открыто рассказываем, как система устроена: открытые модели на собственном оборудовании без выхода в интернет, детерминированная проверка поверх модели, очередь проверки по полям, журнал аудита и 13 недель до работы первого семейства документов. Детали под ваши документы и требования регулятора разберём на встрече.
FAQ
Вопросы о проекте
Обсудим похожий проект?
Расскажите о задачах вашего бизнеса — предложим архитектуру и оценим сроки
