Восемь источников подключают к BI — 1С, CRM, склад, сайт, рекламные кабинеты, телефонию, банк-клиент и файлы отделов. Четыре способа подключения — коннектор, REST API, прямой SQL к реплике и файловый обмен. 1С займет 1–2 недели, рекламные кабинеты — 2–3 дня.
Дальше — таблица источников со способом подключения к каждому, разбор четырех методов, сроки по каждому источнику, места, где интеграция чаще всего ломается, частота обновления данных и смета по трудоемкости.
Какие источники подключают к BI
Критерий: если источник отдает данные только выгрузкой, его подключают через файл или API, а не напрямую к базе.
На что обратить внимание: с Excel сложнее всего. У файла часто нет владельца, а формат плывет от месяца к месяцу, и загрузка ломается незаметно.
Что сделать сейчас: составить реестр своих источников и у каждого указать владельца — человека, который отвечает за формат и своевременность данных.
Интеграция BI с CRM
Из CRM берут не всю базу, а конкретные сущности. Пример на Битрикс24:
Имена полей берут из документации своей CRM. Для отчета по воронке текущего статуса сделки мало: нужна история смены стадий, иначе не видно, где сделки застревают.
Четыре способа подключения к BI
Готовый коннектор — встроенный модуль BI под конкретный сервис; к CRM и рекламе он обычно ходит по REST API. ODBC и JDBC — драйверы для подключения к СУБД, через них BI шлет SQL-запросы в базу. ETL забирает данные по расписанию, приводит к единой структуре и кладет в хранилище.
Реплика — копия базы для чтения: тяжелый запрос к боевой базе отнимет ресурсы у учета. Для СУБД берут проверенную сборку, а не свежий релиз.
Следующий шаг — проставить против каждого источника в реестре способ подключения.
Витрина для тяжелых запросов
Когда к данным ходят сотни пользователей, прямые запросы в основную базу тормозят, и ответ идет заметно дольше. В кейсе Visiology витрины строят на Arenadata QuickMarts, сборке ClickHouse: in-memory движок ViQube держит дашборд и фильтры, а детализацию считает СУБД на бэкенде.
Критерий: запросам одного аналитика хватает прямого подключения, сотням пользователей нужна витрина на быстрой СУБД.
Сколько времени занимает подключение
Срок складывается из цепочки этапов: реестр → способ подключения → подготовка данных → разметка метаданных → настройка обновления → проверка. Ниже — ориентиры на один источник, а не на весь контур, и каждый действует при своем условии.
Для остальных срок задает способ подключения. Сайт и телефония отдают данные по API — ближе к рекламе, если доступ уже выдан. Банк-клиент выгружает файлы, как Excel: быстро при стабильном формате выписки. Склад со своей базой ближе к 1С — все зависит от доработок.
Весь проект дольше суммы источников: для базовых дашбордов ориентир — 6–8 недель, для нескольких источников и сложных требований — 3–6 месяцев.
Почему 1С дольше остальных
Типовые конфигурации дорабатывают: добавляют поля, справочники, свои статусы документов, поэтому выгрузку настраивают под конкретную базу, а не по шаблону. Критерий: если конфигурация сильно доработана, закладывайте верхнюю границу срока.
В срок входит и ручная разметка метаданных витрин — она трудоемка и пока не автоматизирована.
Что сделать сейчас: сложить сроки по своему реестру и добавить к сумме время на разметку и проверку.
Где ломается интеграция данных
Главная поломка — разные справочники контрагентов и номенклатуры в 1С и CRM: один клиент записан дважды под разными названиями, один товар — под разными артикулами. Отчет считает их неверно, и цифры выходят ложными.
Другие частые поломки:
- •отдел поменял формат Excel — загрузка падает;
- •сервис уперся в лимит API — выгрузка неполная;
- •1С доработана — типовая выгрузка не видит своих полей и справочников;
- •запрос ушел в боевую базу, а не в реплику, — учет тормозит.
Критерий: если одна сущность живет в двух системах, сначала назначают систему-мастер — источник, чьи данные считаются верными. Подключать источники до сверки справочников не стоит: разметка витрин и синхронизация пойдут на грязных данных.
Чек-лист перед подключением
Перед подключением проверяют:
- •единые ключи между системами — ИНН у контрагента, артикул у товара
- •согласованность справочников контрагентов и номенклатуры
- •единый формат дат и валют, чтобы «01.02» везде читалось одинаково
- •дубли записей
- •пустые обязательные поля
- •владельца данных для каждого источника
Допустим, в 1С записано «ООО Ромашка», а в CRM — «Ромашка», ИНН один: это одна запись, ее склеивают по ИНН. А две «Альфы» с разными ИНН — разные компании, хотя название совпадает. Начните со сверки: выгрузите контрагентов из 1С и CRM и сравните по ИНН.
Как часто обновлять данные в BI
Каждая загрузка нагружает источник, а чем чаще обновление, тем сложнее архитектура и дороже работы: суточное расписание настраивают один раз, а стриминг требует своей инфраструктуры и сопровождения.
Справочники без даты изменения грузят полной выгрузкой. В одном из кейсов отчеты обновлялись каждые 4 часа, 6 раз в день, без стриминга. За загрузками кто-то должен следить: назначьте ответственного за мониторинг.
Смета интеграции по источникам
Смету считают по работам на каждый источник:
Пятый источник дешевле первого: хранилище, мастер-справочники и расписание обновлений уже построены, остаются коннектор и разметка новых сущностей. Так растут большие контуры: в одном кейсе к BI подключили более 40 источников и построили более 500 отчетов. Первым берите источник, который закрывает главный отчет.
Составим карту ваших источников и смету по каждому подключению. Интеграции и дашборды — от 300 000 ₽.
Источники
