Гео-эксперименты для рекламного бюджета розничной сети
Сеть из 240 магазинов в 58 городах распределяла рекламный бюджет 410 млн ₽ в год по 14 каналам, ориентируясь на last-click атрибуцию. Мы проверили каналы гео-экспериментами на парах похожих городов. За 6 месяцев успели протестировать 5 каналов, и у двух прирост заказов оказался неотличим от нуля. Бюджет после перераспределения сократился на 5%. Заказы за 8 недель после перераспределения изменились в пределах ±2%, и эта разница статистически незначима.
- срок проекта
- 6 месяцев
- функциональных модулей
- 6
- этапов разработки
- 5
- ключевых технологий
- 5

02 — Контекст
Задача проекта
Исходная ситуация, ограничения и проблемы, которые должна была решить новая система.
Рекламный бюджет сети распределялся по last-click атрибуции: заказ засчитывается тому каналу, через который покупатель пришёл последним. Такой подход не отвечает на главный вопрос: сколько заказов канал добавил сверх тех, что случились бы и без него.
Было подозрение, что часть каналов переоценена. Проверить это напрямую мешало то, что отключить канал целиком по всей сети нельзя.
Нужен был способ измерить настоящий вклад каждого канала, не останавливая рекламу по всей сети и с честной оценкой точности.
Атрибуция по последнему клику
Last-click приписывает каналу все заказы, где он был последним касанием, в том числе те, что пришли бы и так. Каналы в конце пути покупателя выглядят сильнее, чем есть.
Канал нельзя выключить по всей сети
Самый прямой тест — остановить канал и посмотреть, что изменится. Для сети это было невозможно, поэтому сомнения в каналах оставались сомнениями.
14 каналов без проверки
Бюджет 410 млн ₽ в год делился между 14 каналами, и ни один из них не проверялся экспериментом. Насколько каждый канал действительно увеличивает заказы, известно не было.
03 — Возможности
Что делает система
Ключевые сценарии и рабочие модули, собранные в единую систему.
Пары похожих городов
Метод matched markets: города подбираются в пары по тому, как в них обычно идут продажи. В одном городе пары меняют расходы на проверяемый канал, другой остаётся как был. Разница в заказах между ними и есть вклад канала. Так канал проверяется без отключения по всей сети.
Синтетический контроль
Когда точной пары для города нет, контроль собирается из нескольких городов с подобранными весами. Получается «виртуальный двойник», чьи продажи до теста повторяют продажи тестового города. После начала теста расхождение с двойником показывает эффект.
CUPED: меньше шума при той же длине теста
Продажи в городах сами по себе колеблются, и этот шум может скрыть эффект канала. CUPED учитывает данные каждого города за период до теста и вычитает предсказуемую часть колебаний. Оценка становится точнее при той же длительности эксперимента.
Инкрементальный ROAS с интервалами
По каждому проверенному каналу считается инкрементальный ROAS: отдача только от тех заказов, которых без канала не было бы. Рядом всегда стоит доверительный интервал. Он показывает, насколько можно доверять оценке, и не даёт принять случайное колебание за эффект.
Очередь тестов по каналам
Каждый тест длится 4–6 недель, после него нужна пауза. Поэтому каналы проверяются по очереди, и за 6 месяцев успели проверить 5 из 14. Остальные можно проверить тем же способом; по ним решения не принимались. Скорость — главное ограничение метода: один тест вместе с паузой занимает больше месяца.
Перераспределение только по проверенным каналам
Бюджет пересобран только там, где есть результат эксперимента. По каналам без проверки решения не принимались: менять их без данных значило бы снова опираться на догадки. Так каждое изменение бюджета опирается на измеренный вклад канала, а не на то, что показывала атрибуция.
04 — Архитектура
Технологический стек
Технологии выбраны под нагрузку, интеграции и дальнейшее развитие продукта.
Зачем в проекте · 01 / 05
Python
На нём собраны подготовка данных, подбор пар, расчёт эффектов и отчёты. Для статистики и причинного вывода здесь есть зрелые библиотеки.
05 — Процесс
Как шла разработка
Последовательность работ от исследования задачи до запуска и проверки результата.
Региональные панели
Свели продажи и рекламные расходы по 58 городам в единые панели. Это основа для подбора пар и оценки эффекта.
Подбор пар и контроля
Подобрали пары похожих городов, а где точной пары не нашлось, собрали синтетический контроль. Выяснилось, что для городов меньше 80 тыс. жителей подходящих пар не хватает.
Тесты каналов по очереди
Проводили тесты по 4–6 недель с паузами между ними. За 6 месяцев проверили 5 каналов из 14.
Оценка эффекта
Для каждого канала посчитали инкрементальный ROAS с доверительным интервалом, используя модель временных рядов и CUPED. Сравнили его с тем, что показывала last-click атрибуция.
Перераспределение и проверка
Урезали бюджет двух каналов с приростом, неотличимым от нуля, часть средств перераспределили. Восемь недель после этого следили за заказами.
06 — Итог
Результаты
Что создано в рамках проекта: рабочий контур, реализованные возможности и подтверждённые факты.
- рекламных каналов проверено гео-экспериментами за 6 месяцев
- 5 из 14
- проверенных каналов с приростом заказов, неотличимым от нуля
- 2 из 5
- рекламного бюджета; заказы ±2%, разница незначима (замер за 8 недель)
- −5%
За 6 месяцев гео-экспериментами проверили 5 каналов из 14. По точечным оценкам у всех пяти отдача ниже, чем по last-click; точность ±25%. У двух каналов прирост заказов неотличим от нуля. С этих двух каналов сняли 7% бюджета, часть средств перераспределили, и в сумме бюджет сократился на 5%.
Результат близок к границе значимости. За 8 недель после перераспределения заказы изменились в пределах ±2%, и эта разница статистически незначима. Точность оценки эффекта ±25% при 90-процентном доверительном интервале. Правильно читать это так: заметной потери заказов не обнаружено, но утверждать, что потерь нет совсем, нельзя.
Оговорки. Отрицательного эффекта не доказано ни у одного канала, есть только «неотличим от нуля» с широким интервалом. Гео-тест измеряет быстрые эффекты в горизонте 6 недель, бренд-эффект и отложенный спрос не измерены. По 9 непроверенным каналам решения не принимались. В городах меньше 80 тыс. жителей контрольных пар не хватает.
FAQ
Вопросы о проекте
Обсудим похожий проект?
Расскажите о задачах вашего бизнеса — предложим архитектуру и оценим сроки


