Организация A/B-тестирования в мультивертикальной розничной сети «Детский мир»
Изначально «Детский мир» строился как крупная сеть физических магазинов, но в последнее время компания превратилась в многопрофильную цифровую платформу. Цифровое направление перестало играть второстепенную роль: на онлайн-продажи сейчас приходится примерно 25% общего оборота группы, а доля покупателей, использующих разные каналы, составляет более 40%. Каждый третий онлайн-заказ дополнительно приводит к продажам в обычных магазинах, которые также служат складами и точками выдачи.
В этой структуре цифровые сервисы уже не просто демонстрируют товары, а становятся ключевым элементом операционной деятельности. Развитие онлайн-направления и растущая конкуренция с маркетплейсами повысили ожидания клиентов к надёжности, скорости работы и индивидуальному подходу цифровых решений — сайта и мобильного приложения. Это ускорило внедрение в компании управления, основанного на данных, и изменило роль аналитики в процессе принятия решений.
Развитие практики тестирования в компании
Первые тесты в цифровых сервисах «Детского мира» начали проводиться ещё до создания полноценной аналитической системы. На начальном этапе применялся ограниченный набор собственных средств и привлекались внешние специалисты. Эти подходы удовлетворяли основные нужды, однако с усложнением продукта и увеличением количества изменений внутренних ресурсов стало недоставать. Тестирование проводилось нечасто, одновременная проверка нескольких гипотез была сложной, а планирование экспериментов во многом зависело от конкретных сотрудников, а не от установленных процедур.
Положение дел усугублялось параллельным развитием цифровых инициатив в нескольких продуктовых направлениях: поиск и навигация по ассортименту, процесс покупки, программы лояльности и стимулирование повторных заказов, а также расширение маркетплейса и собственных брендов, чья доля в обороте составляет до 60%. Количество рабочих гипотез увеличивалось, они начали конкурировать за пользовательский трафик и время аналитиков, бэклог задач стремительно рос, а процесс определения приоритетов становился всё сложнее.
Ещё одним важным обстоятельством стал пересмотр модели расходов. Годовые затраты на аналитический аутсорсинг превысили 12 миллионов рублей, причём такая схема работы не давала возможности наращивать темпы или количество экспериментов в соответствии с ростом бизнеса. Было принято решение создать собственную команду продуктовых аналитиков.
«Это преобразование стало серьёзным организационным шагом: теперь аналитик является полноправным членом продуктовой команды, участвует в генерации гипотез, определении метрик и анализе итогов, а не привлекается к работе уже по завершении этапа», — отмечает Микаэл Гелецян, CPO «Детмир Тех».
Подбор и внедрение платформы Trisigma
После реорганизации аналитического подразделения компания приступила к поиску технологической платформы, которая могла бы обеспечить масштабирование экспериментов и автоматизировать оценку их эффективности. Рассматривалось три варианта: модернизация собственного внутреннего инструмента, применение open source решений и внедрение коммерческой SaaS-платформы.
Развитие собственного решения потребовало бы серьёзных инвестиций и специальных знаний, которых на тот момент не хватало. Подход с открытым исходным кодом также подразумевал существенные доработки и не решал проблему недостатка внутренней экспертизы. Ключевыми критериями при выборе коммерческого продукта были обозначены прозрачная стоимость владения, возможность одновременного проведения множества тестов, корректное распределение трафика и надёжная репутация команды разработчиков.
В результате выбор был сделан в пользу Trisigma, флагманского продукта «Авито Тех». На текущий момент «Детский Мир» внедрил Trisigma Essential — упрощённый инструмент из экосистемы решений Trisigma, который позволяет запускать неограниченное количество A/B-тестов, гибко управлять выпуском новых функций и точечно настраивать аудиторию для демонстрации изменений. Платформа работает в облаке, легко масштабируется и не требует выделения значительных технических ресурсов от компании.
Процесс интеграции занял приблизительно три месяца. Основные трудности были связаны с настройкой feature flags — механизмов для контролируемого включения и отключения функциональности для определённых групп пользователей, а также с интеграцией в действующую ИТ-инфраструктуру, где уже велась экспериментальная работа. Для крупного ритейлера с развитой цифровой экосистемой это стандартная задача, поскольку любое нововведение должно гарантировать стабильность ключевых пользовательских процессов и соответствовать требованиям безопасности.
Трансформация рабочих процедур и достигнутые результаты
Благодаря внедрению платформы Trisigma организация получила инструмент для одновременного проведения большего числа экспериментов с повышенной методологической точностью. Вместо нескольких проверок в месяц продуктовые команды теперь могут инициировать десятки тестов, исключив риски пересечения аудитории и искажения данных. Это особенно важно для компании с многомиллионной клиентской базой, где каждое нововведение требует обязательной валидации в реальных условиях.
Ключевые преобразования в рабочих процессах затронули следующие аспекты:
- обязательное оформление документации с описанием гипотезы, коммерческих задач и основных показателей до старта теста;
- включение аналитиков в продуктовые команды для совместного определения приоритетов и анализа итогов;
- возможность параллельного проведения множества экспериментов без взаимного влияния на трафик и данные;
- автоматическое построение графиков и вычисление статистически значимых изменений средствами Trisigma.
Использование платформы ускорило интеграцию новых партнерских технологий и платёжных опций, сократив время на проверку предположений и вывод доработок в рабочую среду.
Одним из наиболее ярких достижений стало повышение качества взаимодействия с пользователями в мобильном приложении. Команда оптимизировала процессы оформления покупок и отображения наличия товаров. Ранее значительная часть заказов оставалась «незавершённой» — из-за расхождений в ассортименте между складами и торговыми точками не все позиции из корзины удавалось приобрести. Доля подобных случаев снизилась с 35% до 4%, что стало одним из ключевых улучшений продукта в период 2023–2024 годов.
При этом некоторые эксперименты демонстрируют минимальный или статистически незначимый эффект, что является естественной частью подхода, основанного на данных. Подобный исход также полезен: он даёт возможность избежать тиражирования неработающих решений и более эффективно планировать использование ресурсов.
Организационные итоги и расширение на новые регионы
Внедрение Trisigma послужило импульсом для изменений в структуре управления. Эксперименты превратились из разрозненных инициатив в системный элемент управленческого цикла. Существенные доработки цифровых продуктов теперь проходят обязательную проверку через гипотезы, метрики и тестирования. Это помогло согласовать видение между бизнес-заказчиками, продукт-менеджерами и разработчиками, уменьшив долю субъективных оценок.
Функциональные возможности, подтвердившие свою эффективность на российском рынке, могут быть применены и в других странах присутствия ритейлера. Методология проведения экспериментов может быть настроена для Казахстана и Беларуси с учётом локальной специфики. В будущем компания рассматривает переход на обновлённую версию платформы Trisigma, что облегчит внедрение единых функций для всех цифровых сервисов холдинга. Однако решающим фактором остаётся не технологический инструмент сам по себе, а отлаженность процессов — умение формулировать проверяемые гипотезы, правильно собирать и хранить информацию, а также анализировать полученные результаты для принятия стратегических решений.
Итоги: A/B-тестирование в контексте цифровой культуры
Пример «Детского мира» показывает, что для крупного ритейлера с фокусом на операционную деятельность A/B-тестирование — это не только способ улучшения интерфейсов, но и шаг к управлению, основанному на данных. Проведение экспериментов уменьшает степень неопределенности, делает развитие продукта более прогнозируемым и помогает оптимальнее использовать ресурсы.
Важнейшее значение в этом имели не только внедрение технологий, но и трансформация внутри организации: переосмысление роли аналитики, включение тестов в цикл разработки продукта и переход от решений на интуиции к проверяемым гипотезам. Именно благодаря такому комплексному подходу A/B-эксперименты стали неотъемлемой частью системы управления компанией.
