А/Б тестирование, пайплайн и ритейл: брендированная четверть по Big Data от GeekBrains и X5 Retail Group

Технологии Big Data применяются сейчас повсеместно — в промышленности, медицине, бизнесе, развлечениях. Так, без анализа больших данных не смогут нормально работать крупные ритейлеры, упадут продажи в Amazon, будут не в состоянии предсказывать погоду на многие дни, недели и месяцы наперед метеорологи. Логично, что специалисты по большим данным сейчас нарасхват, причем спрос постоянно растет.

GeekBrains готовит представителей этой сферы, стараясь обеспечить студентов как теоретическими знаниями, так и обучать на примерах, для чего привлекаются опытные эксперты. В этом году факультет аналитики Big Data онлайн-университета GeekUniversity и крупнейший в РФ ритейлер X5 Retail Group стали партнерами. Специалисты компании, обладая обширными знаниями и опытом, помогли создать брендированный курс, студенты которого в ходе обучения получают как теоретическую подготовку, так и практический опыт.

Мы поговорили с Валерием Бабушкиным, директором по моделированию и анализу данных в X5 Retail Group. Он один из лучших дата-сайентистов в мире (30-й в мировом рейтинге специалистов по машинному обучению). Вместе с другими преподавателями Валерий рассказывает студентам GeekBrains про А/Б тестирование, математическую статистику, на которой базируются эти методы, а также о современных практиках для расчетов и особенностях внедрения А/Б тестирования в оффлайн-ритейле.

Зачем вообще нужны A/Б тесты?

Это один из лучших методов поиска оптимальных способов улучшения конверсии, экономических показателей и поведенческих факторов. Есть и другие способы, но они более дорогие и сложные. Основными плюсами A/Б тестов является их относительно невысокая цена и доступность для бизнеса любого масштаба.

Про А/Б тесты можно сказать, что это один из важнейших способов поиска и принятия решений в бизнесе, решений, от которых зависит как прибыль, так и развития разных продуктов любой компании. Тесты дают возможность принимать решения на основании не только теорий и гипотез, но и практического знания о том, как конкретные изменения модифицируют взаимодействие клиентов с сетью.

Важно помнить, что в ритейле нужно тестировать все — маркетинговые кампании, SMS-рассылки, тесты самих рассылок, расположение продуктов на полках и самих полок в торговых залах. Если говорить об интернет магазине, то здесь можно тестировать расположение элементов, дизайн, надписи и тексты.

А/Б тесты — инструмент, который помогает компании, например, ритейлеру, всегда быть конкурентоспособной, вовремя ощущать изменения и меняться самой. Это позволяет бизнесу быть максимально эффективным, выводя прибыль на максимум.

Какие у этих методов есть нюансы?

Главное — должна быть цель или проблема, на которые и будет опираться тестирование. Например, проблема — небольшое количество клиентов у торговой точки или онлайн-магазина. Цель — увеличить приток покупателей. Гипотеза — если карточки товара в интернет-магазине сделать крупнее, а фотографии — ярче, то покупок станет больше. Дальше проводится А/Б тест, итогом которого является оценка изменений. После того, как получены результаты всех тестов, можно заняться формированием плана действий по изменению сайта.

Не рекомендуется проводить тесты с пересекающимися процессами, иначе результаты будет сложнее оценить. Первыми рекомендуется проводить тесты по наиболее приоритетным целям и сформулированным гипотезам.

Тест должен продолжаться достаточно долго, чтобы результаты можно было бы признать достоверными. Сколько именно — зависит, конечно, от самого теста. Так, в канун Нового Года трафик большинства интернет-магазинов увеличивается. Если перед этим были проведены изменения дизайна онлайн-магазина, то краткосрочный тест покажет, что все хорошо, изменения удачные, трафик растет. Но нет, ведь что ни делай перед праздниками, трафик будет расти, тест нельзя завершать до Нового Года или сразу после него, он должен быть достаточно продолжительным, чтобы выявить все корреляции.

Важность правильной связи между целью и измеряемым показателем. Например, изменив дизайн того же сайта интернет-магазина, компания видит повышение количества посетителей или покупателей и удовлетворяется этим. Но на самом деле, размер среднего чека может быть меньше обычного, так что общий доход станет даже ниже. Положительным результатом это, конечно, назвать нельзя. Проблема в том, что компания не проверила одновременно связку увеличение посетителей-рост количества покупок-динамика размера среднего чека.

Тестирование проводится только для онлайн-магазинов?

Вовсе нет. В оффлайн-ритейле популярен такой метод, как реализация полного пайплайна для проверки гипотез в офлайне. Это построение процесса, при котором уменьшаются риски неверного подбора групп для эксперимента, подбирается оптимальное соотношение количества магазинов, времени пилота и размера оцениваемого эффекта. Также это переиспользование и постоянное улучшение методологий пост-анализа эффектов. Метод нужен для снижения вероятности появления ошибок ложного принятия и пропуска эффекта, а также для повышения чувствительности, ведь даже малый эффект в масштабах крупного бизнеса имеет огромное значение. Следовательно, нужно уметь определять даже самые слабые изменения, минимизировать риски — в том числе, неправильные выводы о результатах эксперимента.

Ритейл, Big Data и реальные кейсы

В прошлом году специалисты X5 Retail Group оценивали динамику объемов продаж самых популярных среди болельщиков ЧМ-2018 продуктов. Сюрпризов не было, но статистика все равно оказалась интересной.

Так, «бестселлером №1» оказалась вода. В городах, которые принимали мундиаль, продажи воды выросли примерно на 46%, лидером оказался Сочи, где оборот увеличился на 87%. В дни матчей максимальный показатель зафиксирован в Саранске — здесь объем продаж вырос на 160% по сравнению с обычными днями.

Кроме воды болельщики покупали пиво. С 14 июня по 15 июля в тех городах, где проходили матчи, оборот пива вырос в среднем на 31,8%. Лидером также стал Сочи — здесь пиво покупали на 64% активнее. А вот в Питере рост был небольшим — всего 5,6%. В дни матчей в том же Саранске объем продаж пива увеличился на 128%.

Проводились исследования и по другим продуктам. Данные, полученные в пиковые дни потребления продуктов позволяют в будущем точнее предсказывать спрос с учетом событийных факторов. Точный прогноз дает возможность предусмотреть ожидания покупателей.

В ходе тестирования X5 Retail Group использовали два метода:
Байесовские структурные модели временных рядов с оценкой кумулятивной разницы;
Регрессионный анализ с оценкой смещения распределения ошибки до чемпионата и во время его проведения.

Что еще использует ритейл из Big Data?

• Методов и технологий довольно много, из того, что можно назвать навскидку, это:
• Прогноз спроса;
• Оптимизация ассортиментной матрицы;
• Компьютерное зрение для выявления пустот на полках и обнаружения формирующейся очереди;
• Прогноз промо.

Нехватка специалистов

Спрос на экспертов в сфере Big Data постоянно растет. Так, в 2018 году количество вакансий, связанных с большими данными, выросло в 7 раз по сравнению с 2015 годом. В первом полугодии 2019 года спрос на специалистов превысил 65% от спроса за весь 2018 год.

Крупные компании особенно сильно нуждаются в услугах аналитиков Big Data. Например, в Mail.ru Group они нужны в любом проекте, где обрабатываются текстовые данные, мультимедийный контент, выполняется синтез и анализ речи (это, прежде всего, облачные сервисы, социальные сети, игры и т.п.). Количество вакансий за последние два года в компании увеличено в три раза. За первые восемь месяцев этого года в Mail.ru наняли столько же специалистов по Big Data, сколько за весь прошлый год. В Ozon отдел Data Science за последние два года вырос в три раза. В «Мегафоне» аналогичная ситуация — команда, которая занимается анализом данных, выросла в несколько раз за последние 2,5 года.

Без сомнения, в будущем спрос на представителей специальностей, связанных с Big Data, вырастет еще сильнее. Так что если есть интерес к этой сфере, стоит попробовать свои силы.

Источник: habr.com