A/B 테스트, 파이프라인 및 소매: GeekBrains 및 X5 Retail Group의 빅데이터를 기반으로 한 브랜드 분기

빅데이터 기술은 이제 산업, 의학, 비즈니스, 엔터테인먼트 등 모든 곳에서 사용되고 있습니다. 따라서 빅데이터 분석이 없다면 대형 유통업체는 정상적으로 운영할 수 없고, 아마존의 매출은 감소할 것이며, 기상학자들은 며칠, 몇 주, 몇 달 뒤의 날씨를 미리 예측할 수 없게 될 것입니다. 빅데이터 전문가에 대한 수요가 급증한 것은 당연한 일이며, 수요는 꾸준히 증가하고 있습니다.

GeekBrains는 이 분야의 전문가를 양성하여 학생들에게 이론적 지식을 제공하고, 경험이 풍부한 전문가가 참여하는 사례를 통해 가르치고자 노력합니다. 올해 학부 온라인 대학 GeekUniversity의 빅데이터 분석가와 러시아 연방 최대 소매업체인 X5 Retail Group이 파트너십을 맺었습니다. 광범위한 지식과 경험을 갖춘 이 회사의 전문가들은 학생들이 학업 중에 이론적 교육과 실무 경험을 모두 얻을 수 있는 브랜드 과정을 만드는 데 도움을 주었습니다.

우리는 X5 Retail Group의 데이터 모델링 및 분석 책임자인 발레리 바부슈킨과 이야기를 나누었습니다. 그는 그 중 하나입니다 상단 전 세계 데이터 과학자(기계 학습 전문가 세계 순위 30위). 발레리는 다른 교사들과 함께 GeekBrains 학생들에게 A/B 테스트, 이러한 방법의 기반이 되는 수학적 통계, 계산을 위한 현대적 관행, 오프라인 매장에서 A/B 테스트를 구현하는 세부 사항에 대해 설명합니다.

A/B 테스트를 하는 이유는 무엇일까?

이는 전환율, 경제 지표 및 행동 요인을 개선하는 최적의 방법을 찾는 가장 좋은 방법 중 하나입니다. 다른 방법도 있지만 비용이 많이 들고 복잡합니다. A/B 테스트의 주요 장점은 비용이 비교적 저렴하고 모든 규모의 기업에서 활용할 수 있다는 점입니다.

A/B 테스트는 기업에서 의사결정을 내리고 찾아내는 가장 중요한 방법 중 하나라고 할 수 있으며, 이러한 의사결정은 회사의 수익과 다양한 제품 개발에 달려 있습니다. 테스트를 통해 이론과 가설에 기반한 결정뿐 아니라, 특정 변경 사항이 네트워크와 고객 상호작용을 어떻게 변화시키는지에 대한 실질적인 지식을 바탕으로 결정을 내릴 수 있습니다.

소매업에서는 마케팅 캠페인, SMS 메일링, 메일링 자체 테스트, 선반 위의 제품 배치, 판매 구역의 선반 자체 등 모든 것을 테스트해야 한다는 점을 기억하는 것이 중요합니다. 온라인 매장에 대해 이야기한다면, 여기서 요소, 디자인, 비문, 텍스트의 배열을 테스트해 볼 수 있습니다.

A/B 테스트는 회사(예: 소매업체)가 항상 경쟁력을 유지하고, 시간의 변화를 감지하고, 스스로를 변화시키는 데 도움이 되는 도구입니다. 이를 통해 기업은 최대한 효율적으로 운영되고 수익도 극대화될 수 있습니다.

이러한 방법의 미묘한 차이점은 무엇입니까?

가장 중요한 것은 테스트의 기반이 되는 목표나 문제가 있어야 한다는 것입니다. 예를 들어, 소매점이나 온라인 매장의 고객 수가 적은 것은 문제입니다. 목표는 고객 유입을 늘리는 것입니다. 가설: 온라인 매장의 제품 카드를 더 크게 만들고 사진을 더 밝게 만들면 구매가 늘어날 것이다. 다음으로, A/B 테스트를 실시하여 변경 사항을 평가합니다. 모든 테스트 결과를 받으면 사이트를 변경하기 위한 실행 계획을 수립할 수 있습니다.

중복되는 프로세스로 테스트를 실시하는 것은 권장되지 않습니다. 그렇지 않으면 결과를 평가하기가 더 어려워집니다. 가장 우선순위가 높은 목표와 수립된 가설에 대해 먼저 테스트를 실시하는 것이 좋습니다.

검사는 결과를 신뢰할 수 있을 만큼 충분히 오랫동안 진행되어야 합니다. 물론, 정확히 얼마인지는 테스트 자체에 따라 달라집니다. 그래서 새해 전날에는 대부분의 온라인 매장의 트래픽이 증가합니다. 이전에 온라인 매장 디자인을 변경한 적이 있다면 단기 테스트를 통해 모든 것이 괜찮고, 변경 사항이 성공적이며, 트래픽이 증가하고 있음을 알 수 있습니다. 하지만 그렇지 않습니다. 휴일 전에 무엇을 하든 트래픽은 늘어날 것이고, 테스트는 새해 전이나 직후에 완료할 수 없으며, 모든 상관관계를 밝힐 만큼 충분히 길어야 합니다.

목표와 측정 지표 사이의 올바른 연결이 중요합니다. 예를 들어, 동일한 온라인 스토어 웹사이트의 디자인을 변경함으로써 회사는 방문자나 구매자 수가 증가하는 것을 보고 만족감을 느낍니다. 하지만 실제로는 평균 수표 금액이 평소보다 작을 수 있으므로 전체 수입은 더욱 낮아질 수 있습니다. 물론, 이를 긍정적인 결과라고 할 수는 없습니다. 문제는 회사가 방문자 증가, 구매 건수 증가, 평균 수표 금액 변동 간의 연관성을 동시에 확인하지 않았다는 것입니다.

테스트는 온라인 매장에만 적용되나요?

별말씀을요. 오프라인 소매업에서 널리 쓰이는 방법 중 하나는 오프라인에서 가설을 테스트하기 위한 완전한 파이프라인을 구현하는 것입니다. 이는 실험을 위한 그룹을 잘못 선택할 위험을 줄이고, 매장 수, 실험 시간, 평가되는 효과의 크기의 최적 비율을 선택하는 프로세스 설계입니다. 또한 이는 효과에 대한 사후 분석 방법론을 재사용하고 지속적으로 개선하는 것입니다. 이 방법은 양성 오류와 효과 누락 오류의 가능성을 줄이는 동시에 민감도를 높이는 데 필요합니다. 왜냐하면 대규모 기업에서는 아무리 작은 효과라도 매우 중요하기 때문입니다. 그러므로 실험 결과에 대한 잘못된 결론을 내리는 것을 포함하여, 아주 사소한 변화도 식별하고 위험을 최소화할 수 있는 능력이 필요합니다.

리테일, 빅데이터 및 실제 사례

작년에 X5 Retail Group 전문가들은 2018년 월드컵 팬들에게 가장 인기 있는 제품의 판매량 추이를 평가했습니다. 놀라운 일은 없었지만 통계는 여전히 흥미로웠습니다.

그래서, "베스트셀러 1위"는 물이었습니다. 월드컵을 개최한 도시에서 생수 판매량은 약 46% 증가했으며, 특히 소치는 매출이 87%나 늘어나며 가장 큰 성장을 보였습니다. 경기가 있는 날에는 사란스크에서 가장 많은 매출이 기록되었는데, 평소보다 매출량이 160%나 늘었습니다.

팬들은 물뿐만 아니라 맥주도 구입했습니다. 14월 15일부터 31,8월 64일까지 경기가 열린 도시의 맥주 판매량은 평균 5,6% 증가했습니다. 소치도 선두를 차지했습니다. 이곳에서는 맥주 구매가 128% 더 활발하게 이루어졌습니다. 하지만 상트페테르부르크에서는 성장률이 미미했습니다. 겨우 XNUMX%에 불과했습니다. 사란스크에서 경기가 있는 날에는 맥주 판매량이 XNUMX% 증가했습니다.

다른 제품에 대한 연구도 수행되었습니다. 제품 소비가 가장 많았던 날에 얻은 데이터를 통해 이벤트 요소를 고려하여 향후 수요를 더욱 정확하게 예측할 수 있습니다. 정확한 예측을 통해 고객의 기대치를 예측하는 것이 가능합니다.

테스트 중에 X5 Retail Group은 두 가지 방법을 사용했습니다.
누적 차이 추정을 적용한 베이지안 구조적 시계열 모델
챔피언십 전후의 오차 분포의 편향을 평가한 회귀 분석.

소매업에서는 빅데이터를 또 어떻게 활용할까?

• 제가 떠올릴 수 있는 방법과 기술은 매우 많은데, 그 중 몇 가지를 꼽아보자면 다음과 같습니다.
• 수요 예측;
• 제품 범위 매트릭스 최적화
• 선반의 틈새를 파악하고 대기열이 형성되는 것을 감지하는 컴퓨터 비전;
• 프로모션 예측.

전문가 부족

빅데이터 전문가에 대한 수요는 꾸준히 증가하고 있습니다. 이에 따라 2018년에는 빅데이터 관련 채용 공고가 7년 대비 2015배나 증가했습니다. 2019년 상반기 전문가 수요는 65년 전체 수요의 2018%를 넘어섰습니다.

대기업은 빅데이터 분석가 서비스에 대한 수요가 특히 높습니다. 예를 들어, Mail.ru 그룹에서는 텍스트 데이터, 멀티미디어 콘텐츠를 처리하고, 음성 합성 및 분석을 수행하는 모든 프로젝트(특히 클라우드 서비스, 소셜 네트워크, 게임 등)에 필요합니다. 지난 2,5년 동안 회사의 공석 수는 세 배나 늘어났습니다. 올해 첫 XNUMX개월 동안 Mail.ru는 지난 한 해 동안 고용한 것과 같은 수의 빅데이터 전문가를 고용했습니다. 오존에서는 데이터 과학 부서의 규모가 지난 XNUMX년 동안 XNUMX배로 늘어났습니다. 메가폰도 비슷한 상황에 처해 있습니다. 데이터 분석을 담당하는 팀은 지난 XNUMX년 동안 몇 배로 커졌습니다.

의심할 여지 없이, 빅데이터 전문가에 대한 수요는 앞으로 더욱 증가할 것입니다. 그러니 이 분야에 관심이 있다면, 시도해 볼 만한 가치가 있습니다.

출처 : habr.com