A/B-testen, pijplijn en retail: merkkwartaal voor Big Data van GeekBrains en X5 Retail Group

A/B-testen, pijplijn en retail: merkkwartaal voor Big Data van GeekBrains en X5 Retail Group

Big Data-technologieën worden nu overal gebruikt: in de industrie, de geneeskunde, het bedrijfsleven en de entertainmentsector. Zonder analyse van big data zullen grote retailers dus niet normaal kunnen opereren, zullen de verkopen bij Amazon dalen en zullen meteorologen het weer vele dagen, weken en maanden niet van tevoren kunnen voorspellen. Het is logisch dat er nu veel vraag is naar big data-specialisten, en de vraag groeit voortdurend.

GeekBrains leidt vertegenwoordigers van dit vakgebied op en probeert studenten zowel theoretische kennis als onderwijs aan de hand van voorbeelden te bieden, waarbij ervaren experts betrokken zijn. Dit jaar afdeling Big Data-analisten van de online universiteit GeekUniversity en de grootste retailer in de Russische Federatie, X5 Retail Group, zijn partners geworden. De specialisten van het bedrijf, met uitgebreide kennis en ervaring, hebben geholpen bij het creëren van een merkcursus, waarin studenten tijdens de training zowel theoretische training als praktische ervaring krijgen.

We spraken met Valery Babushkin, directeur modellering en data-analyse bij X5 Retail Group. Hij is een van de de beste datawetenschappers ter wereld (30e op de mondiale ranglijst van machine learning-specialisten). Samen met andere docenten vertelt Valery GeekBrains-studenten over A/B-testen, de wiskundige statistieken waarop deze methoden zijn gebaseerd, evenals moderne praktijken voor berekeningen en functies voor het implementeren van A/B-testen in de offline detailhandel.

Waarom hebben we überhaupt A/B-testen nodig?

Dit is een van de beste methoden om de beste manieren te vinden om conversies, economie en gedragsfactoren te verbeteren. Er zijn andere methoden, maar deze zijn duurder en complexer. De belangrijkste voordelen van A/B-tests zijn hun relatief lage prijs en beschikbaarheid voor bedrijven van elke omvang.

Over A/B-tests kunnen we zeggen dat dit een van de belangrijkste manieren is om in het bedrijfsleven beslissingen te zoeken en te nemen, beslissingen waarvan zowel de winst als de ontwikkeling van verschillende producten van elk bedrijf afhankelijk zijn. Tests maken het mogelijk om beslissingen te nemen die niet alleen gebaseerd zijn op theorieën en hypothesen, maar ook op praktische kennis van hoe specifieke veranderingen de interacties van klanten met het netwerk beïnvloeden.

Het is belangrijk om te onthouden dat je in de detailhandel alles moet testen: marketingcampagnes, sms-mailings, tests van de mailings zelf, de plaatsing van producten in de schappen en de schappen zelf in verkoopruimtes. Als we het hebben over een online winkel, dan kun je hier de rangschikking van elementen, ontwerp, opschriften en teksten testen.

A/B-tests zijn een hulpmiddel dat een bedrijf, bijvoorbeeld een detailhandelaar, helpt altijd concurrerend te zijn, veranderingen in de tijd te detecteren en zichzelf te veranderen. Hierdoor kan het bedrijf zo efficiënt mogelijk zijn en de winst maximaliseren.

Wat zijn de nuances van deze methoden?

Het belangrijkste is dat er een doel of probleem moet zijn waarop het testen zal worden gebaseerd. Het probleem is bijvoorbeeld een klein aantal klanten in een winkel of online winkel. Het doel is om de toestroom van klanten te vergroten. Hypothese: als productkaarten in een online winkel groter worden gemaakt en foto's helderder zijn, zullen er meer aankopen plaatsvinden. Vervolgens wordt er een A/B-test uitgevoerd, met als resultaat een beoordeling van de veranderingen. Nadat de resultaten van alle tests zijn ontvangen, kunt u beginnen met het formuleren van een actieplan om de site te wijzigen.

Het wordt niet aanbevolen om tests uit te voeren met overlappende processen, anders zullen de resultaten moeilijker te evalueren zijn. Het wordt aanbevolen om eerst tests uit te voeren op de doelstellingen met de hoogste prioriteit en geformuleerde hypothesen.

De test moet lang genoeg duren om de resultaten als betrouwbaar te kunnen beschouwen. Hoeveel precies hangt natuurlijk af van de test zelf. Dus op oudejaarsavond neemt het verkeer van de meeste online winkels toe. Als het ontwerp van de online winkel eerder is gewijzigd, zal een kortetermijntest uitwijzen dat alles in orde is, dat de veranderingen succesvol zijn en dat het verkeer groeit. Maar nee, wat je ook doet vóór de vakantie, het verkeer zal toenemen, de test kan niet vóór Nieuwjaar of direct erna worden afgerond, hij moet lang genoeg zijn om alle correlaties te identificeren.

Het belang van de juiste aansluiting tussen het doel en de indicator die wordt gemeten. Door bijvoorbeeld het ontwerp van dezelfde webwinkelwebsite te veranderen, ziet het bedrijf een toename van het aantal bezoekers of klanten en is daar tevreden mee. Maar in feite kan de gemiddelde chequegrootte kleiner zijn dan normaal, waardoor uw totale inkomen zelfs nog lager zal zijn. Dit kan uiteraard geen positief resultaat worden genoemd. Het probleem is dat het bedrijf niet tegelijkertijd de relatie controleerde tussen een toename van het aantal bezoekers, een toename van het aantal aankopen en de dynamiek van de omvang van de gemiddelde cheque.

Is testen alleen voor online winkels?

Helemaal niet. Een populaire methode in de offline retail is de implementatie van een complete pijplijn voor het offline testen van hypothesen. Dit is de constructie van een proces waarin de risico's van onjuiste selectie van groepen voor het experiment worden verkleind, de optimale verhouding tussen het aantal winkels, pilottijd en de omvang van het geschatte effect wordt geselecteerd. Het is ook het hergebruik en de voortdurende verbetering van post-effectanalysemethodologieën. De methode is nodig om de kans op valse acceptatiefouten en gemiste effecten te verkleinen en om de gevoeligheid te vergroten, omdat zelfs een klein effect op de schaal van een groot bedrijf van groot belang is. Daarom moet u zelfs de zwakste veranderingen kunnen identificeren en de risico's kunnen minimaliseren, inclusief onjuiste conclusies over de resultaten van het experiment.

Retail, Big Data en echte cases

Vorig jaar beoordeelden experts van X5 Retail Group de dynamiek van de verkoopvolumes van de meest populaire producten onder fans van het WK 2018. Er waren geen verrassingen, maar de statistieken bleken toch interessant.

Zo bleek water de ‘bestseller nr. 1’ te zijn. In de steden waar het WK voetbal plaatsvond, steeg de waterverkoop met ongeveer 46%; koploper was Sotsji, waar de omzet met 87% steeg. Op wedstrijddagen werd het maximale aantal geregistreerd in Saransk - hier steeg de omzet met 160% vergeleken met normale dagen.

Naast water kochten fans bier. Van 14 juni tot en met 15 juli steeg de bieromzet in de steden waar de wedstrijden plaatsvonden met gemiddeld 31,8%. Sotsji werd ook de leider: bier werd hier 64% actiever gekocht. Maar in Sint-Petersburg was de groei klein: slechts 5,6%. Op wedstrijddagen in Saransk steeg de bierverkoop met 128%.

Er is ook onderzoek gedaan naar andere producten. Gegevens verkregen op piekdagen van de voedselconsumptie stellen ons in staat de vraag in de toekomst nauwkeuriger te voorspellen, rekening houdend met gebeurtenisfactoren. Een nauwkeurige forecast maakt het mogelijk om te anticiperen op de verwachtingen van de klant.

Tijdens het testen gebruikte X5 Retail Group twee methoden:
Bayesiaanse structurele tijdreeksmodellen met schatting van cumulatieve verschillen;
Regressieanalyse met beoordeling van de verschuiving in de foutverdeling voor en tijdens het kampioenschap.

Wat gebruikt de retail nog meer van Big Data?

  • Er zijn nogal wat methoden en technologieën, van wat terloops genoemd kan worden, dit zijn:
  • Vraagvoorspelling;
  • Optimalisatie van de assortimentsmatrix;
  • Computervisie om lege plekken in de schappen te identificeren en wachtrijvorming te detecteren;
  • Promotievoorspelling.

Gebrek aan specialisten

De vraag naar Big Data-experts groeit voortdurend. Zo is in 2018 het aantal vacatures gerelateerd aan big data zeven keer zo groot geworden als in 7. In de eerste helft van 2015 overtrof de vraag naar specialisten 2019% van de vraag over heel 65.

Vooral grote bedrijven hebben behoefte aan de diensten van Big Data-analisten. Bij Mail.ru Group zijn ze bijvoorbeeld nodig in elk project waar tekstgegevens, multimedia-inhoud worden verwerkt, spraaksynthese en -analyse wordt uitgevoerd (dit zijn in de eerste plaats clouddiensten, sociale netwerken, games, enz.). Het aantal vacatures bij het bedrijf is de afgelopen twee jaar verdrievoudigd. In de eerste acht maanden van dit jaar heeft Mail.ru evenveel Big Data-specialisten aangenomen als het gehele afgelopen jaar. Bij Ozon is de afdeling Data Science de afgelopen twee jaar verdrievoudigd. Bij Megafon is de situatie vergelijkbaar: het team dat data analyseert is de afgelopen 2,5 jaar verschillende keren gegroeid.

Zonder twijfel zal in de toekomst de vraag naar vertegenwoordigers van specialismen gerelateerd aan Big Data nog verder groeien. Dus als je interesse hebt in dit gebied, moet je het eens proberen.

Bron: www.habr.com

Voeg een reactie