A/B testing, pipeline at retail: branded quarter para sa Big Data mula sa GeekBrains at X5 Retail Group

A/B testing, pipeline at retail: branded quarter para sa Big Data mula sa GeekBrains at X5 Retail Group

Ginagamit na ngayon ang mga teknolohiya ng Big Data sa lahat ng dako - sa industriya, medisina, negosyo, at entertainment. Kaya, nang hindi sinusuri ang malaking data, ang malalaking retailer ay hindi makakapagpatakbo ng normal, ang mga benta sa Amazon ay babagsak, at ang mga meteorologist ay hindi mahuhulaan ang lagay ng panahon sa loob ng maraming araw, linggo at buwan nang maaga. Ito ay lohikal na ang mga dalubhasa sa malalaking data ay nasa malaking pangangailangan ngayon, at ang pangangailangan ay patuloy na lumalaki.

Sinasanay ng GeekBrains ang mga kinatawan ng larangang ito, sinusubukang bigyan ang mga mag-aaral ng parehong teoretikal na kaalaman at pagtuturo sa pamamagitan ng mga halimbawa, kung saan kasangkot ang mga karanasang eksperto. Ngayong taon guro Ang mga analyst ng Big Data mula sa online na unibersidad na GeekUniversity at ang pinakamalaking retailer sa Russian Federation, ang X5 Retail Group, ay naging mga kasosyo. Ang mga espesyalista ng kumpanya, na may malawak na kaalaman at karanasan, ay tumulong na lumikha ng isang branded na kurso, kung saan ang mga mag-aaral ay tumatanggap ng parehong teoretikal na pagsasanay at praktikal na karanasan sa panahon ng kurso ng pagsasanay.

Nakipag-usap kami kay Valery Babushkin, direktor ng pagmomolde at pagsusuri ng data sa X5 Retail Group. Isa siya sa mga ang pinakamahusay data scientist sa mundo (ika-30 sa pandaigdigang ranking ng mga machine learning specialist). Kasama ng iba pang mga guro, sinabi ni Valery sa mga mag-aaral sa GeekBrains ang tungkol sa A/B testing, ang mga istatistika ng matematika kung saan nakabatay ang mga pamamaraang ito, pati na rin ang mga modernong kasanayan para sa mga kalkulasyon at feature ng pagpapatupad ng A/B testing sa offline na retail.

Bakit kailangan natin ng mga pagsubok sa A/B?

Ito ay isa sa mga pinakamahusay na paraan para sa paghahanap ng mga pinakamahusay na paraan upang mapabuti ang mga conversion, ekonomiya at mga salik sa pag-uugali. Mayroong iba pang mga pamamaraan, ngunit ang mga ito ay mas mahal at kumplikado. Ang mga pangunahing bentahe ng mga pagsubok sa A/B ay ang kanilang medyo mababang presyo at availability para sa mga negosyo sa anumang laki.

Tungkol sa mga pagsubok sa A/B, masasabi nating isa ito sa pinakamahalagang paraan ng paghahanap at paggawa ng mga desisyon sa negosyo, mga desisyon kung saan nakasalalay ang kita at pag-unlad ng iba't ibang produkto ng anumang kumpanya. Ginagawang posible ng mga pagsubok na gumawa ng mga desisyon batay hindi lamang sa mga teorya at hypotheses, kundi pati na rin sa praktikal na kaalaman kung paano binago ng mga partikular na pagbabago ang mga pakikipag-ugnayan ng customer sa network.

Mahalagang tandaan na sa tingian kailangan mong subukan ang lahat - mga kampanya sa marketing, mga pagpapadala ng SMS, mga pagsubok sa mga pagpapadala mismo, ang paglalagay ng mga produkto sa mga istante at ang mga istante mismo sa mga lugar ng pagbebenta. Kung pinag-uusapan natin ang tungkol sa isang online na tindahan, pagkatapos dito maaari mong subukan ang pag-aayos ng mga elemento, disenyo, mga inskripsiyon at mga teksto.

Ang mga pagsubok sa A/B ay isang tool na tumutulong sa isang kumpanya, halimbawa, isang retailer, na palaging maging mapagkumpitensya, madama ang mga pagbabago sa oras at baguhin ang sarili nito. Nagbibigay-daan ito sa negosyo na maging kasing episyente hangga't maaari, na nagpapalaki ng kita.

Ano ang mga nuances ng mga pamamaraang ito?

Ang pangunahing bagay ay dapat mayroong layunin o problema kung saan pagbabatayan ang pagsubok. Halimbawa, ang problema ay isang maliit na bilang ng mga customer sa isang retail outlet o online na tindahan. Ang layunin ay upang madagdagan ang pagdagsa ng mga customer. Hypothesis: kung ang mga card ng produkto sa isang online na tindahan ay ginawang mas malaki at ang mga litrato ay mas maliwanag, pagkatapos ay magkakaroon ng higit pang mga pagbili. Susunod, ang isang pagsubok sa A/B ay isinasagawa, ang resulta nito ay isang pagtatasa ng mga pagbabago. Matapos matanggap ang mga resulta ng lahat ng mga pagsubok, maaari kang magsimulang bumalangkas ng plano ng aksyon upang baguhin ang site.

Hindi inirerekomenda na magsagawa ng mga pagsubok na may magkakapatong na mga proseso, kung hindi, ang mga resulta ay magiging mas mahirap suriin. Inirerekomenda na magsagawa ng mga pagsusulit sa pinakamataas na priyoridad na layunin at mga nabuong hypotheses muna.

Ang pagsusulit ay dapat magtagal nang sapat para ang mga resulta ay maituturing na maaasahan. Magkano ang eksaktong nakasalalay, siyempre, sa pagsubok mismo. Kaya, sa Bisperas ng Bagong Taon, tumataas ang trapiko ng karamihan sa mga online na tindahan. Kung ang disenyo ng online na tindahan ay binago dati, kung gayon ang isang panandaliang pagsubok ay magpapakita na ang lahat ay maayos, ang mga pagbabago ay matagumpay, at ang trapiko ay lumalaki. Ngunit hindi, anuman ang iyong gawin bago ang pista opisyal, tataas ang trapiko, ang pagsubok ay hindi makumpleto bago ang Bagong Taon o kaagad pagkatapos nito, dapat itong sapat na mahaba upang makilala ang lahat ng mga ugnayan.

Ang kahalagahan ng tamang koneksyon sa pagitan ng layunin at ng indicator na sinusukat. Halimbawa, sa pamamagitan ng pagbabago ng disenyo ng parehong website ng online na tindahan, nakikita ng kumpanya ang pagtaas ng bilang ng mga bisita o customer at nasiyahan dito. Ngunit sa katunayan, ang karaniwang sukat ng tseke ay maaaring mas maliit kaysa karaniwan, kaya ang iyong kabuuang kita ay magiging mas mababa pa. Siyempre, hindi ito matatawag na positibong resulta. Ang problema ay hindi sabay na sinuri ng kumpanya ang kaugnayan sa pagitan ng pagtaas ng mga bisita, pagtaas ng bilang ng mga pagbili, at ang dynamics ng laki ng average na tseke.

Ang pagsubok ba ay para lamang sa mga online na tindahan?

Hindi talaga. Ang isang sikat na paraan sa offline na retail ay ang pagpapatupad ng isang kumpletong pipeline para sa pagsubok ng mga hypotheses offline. Ito ang pagbuo ng isang proseso kung saan ang mga panganib ng maling pagpili ng mga grupo para sa eksperimento ay nababawasan, ang pinakamainam na ratio ng bilang ng mga tindahan, oras ng piloto at ang laki ng tinantyang epekto ay pinili. Ito rin ay ang muling paggamit at patuloy na pagpapabuti ng mga pamamaraan ng pagsusuri sa post-effects. Ang pamamaraan ay kinakailangan upang mabawasan ang posibilidad ng maling pagtanggap ng mga pagkakamali at hindi nakuha na mga epekto, pati na rin upang madagdagan ang pagiging sensitibo, dahil kahit na ang isang maliit na epekto sa laki ng isang malaking negosyo ay napakahalaga. Samakatuwid, kailangan mong matukoy kahit ang pinakamahinang pagbabago at mabawasan ang mga panganib, kabilang ang mga maling konklusyon tungkol sa mga resulta ng eksperimento.

Retail, Big Data at totoong mga kaso

Noong nakaraang taon, tinasa ng mga eksperto ng X5 Retail Group ang dynamics ng dami ng benta ng mga pinakasikat na produkto sa mga tagahanga ng 2018 World Cup. Walang mga sorpresa, ngunit ang mga istatistika ay naging kawili-wili pa rin.

Kaya, ang tubig ay naging "No. 1 bestseller." Sa mga lungsod na nagho-host ng World Cup, ang benta ng tubig ay tumaas ng humigit-kumulang 46%; ang pinuno ay ang Sochi, kung saan tumaas ang turnover ng 87%. Sa mga araw ng pagtutugma, ang pinakamataas na bilang ay naitala sa Saransk - dito tumaas ang mga benta ng 160% kumpara sa mga normal na araw.

Bilang karagdagan sa tubig, ang mga tagahanga ay bumili ng beer. Mula Hunyo 14 hanggang Hulyo 15, sa mga lungsod kung saan naganap ang mga laban, tumaas ang turnover ng beer ng average na 31,8%. Ang Sochi ay naging pinuno din - ang beer ay binili dito ng 64% na mas aktibo. Ngunit sa St. Petersburg ang paglago ay maliit - 5,6% lamang. Sa mga araw ng laban sa Saransk, tumaas ng 128%.

Nagsagawa rin ng pananaliksik sa iba pang produkto. Ang data na nakuha sa mga peak na araw ng pagkonsumo ng pagkain ay nagbibigay-daan sa amin na mas tumpak na mahulaan ang demand sa hinaharap, na isinasaalang-alang ang mga salik ng kaganapan. Ginagawang posible ng tumpak na hula na mahulaan ang mga inaasahan ng customer.

Sa panahon ng pagsubok, gumamit ang X5 Retail Group ng dalawang pamamaraan:
Bayesian structural time series na mga modelo na may pinagsama-samang pagtatantya ng pagkakaiba;
Pagsusuri ng regression na may pagtatasa ng pagbabago sa pamamahagi ng error bago at sa panahon ng kampeonato.

Ano pa ang ginagamit ng retail mula sa Big Data?

  • Mayroong maraming mga pamamaraan at teknolohiya, mula sa kung ano ang maaaring pangalanan nang biglaan, ito ay:
  • Pagtataya ng demand;
  • Pag-optimize ng assortment matrix;
  • Computer vision upang matukoy ang mga voids sa mga istante at makita ang isang queue forming;
  • Pagtataya ng promo.

Kakulangan ng mga espesyalista

Ang pangangailangan para sa mga eksperto sa Big Data ay patuloy na lumalaki. Kaya, noong 2018, ang bilang ng mga bakante na may kaugnayan sa big data ay tumaas ng 7 beses kumpara noong 2015. Sa unang kalahati ng 2019, ang demand para sa mga espesyalista ay lumampas sa 65% ng demand para sa buong 2018.

Ang mga malalaking kumpanya ay lalo na nangangailangan ng mga serbisyo ng mga analyst ng Big Data. Halimbawa, sa Mail.ru Group kailangan sila sa anumang proyekto kung saan pinoproseso ang data ng teksto, nilalaman ng multimedia, isinagawa ang synthesis at pagsusuri sa pagsasalita (ito ay, una sa lahat, mga serbisyo sa ulap, mga social network, mga laro, atbp.). Ang bilang ng mga bakante sa kumpanya ay triple sa nakalipas na dalawang taon. Sa unang walong buwan ng taong ito, kinuha ng Mail.ru ang parehong bilang ng mga espesyalista sa Big Data tulad ng sa buong nakaraang taon. Sa Ozon, ang departamento ng Data Science ay lumago ng tatlong beses sa nakalipas na dalawang taon. Ang sitwasyon ay katulad sa Megafon - ang pangkat na nagsusuri ng data ay lumago nang maraming beses sa nakalipas na 2,5 taon.

Walang alinlangan, sa hinaharap ang pangangailangan para sa mga kinatawan ng mga specialty na may kaugnayan sa Big Data ay lalago pa. Kaya kung mayroon kang interes sa lugar na ito, dapat mong subukan ang iyong kamay.

Pinagmulan: www.habr.com

Magdagdag ng komento