Na internetu postoje stotine članaka o prednostima analize ponašanja kupaca. Najčešće se to odnosi na sektor maloprodaje. Od analize košarice hrane, ABC i XYZ analize do marketinga zadržavanja i osobnih ponuda. Desetljećima se koriste razne tehnike, algoritmi su smišljeni, kod je napisan i otklonjen - uzmi i koristi ga. U našem slučaju pojavio se jedan temeljni problem - mi u ISPsystemu bavimo se razvojem softvera, a ne maloprodajom.
Moje ime je Denis i trenutno sam odgovoran za backend analitičkih sustava u ISPsystemu. A ovo je priča o tome kako smo moj kolega i ja — odgovorni za vizualizaciju podataka — pokušali su naše softverske proizvode sagledati kroz prizmu tih spoznaja. Počnimo, kao i obično, s poviješću.
U početku je bila riječ, a riječ je bila "Hoćemo li pokušati?"
U tom sam trenutku radio kao programer u R&D odjelu. Sve je počelo kada je Danil pročitao ovdje na Habréu — alat za analizu prijelaza korisnika u aplikacijama. Bio sam pomalo skeptičan u vezi s idejom korištenja ovdje. Kao primjere, programeri knjižnice naveli su analizu aplikacija u kojima je ciljana radnja bila jasno definirana - narudžba ili neka druga varijanta načina plaćanja vlasničkoj tvrtki. Naši se proizvodi isporučuju na lokaciji. Odnosno, korisnik prvo kupi licencu, a tek onda počinje svoje putovanje u aplikaciji. Da, imamo demo verzije. Tamo možete isprobati proizvod kako ne biste bili u škripcu.
Ali većina naših proizvoda usmjerena je na tržište hostinga. Riječ je o velikim klijentima, a odjel za razvoj poslovanja savjetuje ih o mogućnostima proizvoda. Iz toga također proizlazi da naši kupci u trenutku kupnje već znaju koje probleme će im naš softver pomoći riješiti. Njihove rute u aplikaciji moraju se podudarati s CJM-om ugrađenim u proizvod, a UX rješenja pomoći će im da ostanu na pravom putu. Spoiler: ovo se ne događa uvijek. Upoznavanje s knjižnicom je odgođeno... ali ne zadugo.
Sve se promijenilo izlaskom našeg startupa - — platforme za izradu online trgovine s Instagram računa. U ovoj aplikaciji korisnik je dobio rok od dva tjedna za besplatno korištenje svih funkcionalnosti. Zatim ste morali odlučiti hoćete li se pretplatiti. I to se savršeno uklapa u koncept "akcija ruta-cilj". Odlučeno je: pokušajmo!
Prvi rezultati ili odakle dobiti ideje
Razvojni tim i ja povezali smo proizvod sa sustavom prikupljanja događaja doslovno u jednom danu. Odmah ću reći da ISPsystem koristi vlastiti sustav za prikupljanje događaja o posjetima stranicama, ali ništa vas ne sprječava da koristite Yandex.Metricu za iste svrhe, što vam omogućuje besplatno preuzimanje neobrađenih podataka. Proučavani su primjeri korištenja knjižnice te smo nakon tjedan dana prikupljanja podataka dobili grafikon prijelaza.
Prijelazni grafikon. Osnovna funkcionalnost, ostali prijelazi uklonjeni radi jasnoće
Ispalo je kao u primjeru: ravno, jasno, lijepo. Iz ovog grafikona mogli smo identificirati najčešće rute i prijelaze na kojima ljudi provode najdulje vrijeme. To nam je omogućilo da shvatimo sljedeće:
- Umjesto velikog CJM-a, koji pokriva desetak cjelina, aktivno se koriste samo dvije. Potrebno je UX rješenjima dodatno usmjeravati korisnike na mjesta koja nam trebaju.
- Neke stranice, koje su dizajnirali UX dizajneri da budu end-to-end, završavaju tako da ljudi troše nerazumnu količinu vremena na njih. Morate otkriti koji su elementi za zaustavljanje na određenoj stranici i prilagoditi ih.
- Nakon 10 prijelaza, 20% ljudi se počelo umarati i napustiti sesiju u aplikaciji. I to uzimajući u obzir činjenicu da smo u aplikaciji imali čak 5 onboarding stranica! Morate identificirati stranice na kojima korisnici redovito napuštaju sesije i skratiti put do njih. Još bolje: identificirajte redovite rute i omogućite brz prijelaz s izvorne stranice na odredišnu stranicu. Nešto zajedničko s ABC analizom i analizom napuštenih kolica, zar ne?
I ovdje smo preispitali naš stav o primjenjivosti ovog alata za on-premise proizvode. Odlučeno je analizirati proizvod koji se aktivno prodaje i koristi - . Puno je složeniji, postoji red veličine više entiteta. Uzbuđeno smo čekali da vidimo kakav će biti grafikon prijelaza.
O razočarenjima i inspiracijama
Razočaranje #1
Bio je kraj radnog dana, kraj mjeseca i kraj godine u isto vrijeme – 27. prosinca. Podaci su akumulirani, upiti su napisani. Ostale su sekunde prije nego što se sve obradi i pogledamo rezultate svog rada kako bismo saznali gdje će započeti sljedeća radna godina. Odjel za istraživanje i razvoj, voditelj proizvoda, UX dizajneri, voditelj tima, programeri okupili su se ispred monitora kako bi vidjeli kako izgledaju korisnički putovi u njihovom proizvodu, ali... vidjeli smo ovo:
Grafikon prijelaza koji je izradila biblioteka Retentioneering
Inspiracija #1
Čvrsto povezani, deseci entiteta, neočiti scenariji. Bilo je samo jasno da nova radna godina neće započeti analizom, već izmišljanjem načina da se pojednostavi rad s takvim grafikonom. Ali nisam se mogao otresti osjećaja da je sve puno jednostavnije nego što se činilo. I nakon petnaest minuta proučavanja izvornog koda Retentioneeringa, uspjeli smo izvesti konstruirani graf u točkasti format. To je omogućilo učitavanje grafikona u drugi alat - Gephi. A već postoji prostor za analizu grafikona: izgledi, filtri, statistika - sve što trebate učiniti je konfigurirati potrebne parametre u sučelju. S tom mišlju krenuli smo na novogodišnji vikend.
Razočaranje #2
Nakon povratka na posao, pokazalo se da su naši klijenti proučavali proizvod, dok su se svi odmarali. Da, toliko teško da su se u spremištu pojavili događaji koji prije nisu postojali. To je značilo da je upite potrebno ažurirati.
Malo pozadine da shvatite tugu ove činjenice. Prenosimo i događaje koje smo označili (primjerice, klikove na neke gumbe) i URL-ove stranica koje je korisnik posjetio. U slučaju Cartbeeja funkcionirao je model “jedna radnja - jedna stranica”. Ali s VMmanagerom situacija je bila potpuno drugačija: nekoliko modalnih prozora moglo se otvoriti na jednoj stranici. U njima je korisnik mogao rješavati razne probleme. Na primjer, URL:
/host/item/24/ip(modal:modal/host/item/ip/create)
znači da je na stranici “IP adrese” korisnik dodao IP adresu. I ovdje su vidljiva dva problema odjednom:
- URL sadrži neku vrstu parametra staze - ID virtualnog stroja. Potrebno je isključiti.
- URL sadrži ID modalnog prozora. Morate nekako "raspakirati" takve URL-ove.
Drugi problem je bio taj što su sami događaji koje smo označili imali parametre. Na primjer, postojalo je pet različitih načina da se s popisa dođe do stranice s informacijama o virtualnom stroju. Sukladno tome, poslan je jedan događaj, ali s parametrom koji pokazuje kojom metodom je korisnik izvršio prijelaz. Bilo je puno takvih događaja, a svi su parametri bili različiti. I imamo svu logiku dohvaćanja podataka u SQL dijalektu za Clickhouse. Upiti od 150-200 redaka počeli su se činiti pomalo uobičajenim. Problemi su nas okruživali.
Inspiracija #2
Jednog ranog jutra, Danil, tužno skrolajući kroz zahtjev drugu minutu, predložio mi je: "Hajdemo napisati cjevovode za obradu podataka?" Razmišljali smo o tome i odlučili da će to biti nešto poput ETL-a, ako ćemo to raditi. Tako da odmah filtrira i izvlači potrebne podatke iz drugih izvora. Tako je rođen naš prvi analitički servis s punom pozadinom. Implementira pet glavnih faza obrade podataka:
- Istovar događaja iz pohrane sirovih podataka i njihova priprema za obradu.
- Pojašnjenje je "raspakiranje" samih identifikatora modalnih prozora, parametara događaja i drugih detalja koji pojašnjavaju događaj.
- Obogaćivanje (od riječi "postati bogat") je dodavanje događaja podacima iz izvora trećih strana. U to vrijeme to je uključivalo samo naš sustav naplate BILLmanager.
- Filtriranje je proces filtriranja događaja koji iskrivljuju rezultate analize (događaji s internih stajališta, outlieri itd.).
- Prijenos primljenih događaja u pohranu, što smo nazvali čistim podacima.
Sada je bilo moguće održati relevantnost dodavanjem pravila za obradu događaja ili čak grupe sličnih događaja. Na primjer, od tada nikada nismo ažurirali URL otpakiranje. Iako je tijekom tog vremena dodano nekoliko novih varijacija URL-a. Oni su u skladu s pravilima koja su već utvrđena u usluzi i ispravno se obrađuju.
Razočaranje #3
Kad smo počeli analizirati, shvatili smo zašto je grafikon tako koherentan. Činjenica je da je gotovo svaki N-gram sadržavao prijelaze koji se nisu mogli izvesti kroz sučelje.
Počela je mala istraga. Bio sam zbunjen što nema nemogućih prijelaza unutar jednog entiteta. To znači da se ne radi o grešci u sustavu prikupljanja događaja ili našoj ETL usluzi. Postojao je osjećaj da korisnik istovremeno radi u nekoliko entiteta, bez prelaska iz jednog u drugi. Kako to postići? Korištenje različitih kartica u pregledniku.
Pri analizi Cartbeeja spasila nas je njegova specifičnost. Aplikacija je korištena s mobilnih uređaja, gdje je rad s nekoliko kartica jednostavno nezgodan. Ovdje imamo radnu površinu i dok se zadatak izvršava u jednom entitetu, razumno je to vrijeme potrošiti na postavljanje ili praćenje statusa u drugom. A kako ne biste izgubili napredak, samo otvorite drugu karticu.
Inspiracija #3
Kolege iz front-end developmenta naučili su sustav prikupljanja događaja razlikovati kartice. Analiza je mogla početi. I počeli smo. Kao što se očekivalo, CJM nije odgovarao stvarnim stazama: korisnici su provodili puno vremena na stranicama imenika, napuštenim sesijama i karticama na najneočekivanijim mjestima. Koristeći analizu prijelaza, uspjeli smo pronaći probleme u nekim Mozillinim verzijama. U njima su zbog značajki implementacije nestali elementi navigacije ili su se prikazivale poluprazne stranice, koje bi trebale biti dostupne samo administratoru. Stranica se otvorila, ali iz pozadine nije stigao nikakav sadržaj. Brojanje prijelaza omogućilo je procjenu koje su značajke stvarno korištene. Lanci su omogućili razumijevanje kako je korisnik primio ovu ili onu pogrešku. Podaci dopušteni za testiranje na temelju ponašanja korisnika. Bio je uspjeh, ideja nije bila uzaludna.
Automatizacija analitike
U jednoj od demonstracija rezultata, pokazali smo kako se Gephi koristi za analizu grafova. U ovom alatu podaci o pretvorbi mogu se prikazati u tablici. A voditelj UX odjela rekao je jednu vrlo važnu misao koja je utjecala na razvoj cjelokupnog smjera analitike ponašanja u tvrtki: "Učinimo isto, ali u Tableauu i s filterima - bit će praktičnije."
Onda sam pomislio: zašto ne, Retentioneering pohranjuje sve podatke u strukturu pandas.DataFrame. A ovo je, uglavnom, stol. Tako se pojavila još jedna usluga: Data Provider. Iz grafikona nije napravio samo tablicu, već je izračunao koliko je stranica i funkcionalnost povezana s njom popularna, kako utječe na zadržavanje korisnika, koliko se dugo korisnici na njoj zadržavaju te koje stranice korisnici najčešće napuštaju. A upotreba vizualizacije u Tableau toliko je smanjila troškove proučavanja grafikona da je vrijeme ponavljanja za analizu ponašanja u proizvodu gotovo prepolovljeno.
Danil će govoriti o tome kako se ova vizualizacija koristi i kakve zaključke omogućuje.
Više stolova za boga stola!
U pojednostavljenom obliku, zadatak je formuliran na sljedeći način: prikazati prijelazni grafikon u Tableau, pružiti mogućnost filtriranja i učiniti ga što jasnijim i praktičnijim.
Nisam zapravo želio crtati usmjereni graf u Tableau. Čak i ako je uspio, dobitak se, u usporedbi s Gephijem, nije činio očitim. Trebalo nam je nešto puno jednostavnije i pristupačnije. Stol! Uostalom, graf se lako može prikazati u obliku redaka tablice, gdje je svaki redak rub tipa "izvor-odredište". Štoviše, već smo pažljivo pripremili takvu tablicu pomoću alata Retentioneering i Data Provider. Preostalo je samo prikazati tablicu u Tableau i prošvrljati po izvješću.
Kad smo već kod toga kako svi vole stolove.
Međutim, ovdje se susrećemo s drugim problemom. Što učiniti s izvorom podataka? Bilo je nemoguće spojiti pande.DataFrame; Tableau nema takav konektor. Podizanje zasebne baze za pohranjivanje grafa činilo se preradikalnim rješenjem s nejasnim izgledima. A opcije lokalnog istovara nisu bile prikladne zbog potrebe za stalnim ručnim operacijama. Pregledali smo popis dostupnih konektora i pogled nam je pao na stavku , koji se jadno stisnuo na samom dnu.
Tableau ima bogat izbor konektora. Pronašli smo jedan koji je riješio naš problem
Kakva životinja? Nekoliko novih otvorenih kartica u pregledniku - i postalo je jasno da ovaj konektor omogućuje primanje podataka prilikom pristupa URL-u. Sam backend za izračunavanje podataka bio je gotovo spreman, preostalo je samo sprijateljiti ga s WDC-om. Denis je nekoliko dana proučavao dokumentaciju i borio se s Tableau mehanizmima, a onda mi poslao link koji sam zalijepio u prozor za povezivanje.
Obrazac za povezivanje s našim WDC-om. Denis je napravio svoj front i pobrinuo se za sigurnost
Nakon nekoliko minuta čekanja (podaci se izračunavaju dinamički kada se traži), pojavila se tablica:
Ovako izgleda niz neobrađenih podataka u sučelju Tableau
Kao što je i obećano, svaki redak takve tablice predstavljao je rub grafa, odnosno usmjereni prijelaz korisnika. Također je sadržavao nekoliko dodatnih karakteristika. Na primjer, broj jedinstvenih korisnika, ukupan broj prijelaza i drugo.
Bilo bi moguće prikazati ovu tablicu u izvješću kakva jest, velikodušno posipati filtre i poslati alat na plovidbu. Zvuči logično. Što možete učiniti sa stolom? Ali to nije naš način, jer ne radimo samo tablicu, već alat za analizu i donošenje odluka o proizvodu.
Tipično, kada se analiziraju podaci, osoba želi dobiti odgovore na pitanja. Sjajno. Počnimo s njima.
- Koji su najčešći prijelazi?
- Gdje idu s određenih stranica?
- Koliko vremena u prosjeku provedete na ovoj stranici prije odlaska?
- Koliko često prelazite iz A u B?
- Na kojim stranicama sesija završava?
Svako od izvješća ili njihova kombinacija trebala bi korisniku omogućiti samostalno pronalaženje odgovora na ova pitanja. Ključna strategija ovdje je dati vam alate da to učinite sami. Ovo je korisno kako za smanjenje opterećenja analitičkog odjela, tako i za smanjenje vremena za donošenje odluka - uostalom, više ne morate ići na Youtrack i kreirati zadatak za analitičara, samo trebate otvoriti izvješće.
Što smo dobili?
Gdje ljudi najčešće odstupaju od nadzorne ploče?
Fragment našeg izvještaja. Nakon nadzorne ploče, svi su otišli ili na popis VM-ova ili na popis čvorova
Uzmimo opću tablicu s prijelazima i filtrirajmo prema izvornoj stranici. Najčešće idu s nadzorne ploče na popis virtualnih strojeva. Štoviše, stupac Regularity sugerira da se radi o radnji koja se ponavlja.
Odakle dolaze na popis klastera?
Filtri u izvješćima rade u oba smjera: možete saznati gdje ste otišli ili kamo ste otišli
Iz primjera je jasno da čak i prisutnost dva jednostavna filtera i rangiranje redaka po vrijednostima omogućuje brzo dobivanje informacija.
Pitajmo nešto kompliciranije.
Gdje korisnici najčešće napuštaju sesiju?
Korisnici VMmanagera često rade u zasebnim karticama
Da bismo to učinili, potrebno nam je izvješće čiji su podaci agregirani prema izvorima preporuke. A takozvane prijelomne točke uzete su kao zadaci - događaji koji su služili kao kraj lanca prijelaza.
Ovdje je važno napomenuti da to može biti ili kraj sesije ili otvaranje nove kartice. Primjer pokazuje da lanac najčešće završava na tablici s popisom virtualnih strojeva. U ovom slučaju, karakteristično ponašanje je prebacivanje na drugu karticu, što je u skladu s očekivanim uzorkom.
Korisnost ovih izvješća prije svega smo isprobali na sebi kada smo na sličan način proveli analizu , još jedan od naših proizvoda. Dolaskom tablica i filtera hipoteze su se brže testirale, a oči su se manje umarale.
Prilikom izrade izvješća nismo zaboravili na vizualni dizajn. Kada radite sa stolovima ove veličine, ovo je važan faktor. Na primjer, koristili smo miran raspon boja, lako uočljiv za brojeve, isticanje boja linija u skladu s numeričkim vrijednostima karakteristika. Takvi detalji poboljšavaju korisničko iskustvo i povećavaju vjerojatnost da alat uspješno zaživi unutar tvrtke.
Tablica se pokazala prilično voluminoznom, ali nadamo se da nije prestala biti čitljiva
Vrijedno je posebno spomenuti obuku naših internih klijenata: stručnjaka za proizvode i UX dizajnera. Za njih su posebno pripremljeni priručnici s primjerima analize i savjetima za rad s filterima. Umetnuli smo veze na priručnike izravno na stranice izvješća.
Priručnik smo napravili jednostavno kao prezentaciju u Google dokumentima. Alati Tableau omogućuju prikaz web stranica izravno unutar radne knjige izvješća.
umjesto epiloga
Što je u krajnjoj liniji? Mogli smo relativno brzo i jeftino nabaviti alat za svaki dan. Da, ovo definitivno nije zamjena za sam grafikon, toplinsku kartu klikova ili web preglednik. Ali takva izvješća značajno nadopunjuju navedene alate i daju hranu za razmišljanje i nove hipoteze o proizvodima i sučeljima.
Ova priča poslužila je samo kao početak razvoja analitike u ISPsystemu. U proteklih šest mjeseci pojavilo se još sedam novih servisa, uključujući digitalne portrete korisnika u proizvodu i servis za izradu baza podataka za Look-alike targetiranje, no o njima ćemo u sljedećim epizodama.
Izvor: www.habr.com