Na internetu je na stotine člankov o prednostih analize vedenja strank. Najpogosteje se to nanaša na maloprodajni sektor. Od analize košarice s hrano, analize ABC in XYZ do trženja zadrževanja in osebnih ponudb. Različne tehnike so bile uporabljene že desetletja, algoritmi so bili premišljeni, koda je bila napisana in razhroščena - vzemite in uporabite. V našem primeru se je pojavila ena temeljna težava - v ISPsystem se ukvarjamo z razvojem programske opreme, ne s prodajo na drobno.
Moje ime je Denis in trenutno sem odgovoren za backend analitičnih sistemov pri ISPsystem. In to je zgodba o tem, kako sva s kolegom — odgovorni za vizualizacijo podatkov — poskušali naše programske izdelke pogledati skozi prizmo tega znanja. Začnimo, kot običajno, z zgodovino.
Na začetku je bila beseda in beseda je bila "Ali poskusimo?"
Takrat sem delal kot razvijalec v oddelku za raziskave in razvoj. Vse se je začelo, ko je Danil prebral tukaj na Habréju — orodje za analizo prehodov uporabnikov v aplikacijah. Bil sem nekoliko skeptičen glede ideje o uporabi tukaj. Kot primer so razvijalci knjižnice navedli analizo aplikacij, kjer je ciljno dejanje jasno opredeljeno - oddaja naročila ali kakšna druga različica načina plačila lastniku podjetja. Naši izdelki so dobavljeni na mestu uporabe. Se pravi, uporabnik najprej kupi licenco in šele nato začne svojo pot v aplikaciji. Da, imamo demo različice. Izdelek lahko preizkusite tam, da ne boste imeli prašiča v žaklju.
Toda večina naših izdelkov je namenjena trgu gostovanja. Gre za velike naročnike, ki jim oddelek za poslovni razvoj svetuje glede zmogljivosti izdelkov. Iz tega tudi sledi, da naše stranke ob nakupu že vedo, katere težave jim bo naša programska oprema pomagala rešiti. Njihove poti v aplikaciji morajo sovpadati s CJM, ki je vgrajen v izdelek, rešitve UX pa jim bodo pomagale ostati na pravi poti. Spojler: to se ne zgodi vedno. Uvod v knjižnico je bil prestavljen ... a ne za dolgo.
Vse se je spremenilo z izdajo našega startupa - — platforme za ustvarjanje spletne trgovine iz računa Instagram. V tej aplikaciji je uporabnik dobil dvotedensko obdobje za brezplačno uporabo vseh funkcionalnosti. Potem ste se morali odločiti, ali se boste naročili. In to se popolnoma ujema s konceptom "dejanje pot-cilj". Odločeno je bilo: poskusimo!
Prvi rezultati ali kje dobiti ideje
Z razvojno ekipo smo produkt povezali v sistem zbiranja dogodkov dobesedno v enem dnevu. Takoj bom rekel, da ISPsystem uporablja svoj sistem za zbiranje dogodkov o obiskih strani, vendar vam nič ne preprečuje, da za iste namene uporabljate Yandex.Metrica, ki vam omogoča brezplačen prenos neobdelanih podatkov. Preučevali smo primere uporabe knjižnice in po tednu dni zbiranja podatkov dobili graf prehodov.
Graf prehodov. Osnovna funkcionalnost, drugi prehodi zaradi jasnosti odstranjeni
Izkazalo se je tako kot v primeru: ravno, jasno, lepo. Iz tega grafa smo lahko ugotovili najpogostejše poti in prehode, kjer se ljudje najdlje zadržujejo. To nam je omogočilo razumevanje naslednjega:
- Namesto velikega CJM, ki zajema ducat entitet, se aktivno uporabljata le dva. Z UX rešitvami je potrebno dodatno usmerjati uporabnike tja, kamor jih potrebujemo.
- Nekatere strani, ki so jih oblikovalci UX oblikovali tako, da so od konca do konca, na koncu ljudje porabijo nerazumno veliko časa zanje. Ugotoviti morate, kateri elementi ustavitve so na določeni strani, in jih prilagoditi.
- Po 10 prehodih se je 20 % ljudi začelo naveličati in je zapustilo sejo v aplikaciji. In to ob upoštevanju dejstva, da smo imeli v aplikaciji kar 5 onboarding strani! Identificirati morate strani, kjer uporabniki redno opuščajo seje in skrajšati pot do njih. Še bolje: določite morebitne običajne poti in omogočite hiter prehod z izvorne strani na ciljno stran. Nekaj skupnega z analizo ABC in analizo zapuščenega vozička, se vam ne zdi?
In tukaj smo ponovno razmislili o našem odnosu do uporabnosti tega orodja za izdelke na mestu uporabe. Odločeno je bilo analizirati aktivno prodajan in rabljen izdelek - . Je veliko bolj kompleksen, entitet je za red velikosti več. Navdušeno smo čakali, kakšen bo prehodni graf.
O razočaranjih in navdihih
Razočaranje #1
Bil je konec delavnika, konec meseca in konec leta hkrati – 27. december. Podatki so bili zbrani, poizvedbe so bile napisane. Ostajale so sekunde, preden je bilo vse obdelano in smo lahko pogledali rezultat našega dela, da bi ugotovili, kje se bo začelo naslednje delovno leto. Oddelek za raziskave in razvoj, produktni vodja, UX oblikovalci, vodja ekipe, razvijalci so se zbrali pred monitorjem, da bi videli, kako izgledajo uporabniške poti v njihovem izdelku, ampak ... videli smo tole:
Graf prehodov, ki ga je zgradila knjižnica Retentioneering
Navdih #1
Močno povezani, na desetine entitet, neočitni scenariji. Jasno je bilo le, da se novo delovno leto ne bo začelo z analizo, temveč z izumom načina za poenostavitev dela s takim grafom. Vendar se nisem mogel otresti občutka, da je vse veliko bolj preprosto, kot se zdi. In po petnajstih minutah preučevanja izvorne kode Retentioneering smo lahko izvozili sestavljeni graf v obliko pik. To je omogočilo nalaganje grafa v drugo orodje - Gephi. In že obstaja prostor za analizo grafov: postavitve, filtri, statistika - vse kar morate storiti je, da konfigurirate potrebne parametre v vmesniku. S to mislijo smo se odpravili na novoletni vikend.
Razočaranje #2
Po vrnitvi v službo se je izkazalo, da medtem, ko so vsi počivali, so naše stranke preučevale izdelek. Da, tako močno, da so se v skladišču pojavili dogodki, ki prej niso obstajali. To je pomenilo, da je bilo treba poizvedbe posodobiti.
Malo ozadja za razumevanje žalosti tega dejstva. Posredujemo tako dogodke, ki smo jih označili (na primer klike na nekatere gumbe), kot URL-je strani, ki jih je uporabnik obiskal. V primeru Cartbeeja je deloval model "eno dejanje - ena stran". Toda z VMmanagerjem je bila situacija popolnoma drugačna: na eni strani se je lahko odprlo več modalnih oken. V njih lahko uporabnik rešuje različne probleme. Na primer URL:
/host/item/24/ip(modal:modal/host/item/ip/create)
pomeni, da je uporabnik na strani »Naslovi IP« dodal naslov IP. In tukaj sta vidni dve težavi hkrati:
- URL vsebuje nekakšen parameter poti - ID virtualnega stroja. Treba ga je izključiti.
- URL vsebuje ID modalnega okna. Take URL-je morate nekako "razpakirati".
Druga težava je bila, da so prav dogodki, ki smo jih označili, imeli parametre. Do strani z informacijami o virtualnem stroju s seznama je bilo na primer pet različnih načinov. V skladu s tem je bil poslan en dogodek, vendar s parametrom, ki je pokazal, na katero metodo je uporabnik izvedel prehod. Takih dogodkov je bilo veliko in vsi parametri so bili različni. In imamo vso logiko pridobivanja podatkov v narečju SQL za Clickhouse. Poizvedbe s 150-200 vrsticami so se začele zdeti nekoliko običajne. Težave so nas obkrožale.
Navdih #2
Nekega zgodnjega jutra mi je Danil, ki je drugo minuto žalostno brskal po zahtevi, predlagal: "Napišimo cevovode za obdelavo podatkov?" Razmislili smo o tem in se odločili, da če bomo to storili, bo to nekaj podobnega kot ETL. Tako, da takoj filtrira in potegne potrebne podatke iz drugih virov. Tako se je rodila naša prva analitična storitev s polnopravnim zaledjem. Izvaja pet glavnih stopenj obdelave podatkov:
- Razkladanje dogodkov iz shrambe neobdelanih podatkov in njihova priprava za obdelavo.
- Razjasnitev je "razpakiranje" samih identifikatorjev modalnih oken, parametrov dogodka in drugih podrobnosti, ki pojasnjujejo dogodek.
- Obogatitev (iz besede »postati bogat«) je dodajanje dogodkov s podatki iz virov tretjih oseb. Takrat je to vključevalo samo naš obračunski sistem BILLmanager.
- Filtriranje je postopek filtriranja dogodkov, ki izkrivljajo rezultate analize (dogodki iz notranjih stojnic, izstopajoči dogodki itd.).
- Nalaganje prejetih dogodkov v shrambo, kar smo poimenovali čisti podatki.
Zdaj je bilo mogoče vzdrževati ustreznost z dodajanjem pravil za obdelavo dogodka ali celo skupin podobnih dogodkov. Na primer, od takrat nismo nikoli posodobili razpakiranja URL-jev. Čeprav je bilo v tem času dodanih več novih različic URL-jev. Upoštevajo pravila, ki so že določena v storitvi, in so pravilno obdelana.
Razočaranje #3
Ko smo začeli analizirati, smo ugotovili, zakaj je bil graf tako skladen. Dejstvo je, da je skoraj vsak N-gram vseboval prehode, ki jih ni bilo mogoče izvesti prek vmesnika.
Začela se je majhna preiskava. Zmedlo me je, da znotraj ene entitete ni nemogočih prehodov. To pomeni, da ne gre za napako v sistemu zbiranja dogodkov ali naši storitvi ETL. Bil je občutek, da uporabnik hkrati dela v več entitetah, ne da bi se premikal iz ene v drugo. Kako to doseči? Uporaba različnih zavihkov v brskalniku.
Pri analizi Cartbeeja nas je rešila njegova specifičnost. Aplikacija je bila uporabljena iz mobilnih naprav, kjer je delo z več zavihkov preprosto neprijetno. Tukaj imamo namizje in medtem ko se naloga izvaja v eni entiteti, je razumno, da želimo ta čas porabiti za nastavitev ali spremljanje stanja v drugi. In da ne izgubite napredka, preprosto odprite drug zavihek.
Navdih #3
Kolegi iz front-end razvoja so sistem zbiranja dogodkov naučili razlikovati med zavihki. Analiza se je lahko začela. In smo začeli. Kot je bilo pričakovano, se CJM ni ujemal z resničnimi potmi: uporabniki so porabili veliko časa na straneh imenikov, opuščenih sejah in zavihkih na najbolj nepričakovanih mestih. Z analizo prehodov smo lahko našli težave v nekaterih različicah Mozille. V njih so zaradi izvedbenih značilnosti izginili navigacijski elementi ali pa so se prikazale napol prazne strani, ki bi morale biti dostopne le skrbniku. Stran se je odprla, vendar iz ozadja ni prišla nobena vsebina. Štetje prehodov je omogočilo oceno, katere funkcije so bile dejansko uporabljene. Verige so omogočile razumevanje, kako je uporabnik prejel to ali ono napako. Podatki, dovoljeni za testiranje na podlagi vedenja uporabnikov. Uspelo je, ideja ni bila zaman.
Avtomatizacija analitike
V eni od predstavitev rezultatov smo pokazali, kako se Gephi uporablja za analizo grafov. V tem orodju je mogoče podatke o konverzijah prikazati v tabeli. In vodja oddelka UX je povedal eno zelo pomembno misel, ki je vplivala na razvoj celotne smeri analitike vedenja v podjetju: "Naredimo enako, vendar v Tableau in s filtri - to bo bolj priročno."
Potem sem pomislil: zakaj pa ne, Retentioneering shrani vse podatke v strukturo pandas.DataFrame. In to je na splošno miza. Tako se je pojavila še ena storitev: Data Provider. Iz grafa ni naredil le tabele, ampak je izračunal tudi, kako priljubljena je stran in z njo povezane funkcionalnosti, kako vpliva na zadrževanje uporabnikov, koliko časa se uporabniki zadržujejo na njej in katere strani uporabniki najpogosteje zapuščajo. In uporaba vizualizacije v Tableau je toliko znižala stroške preučevanja grafa, da se je čas iteracije za analizo obnašanja v izdelku skoraj prepolovil.
Danil bo govoril o tem, kako se ta vizualizacija uporablja in kakšne zaključke omogoča.
Več miz za namiznega boga!
V poenostavljeni obliki je bila naloga oblikovana na naslednji način: prikazati prehodni graf v Tableau, zagotoviti možnost filtriranja in narediti čim bolj jasno in priročno.
V Tableau pravzaprav nisem želel risati usmerjenega grafa. In tudi če bi bil uspešen, se dobiček v primerjavi z Gephijem ni zdel očiten. Potrebovali smo nekaj veliko preprostejšega in bolj dostopnega. Miza! Konec koncev je graf mogoče enostavno predstaviti v obliki vrstic tabele, kjer je vsaka vrstica rob tipa "vir-cilj". Poleg tega smo takšno tabelo že skrbno pripravili z orodji Retentioneering in Data Provider. Preostalo je le še prikaz tabele v Tableau in brskanje po poročilu.
Ko že govorimo o tem, kako imajo vsi radi mize.
Vendar se tu srečamo z drugo težavo. Kaj storiti z virom podatkov? Pandas.DataFrame je bilo nemogoče povezati; Tableau nima takega priključka. Postavitev ločene baze za shranjevanje grafa se je zdela preveč radikalna rešitev z nejasnimi obeti. Možnosti lokalnega razkladanja niso bile primerne zaradi potrebe po stalnih ročnih operacijah. Pregledali smo seznam razpoložljivih priključkov in pogled nam je padel na element , ki se je osamljeno gnetla čisto na dnu.
Tableau ima bogato izbiro priključkov. Našli smo enega, ki je rešil naš problem
Kakšna žival? Nekaj novih odprtih zavihkov v brskalniku - in postalo je jasno, da ta priključek omogoča prejemanje podatkov pri dostopu do URL-ja. Zaledje za izračun samih podatkov je bilo skoraj pripravljeno, ostalo je le še, da se spoprijatelji z WDC. Denis je več dni študiral dokumentacijo in se boril z mehanizmi Tableau, nato pa mi poslal link, ki sem ga prilepil v okno za povezavo.
Obrazec za povezavo z našim WDC. Denis je naredil svojo fronto in poskrbel za varnost
Po nekaj minutah čakanja (podatki se na zahtevo izračunajo dinamično) se prikaže tabela:
Tako je videti niz neobdelanih podatkov v vmesniku Tableau
Kot je bilo obljubljeno, je vsaka vrstica takšne tabele predstavljala rob grafa, torej usmerjen prehod uporabnika. Vseboval je tudi več dodatnih značilnosti. Na primer število edinstvenih uporabnikov, skupno število prehodov in drugo.
To tabelo bi bilo mogoče prikazati v poročilu, kot je, velikodušno posuti filtre in poslati orodje na plovbo. Zveni logično. Kaj lahko počnete z mizo? A to ni naš način, saj ne delamo le tabele, ampak orodje za analizo in sprejemanje odločitev o produktih.
Običajno želi oseba pri analizi podatkov dobiti odgovore na vprašanja. Super. Začnimo z njimi.
- Kateri so najpogostejši prehodi?
- Kam gredo z določenih strani?
- Koliko časa v povprečju preživite na tej strani, preden jo zapustite?
- Kako pogosto naredite prehod iz A v B?
- Na katerih straneh se seja konča?
Vsako od poročil ali kombinacija le-teh naj bi uporabniku omogočala samostojno iskanje odgovorov na ta vprašanja. Ključna strategija tukaj je, da vam damo orodja, s katerimi lahko to storite sami. To je uporabno tako za zmanjšanje obremenitve oddelka za analitiko kot za skrajšanje časa za sprejemanje odločitev - navsezadnje vam ni več treba iti na Youtrack in ustvariti naloge za analitika, samo odpreti morate poročilo.
Kaj smo dobili?
Kam se ljudje najpogosteje oddaljimo od armaturne plošče?
Delček našega poročila. Po nadzorni plošči so vsi šli na seznam navideznih računalnikov ali na seznam vozlišč
Vzemimo splošno tabelo s prehodi in filtrirajmo po izvorni strani. Najpogosteje gredo z nadzorne plošče na seznam virtualnih strojev. Poleg tega stolpec Rednost nakazuje, da gre za ponavljajoče se dejanje.
Od kod prihajajo na seznam grozdov?
Filtri v poročilih delujejo v obe smeri: ugotovite lahko, kje ste odšli ali kam ste šli
Iz primerov je jasno, da tudi prisotnost dveh preprostih filtrov in razvrščanje vrstic po vrednosti omogoča hitro pridobivanje informacij.
Vprašajmo se kaj težjega.
Kje uporabniki najpogosteje opustijo sejo?
Uporabniki VMmanagerja pogosto delajo v ločenih zavihkih
Za to potrebujemo poročilo, katerega podatki so združeni glede na napotitvene vire. In tako imenovane prelomne točke so bile vzete kot naloge - dogodki, ki so služili kot konec verige prehodov.
Pomembno je omeniti, da je to lahko konec seje ali odprtje novega zavihka. Iz primera je razvidno, da se veriga največkrat konča pri tabeli s seznamom virtualnih strojev. V tem primeru je značilno vedenje preklop na drug zavihek, ki je skladen s pričakovanim vzorcem.
Uporabnost teh poročil smo najprej preizkusili na sebi, ko smo na podoben način izvedli analizo , še en naš izdelek. S pojavom tabel in filtrov so se hipoteze hitreje preverjale, oči pa manj utrujene.
Pri razvoju poročil nismo pozabili na vizualno podobo. Pri delu s tabelami te velikosti je to pomemben dejavnik. Na primer, uporabili smo mirno paleto barv, ki jih je enostavno zaznati za številke barvno poudarjanje črt v skladu s številčnimi vrednostmi značilnosti. Takšne podrobnosti izboljšajo uporabniško izkušnjo in povečajo verjetnost, da bo orodje v podjetju uspešno zaživelo.
Tabela se je izkazala za precej obsežno, vendar upamo, da ni prenehala biti berljiva
Ločeno je treba omeniti usposabljanje naših notranjih strank: produktnih strokovnjakov in UX oblikovalcev. Posebej zanje so bili pripravljeni priročniki s primeri analiz in nasveti za delo s filtri. Povezave do priročnikov smo vstavili neposredno na strani s poročili.
Priročnik smo naredili preprosto kot predstavitev v Google Dokumentih. Orodja Tableau vam omogočajo prikazovanje spletnih strani neposredno znotraj delovnega zvezka poročil.
Namesto epilog
Kaj je na koncu? Relativno hitro in poceni smo dobili orodje za vsak dan. Da, to vsekakor ni zamenjava za sam graf, toplotni zemljevid klikov ali spletni pregledovalnik. Toda takšna poročila pomembno dopolnjujejo našteta orodja in dajejo hrano za razmišljanje ter hipoteze o novih izdelkih in vmesnikih.
Ta zgodba je bila le začetek razvoja analitike v ISPsystem. V zadnjih šestih mesecih se je pojavilo še sedem novih storitev, med njimi digitalni portreti uporabnika v izdelku in storitev za ustvarjanje baz podatkov za Look-alike ciljanje, a o njih bomo govorili v naslednjih epizodah.
Vir: www.habr.com