Mayroong daan-daang mga artikulo sa Internet tungkol sa mga benepisyo ng pagsusuri sa gawi ng customer. Kadalasan ito ay may kinalaman sa sektor ng tingi. Mula sa pagsusuri sa basket ng pagkain, pagsusuri sa ABC at XYZ hanggang sa marketing sa pagpapanatili at mga personal na alok. Ang iba't ibang mga diskarte ay ginamit sa loob ng mga dekada, ang mga algorithm ay naisip, ang code ay naisulat at na-debug - kunin ito at gamitin ito. Sa aming kaso, isang pangunahing problema ang lumitaw - kami sa ISPsystem ay nakikibahagi sa pagbuo ng software, hindi retail.
Ang pangalan ko ay Denis at ako ang kasalukuyang responsable para sa backend ng mga analytical system sa ISPsystem. At ito ang kwento kung paano kami ng aking kasamahan β mga responsable para sa visualization ng data β sinubukang tingnan ang aming mga produkto ng software sa pamamagitan ng prisma ng kaalamang ito. Magsimula tayo, gaya ng dati, sa kasaysayan.
Sa simula ay may isang salita, at ang salitang "Susubukan ba natin?"
Sa sandaling iyon nagtatrabaho ako bilang isang developer sa departamento ng R&D. Nagsimula ang lahat nang magbasa si Danil dito sa HabrΓ© β isang tool para sa pagsusuri ng mga transition ng user sa mga application. Medyo nag-aalinlangan ako tungkol sa ideya na gamitin ito dito. Bilang mga halimbawa, binanggit ng mga developer ng library ang pagsusuri ng mga application kung saan malinaw na tinukoy ang target na aksyon - paglalagay ng order o iba pang variation kung paano babayaran ang kumpanya ng may-ari. Ang aming mga produkto ay ibinibigay on-premise. Iyon ay, ang gumagamit ay unang bumili ng isang lisensya, at pagkatapos lamang magsisimula ang kanyang paglalakbay sa application. Oo, mayroon kaming mga bersyon ng demo. Maaari mong subukan ang produkto doon para hindi ka magkaroon ng baboy sa sundot.
Ngunit karamihan sa aming mga produkto ay naglalayong sa hosting market. Ito ay malalaking kliyente, at pinapayuhan sila ng departamento ng pagpapaunlad ng negosyo sa mga kakayahan ng produkto. Kasunod din nito na sa oras ng pagbili, alam na ng aming mga customer kung anong mga problema ang matutulungan ng aming software na malutas nila. Ang kanilang mga ruta sa application ay dapat na tumutugma sa CJM na naka-embed sa produkto, at ang mga solusyon sa UX ay makakatulong sa kanila na manatili sa track. Spoiler: hindi ito palaging nangyayari. Ang pagpapakilala sa silid-aklatan ay ipinagpaliban... ngunit hindi nagtagal.
Nagbago ang lahat sa paglabas ng aming startup - - mga platform para sa paglikha ng isang online na tindahan mula sa isang Instagram account. Sa application na ito, ang user ay binigyan ng dalawang linggong panahon upang gamitin ang lahat ng pag-andar nang libre. Pagkatapos ay kailangan mong magpasya kung mag-subscribe. At ito ay ganap na akma sa konsepto ng "ruta-target na aksyon". Napagpasyahan: subukan natin!
Mga unang resulta o kung saan kukuha ng mga ideya
Ikinonekta namin ng development team ang produkto sa sistema ng koleksyon ng kaganapan nang literal sa isang araw. Sasabihin ko kaagad na ang ISPsystem ay gumagamit ng sarili nitong system para sa pagkolekta ng mga kaganapan tungkol sa mga pagbisita sa pahina, ngunit walang pumipigil sa iyo mula sa paggamit ng Yandex.Metrica para sa parehong mga layunin, na nagbibigay-daan sa iyong mag-download ng raw data nang libre. Ang mga halimbawa ng paggamit ng library ay pinag-aralan, at pagkatapos ng isang linggo ng pagkolekta ng data ay nakatanggap kami ng isang transition graph.
Transition graph. Basic functionality, inalis ang iba pang mga transition para sa kalinawan
Ito ay naging tulad ng sa halimbawa: planar, malinaw, maganda. Mula sa graph na ito, natukoy namin ang pinakamadalas na ruta at pagtawid kung saan gumugugol ang mga tao ng pinakamahabang oras. Ito ay nagbigay-daan sa amin na maunawaan ang mga sumusunod:
- Sa halip na isang malaking CJM, na sumasaklaw sa isang dosenang entity, dalawa lang ang aktibong ginagamit. Kinakailangan din na idirekta ang mga user sa mga lugar na kailangan namin gamit ang mga solusyon sa UX.
- Ang ilang mga page, na idinisenyo ng mga UX designer upang maging end-to-end, ay nauuwi sa mga tao na gumugugol ng hindi makatwirang dami ng oras sa kanila. Kailangan mong malaman kung ano ang mga elemento ng paghinto sa isang partikular na pahina at ayusin ang mga ito.
- Pagkatapos ng 10 transition, 20% ng mga tao ang nagsimulang mapagod at umalis sa session sa application. At ito ay isinasaalang-alang ang katotohanan na mayroon kaming kasing dami ng 5 onboarding page sa application! Kailangan mong tukuyin ang mga page kung saan regular na inaalis ng mga user ang mga session at paikliin ang landas patungo sa kanila. Mas mabuti pa: tukuyin ang anumang mga regular na ruta at payagan ang isang mabilis na paglipat mula sa pinagmulang pahina patungo sa patutunguhang pahina. Isang bagay na karaniwan sa pagsusuri sa ABC at inabandunang pagsusuri sa cart, sa tingin mo ba?
At dito, muling isinaalang-alang namin ang aming saloobin sa pagiging angkop ng tool na ito para sa mga produktong nasa lugar. Napagpasyahan na pag-aralan ang isang aktibong ibinebenta at ginagamit na produkto - . Ito ay mas kumplikado, mayroong isang order ng magnitude higit pang mga entity. Kami ay nasasabik na naghihintay upang makita kung ano ang magiging transition graph.
Tungkol sa mga pagkabigo at inspirasyon
Pagkadismaya #1
Ito ay ang pagtatapos ng araw ng pagtatrabaho, ang katapusan ng buwan at ang katapusan ng taon sa parehong oras - ika-27 ng Disyembre. Ang data ay naipon, ang mga query ay naisulat na. May ilang segundo pa bago maproseso ang lahat at maaari naming tingnan ang resulta ng aming mga labor para malaman kung saan magsisimula ang susunod na taon ng trabaho. Ang departamento ng R&D, tagapamahala ng produkto, mga taga-disenyo ng UX, pinuno ng koponan, mga developer ay nagtipon sa harap ng monitor upang makita kung ano ang hitsura ng mga landas ng gumagamit sa kanilang produkto, ngunit... nakita namin ito:
Transition graph na binuo ng Retentioneering library
Inspirasyon #1
Malakas na konektado, dose-dosenang mga entity, hindi halatang mga sitwasyon. Malinaw lamang na ang bagong taon ng pagtatrabaho ay magsisimula hindi sa pagsusuri, ngunit sa pag-imbento ng isang paraan upang pasimplehin ang trabaho gamit ang gayong graph. Ngunit hindi ko maalis ang pakiramdam na ang lahat ay mas simple kaysa sa tila. At pagkatapos ng labinlimang minuto ng pag-aaral ng Retentioneering source code, na-export namin ang nabuong graph sa format na tuldok. Ginawa nitong posible na i-upload ang graph sa isa pang tool - Gephi. At mayroon nang saklaw para sa pagsusuri ng mga graph: mga layout, mga filter, mga istatistika - ang kailangan mo lang gawin ay i-configure ang mga kinakailangang parameter sa interface. Sa pag-iisip na ito, umalis kami para sa katapusan ng linggo ng Bagong Taon.
Pagkadismaya #2
Pagkatapos bumalik sa trabaho, lumabas na habang ang lahat ay nagpapahinga, ang aming mga kliyente ay nag-aaral ng produkto. Oo, napakahirap na lumitaw ang mga kaganapan sa imbakan na hindi pa umiiral noon. Nangangahulugan ito na ang mga query ay kailangang ma-update.
Isang maliit na background upang maunawaan ang kalungkutan ng katotohanang ito. Ipinapadala namin ang parehong mga kaganapan na minarkahan namin (halimbawa, mga pag-click sa ilang mga pindutan) at ang mga URL ng mga pahina na binisita ng user. Sa kaso ng Cartbee, gumana ang "isang aksyon - isang pahina". Ngunit sa VMmanager ang sitwasyon ay ganap na naiiba: maraming modal window ang maaaring magbukas sa isang pahina. Sa kanila ang gumagamit ay maaaring malutas ang iba't ibang mga problema. Halimbawa, URL:
/host/item/24/ip(modal:modal/host/item/ip/create)
nangangahulugan na sa pahina ng "Mga IP Address" ang user ay nagdagdag ng isang IP address. At narito ang dalawang problema ay nakikita nang sabay-sabay:
- Naglalaman ang URL ng ilang uri ng parameter ng path - ang ID ng virtual machine. Kailangan itong ibukod.
- Ang URL ay naglalaman ng modal window ID. Kailangan mong kahit papaano ay "i-unpack" ang mga naturang URL.
Ang isa pang problema ay ang mismong mga kaganapan na minarkahan namin ay may mga parameter. Halimbawa, mayroong limang magkakaibang paraan upang makapunta sa page na may impormasyon tungkol sa isang virtual machine mula sa listahan. Alinsunod dito, isang kaganapan ang ipinadala, ngunit may isang parameter na nagsasaad kung aling paraan ang ginawa ng user ng paglipat. Maraming ganoong mga kaganapan, at lahat ng mga parameter ay iba. At mayroon kaming lahat ng data retrieval logic sa SQL dialect para sa Clickhouse. Ang mga query ng 150-200 na linya ay nagsimulang magmukhang pangkaraniwan. Pinalibutan kami ng mga problema.
Inspirasyon #2
Isang madaling araw, si Danil, na malungkot na nag-i-scroll sa kahilingan para sa ikalawang minuto, ay nagmungkahi sa akin: "Let's write data processing pipelines?" Pinag-isipan namin ito at napagpasyahan na kung gagawin namin ito, ito ay magiging katulad ng ETL. Upang agad itong mag-filter at makuha ang kinakailangang data mula sa iba pang mga mapagkukunan. Ito ay kung paano ipinanganak ang aming unang analytical na serbisyo na may ganap na backend. Nagpapatupad ito ng limang pangunahing yugto ng pagproseso ng data:
- Pag-alis ng mga kaganapan mula sa hilaw na imbakan ng data at inihahanda ang mga ito para sa pagproseso.
- Ang paglilinaw ay ang "pag-unpack" ng mga mismong identifier ng modal window, mga parameter ng kaganapan at iba pang mga detalye na nagpapalinaw sa kaganapan.
- Ang pagpapayaman (mula sa salitang "upang yumaman") ay ang pagdaragdag ng mga kaganapan na may data mula sa mga mapagkukunan ng third-party. Noong panahong iyon, kasama lang dito ang aming billing system na BILLmanager.
- Ang pag-filter ay ang proseso ng pag-filter ng mga kaganapan na nakakasira sa mga resulta ng pagsusuri (mga kaganapan mula sa mga panloob na stand, outlier, atbp.).
- Pag-upload ng mga natanggap na kaganapan sa storage, na tinatawag naming malinis na data.
Ngayon ay posible nang mapanatili ang kaugnayan sa pamamagitan ng pagdaragdag ng mga panuntunan para sa pagproseso ng isang kaganapan o kahit na mga grupo ng mga katulad na kaganapan. Halimbawa, mula noon hindi na kami nag-update ng pag-unpack ng URL. Bagama't, sa panahong ito maraming bagong variation ng URL ang naidagdag. Sumusunod sila sa mga tuntuning inilatag na sa serbisyo at naproseso nang tama.
Pagkadismaya #3
Sa sandaling nagsimula kaming mag-analyze, napagtanto namin kung bakit napaka-coherent ng graph. Ang katotohanan ay halos bawat N-gram ay naglalaman ng mga transition na hindi maaaring isagawa sa pamamagitan ng interface.
Nagsimula ang isang maliit na pagsisiyasat. Nalilito ako na walang imposibleng mga transition sa loob ng isang entity. Nangangahulugan ito na hindi ito isang bug sa sistema ng koleksyon ng kaganapan o sa aming serbisyo ng ETL. May pakiramdam na ang user ay sabay-sabay na nagtatrabaho sa ilang entity, nang hindi lumilipat mula sa isa't isa. Paano ito makakamit? Paggamit ng iba't ibang tab sa browser.
Kapag sinusuri ang Cartbee, naligtas kami sa pagiging tiyak nito. Ang application ay ginamit mula sa mga mobile device, kung saan ang pagtatrabaho mula sa ilang mga tab ay hindi maginhawa. Dito mayroon kaming desktop at habang ginagawa ang isang gawain sa isang entity, makatuwirang gustuhing gugulin ang oras na ito sa pag-set up o pagsubaybay sa status sa isa pa. At upang hindi mawala ang pag-unlad, buksan lamang ang isa pang tab.
Inspirasyon #3
Itinuro ng mga kasamahan mula sa front-end na pag-unlad ang sistema ng koleksyon ng kaganapan upang makilala ang mga tab. Maaaring magsimula ang pagsusuri. At nagsimula na kami. Gaya ng inaasahan, hindi tumugma ang CJM sa mga totoong landas: gumugol ng maraming oras ang mga user sa mga pahina ng direktoryo, mga inabandunang session at tab sa mga hindi inaasahang lugar. Gamit ang transition analysis, nakahanap kami ng mga problema sa ilang mga build ng Mozilla. Sa mga ito, dahil sa mga tampok ng pagpapatupad, nawala ang mga elemento ng nabigasyon o ipinakita ang kalahating walang laman na mga pahina, na dapat lamang ma-access ng administrator. Binuksan ang page, ngunit walang content na nagmula sa backend. Ang pagbibilang ng mga transition ay naging posible upang suriin kung aling mga tampok ang aktwal na ginamit. Ginawang posible ng mga chain na maunawaan kung paano natanggap ng user ito o ang error na iyon. Ang data na pinapayagan para sa pagsubok batay sa gawi ng user. Ito ay isang tagumpay, ang ideya ay hindi walang kabuluhan.
Automation ng Analytics
Sa isa sa mga demonstrasyon ng mga resulta, ipinakita namin kung paano ginagamit ang Gephi para sa pagsusuri ng graph. Sa tool na ito, maaaring ipakita ang data ng conversion sa isang talahanayan. At ang pinuno ng departamento ng UX ay nagsabi ng isang napakahalagang pag-iisip na nakaimpluwensya sa pagbuo ng buong direksyon ng analytics ng pag-uugali sa kumpanya: "Gawin natin ang pareho, ngunit sa Tableau at may mga filter - ito ay magiging mas maginhawa."
Pagkatapos ay naisip ko: bakit hindi, iniimbak ng Retentioneering ang lahat ng data sa isang pandas.DataFrame structure. At ito ay, sa pangkalahatan, isang mesa. Ganito lumitaw ang isa pang serbisyo: Data Provider. Hindi lang siya gumawa ng talahanayan mula sa graph, ngunit kinakalkula din kung gaano kasikat ang page at ang functionality na nauugnay dito, kung paano ito nakakaapekto sa pagpapanatili ng user, kung gaano katagal nananatili ang mga user dito, at kung aling mga page ang madalas na iniiwan ng mga user. At ang paggamit ng visualization sa Tableau ay nagbawas sa gastos ng pag-aaral ng graph nang labis na ang oras ng pag-ulit para sa pagsusuri ng pag-uugali sa produkto ay halos nahati.
Pag-uusapan ni Danil kung paano ginagamit ang visualization na ito at kung anong mga konklusyon ang pinapayagan nitong iguhit.
Higit pang mga table para sa table god!
Sa isang pinasimpleng anyo, ang gawain ay binuo tulad ng sumusunod: ipakita ang transition graph sa Tableau, magbigay ng kakayahang mag-filter, at gawin itong malinaw at maginhawa hangga't maaari.
Hindi ko talaga gustong gumuhit ng direktang graph sa Tableau. At kahit na matagumpay, ang pakinabang, kumpara kay Gephi, ay tila hindi halata. Kailangan namin ng isang bagay na mas simple at mas madaling ma-access. Mesa! Pagkatapos ng lahat, ang graph ay madaling kinakatawan sa anyo ng mga hilera ng talahanayan, kung saan ang bawat hilera ay isang gilid ng uri ng "pinagmulan-destinasyon". Bukod dito, maingat na naming inihanda ang naturang talahanayan gamit ang mga tool sa Retentioneering at Data Provider. Ang natitira lang gawin ay ipakita ang talahanayan sa Tableau at halungkatin ang ulat.
Speaking of how everyone loves tables.
Gayunpaman, dito tayo ay nahaharap sa isa pang problema. Ano ang gagawin sa pinagmumulan ng data? Imposibleng ikonekta ang mga pandas.DataFrame; Walang ganoong connector ang Tableau. Ang pagtataas ng isang hiwalay na base para sa pag-iimbak ng graph ay tila masyadong radikal na solusyon na may hindi malinaw na mga prospect. At ang mga lokal na opsyon sa pagbabawas ay hindi angkop dahil sa pangangailangan para sa patuloy na manu-manong operasyon. Tiningnan namin ang listahan ng mga available na connectors, at bumagsak ang aming tingin sa item , na malungkot na yumakap sa pinakailalim.
Ang Tableau ay may maraming seleksyon ng mga konektor. Natagpuan namin ang isa na nakalutas sa aming problema
Anong klaseng hayop? Ilang bagong bukas na tab sa browser - at naging malinaw na pinapayagan ka ng connector na ito na makatanggap ng data kapag nag-a-access ng URL. Ang backend para sa pagkalkula ng data mismo ay halos handa na, ang natitira na lang ay gawin itong kaibigan sa WDC. Sa loob ng ilang araw, pinag-aralan ni Denis ang dokumentasyon at nakipaglaban sa mga mekanismo ng Tableau, at pagkatapos ay nagpadala sa akin ng isang link na aking na-paste sa window ng koneksyon.
Form ng koneksyon sa aming WDC. Ginawa ni Denis ang kanyang harapan at inalagaan ang kaligtasan
Pagkatapos ng ilang minutong paghihintay (ang data ay dynamic na kinakalkula kapag hiniling), lumitaw ang talahanayan:
Ito ang hitsura ng isang raw data array sa interface ng Tableau
Tulad ng ipinangako, ang bawat hilera ng naturang talahanayan ay kumakatawan sa isang gilid ng graph, iyon ay, isang nakadirekta na paglipat ng user. Naglalaman din ito ng ilang karagdagang mga katangian. Halimbawa, ang bilang ng mga natatanging user, ang kabuuang bilang ng mga transition, at iba pa.
Magiging posible na ipakita ang talahanayang ito sa ulat kung ano ang dati, masaganang pagwiwisik ng mga filter at ipadala ang tool sailing. Parang lohikal. Ano ang maaari mong gawin sa mesa? Ngunit hindi ito ang aming paraan, dahil gumagawa kami hindi lamang isang talahanayan, ngunit isang tool para sa pagsusuri at paggawa ng mga desisyon sa produkto.
Karaniwan, kapag nagsusuri ng data, gustong makakuha ng mga sagot sa mga tanong ang isang tao. Malaki. Magsimula tayo sa kanila.
- Ano ang mga madalas na paglipat?
- Saan sila pupunta mula sa mga partikular na pahina?
- Gaano katagal ka sa average sa page na ito bago umalis?
- Gaano kadalas mo ginagawa ang paglipat mula A hanggang B?
- Sa anong mga pahina nagtatapos ang session?
Ang bawat isa sa mga ulat o kumbinasyon ng mga ito ay dapat magbigay-daan sa user na independiyenteng makahanap ng mga sagot sa mga tanong na ito. Ang pangunahing diskarte dito ay upang bigyan ka ng mga tool upang gawin ito sa iyong sarili. Ito ay kapaki-pakinabang kapwa para sa pagbabawas ng load sa analytics department at para sa pagbawas ng oras para sa paggawa ng mga desisyon - pagkatapos ng lahat, hindi mo na kailangang pumunta sa Youtrack at lumikha ng isang gawain para sa analyst, kailangan mo lang buksan ang ulat.
Ano ang nakuha namin?
Saan madalas na lumilihis ang mga tao sa dashboard?
Fragment ng aming ulat. Pagkatapos ng dashboard, pumunta ang lahat sa listahan ng mga VM o sa listahan ng mga node
Kumuha tayo ng pangkalahatang talahanayan na may mga transition at i-filter ayon sa source page. Kadalasan, pumunta sila mula sa dashboard patungo sa listahan ng mga virtual machine. Bukod dito, ang column ng Regularity ay nagmumungkahi na ito ay isang paulit-ulit na pagkilos.
Saan sila nanggaling sa listahan ng mga kumpol?
Gumagana ang mga filter sa mga ulat sa parehong direksyon: maaari mong malaman kung saan ka umalis, o kung saan ka nagpunta
Mula sa mga halimbawa ay malinaw na kahit na ang pagkakaroon ng dalawang simpleng mga filter at mga hanay ng pagraranggo ayon sa mga halaga ay nagbibigay-daan sa iyo upang mabilis na makakuha ng impormasyon.
Magtanong tayo ng mas mahirap.
Saan madalas na iniiwan ng mga user ang kanilang session?
Ang mga gumagamit ng VMmanager ay madalas na gumagana sa magkahiwalay na mga tab
Upang gawin ito, kailangan namin ng ulat na ang data ay pinagsama-sama ng mga mapagkukunan ng referral. At ang tinatawag na breakepoints ay kinuha bilang mga takdang-aralin - mga kaganapan na nagsilbing pagtatapos ng chain of transitions.
Mahalagang tandaan dito na maaaring ito ang katapusan ng session o ang pagbubukas ng bagong tab. Ipinapakita ng halimbawa na ang chain ay kadalasang nagtatapos sa isang table na may listahan ng mga virtual machine. Sa kasong ito, lumilipat ang katangiang gawi sa isa pang tab, na naaayon sa inaasahang pattern.
Una sa lahat, sinubukan namin ang pagiging kapaki-pakinabang ng mga ulat na ito sa aming sarili nang isagawa namin ang pagsusuri sa katulad na paraan , isa pa sa aming mga produkto. Sa pagdating ng mga talahanayan at mga filter, ang mga hypotheses ay nasubok nang mas mabilis, at ang mga mata ay hindi gaanong pagod.
Kapag bumubuo ng mga ulat, hindi namin nakalimutan ang tungkol sa visual na disenyo. Kapag nagtatrabaho sa mga talahanayan na may ganitong laki, ito ay isang mahalagang kadahilanan. Halimbawa, gumamit kami ng kalmado na hanay ng mga kulay, madaling makita para sa mga numero, pag-highlight ng kulay ng mga linya alinsunod sa mga numerical na halaga ng mga katangian. Ang mga naturang detalye ay nagpapabuti sa karanasan ng gumagamit at nagpapataas ng posibilidad ng matagumpay na pag-alis ng tool sa loob ng kumpanya.
Ang talahanayan ay naging napakalaki, ngunit umaasa kami na hindi ito tumigil na mabasa
Mahalagang banggitin nang hiwalay ang tungkol sa pagsasanay ng aming mga panloob na kliyente: mga espesyalista sa produkto at mga taga-disenyo ng UX. Ang mga manual na may mga halimbawa ng pagsusuri at mga tip para sa pagtatrabaho sa mga filter ay espesyal na inihanda para sa kanila. Nagpasok kami ng mga link sa mga manual nang direkta sa mga pahina ng ulat.
Ginawa namin ang manwal bilang isang presentasyon sa Google Docs. Nagbibigay-daan sa iyo ang mga tool sa tableau na magpakita ng mga web page nang direkta sa loob ng workbook ng ulat.
sa halip ng isang epilogo
Ano ang nasa ilalim na linya? Nakuha namin ang isang tool para sa bawat araw na medyo mabilis at mura. Oo, tiyak na hindi ito kapalit ng mismong graph, ang heat map ng mga pag-click o ang web viewer. Ngunit ang mga naturang ulat ay makabuluhang umakma sa mga nakalistang tool at nagbibigay ng pagkain para sa pag-iisip at bagong produkto at mga hypotheses ng interface.
Ang kwentong ito ay nagsilbing simula lamang para sa pagbuo ng analytics sa ISPsystem. Sa nakalipas na anim na buwan, pito pang bagong serbisyo ang lumitaw, kabilang ang mga digital na larawan ng user sa produkto at isang serbisyo para sa paglikha ng mga database para sa Look-alike na pag-target, ngunit pag-uusapan natin ang tungkol sa mga ito sa mga susunod na yugto.
Pinagmulan: www.habr.com