Hemm mijiet ta’ artikli fuq l-Internet dwar il-benefiċċji tal-analiżi tal-imġieba tal-klijenti. Ħafna drabi dan jikkonċerna s-settur tal-bejgħ bl-imnut. Mill-analiżi tal-basket tal-ikel, analiżi ABC u XYZ għal marketing ta 'żamma u offerti personali. Diversi tekniki ġew użati għal għexieren ta 'snin, l-algoritmi ġew maħsuba, il-kodiċi ġie miktub u debugged - ħuha u użah. Fil-każ tagħna, qamet problema fundamentali waħda - aħna fl-ISPsystem aħna impenjati fl-iżvilupp tas-softwer, mhux bl-imnut.
Jisimni Denis u bħalissa jien responsabbli għall-backend tas-sistemi analitiċi f'ISPsystem. U din hija l-istorja ta’ kif jien u l-kollega tiegħi
Fil-bidu kien hemm kelma, u l-kelma kienet "Għandna nippruvaw?"
F'dak il-mument kont qed naħdem bħala żviluppatur fid-dipartiment tal-R&D. Kollox beda meta Danil qara hawn fuq Habré
Iżda ħafna mill-prodotti tagħna huma mmirati lejn is-suq tal-hosting. Dawn huma klijenti kbar, u d-dipartiment tal-iżvilupp tan-negozju jagħtihom parir dwar il-kapaċitajiet tal-prodott. Isegwi wkoll li fil-ħin tax-xiri, il-klijenti tagħna diġà jafu liema problemi s-softwer tagħna se jgħinhom isolvu. Ir-rotot tagħhom fl-applikazzjoni għandhom jikkoinċidu mas-CJM inkorporat fil-prodott, u s-soluzzjonijiet UX jgħinuhom jibqgħu fit-triq it-tajba. Spoiler: dan mhux dejjem iseħħ. L-introduzzjoni għal-librerija ġiet posposta... iżda mhux għal żmien twil.
Kollox inbidel bir-rilaxx tal-istartjar tagħna -
L-ewwel riżultati jew minn fejn tikseb l-ideat
It-tim tal-iżvilupp u jien konnessajna l-prodott mas-sistema tal-ġbir tal-avvenimenti litteralment f'ġurnata. Jien se ngħid mill-ewwel li l-ISPsystem juża s-sistema tiegħu stess għall-ġbir ta 'avvenimenti dwar iż-żjarat tal-paġna, iżda xejn ma jipprevjenik milli tuża Yandex.Metrica għall-istess skopijiet, li jippermettilek tniżżel dejta mhux ipproċessata b'xejn. Eżempji ta 'użu tal-librerija ġew studjati, u wara ġimgħa ta' ġbir ta 'dejta rċevejna graff ta' tranżizzjoni.
Graff tat-tranżizzjoni. Funzjonalità bażika, tranżizzjonijiet oħra mneħħija għaċ-ċarezza
Irriżulta bħal fl-eżempju: planari, ċara, sabiħa. Minn dan il-graff, stajna nidentifikaw l-aktar rotot frekwenti u qsim fejn in-nies iqattgħu l-itwal ħin. Dan ippermetta li nifhmu dan li ġej:
- Minflok CJM kbir, li jkopri tużżana entitajiet, tnejn biss huma użati b'mod attiv. Huwa meħtieġ li l-utenti jiġu diretti wkoll lejn il-postijiet li għandna bżonn billi tuża soluzzjonijiet UX.
- Xi paġni, iddisinjati minn disinjaturi UX biex ikunu tarf sa tarf, jispiċċaw bin-nies iqattgħu ħin mhux raġonevoli fuqhom. Ikollok bżonn tifhem x'inhuma l-elementi ta 'waqfien fuq paġna speċifika u aġġustahom.
- Wara 10 tranżizzjonijiet, 20% tan-nies bdew għajjien u jieqfu s-sessjoni fl-applikazzjoni. U dan qed jitqies il-fatt li kellna daqs 5 paġni ta' onboarding fl-applikazzjoni! Għandek bżonn tidentifika paġni fejn l-utenti jabbandunaw is-sessjonijiet regolarment u jqassru t-triq għalihom. Saħansitra aħjar: identifika kwalunkwe rotta regolari u tippermetti transizzjoni rapida mill-paġna tas-sors għall-paġna tad-destinazzjoni. Xi ħaġa komuni mal-analiżi ABC u l-analiżi tal-karrettun abbandunati, ma taħsibx?
U hawn ikkunsidrajna mill-ġdid l-attitudni tagħna għall-applikabilità ta 'din l-għodda għal prodotti fuq il-post. Ġie deċiż li jiġi analizzat prodott mibjugħ u użat b'mod attiv -
Dwar diżappunti u ispirazzjonijiet
Diżappunt #1
Kien l-aħħar tal-ġurnata tax-xogħol, l-aħħar tax-xahar u l-aħħar tas-sena fl-istess ħin - is-27 ta 'Diċembru. Id-dejta ġiet akkumulata, inkitbu mistoqsijiet. Kien fadal sekondi qabel kollox ġie pproċessat u stajna nħarsu lejn ir-riżultat tal-ħidma tagħna biex insiru nafu minn fejn kienet se tibda s-sena tax-xogħol li jmiss. Id-dipartiment tal-R&D, il-maniġer tal-prodott, id-disinjaturi tal-UX, it-tmexxija tat-tim, l-iżviluppaturi nġabru quddiem il-moniter biex jaraw kif jidhru l-mogħdijiet tal-utent fil-prodott tagħhom, iżda... rajna dan:
Graff ta’ tranżizzjoni mibni mil-librerija Retentioneering
Ispirazzjoni #1
Konnessi b'mod qawwi, għexieren ta 'entitajiet, xenarji mhux ovvji. Kien ċar biss li s-sena tax-xogħol il-ġdida se tibda mhux b'analiżi, iżda bl-invenzjoni ta 'mod biex tissimplifika x-xogħol b'tali graff. Imma ma stajtx inħawwad is-sensazzjoni li kollox kien ħafna aktar sempliċi milli deher. U wara ħmistax-il minuta ta 'studju tal-kodiċi tas-sors Retentioneering, stajna nesportaw il-graff mibni f'format ta' tikka. Dan għamilha possibbli li tittella’ l-grafika f’għodda oħra – Gephi. U diġà hemm skop għall-analiżi tal-grafiċi: taqsim, filtri, statistika - kull ma għandek tagħmel hu li tikkonfigura l-parametri meħtieġa fl-interface. B’dan il-ħsieb f’moħħna, tlaqna għall-weekend tal-Ewwel tas-Sena.
Diżappunt #2
Wara li rritorna għax-xogħol, irriżulta li waqt li kulħadd kien qed jistrieħ, il-klijenti tagħna kienu qed jistudjaw il-prodott. Iva, tant diffiċli li fil-ħażna dehru avvenimenti li ma kinux jeżistu qabel. Dan kien ifisser li l-mistoqsijiet kellhom jiġu aġġornati.
Ftit sfond biex tifhem id-dwejjaq ta’ dan il-fatt. Aħna nittrasmettu kemm l-avvenimenti li mmarkajna (pereżempju, klikks fuq xi buttuni) kif ukoll l-URLs tal-paġni li żar l-utent. Fil-każ ta 'Cartbee, il-mudell "azzjoni waħda - paġna waħda" ħadem. Iżda b'VMmanager is-sitwazzjoni kienet kompletament differenti: diversi twieqi modali setgħu jinfetħu fuq paġna waħda. Fihom l-utent jista 'jsolvi diversi problemi. Per eżempju, URL:
/host/item/24/ip(modal:modal/host/item/ip/create)
ifisser li fuq il-paġna "Indirizzi IP" l-utent żied indirizz IP. U hawn żewġ problemi huma viżibbli f'daqqa:
- Il-URL fih xi tip ta' parametru tal-passaġġ - l-ID tal-magna virtwali. Jeħtieġ li jiġi eskluż.
- Il-URL fih l-ID tat-tieqa modali. Għandek bżonn b'xi mod "unpack" tali URLs.
Problema oħra kienet li l-avvenimenti stess li mmarkajna kellhom parametri. Pereżempju, kien hemm ħames modi differenti biex tasal għall-paġna b'informazzjoni dwar magna virtwali mil-lista. Għaldaqstant, intbagħat avveniment wieħed, iżda b'parametru li indika liema metodu l-utent għamel it-tranżizzjoni. Kien hemm ħafna avvenimenti bħal dawn, u l-parametri kollha kienu differenti. U għandna l-loġika kollha tal-irkupru tad-data fid-djalett SQL għal Clickhouse. Mistoqsijiet ta' 150-200 linja kienu bdew jidhru kemmxejn komuni. Il-problemi madwarna.
Ispirazzjoni #2
Filgħodu kmieni, Danil, sfortunatament qed jiskrollja t-talba għat-tieni minuta, issuġġerili: "Ejja niktbu pipelines għall-ipproċessar tad-dejta?" Ħsibna dwarha u ddeċidejna li jekk konna se nagħmluha, tkun xi ħaġa bħal ETL. Sabiex tiffiltra immedjatament u tiġbed id-dejta meħtieġa minn sorsi oħra. Hekk twieled l-ewwel servizz analitiku tagħna b'backend sħiħ. Hija timplimenta ħames stadji ewlenin tal-ipproċessar tad-dejta:
- Ħatt ta 'avvenimenti mill-ħażna tad-dejta mhux ipproċessata u tħejjihom għall-ipproċessar.
- Il-kjarifika hija l-"unpacking" ta' dawk l-istess identifikaturi ta' twieqi modali, parametri tal-avveniment u dettalji oħra li jiċċaraw l-avveniment.
- L-arrikkiment (mill-kelma "biex issir sinjur") huwa ż-żieda ta 'avvenimenti b'dejta minn sorsi ta' partijiet terzi. F'dak iż-żmien, dan kien jinkludi biss is-sistema ta' kontijiet tagħna BILLmanager.
- L-iffiltrar huwa l-proċess ta 'filtrazzjoni ta' avvenimenti li jgħawġu r-riżultati tal-analiżi (avvenimenti minn stands interni, outliers, eċċ.).
- It-tlugħ ta' avvenimenti riċevuti fil-ħażna, li aħna nsejħulha data nadifa.
Issa kien possibbli li tinżamm ir-rilevanza billi jiżdiedu regoli għall-ipproċessar ta 'avveniment jew saħansitra gruppi ta' avvenimenti simili. Pereżempju, minn dakinhar qatt ma aġġornajna l-iżballaġġ tal-URL. Għalkemm, matul dan iż-żmien ġew miżjuda diversi varjazzjonijiet ġodda tal-URL. Huma jikkonformaw mar-regoli diġà stabbiliti fis-servizz u huma pproċessati b'mod korrett.
Diżappunt #3
Ladarba bdejna nanalizzaw, indunajna għaliex il-graff kien daqshekk koerenti. Il-fatt hu li kważi kull N-gramma kien fiha tranżizzjonijiet li ma setgħux jitwettqu permezz tal-interface.
Bdiet investigazzjoni żgħira. Kont konfuż li ma kienx hemm tranżizzjonijiet impossibbli fi ħdan entità waħda. Dan ifisser li dan mhuwiex bug fis-sistema tal-ġbir tal-avvenimenti jew is-servizz ETL tagħna. Kien hemm sensazzjoni li l-utent kien qed jaħdem simultanjament f'diversi entitajiet, mingħajr ma jiċċaqlaq minn wieħed għall-ieħor. Kif tikseb dan? Tuża tabs differenti fil-browser.
Meta analizzat Cartbee, konna salvati mill-ispeċifiċità tiegħu. L-applikazzjoni ntużat minn apparat mobbli, fejn ix-xogħol minn diversi tabs huwa sempliċement inkonvenjenti. Hawnhekk għandna desktop u waqt li biċċa xogħol tkun qed titwettaq f'entità waħda, huwa raġonevoli li trid tqatta 'dan il-ħin twaqqaf jew timmonitorja l-istatus f'oħra. U sabiex ma titlifx il-progress, iftaħ tab oħra.
Ispirazzjoni #3
Kollegi mill-iżvilupp front-end għallmu s-sistema tal-ġbir tal-avvenimenti biex jiddistingwu bejn tabs. L-analiżi tista' tibda. U bdejna. Kif kien mistenni, CJM ma qabbilx mogħdijiet reali: l-utenti qattgħu ħafna ħin fuq paġni tad-direttorju, sessjonijiet abbandunati u tabs fl-aktar postijiet mhux mistennija. Bl-użu tal-analiżi tat-tranżizzjoni, stajna nsibu problemi f'xi bini ta' Mozilla. Fihom, minħabba karatteristiċi ta 'implimentazzjoni, għebu elementi tan-navigazzjoni jew ġew murija paġni nofshom vojta, li għandhom ikunu aċċessibbli biss għall-amministratur. Il-paġna fetħet, iżda l-ebda kontenut ma ġie mill-backend. L-għadd tat-tranżizzjonijiet għamilha possibbli li jiġi evalwat liema karatteristiċi kienu attwalment użati. Il-ktajjen għamluha possibbli li wieħed jifhem kif l-utent irċieva dan jew dak l-iżball. Id-dejta permessa għall-ittestjar ibbażata fuq l-imġiba tal-utent. Kien suċċess, l-idea ma kinitx għalxejn.
Awtomazzjoni analitika
F'waħda mid-dimostrazzjonijiet tar-riżultati, urejna kif Gephi jintuża għall-analiżi tal-graff. F'din l-għodda, id-data ta 'konverżjoni tista' tintwera f'tabella. U l-kap tad-dipartiment UX qal ħsieb wieħed importanti ħafna li influwenza l-iżvilupp tad-direzzjoni kollha tal-analiżi tal-imġieba fil-kumpanija: "Ejja nagħmlu l-istess, iżda f'Tablew u bil-filtri - se jkun aktar konvenjenti."
Imbagħad ħsibt: għaliex le, Retentioneering jaħżen id-dejta kollha fi struttura pandas.DataFrame. U din hija, b'mod ġenerali, mejda. Hekk deher servizz ieħor: Data Provider. Huwa mhux biss għamel tabella mill-graff, iżda kkalkula wkoll kemm huma popolari l-paġna u l-funzjonalità assoċjata magħha, kif taffettwa ż-żamma tal-utenti, kemm l-utenti jibqgħu fuqha, u liema paġni jħallu l-utenti l-aktar spiss. U l-użu tal-viżwalizzazzjoni f'Tablew naqqas l-ispiża tal-istudju tal-graff tant li l-ħin ta 'iterazzjoni għall-analiżi tal-imġieba fil-prodott kien kważi naqas bin-nofs.
Danil se jitkellem dwar kif tintuża din il-viżwalizzazzjoni u liema konklużjonijiet tippermetti li tiġbed.
Aktar imwejjed għall-alla tal-mejda!
F'forma simplifikata, il-kompitu ġie fformulat kif ġej: uri l-graff tat-tranżizzjoni f'Tableau, ipprovdi l-abbiltà li tiffiltra, u tagħmilha ċara u konvenjenti kemm jista 'jkun.
Ma ridtx verament niġbed graff dirett f'Tableau. U anki jekk kellu suċċess, il- gwadann, meta mqabbel maʼ Gefi, ma deherx ovvju. Kellna xi ħaġa ferm aktar sempliċi u aċċessibbli. Tabella! Wara kollox, il-graff jista 'jiġi rappreżentat faċilment fil-forma ta' ringieli ta 'tabella, fejn kull ringiela hija tarf tat-tip "sors-destinazzjoni". Barra minn hekk, diġà ħejjejna bir-reqqa tabella bħal din bl-użu ta 'Retentioneering u għodod tal-Fornitur tad-Data. Kulma kien fadal kien li jintwera t-tabella fit-Tablew u jħarbat fir-rapport.
Nitkellmu dwar kif kulħadd iħobb l-imwejjed.
Madankollu, hawnhekk qed niffaċċjaw problema oħra. X'għandek tagħmel bis-sors tad-dejta? Kien impossibbli li tqabbad pandas.DataFrame; Tableau m'għandux konnettur bħal dan. Li titqajjem bażi separata għall-ħażna tal-graff deher soluzzjoni radikali wisq bi prospetti vagi. U l-għażliet tal-ħatt lokali ma kinux adattati minħabba l-ħtieġa għal operazzjonijiet manwali kostanti. Ħaresna permezz tal-lista ta 'konnetturi disponibbli, u l-ħarsa tagħna waqgħet fuq l-oġġett
Tableau għandu għażla rikka ta 'konnetturi. Sibna waħda li solviet il-problema tagħna
X'tip ta' annimal? Ftit tabs ġodda miftuħa fil-browser - u deher ċar li dan il-konnettur jippermettilek li tirċievi data meta taċċessa URL. Il-backend għall-kalkolu tad-dejta nnifisha kien kważi lest, dak kollu li baqa 'kien li jagħmilha ħbieb ma' WDC. Għal diversi jiem Denis studja d-dokumentazzjoni u ġġieled mal-mekkaniżmi tat-Table, u mbagħad bagħatli link li daħħalt fit-tieqa tal-konnessjoni.
Formola ta' konnessjoni mal-WDC tagħna. Denis għamel quddiem u ħa ħsieb is-sigurtà
Wara ftit minuti ta 'stennija (id-dejta hija kkalkulata b'mod dinamiku meta tintalab), it-tabella dehret:
Hekk tidher firxa ta' dejta mhux ipproċessata fl-interface ta' Tableau
Kif imwiegħed, kull ringiela ta 'tali tabella kienet tirrappreżenta tarf tal-graff, jiġifieri, transizzjoni diretta tal-utent. Fiha wkoll diversi karatteristiċi addizzjonali. Pereżempju, in-numru ta 'utenti uniċi, in-numru totali ta' tranżizzjonijiet, u oħrajn.
Ikun possibbli li din it-tabella tintwera fir-rapport kif inhu, ġenerożament sprinkle filtri u tibgħat l-għodda tbaħħar. Ħsejjes loġiku. X'tista' tagħmel bit-tabella? Iżda dan mhux il-mod tagħna, għaliex aħna qed nagħmlu mhux biss tabella, iżda għodda għall-analiżi u nieħdu deċiżjonijiet dwar il-prodott.
Tipikament, meta tanalizza d-dejta, persuna trid tikseb tweġibiet għall-mistoqsijiet. Kbir. Nibdew bihom.
- X'inhuma l-aktar transizzjonijiet frekwenti?
- Fejn imorru minn paġni speċifiċi?
- Kemm tqatta’ medja ta’ żmien fuq din il-paġna qabel ma titlaq?
- Kemm-il darba tagħmel it-tranżizzjoni minn A għal B?
- Fuq liema paġni tispiċċa s-sessjoni?
Kull wieħed mir-rapporti jew taħlita tagħhom għandhom jippermettu lill-utent biex isib tweġibiet għal dawn il-mistoqsijiet b'mod indipendenti. L-istrateġija ewlenija hawnhekk hija li tagħtik l-għodda biex tagħmel it yourself. Dan huwa utli kemm biex titnaqqas it-tagħbija fuq id-dipartiment analitiku kif ukoll biex jitnaqqas il-ħin biex jittieħdu deċiżjonijiet - wara kollox, m'għadx għandek bżonn tmur Youtrack u toħloq kompitu għall-analista, għandek bżonn biss tiftaħ ir-rapport.
X’ksibna?
Fejn in-nies l-aktar spiss jiddiverġu mid-dashboard?
Framment tar-rapport tagħna. Wara d-dashboard, kulħadd mar jew għal-lista ta 'VMs jew għal-lista ta' nodi
Ejja nieħdu tabella ġenerali bi tranżizzjonijiet u ffiltra mill-paġna tas-sors. Ħafna drabi, imorru mid-dashboard għal-lista ta 'magni virtwali. Barra minn hekk, il-kolonna tar-Regolarità tissuġġerixxi li din hija azzjoni ripetuta.
Minn fejn ġejjin għal-lista ta' clusters?
Il-filtri fir-rapporti jaħdmu fiż-żewġ direzzjonijiet: tista' ssib fejn tlaqt, jew fejn mort
Mill-eżempji huwa ċar li anke l-preżenza ta 'żewġ filtri sempliċi u ringieli ta' klassifikazzjoni skont il-valuri jippermettulek tikseb informazzjoni malajr.
Ejja nistaqsu xi ħaġa aktar diffiċli.
Fejn l-utenti l-aktar spiss jabbandunaw is-sessjoni tagħhom?
L-utenti ta 'VMmanager ħafna drabi jaħdmu f'tabs separati
Biex nagħmlu dan, għandna bżonn rapport li d-dejta tiegħu hija aggregata minn sorsi ta 'riferiment. U l-hekk imsejħa breakepoints ttieħdu bħala assenjazzjonijiet - avvenimenti li servew bħala tmiem il-katina tat-tranżizzjonijiet.
Huwa importanti li wieħed jinnota hawnhekk li dan jista 'jkun jew it-tmiem tas-sessjoni jew il-ftuħ ta' tab ġdida. L-eżempju juri li l-katina ħafna drabi tispiċċa fuq mejda b'lista ta 'magni virtwali. F'dan il-każ, l-imġiba karatteristika qed taqleb għal tab oħra, li hija konsistenti mal-mudell mistenni.
L-ewwel nett ittestjajna l-utilità ta’ dawn ir-rapporti fuqna nfusna meta għamilna l-analiżi b’mod simili
Meta niżviluppaw rapporti, ma ninsewx dwar id-disinn viżwali. Meta taħdem ma 'tabelli ta' dan id-daqs, dan huwa fattur importanti. Pereżempju, użajna firxa kalma ta 'kuluri, faċli biex wieħed ipperċepixxi
It-tabella rriżulta li kienet pjuttost voluminuża, iżda nittamaw li ma waqfitx tinqara
Ta’ min isemmi separatament dwar it-taħriġ tal-klijenti interni tagħna: speċjalisti tal-prodott u disinjaturi UX. Manwali b'eżempji ta 'analiżi u suġġerimenti biex jaħdmu bil-filtri ġew ippreparati apposta għalihom. Daħħalna links għal manwali direttament fil-paġni tar-rapport.
Għamilna l-manwal sempliċement bħala preżentazzjoni fil-Google Docs. L-għodod ta' Tableau jippermettulek turi paġni tal-web direttament ġewwa ktieb tax-xogħol tar-rapport.
Minflok l-epilogu
X'hemm fil-linja tal-qiegħ? Konna kapaċi nġibu għodda għal kull jum relattivament malajr u bl-irħis. Iva, dan żgur mhuwiex sostitut għall-graff innifsu, il-mappa tas-sħana tal-klikks jew it-telespettatur tal-web. Iżda rapporti bħal dawn jikkumplimentaw b'mod sinifikanti l-għodod elenkati u jipprovdu ikel għal ħsieb u prodotti ġodda u ipoteżijiet ta 'interface.
Din l-istorja serviet biss bħala l-bidu għall-iżvilupp ta 'analitika fl-ISPsystem. Matul l-aħħar sitt xhur, dehru seba 'servizzi ġodda oħra, inklużi ritratti diġitali ta' l-utent fil-prodott u servizz għall-ħolqien ta 'databases għall-immirar ta' Look-alike, iżda se nitkellmu dwarhom fl-episodji li ġejjin.
Sors: www.habr.com