Tableau sa retail, tinuod?

Ang oras sa pagreport sa Excel paspas nga nawala - ang uso padulong sa dali nga mga himan alang sa pagpresentar ug pag-analisar sa kasayuran makita sa tanan nga mga lugar. Kami sa internal nga naghisgot sa digitalization sa pagreport sa dugay nga panahon ug gipili ang Tableau visualization ug self-service analytics system. Si Alexander Bezugly, ang pangulo sa analytical solutions ug reporting department sa M.Video-Eldorado Group, naghisgot bahin sa kasinatian ug resulta sa pagtukod og combat dashboard.

Isulti ko dayon nga dili tanan nga giplano natuman, apan ang kasinatian makapaikag, nanghinaut ko nga kini mapuslanon usab kanimo. Ug kung adunay bisan kinsa nga adunay bisan unsang mga ideya kung giunsa kini mahimo nga labi ka maayo, ako mapasalamaton kaayo sa imong tambag ug mga ideya.

Ubos sa pagputol mao ang bahin sa kung unsa ang among nasugatan ug kung unsa ang among nahibal-an.

Asa ta nagsugod?

Ang M.Video-Eldorado adunay usa ka maayo nga naugmad nga modelo sa datos: istruktura nga impormasyon nga adunay gikinahanglan nga giladmon sa pagtipig ug daghang gidaghanon sa mga fixed-form nga mga taho (tan-awa ang dugang nga mga detalye niini nga artikulo). Gikan niini, ang mga analista naghimo sa mga pivot table o giporma nga mga newsletter sa Excel, o nindot nga mga presentasyon sa PowerPoint para sa mga end user.

Mga duha ka tuig na ang milabay, imbes nga mga fixed-form nga mga report, nagsugod kami sa paghimo og analytical nga mga report sa SAP Analysis (usa ka Excel add-on, usa ka pivot table sa ibabaw sa OLAP engine). Apan kini nga himan wala makahimo sa pagtagbo sa mga panginahanglan sa tanan nga mga tiggamit; ang kadaghanan nagpadayon sa paggamit sa impormasyon nga dugang giproseso sa mga analista.

Ang among mga end user nahulog sa tulo ka mga kategorya:

Taas nga pagdumala. Nangayo ug impormasyon sa maayong pagkapresentar ug tin-aw nga masabtan nga paagi.

Tunga nga pagdumala, mga advanced nga tiggamit. Interesado sa pagsuhid sa datos ug makahimo nga independente nga magtukod mga taho kung magamit ang mga himan. Nahimo silang panguna nga tiggamit sa analytical nga mga taho sa SAP Analysis.

Mass users. Dili sila interesado sa independente nga pag-analisar sa datos; gigamit nila ang mga taho nga adunay limitado nga lebel sa kagawasan, sa pormat sa mga newsletter ug pivot table sa Excel.

Ang among ideya mao ang pagtabon sa mga panginahanglan sa tanang tiggamit ug paghatag kanila og usa, sayon ​​nga himan. Nakahukom kami nga magsugod sa top management. Nagkinahanglan sila og sayon ​​​​gamiton nga mga dashboard aron pag-analisar sa mahinungdanong mga resulta sa negosyo. Mao nga, nagsugod kami sa Tableau ug una nga nagpili sa duha ka direksyon: retail ug online nga mga indikasyon sa pagbaligya nga adunay limitado nga giladmon ug gilapdon sa pagtuki, nga mosakup sa gibana-bana nga 80% sa datos nga gihangyo sa top management.

Tungod kay ang mga tiggamit sa mga dashboard mao ang top management, laing dugang nga KPI sa produkto ang nagpakita - ang katulin sa pagtubag. Walay usa nga maghulat 20-30 segundos alang sa data nga ma-update. Ang nabigasyon nahimo unta sulod sa 4-5 ka segundos, o mas maayo pa, gibuhat dayon. Ug kami, alaut, napakyas sa pagkab-ot niini.

Mao kini ang hitsura sa layout sa among main dashboard:

Ang yawe nga ideya mao ang paghiusa sa mga nag-unang KPI nga mga drayber, diin adunay 19 sa kinatibuk-an, sa wala ug ipakita ang ilang mga dinamika ug pagkahugno pinaagi sa mga nag-unang mga kinaiya sa tuo. Ang buluhaton morag yano, ang paghanduraw mao ang lohikal ug masabtan, hangtod nga mosalom ka sa mga detalye.

Detalye 1. Dami sa datos

Ang among nag-unang lamesa alang sa tinuig nga pagpamaligya mokabat sa mga 300 milyon nga mga laray. Tungod kay gikinahanglan nga ipakita ang mga dinamika sa miaging tuig ug sa miaging tuig, ang gidaghanon sa datos sa aktwal nga pagbaligya lamang mga 1 bilyon nga linya. Ang kasayuran sa giplano nga datos ug ang online sales block gitipigan usab nga gilain. Busa, bisan tuod kami migamit sa usa ka columnar in-memorya DB SAP HANA, ang katulin sa pangutana uban sa pagpili sa tanan nga mga indicators alang sa usa ka semana gikan sa kasamtangan nga storage sa langaw mao ang mahitungod sa 15-20 segundos. Ang solusyon sa kini nga problema nagsugyot sa kaugalingon - dugang nga materyalisasyon sa datos. Apan kini usab adunay mga lit-ag, labi pa bahin kanila sa ubos.

Detalye 2. Non-additive indicators

Daghan sa among mga KPI ang nahigot sa gidaghanon sa mga resibo. Ug kini nga timailhan nagrepresentar sa COUNT DISTINCT sa gidaghanon sa mga laray (check header) ug nagpakita sa lain-laing mga kantidad depende sa pinili nga mga hiyas. Pananglitan, kung giunsa ang pagkalkulo niini nga timailhan ug ang gigikanan niini:

Aron matul-id ang imong mga kalkulasyon, mahimo nimo:

• Kalkulahin ang ingon nga mga timailhan sa langaw sa pagtipig;
• Paghimo mga kalkulasyon sa tibuuk nga gidaghanon sa datos sa Tableau, i.e. sa hangyo sa Tableau, ihatag ang tanang datos sumala sa pinili nga mga pagsala sa granularity sa posisyon sa resibo;
• Paghimo ug usa ka materialized showcase diin ang tanan nga mga indicators kwentahon sa tanang sample nga mga opsyon nga naghatag ug lain-laing mga non-additive nga mga resulta.

Kini mao ang tin-aw nga sa panig-ingnan UTE1 ug UTE2 materyal nga mga hiyas nga nagrepresentar sa produkto hierarchy. Dili kini usa ka static nga butang; ang pagdumala sa sulod sa kompanya mahitabo pinaagi niini, tungod kay Ang lainlaing mga managers ang responsable sa lainlaing mga grupo sa produkto. Kami adunay daghang mga global nga pagbag-o sa kini nga hierarchy, kung ang tanan nga lebel nausab, kung ang mga relasyon gibag-o, ug kanunay nga pagbag-o sa punto, kung ang usa ka grupo mibalhin gikan sa usa ka node ngadto sa lain. Sa naandan nga pagreport, kining tanan gikalkula sa langaw gikan sa mga kinaiya sa materyal; sa kaso sa pag-materialize sa kini nga datos, kinahanglan nga maghimo usa ka mekanismo alang sa pagsubay sa ingon nga mga pagbag-o ug awtomatiko nga i-reload ang makasaysayan nga datos. Usa ka dili kaayo hinungdanon nga buluhaton.

Detalye 3. Pagkumpara sa datos

Kini nga punto susama sa miaging usa. Ang hinungdan mao nga kung mag-analisar sa usa ka kompanya, naandan nga maghimo daghang lebel sa pagtandi sa miaging panahon:

Pagkumpara sa miaging panahon (adlaw-adlaw, semana sa semana, bulan sa bulan)

Sa kini nga pagtandi, gituohan nga depende sa panahon nga gipili sa tiggamit (pananglitan, ang ika-33 nga semana sa tuig), kinahanglan naton ipakita ang mga dinamika sa ika-32 nga semana; kung gipili namon ang datos sa usa ka bulan, pananglitan, Mayo , unya kini nga pagtandi magpakita sa dinamika sa Abril.

Pagkumpara sa miaging tuig

Ang nag-unang nuance dinhi mao nga kon itandi sa adlaw ug sa semana, kamo dili pagkuha sa sama nga adlaw sa miaging tuig, i.e. dili lang nimo ibutang ang kasamtangang tuig nga minus one. Kinahanglan nimong tan-awon ang adlaw sa semana nga imong gitandi. Kung itandi ang mga bulan, sa sukwahi, kinahanglan nimo nga kuhaon ang parehas nga adlaw sa kalendaryo sa miaging tuig. Adunay usab mga nuances nga adunay mga tuig sa paglukso. Sa orihinal nga mga repository, ang tanang impormasyon giapod-apod sa adlaw; walay bulag nga field nga adunay mga semana, bulan, o tuig. Busa, aron makuha ang usa ka kompleto nga analytical cross-section sa panel, kinahanglan nimo nga mag-ihap dili usa ka panahon, pananglitan usa ka semana, apan 4 nga mga semana, ug unya itandi kini nga mga datos, ipakita ang mga dinamika, mga pagtipas. Tungod niini, kini nga lohika alang sa paghimo og mga pagtandi sa dinamika mahimo usab nga ipatuman sa Tableau o sa kilid sa storefront. Oo, ug siyempre nahibal-an ug gihunahuna namon kini nga mga detalye sa yugto sa disenyo, apan lisud ang pagtagna sa ilang epekto sa pasundayag sa katapusan nga dashboard.

Kung gipatuman ang dashboard, gisundan namon ang taas nga agianan nga Agile. Ang among tahas mao ang paghatag usa ka nagtrabaho nga himan nga adunay kinahanglan nga datos alang sa pagsulay sa labing kadali nga mahimo. Busa, kami miadto sa mga sprint ug nagsugod gikan sa pagminus sa trabaho sa kilid sa kasamtangan nga storage.

Bahin 1: Pagtuo sa Tableau

Aron mapasimple ang suporta sa IT ug dali nga ipatuman ang mga pagbag-o, nakahukom kami nga himuon ang lohika alang sa pagkalkula sa mga dili additive nga mga indikasyon ug pagtandi sa nangaging mga panahon sa Tableau.

Stage 1. Ang tanan Live, walay mga pagbag-o sa bintana.

Niini nga yugto, among gikonektar ang Tableau ngadto sa kasamtangan nga mga storefront ug nakahukom nga tan-awon kung giunsa pagkuwenta ang gidaghanon sa mga resibo sa usa ka tuig.

Resulta:

Ang tubag makapaguol - 20 minutos. Pagbalhin sa datos sa network, taas nga load sa Tableau. Naamgohan namo nga ang lohika nga adunay mga non-additive indicators kinahanglang ipatuman sa HANA. Kini wala kaayo makahadlok kanamo, kami adunay susama nga kasinatian sa BO ug Pag-analisar ug nahibal-an namon kung unsaon paghimo sa paspas nga mga showcase sa HANA nga naghimo sa husto nga pagkalkulo nga dili additive indicators. Karon ang nahabilin mao ang pagpahiangay kanila sa Tableau.

Stage 2. Gitune namo ang mga display case, walay materialization, ang tanan sa langaw.

Naghimo kami usa ka lahi nga bag-ong showcase nga naghimo sa gikinahanglan nga datos alang sa TABLEAU sa dali. Sa kinatibuk-an, nakakuha kami usa ka maayo nga sangputanan; gipakubus namon ang oras sa paghimo sa tanan nga mga timailhan sa usa ka semana ngadto sa 9-10 segundos. Ug kami matinud-anon nga nagpaabut nga sa Tableau ang oras sa pagtubag sa dashboard mahimong 20-30 segundos sa una nga pag-abli ug pagkahuman tungod sa cache gikan sa 10 hangtod 12, nga sa kinatibuk-an mohaum kanamo.

Resulta:

Unang bukas nga dashboard: 4-5 ka minuto
Bisan unsang pag-klik: 3-4 ka minuto
Walay usa nga nagdahom sa maong dugang nga pag-uswag sa trabaho sa atubangan sa tindahan.

Bahin 2. Pag-dive sa Tableau

Stage 1. Tableau performance analysis ug dali nga tuning

Nagsugod kami sa pag-analisar kung diin gigugol sa Tableau ang kadaghanan sa oras niini. Ug adunay maayo kaayo nga mga himan alang niini, nga, siyempre, usa ka dugang sa Tableau. Ang panguna nga problema nga among nahibal-an mao ang labi ka komplikado nga mga pangutana sa SQL nga gitukod sa Tableau. Sila nag-una nga nakig-uban sa:

- pagbalhin sa datos. Tungod kay ang Tableau walay mga himan alang sa pagbalhin sa mga dataset, aron matukod ang wala nga bahin sa dashboard nga adunay usa ka detalyado nga representasyon sa tanan nga mga KPI, kinahanglan nga maghimo kami usa ka lamesa gamit ang usa ka kaso. Ang gidak-on sa mga pangutana sa SQL sa database miabot sa 120 ka mga karakter.

- pagpili sa yugto sa panahon. Ang ingon nga pangutana sa lebel sa database nagkinahanglag daghang oras sa pag-compile kaysa pag-execute:

Mga. hangyo sa pagproseso sa 12 segundos + 5 segundos pagpatuman.

Nakahukom kami nga pasimplehon ang lohika sa pagkalkula sa kilid sa Tableau ug ibalhin ang laing bahin sa mga kalkulasyon sa lebel sa storefront ug database. Nagdala kini ug maayong mga resulta.

Una, gihimo namo ang transposisyon sa langaw, gihimo namo kini pinaagi sa usa ka bug-os nga gawas nga pagsalmot sa katapusang yugto sa kalkulasyon sa VIEW, sumala niini nga pamaagi nga gihulagway sa wiki Transpose - Wikipedia, ang libre nga ensiklopedia и Elementary matrix - Wikipedia, ang libre nga ensiklopedya.

Sa ato pa, naghimo kami usa ka lamesa sa pagpahimutang - usa ka transposition matrix (21x21) ug nadawat ang tanan nga mga timailhan sa usa ka row-by-row breakdown.

Kaniadto:


Kini nahimong:


Halos walay panahon nga gigugol sa database transposition mismo. Ang hangyo alang sa tanan nga mga timailhan alang sa semana nagpadayon sa pagproseso sa mga 10 segundos. Apan sa laing bahin, ang pagka-flexible nawala sa mga termino sa pagtukod sa usa ka dashboard base sa usa ka piho nga timailhan, i.e. alang sa tuo nga kilid sa dashboard, diin ang mga dinamika ug detalyado nga pagkaguba sa usa ka piho nga timailhan gipresentar, kaniadto ang display window nagtrabaho sa 1-3 segundos, tungod kay ang hangyo gibase sa usa ka timailhan, ug karon ang database kanunay nga gipili ang tanan nga mga timailhan ug gisala ang resulta sa wala pa ibalik ang resulta sa Tableau.

Ingon usa ka sangputanan, ang katulin sa dashboard mikunhod sa hapit 3 ka beses.

Resulta:

1. 5 segundos - pag-parse sa mga dashboard, visualization
2. 15-20 segundos - pag-andam alang sa pag-compile sa mga pangutana sa paghimo sa pre-calculations sa Tableau
3. 35-45 sec - paghugpong sa mga pangutana sa SQL ug sa ilang parallel-sequential nga pagpatuman sa Hana
4. 5 sec - pagproseso sa mga resulta, pag-sort, pag-recalculate sa mga visualization sa Tableau
5. Siyempre, ang ingon nga mga resulta dili angay sa negosyo, ug nagpadayon kami sa pag-optimize.

Stage 2. Minimum nga lohika sa Tableau, kompleto nga materyalisasyon

Nasabtan namo nga imposible ang paghimo og dashboard nga adunay tubag nga oras sa pipila ka segundo sa usa ka storefront nga modagan sulod sa 10 segundos, ug among gikonsiderar ang mga opsyon alang sa pag-materialize sa datos sa database nga bahin ilabi na sa gikinahanglan nga dashboard. Apan nasugatan namo ang usa ka global nga problema nga gihulagway sa ibabaw - non-additive indicators. Wala kami makasiguro nga kung mag-ilis sa mga filter o drilldown, ang Tableau dali nga nagbalhin sa taliwala sa lainlaing mga storefront ug lebel nga gidesinyo nang daan alang sa lainlaing mga hierarchy sa produkto (sa pananglitan, tulo nga mga pangutana nga wala ang UTE, nga adunay UTE1 ug UTE2 nga makamugna og lainlaing mga resulta). Busa, nakahukom kami nga pasimplehon ang dashboard, biyaan ang hierarchy sa produkto sa dashboard ug tan-awa kung unsa kini kadali sa usa ka gipasimple nga bersyon.

Busa, niining kataposang yugto, nagtigom kami ug bulag nga tipiganan diin among gidugang ang tanang KPI sa gibalhin nga porma. Sa bahin sa database, ang bisan unsang hangyo sa ingon nga pagtipig giproseso sa 0,1 - 0,3 segundo. Sa dashboard nadawat namo ang mosunod nga mga resulta:

Unang pag-abli: 8-10 segundos
Bisan unsang pag-klik: 6-7 segundos

Ang oras nga gigugol sa Tableau naglangkob sa:

1. 0,3 ka seg. - pag-parse sa dashboard ug pagtipon sa mga pangutana sa SQL
2. 1,5-3 ka seg. - pagpatuman sa mga pangutana sa SQL sa Hana para sa mga nag-unang visualization (nagdagan nga managsama sa lakang 1)
3. 1,5-2 ka seg. - paghubad, pagkalkula pag-usab sa mga visualization
4. 1,3 ka seg. - pagpatuman sa dugang nga mga pangutana sa SQL aron makuha ang may kalabutan nga mga kantidad sa filter (Brand, Division, City, Store), mga resulta sa pag-parse

Sa pagsumada niini sa makadiyot

Ganahan mi sa tool sa Tableau gikan sa panglantaw sa visualization. Sa yugto sa prototyping, among gikonsiderar ang lainlaing mga elemento sa visualization ug nakit-an silang tanan sa mga librarya, lakip ang komplikado nga multi-level segmentation ug multi-driver waterfall.

Samtang nag-implementar sa mga dashboard nga adunay mahinungdanong mga indikasyon sa pagbaligya, nakasugat kami og mga kalisud sa performance nga wala pa namo mabuntog. Naggugol kami og sobra sa duha ka bulan ug nakadawat og usa ka dili kompleto nga dashboard, ang katulin sa pagtubag nga hapit na madawat. Ug naghimo kami og mga konklusyon alang sa among kaugalingon:

1. Ang Tableau dili molihok sa daghang mga datos. Kung sa orihinal nga modelo sa datos ikaw adunay labaw pa sa 10 GB nga datos (gibana-bana nga 200 milyon nga X 50 nga mga laray), nan ang dashboard seryoso nga mohinay - gikan sa 10 segundos hangtod sa daghang minuto alang sa matag pag-klik. Nag-eksperimento kami sa parehas nga live-connect ug extract. Ang katulin sa pag-opera parehas.
2. Limitasyon kung mogamit daghang mga pagtipig (mga set sa datos). Walay paagi sa pagpakita sa relasyon tali sa mga dataset gamit ang standard nga paagi. Kung mogamit ka og mga workaround aron makonektar ang mga dataset, dako kinig epekto sa performance. Sa among kaso, gikonsiderar namon ang kapilian sa pag-materialize sa datos sa matag gikinahanglan nga seksyon sa pagtan-aw ug paghimo sa mga switch sa kini nga materyal nga mga datasets samtang gipreserbar ang kaniadto nga gipili nga mga pagsala - kini nahimo nga imposible nga buhaton sa Tableau.
3. Dili mahimo ang paghimo sa mga dinamikong parameter sa Tableau. Dili nimo mapun-an ang usa ka parameter nga gigamit sa pagsala sa usa ka dataset sa usa ka kinuha o sa panahon sa usa ka live-connecte uban sa resulta sa laing pagpili gikan sa dataset o ang resulta sa laing SQL pangutana, lumad nga user input lamang o usa ka kanunay.
4. Mga limitasyon nga nalangkit sa paghimo ug dashboard gamit ang OLAP|PivotTable nga mga elemento.
   Sa MSTR, SAP SAC, SAP Analysis, kung magdugang ka usa ka dataset sa usa ka taho, nan ang tanan nga mga butang niini adunay kalabutan sa usag usa pinaagi sa default. Ang Tableau wala niini; ang koneksyon kinahanglan nga i-configure sa mano-mano. Kini tingali mas flexible, apan alang sa tanan namong mga dashboard kini usa ka mandatory nga kinahanglanon alang sa mga elemento - busa kini dugang nga gasto sa pagtrabaho. Dugang pa, kung maghimo ka nga may kalabutan nga mga pagsala aron, pananglitan, kung nagsala sa usa ka rehiyon, ang lista sa mga lungsod limitado lamang sa mga lungsod sa kini nga rehiyon, dayon matapos nimo ang sunud-sunod nga mga pangutana sa database o Extract, nga mamatikdan nga nagpahinay dashboard.
5. Mga limitasyon sa mga gimbuhaton. Ang mga pagbag-o sa masa dili mahimo sa kinuha o, LABINA, sa dataset gikan sa Live-connecta. Mahimo kini pinaagi sa Tableau Prep, apan kini dugang nga trabaho ug laing himan aron makat-on ug mamentinar. Pananglitan, dili nimo mabalhin ang datos o maapil kini sa iyang kaugalingon. Unsa ang gisirhan pinaagi sa mga pagbag-o sa indibidwal nga mga kolum o mga natad, nga kinahanglan mapili pinaagi sa kaso o kung, ug kini nagmugna labi ka komplikado nga mga pangutana sa SQL, diin ang database naggugol sa kadaghanan sa iyang oras sa pagtipon sa teksto sa pangutana. Kini nga pagkadili-mabag-o sa himan kinahanglan nga masulbad sa lebel sa showcase, nga nagdala sa labi ka komplikado nga pagtipig, dugang nga pag-download ug pagbag-o.

Wala mi ni give up sa Tableau. Apan wala namo isipa ang Tableau isip usa ka himan nga makahimo sa pagtukod sa mga dashboard sa industriya ug usa ka himan nga gamiton sa pag-ilis ug pag-digitize sa tibuok nga corporate reporting system sa usa ka kompanya.

Aktibo na kami karon nga nagpalambo og susama nga dashboard sa laing himan ug, sa samang higayon, naningkamot sa pag-usab sa arkitektura sa dashboard sa Tableau aron mas pasimplehon kini. Kung interesado ang komunidad, isulti namo kanimo ang mga resulta.

Naghulat usab kami sa imong mga ideya o tambag kung giunsa nimo paghimo sa Tabeau ang dali nga mga dashboard sa ingon kadako nga mga volume sa datos, tungod kay kami adunay usa ka website diin adunay daghang mga datos kaysa sa retail.

Source: www.habr.com