Tablo an detay, reyèlman?

Tan pou rapòte nan Excel ap disparèt rapidman - tandans nan direksyon pou zouti pratik pou prezante ak analize enfòmasyon vizib nan tout domèn. Nou te diskite sou dijitalizasyon rapò sou entèn yo pou yon tan long epi nou te chwazi vizyalizasyon Tableau ak sistèm analiz oto-sèvis. Alexander Bezugly, ki an tèt depatman solisyon analyse ak rapò nan Gwoup M.Video-Eldorado, te pale sou eksperyans ak rezilta nan bati yon tablodbò konba.

Mwen pral di touswit ke se pa tout sa ki te planifye te reyalize, men eksperyans nan te enteresan, mwen espere ke li pral itil ou tou. Men, si yon moun gen nenpòt lide sou ki jan li ta ka fè pi byen, mwen ta trè rekonesan pou konsèy ou ak lide.

Anba koupe a se sou sa nou te rankontre ak sa nou te aprann sou.

Ki kote nou te kòmanse?

M.Video-Eldorado gen yon modèl done ki byen devlope: enfòmasyon estriktire ak pwofondè depo ki nesesè yo ak yon gwo kantite rapò fòm fiks (gade plis detay Atik sa). Soti nan sa yo, analis yo fè swa tab pivot oswa bilten fòma nan Excel, oswa bèl prezantasyon PowerPoint pou itilizatè fen yo.

Apeprè de zan de sa, olye pou yo rapò fòm fiks, nou te kòmanse kreye rapò analyse nan SAP Analiz (yon Excel ajoute sou, esansyèlman yon tablo pivot sou motè OLAP). Men, zouti sa a pa t 'kapab satisfè bezwen yo nan tout itilizatè yo; majorite a te kontinye sèvi ak enfòmasyon anplis trete pa analis yo.

Itilizatè final nou yo tonbe nan twa kategori:

Top jesyon. Mande enfòmasyon nan yon fason ki byen prezante ak byen konprann.

Mwayen jesyon, itilizatè avanse. Enterese nan eksplorasyon done ak kapab poukont yo bati rapò si zouti yo disponib. Yo te vin itilizatè kle nan rapò analyse nan SAP Analiz.

Itilizatè mas. Yo pa enterese analize done poukont yo; yo itilize rapò ak yon degre limite nan libète, nan fòma bilten ak tablo pivot nan Excel.

Lide nou se te kouvri bezwen tout itilizatè yo epi ba yo yon sèl zouti pratik. Nou deside kòmanse ak tèt jesyon. Yo te bezwen tablodbò fasil pou itilize pou analize rezilta kle biznis yo. Se konsa, nou te kòmanse ak Tableau e premye te chwazi de direksyon: lavant an detay ak endikatè sou entènèt ak pwofondè limite ak lajè nan analiz, ki ta kouvri apeprè 80% nan done yo mande nan tèt jesyon.

Depi itilizatè yo nan tablodbò yo te jesyon tèt, yon lòt KPI adisyonèl nan pwodwi a parèt - vitès repons. Pa gen moun ki pral tann 20-30 segonn pou done yo mete ajou. Navigasyon ta dwe fèt nan 4-5 segonn, oswa pi bon toujou, fè imedyatman. E nou, Ay, echwe pou reyalize sa a.

Men ki jan layout tablodbò prensipal nou an te sanble:

Lide kle a se konbine prensipal chofè KPI yo, nan ki te gen 19 nan total, sou bò gòch la epi prezante dinamik yo ak pann pa atribi prensipal sou bò dwat la. Travay la sanble senp, vizyalizasyon an se lojik ak konprann, jiskaske ou plonje nan detay yo.

Detay 1. Done volim

Tablo prensipal nou an pou lavant anyèl pran apeprè 300 milyon ranje. Piske li nesesè pou reflete dinamik pou ane pase a ak ane anvan an, volim done sou lavant aktyèl la se apeprè 1 milya liy. Enfòmasyon sou done planifye ak blòk lavant sou entènèt yo tou estoke separeman. Se poutèt sa, menm si nou te itilize kolon an nan memwa DB SAP HANA, vitès la nan rechèch la ak seleksyon an nan tout endikatè pou yon semèn nan depo aktyèl la sou vole a te apeprè 15-20 segonn. Solisyon an nan pwoblèm sa a sijere tèt li - materyèl adisyonèl nan done. Men, li tou gen enkonvenyans, plis sou yo anba a.

Detay 2. Endikatè ki pa aditif

Anpil nan KPI nou yo mare ak kantite resi yo. Epi endikatè sa a reprezante COUNT DISTINCT nan kantite ranje (tcheke headers) epi li montre diferan kantite depann sou atribi yo chwazi yo. Pou egzanp, ki jan yo ta dwe kalkile endikatè sa a ak derive li yo:

Pou fè kalkil ou yo kòrèk, ou kapab:

• Kalkile endikatè sa yo sou vole nan depo a;
• Fè kalkil sou tout volim done nan Tableau, i.e. sou demann nan tablo, bay tout done dapre filtè chwazi nan granularite nan pozisyon resi a;
• Kreye yon vitrin konkretize kote tout endikatè yo pral kalkile nan tout opsyon echantiyon ki bay diferan rezilta ki pa aditif.

Li klè ke nan egzanp lan UTE1 ak UTE2 se atribi materyèl ki reprezante yerachi pwodwi a. Sa a se pa yon bagay estatik; jesyon nan konpayi an pran plas atravè li, paske Manadjè diferan yo responsab pou gwoup pwodwi diferan. Nou te gen anpil revizyon mondyal nan yerachi sa a, lè tout nivo yo te chanje, lè relasyon yo te revize, ak chanjman pwen konstan, lè yon gwoup te deplase soti nan yon ne nan yon lòt. Nan rapò konvansyonèl yo, tout bagay sa yo kalkile sou vole soti nan atribi yo nan materyèl la; nan ka materyèl sa yo done, li nesesè yo devlope yon mekanis pou swiv chanjman sa yo ak otomatikman rechaje done istorik yo. Yon travay ki pa trivial.

Detay 3. Done konparezon

Pwen sa a sanble ak youn anvan an. Liy anba a se ke lè analize yon konpayi, li se nòmal yo fòme plizyè nivo nan konparezon ak peryòd anvan an:

Konparezon ak peryòd anvan an (jou a jou, semèn a semèn, mwa a mwa)

Nan konparezon sa a, li sipoze ke depann sou peryòd la chwazi pa itilizatè a (pa egzanp, 33yèm semèn nan ane a), nou ta dwe montre dinamik yo pa semèn nan 32yèm; si nou chwazi done pou yon mwa, pou egzanp, Me , Lè sa a, konparezon sa a ta montre dinamik yo pa avril.

Konparezon ak ane pase

Nuans prensipal la isit la se ke lè w konpare pa jou ak pa semèn, ou pa pran menm jou ane pase a, i.e. ou pa ka jis mete ane aktyèl la mwens youn. Ou dwe gade jou nan semèn w ap konpare a. Lè w konpare mwa, okontrè, ou bezwen pran egzakteman menm jou kalandriye ane pase a. Genyen tou nuans ak ane kwasans. Nan depo orijinal yo, tout enfòmasyon yo distribye pa jou; pa gen okenn jaden separe ak semèn, mwa, oswa ane. Se poutèt sa, jwenn yon koup transvèsal analyse konplè nan panèl la, ou bezwen konte pa yon peryòd, pou egzanp yon semèn, men 4 semèn, ak Lè sa a, konpare done sa yo, reflete dinamik yo, devyasyon. An konsekans, lojik sa a pou jenere konparezon nan dinamik kapab tou aplike swa nan tablo oswa sou bò devan magazen an. Wi, ak nan kou nou te konnen ak te panse sou detay sa yo nan etap nan konsepsyon, men li te difisil predi enpak yo sou pèfòmans nan tablodbò final la.

Lè nou aplike tablodbò a, nou te swiv chemen long Agile. Travay nou an se te bay yon zouti k ap travay ak done ki nesesè pou tès yo pi vit posib. Se poutèt sa, nou te ale nan sprint ak te kòmanse soti nan minimize travay sou bò a nan depo aktyèl la.

Pati 1: Lafwa nan tablo

Pou senplifye sipò IT epi aplike chanjman byen vit, nou deside fè lojik pou kalkile endikatè ki pa aditif yo ak konpare peryòd ki sot pase yo nan Tableau.

Etap 1. Tout bagay se Live, pa gen okenn modifikasyon fenèt.

Nan etap sa a, nou konekte Tableau ak devan magazen aktyèl yo epi nou deside wè ki jan kantite resi pou yon ane yo ta dwe kalkile.

Rezilta:

Repons lan te depresyon - 20 minit. Transfè done sou rezo a, gwo chaj sou tablo. Nou reyalize ke lojik ak endikatè ki pa aditif bezwen aplike sou HANA. Sa a pa t fè nou pè anpil, nou te deja gen eksperyans menm jan an ak BO ak analiz epi nou te konnen ki jan yo bati vit vit nan HANA ki pwodui kòrèkteman kalkile endikatè ki pa aditif. Koulye a, tout sa ki te rete se te ajiste yo nan Tableau.

Etap 2. Nou melodi ka ekspozisyon yo, pa gen okenn materyalizasyon, tout bagay sou vole.

Nou te kreye yon nouvo vitrin separe ki te pwodwi done ki nesesè pou TABLEAU sou vole. An jeneral, nou te jwenn yon bon rezilta; nou redwi tan pou jenere tout endikatè nan yon semèn a 9-10 segonn. Epi nou onètman espere ke nan Tableau tan repons tablodbò a ta dwe 20-30 segonn nan premye ouvèti a ak Lè sa a, akòz kachèt la soti nan 10 a 12, ki an jeneral ta kostim nou.

Rezilta:

Premye tablodbò louvri: 4-5 minit
Nenpòt klik: 3-4 minit
Pa gen moun ki te espere yon ogmantasyon adisyonèl konsa nan travay devan magazen an.

Pati 2. Plonje nan tablo

Etap 1. Analiz pèfòmans tablo ak akor rapid

Nou te kòmanse analize kote Tableau pase pifò tan li. Epi gen zouti trè bon pou sa a, ki, nan kou, se yon plis nan Tableau. Pwoblèm prensipal nou te idantifye se kesyon SQL trè konplèks ke Tableau t ap bati. Yo te asosye prensipalman ak:

- transpozisyon done. Piske Tableau pa gen zouti pou transpoze ansanm done yo, pou konstwi bò gòch tablodbò a ak yon reprezantasyon detaye tout KPI yo, nou te oblije kreye yon tab lè l sèvi avèk yon ka. Gwosè demann SQL nan baz done a te rive nan 120 karaktè.

- chwa peryòd tan. Yon rechèch konsa nan nivo baz done a te pran plis tan pou konpile pase pou egzekite:

Moun sa yo. demann pwosesis 12 segonn + 5 segonn ekzekisyon.

Nou te deside senplifye lojik kalkil la sou bò Tablo epi deplase yon lòt pati nan kalkil yo nan nivo vitrina ak baz done. Sa a te pote bon rezilta.

Premyèman, nou te fè transpozisyon an sou vole, nou te fè li atravè yon koneksyon plen ekstèn nan etap final la nan kalkil VIEW la, dapre apwòch sa a ki dekri sou wiki la. Transpose - Wikipedya, ansiklopedi gratis la и Matris elemantè - Wikipedya, ansiklopedi gratis la.

Sa vle di, nou te fè yon tab anviwònman - yon matris transpozisyon (21x21) epi nou te resevwa tout endikatè yo nan yon pann ranje-pa-ranje.

Te:


Te vin:


Prèske pa gen tan pase sou transpozisyon baz done a li menm. Demann pou tout endikatè pou semèn nan kontinye ap trete nan apeprè 10 segonn. Men, nan lòt men an, fleksibilite te pèdi an tèm de konstwi yon tablodbò ki baze sou yon endikatè espesifik, i.e. pou bò dwat la nan tablodbò a kote dinamik yo ak pann detaye nan yon endikatè espesifik yo prezante, deja ka ekspozisyon an te travay nan 1-3 segonn, paske demann lan te baze sou yon sèl endikatè, epi kounye a baz done a te toujou chwazi tout endikatè yo epi filtre rezilta a anvan yo retounen rezilta a nan Tableau.

Kòm yon rezilta, vitès la nan tablodbò a diminye pa prèske 3 fwa.

Rezilta:

1. 5 sec - analiz tablodbò, vizyalizasyon
2. 15-20 segonn - preparasyon pou konpile demann ak fè pre-kalkil nan tablo
3. 35-45 sec - konpilasyon demann SQL ak ekzekisyon paralèl-sekans yo nan Hana
4. 5 sec - pwosesis rezilta, klasman, rekalkile vizyalizasyon nan tablo
5. Natirèlman, rezilta sa yo pa t 'kostim biznis la, epi nou kontinye optimize.

Etap 2. Minimòm lojik nan tablo, materyalizasyon konplè

Nou te konprann ke li te enposib bati yon tablodbò ak yon tan repons nan plizyè segonn sou yon devan magazen ki kouri pou 10 segonn, epi nou konsidere opsyon pou konkretize done sou bò baz done espesyalman pou tablodbò ki nesesè yo. Men, nou te rankontre yon pwoblèm mondyal ki dekri pi wo a - endikatè ki pa aditif. Nou pa t 'kapab asire w ke lè chanje filtè oswa drilldowns, Tableau chanje fleksibilite ant diferan devan magazen ak nivo pre-ki fèt pou diferan yerachi pwodwi (nan egzanp lan, twa demann san UTE, ak UTE1 ak UTE2 jenere rezilta diferan). Se poutèt sa, nou deside senplifye tablodbò a, abandone yerachi pwodwi a nan tablodbò a epi wè ki jan vit li ta ka nan yon vèsyon senplifye.

Se konsa, nan dènye etap sa a, nou reyini yon depo separe kote nou te ajoute tout KPI yo nan fòm transpoze. Sou bò baz done a, nenpòt demann nan yon depo konsa trete nan 0,1 - 0,3 segonn. Nan tablodbò a nou te resevwa rezilta sa yo:

Premye ouvèti: 8-10 segonn
Nenpòt klik: 6-7 segonn

Tan Table pase a konsiste de:

1. 0,3 sec. — analiz tablodbò ak konpilasyon demann SQL
2. 1,5-3 sec. - ekzekisyon demann SQL nan Hana pou vizyalizasyon prensipal yo (kouri an paralèl ak etap 1)
3. 1,5-2 sec. — rann, rekalkile vizyalizasyon
4. 1,3sec. - ekzekisyon demann SQL adisyonèl pou jwenn valè filtre ki enpòtan (mak, divizyon, vil, magazen), analiz rezilta

Pou rezime li yon ti tan

Nou te renmen zouti Tableau nan yon pèspektiv vizyalizasyon. Nan etap nan pwototip, nou te konsidere divès kalite eleman vizyalizasyon epi nou te jwenn yo tout nan bibliyotèk, ki gen ladan konplèks segmentasyon milti-nivo ak kaskad milti-chofè.

Pandan n ap aplike tablodbò ak endikatè lavant kle yo, nou te rankontre difikilte pèfòmans ke nou poko kapab simonte. Nou te pase plis pase de mwa epi nou te resevwa yon tablodbò fonksyonèl enkonplè, vitès repons lan se sou wout pou l akseptab. Epi nou te tire konklizyon pou tèt nou:

1. Tableau pa ka travay ak gwo kantite done. Si nan modèl done orijinal la ou gen plis pase 10 GB done (apeprè 200 milyon X 50 ranje), Lè sa a, tablodbò a pral seryezman ralanti - soti nan 10 segonn a plizyè minit pou chak klike sou. Nou te fè eksperyans ak tou de viv-konekte ak ekstrè. Vitès fonksyònman an konparab.
2. Limitasyon lè w ap itilize plizyè depo (ansanm done). Pa gen okenn fason pou endike relasyon ki genyen ant seri done lè l sèvi avèk mwayen estanda. Si ou itilize solisyon pou konekte done, sa pral afekte anpil pèfòmans. Nan ka nou an, nou te konsidere opsyon pou konkretize done yo nan chak seksyon vi ki nesesè yo epi fè chanjman sou seri done sa yo materyalize pandan y ap prezève filtè yo te chwazi deja - sa a te vin enposib fè nan Tableau.
3. Li pa posib pou fè paramèt dinamik nan tablo. Ou pa ka ranpli yon paramèt ki itilize pou filtre yon seri done nan yon ekstrè oswa pandan yon koneksyon vivan ak rezilta yon lòt seleksyon nan seri done a oswa rezilta yon lòt rechèch SQL, sèlman opinyon itilizatè natif natal oswa yon konstan.
4. Limitasyon ki asosye ak bati yon tablodbò ak eleman OLAP|PivotTable.
   Nan MSTR, SAP SAC, SAP Analiz, si ou ajoute yon seri done nan yon rapò, Lè sa a, tout objè ki sou li yo gen rapò youn ak lòt pa default. Tableau pa genyen sa a; koneksyon an dwe konfigirasyon manyèlman. Sa a se pwobableman pi fleksib, men pou tout tablodbò nou yo sa a se yon kondisyon obligatwa pou eleman - kidonk sa a se depans travay adisyonèl. Anplis, si ou fè filtè ki gen rapò pou ke, pou egzanp, lè filtre yon rejyon, lis la nan vil yo limite sèlman nan vil yo nan rejyon sa a, ou imedyatman fini ak demann siksesif nan baz done a oswa Ekstrè, ki notables ralanti a. tablodbò.
5. Limit nan fonksyon yo. Transfòmasyon an mas pa ka fèt ni sou ekstrè a oswa, espesyalman, sou done ki soti nan Live-connecta. Sa ka fèt atravè Tableau Prep, men se travay adisyonèl ak yon lòt zouti pou aprann epi kenbe. Pou egzanp, ou pa ka transpoze done oswa rantre nan li ak tèt li. Ki sa ki fèmen nan transfòmasyon sou kolòn endividyèl oswa jaden, ki dwe chwazi nan ka oswa si, ak sa a jenere demann SQL trè konplèks, nan ki baz done a depanse pi fò nan tan li yo konpile tèks la rechèch. Sa yo enflexibilite nan zouti a te dwe rezoud nan nivo a vitrin, ki mennen nan depo pi konplèks, downloads adisyonèl ak transfòmasyon.

Nou pa t abandone Tableau. Men, nou pa konsidere Tableau kòm yon zouti ki kapab konstwi tablodbò endistriyèl ak yon zouti pou ranplase ak dijitalize tout sistèm rapò antrepriz yon konpayi.

Kounye a n ap aktivman devlope yon tablodbò ki sanble nan yon lòt zouti epi an menm tan n ap eseye revize achitekti tablodbò a nan tablo pou nou senplifye l plis toujou. Si kominote a enterese, n ap fè w konnen rezilta yo.

N ap tann tou ide w oswa konsèy ou sou kijan nan Tabeau ou ka bati tablodbò rapid sou gwo volim done sa yo, paske nou gen yon sit entènèt kote gen anpil plis done pase nan detay.

Sous: www.habr.com