Tími skýrslugerða í Excel er á hraðri leið að hverfa - þróunin í átt að hentugum verkfærum til að kynna og greina upplýsingar er sýnileg á öllum sviðum. Við höfum verið að ræða stafræna skýrslugerð innbyrðis í langan tíma og völdum Tableau sjón- og sjálfsafgreiðslukerfi. Alexander Bezugly, yfirmaður greiningarlausna og skýrsludeildar M.Video-Eldorado Group, talaði um reynsluna og árangurinn af því að byggja upp bardaga mælaborð.
Ég segi strax að ekki var allt sem var skipulagt að veruleika, en reynslan var áhugaverð, ég vona að hún muni nýtast þér líka. Og ef einhver hefur einhverjar hugmyndir um hvernig betur mætti fara þá væri ég mjög þakklátur fyrir ráð og hugmyndir.
Fyrir neðan klippuna er um það sem við lentum í og hvað við lærðum um.
Hvar byrjuðum við?
M.Video-Eldorado er með vel þróað gagnalíkan: skipulagðar upplýsingar með nauðsynlegri geymsludýpt og gríðarlega mikið af skýrslum í föstu formi (sjá nánari upplýsingar ). Úr þessu búa sérfræðingar annað hvort til snúningstöflur eða sniðin fréttabréf í Excel, eða fallegar PowerPoint kynningar fyrir notendur.
Fyrir um tveimur árum, í stað skýrslna í föstu formi, byrjuðum við að búa til greiningarskýrslur í SAP Analysis (Excel viðbót, í raun snúningstafla yfir OLAP vélinni). En þetta tól var ekki fær um að mæta þörfum allra notenda; meirihlutinn hélt áfram að nota upplýsingar sem unnar voru til viðbótar af sérfræðingum.
Notendur okkar falla í þrjá flokka:
Yfirstjórn. Óskar eftir upplýsingum á vel framsettan og skýrt skiljanlegan hátt.
Millistjórn, háþróaðir notendur. Hefur áhuga á gagnakönnun og getur sjálfstætt smíðað skýrslur ef tæki eru til staðar. Þeir urðu lykilnotendur greiningarskýrslna í SAP greiningu.
Fjölda notendur. Þeir hafa ekki áhuga á að greina gögn sjálfstætt, þeir nota skýrslur með takmörkuðu frelsi, á formi fréttabréfa og snúningstöflur í Excel.
Hugmynd okkar var að mæta þörfum allra notenda og gefa þeim eitt þægilegt tæki. Við ákváðum að byrja með yfirstjórn. Þeir þurftu auðveld í notkun mælaborð til að greina helstu niðurstöður fyrirtækja. Svo, við byrjuðum með Tableau og völdum fyrst tvær áttir: smásölu- og netsöluvísa með takmarkaðri dýpt og breidd greiningar, sem myndu ná til um það bil 80% af þeim gögnum sem yfirstjórn óskaði eftir.
Þar sem notendur mælaborðanna voru æðstu stjórnendur, birtist annar viðbótar KPI vörunnar - svarhraði. Enginn mun bíða í 20-30 sekúndur eftir að gögnin séu uppfærð. Leiðsögn hefði átt að fara fram innan 4-5 sekúndna, eða betra, gert samstundis. Og því miður tókst okkur ekki að ná þessu.
Svona leit útlitið á aðal mælaborðinu okkar út:
Lykilhugmyndin er að sameina helstu KPI reklana, sem voru alls 19, til vinstri og kynna gangverk þeirra og sundurliðun eftir helstu eiginleikum til hægri. Verkefnið virðist einfalt, sjónmyndin er rökrétt og skiljanleg, þar til þú kafar ofan í smáatriðin.
Smáatriði 1. Gagnamagn
Aðaltaflan okkar fyrir árssölu tekur um 300 milljónir raða. Þar sem nauðsynlegt er að endurspegla gangverkið fyrir síðasta ár og árið þar á undan er magn gagna um raunverulega sölu eingöngu um 1 milljarður lína. Upplýsingar um fyrirhuguð gögn og netsölublokk eru einnig geymdar sérstaklega. Þess vegna, jafnvel þó að við notuðum súlulaga í-minni DB SAP HANA, var hraði fyrirspurnarinnar með vali á öllum vísum í eina viku frá núverandi geymslu á flugu um 15-20 sekúndur. Lausnin á þessu vandamáli bendir til sjálfs sín - frekari efnisgerð gagna. En það hefur líka gildrur, meira um þá hér að neðan.
Smáatriði 2. Vísar sem ekki eru samsettir
Mörg KPI okkar eru bundin við fjölda kvittana. Og þessi vísir táknar COUNT DISTINCT af fjölda lína (athugaðu hausa) og sýnir mismunandi magn eftir völdum eiginleikum. Til dæmis, hvernig ætti að reikna þennan vísi og afleiðu hans:
Til að gera útreikninga þína rétta geturðu:
- Reiknaðu slíkar vísbendingar á flugu í geymslunni;
- Framkvæma útreikninga á öllu gagnamagninu í Tableau, þ.e. eftir beiðni í Tableau, gefðu upp öll gögn samkvæmt völdum síum í nákvæmni kvittunarstöðu;
- Búðu til efnislegan sýningarskáp þar sem allir vísbendingar verða reiknaðir út í öllum sýnishornsvalkostum sem gefa mismunandi niðurstöður sem ekki eru samsettar.
Það er ljóst að í dæminu eru UTE1 og UTE2 efnislegir eiginleikar sem tákna stigveldið vöru. Þetta er ekki kyrrstæður hlutur; stjórnun innan fyrirtækisins fer fram í gegnum það, vegna þess Mismunandi stjórnendur bera ábyrgð á mismunandi vöruflokkum. Við höfðum margar alþjóðlegar breytingar á þessu stigveldi, þegar öll stig breyttust, þegar sambönd voru endurskoðuð og stöðugar punktabreytingar, þegar einn hópur flutti frá einum hnút til annars. Í hefðbundinni skýrslugerð er allt þetta reiknað á flugu út frá eiginleikum efnisins; ef um er að ræða efnistöku þessara gagna er nauðsynlegt að þróa kerfi til að fylgjast með slíkum breytingum og sjálfkrafa endurhlaða söguleg gögn. Mjög léttvægt verkefni.
Smáatriði 3. Samanburður gagna
Þetta atriði er svipað og það fyrra. Niðurstaðan er sú að við greiningu fyrirtækis er venjan að mynda nokkur samanburðarstig við fyrra tímabil:
Samanburður við fyrra tímabil (dag til dag, viku til viku, mánuð til mánaðar)
Í þessum samanburði er gert ráð fyrir að allt eftir því tímabili sem notandinn velur (til dæmis 33. viku ársins), ættum við að sýna gangverkið fyrir 32. viku; ef við völdum gögn fyrir mánuð, til dæmis, maí , þá myndi þessi samanburður sýna gangverkið í apríl.
Samanburður við síðasta ár
Helsta blæbrigðið hér er að þegar borið er saman eftir degi og vikum er ekki verið að taka sama dag síðasta árs, þ.e. þú getur ekki bara sett núverandi ár mínus eitt. Þú verður að líta á vikudaginn sem þú ert að bera saman. Þegar mánuðir eru bornir saman þarf þvert á móti að taka nákvæmlega sama almanaksdag síðasta árs. Það eru líka blæbrigði með hlaupárum. Í upprunalegu geymslunum er öllum upplýsingum dreift eftir degi; það eru engir aðskildir reitir með vikum, mánuðum eða árum. Þess vegna, til að fá fullkomið greinandi þversnið í spjaldið, þarftu að telja ekki eitt tímabil, til dæmis viku, heldur 4 vikur, og bera síðan saman þessi gögn, endurspegla gangverki, frávik. Í samræmi við það er einnig hægt að útfæra þessa rökfræði til að búa til samanburð í gangverki annað hvort í Tableau eða á verslunarhliðinni. Já, og auðvitað vissum við og hugsuðum um þessi smáatriði á hönnunarstigi, en það var erfitt að spá fyrir um áhrif þeirra á frammistöðu loka mælaborðsins.
Við innleiðingu mælaborðsins fórum við hina löngu Agile leið. Verkefni okkar var að útvega vinnutæki með nauðsynlegum gögnum til að prófa eins fljótt og auðið er. Því fórum við á spretti og byrjuðum á því að lágmarka vinnu við hlið núverandi geymslu.
Part 1: Faith in Tableau
Til að einfalda upplýsingatækniaðstoð og fljótt innleiða breytingar ákváðum við að búa til rökfræði fyrir útreikninga á vísbendingum sem ekki eru samsettar og bera saman fyrri tímabil í Tableau.
Stig 1. Allt er í beinni, engar gluggabreytingar.
Á þessu stigi tengdum við Tableau við núverandi búðarglugga og ákváðum að sjá hvernig fjöldi kvittana fyrir eitt ár yrði reiknaður út.
Niðurstaða:
Svarið var niðurdrepandi - 20 mínútur. Flutningur gagna yfir netið, mikið álag á Tableau. Við gerðum okkur grein fyrir því að innleiða þarf rökfræði með vísbendingum sem ekki eru samsettar á HANA. Þetta hræddi okkur ekki mikið, við höfðum þegar svipaða reynslu af BO og Analysis og við vissum hvernig á að byggja upp hraðvirkar sýningarskápar í HANA sem framleiða rétt reiknaða vísbendingar sem ekki eru samsettar. Nú var ekki annað eftir en að laga þá að Tableau.
Stig 2. Við stillum sýningarskápana, ekkert efni, allt á flugu.
Við bjuggum til sérstakan nýjan sýningarskáp sem framleiddi nauðsynleg gögn fyrir TABLEAU á flugu. Almennt séð fengum við góða niðurstöðu; við styttum tíma til að búa til alla vísbendingar á einni viku í 9-10 sekúndur. Og við bjuggumst satt að segja við því að í Tableau væri viðbragðstími mælaborðsins 20-30 sekúndur við fyrstu opnun og síðan vegna skyndiminnis frá 10 til 12, sem almennt myndi henta okkur.
Niðurstaða:
Fyrsta opna mælaborðið: 4-5 mínútur
Hvaða smellur sem er: 3-4 mínútur
Enginn bjóst við slíkri viðbótaraukningu í starfi verslunarhússins.
Part 2. Kafa í Tableau
Stig 1. Tableau árangursgreining og fljótleg stilling
Við byrjuðum að greina hvar Tableau eyðir mestum tíma sínum. Og það eru til nokkuð góð verkfæri fyrir þetta, sem er auðvitað plús við Tableau. Helsta vandamálið sem við greindum var mjög flóknar SQL fyrirspurnir sem Tableau var að byggja. Þeir voru fyrst og fremst tengdir:
— innleiðing gagna. Þar sem Tableau er ekki með verkfæri til að yfirfæra gagnasöfn, til að byggja upp vinstri hlið mælaborðsins með nákvæmri framsetningu á öllum KPI, þurftum við að búa til töflu með tilviki. Stærð SQL fyrirspurna í gagnagrunninum náði 120 stöfum.
- val á tímabili. Slík fyrirspurn á gagnagrunnsstigi tók lengri tíma að setja saman en að framkvæma:
Þeir. beiðni vinnsla 12 sekúndur + 5 sekúndur framkvæmd.
Við ákváðum að einfalda útreikningsrökfræðina á Tableau hliðinni og færa annan hluta útreikninganna yfir á verslunarhlið og gagnagrunnsstig. Þetta skilaði góðum árangri.
Í fyrsta lagi gerðum við lögleiðinguna á flugi, við gerðum það í gegnum fulla ytri tengingu á lokastigi VIEW útreikningsins, samkvæmt þessari aðferð sem lýst er á wiki. и .
Það er, við gerðum stillingartöflu - lögleiðingarfylki (21x21) og fengum alla vísbendingar í sundurliðun röð fyrir röð.
Það var:
Það varð:
Nánast enginn tími fer í sjálfa innleiðingu gagnagrunnsins. Beiðnin um alla vísbendingar vikunnar hélt áfram að vinna á um 10 sekúndum. En á hinn bóginn hefur sveigjanleiki glatast hvað varðar að smíða mælaborð sem byggir á ákveðnum mælikvarða, þ.e. fyrir hægri hlið mælaborðsins þar sem gangverki og ítarleg sundurliðun tiltekins vísis er sýnd, áður virkaði skjárinn á 1-3 sekúndum, vegna þess að beiðnin var byggð á einum vísi og nú valdi gagnagrunnurinn alltaf alla vísbendingar og síaði niðurstöðuna áður en niðurstaðan var skilað til Tableau.
Fyrir vikið minnkaði hraði mælaborðsins um næstum 3 sinnum.
Niðurstaða:
- 5 sekúndur - þáttun mælaborða, sjónmyndir
- 15-20 sekúndur - undirbúningur fyrir að setja saman fyrirspurnir með því að framkvæma forútreikninga í Tableau
- 35-45 sek - samantekt SQL fyrirspurna og samhliða raðframkvæmd þeirra í Hana
- 5 sekúndur – vinnsla niðurstaðna, flokkun, endurútreikningur á sjónmyndum í Tableau
- Slíkar niðurstöður henta auðvitað ekki bransanum og við héldum áfram hagræðingu.
Stig 2. Lágmarksrökfræði í Tableau, algjör efnisgerð
Við skildum að það væri ómögulegt að búa til mælaborð með viðbragðstíma upp á nokkrar sekúndur á verslun sem keyrir í 10 sekúndur og við skoðuðum möguleika til að koma gögnum á gagnagrunnshlið sérstaklega fyrir tilskilið mælaborð. En við lentum í alþjóðlegu vandamáli sem lýst er hér að ofan - vísbendingar sem ekki eru samsettar. Við gátum ekki gengið úr skugga um að þegar skipt var um síur eða drilldowns skipti Tableau á sveigjanlegan hátt á milli mismunandi búða og stiga sem voru fyrirfram hönnuð fyrir mismunandi vörustigveldi (í dæminu gefa þrjár fyrirspurnir án UTE, með UTE1 og UTE2 mismunandi niðurstöður). Þess vegna ákváðum við að einfalda mælaborðið, yfirgefa vörustigveldið í mælaborðinu og sjá hversu hratt það gæti verið í einfaldaðri útgáfu.
Svo, á þessu síðasta stigi, settum við saman sérstaka geymslu þar sem við bættum við öllum KPIs í yfirfærðu formi. Á gagnagrunnsmegin er öll beiðni um slíka geymslu afgreidd á 0,1 - 0,3 sekúndum. Í mælaborðinu fengum við eftirfarandi niðurstöður:
Fyrsta opnun: 8-10 sekúndur
Hvaða smellur sem er: 6-7 sekúndur
Tíminn sem Tableau eyðir samanstendur af:
- 0,3 sek. — flokkun mælaborðs og samantekt á SQL fyrirspurnum
- 1,5-3 sek. — framkvæmd SQL fyrirspurna í Hana fyrir helstu sjónmyndir (kemur samhliða skrefi 1)
- 1,5-2 sek. — flutningur, endurútreikningur á sjónmyndum
- 1,3 sek. - Framkvæmd viðbótar SQL fyrirspurna til að fá viðeigandi síugildi (vörumerki, deild, borg, verslun), þáttunarniðurstöður
Til að draga það saman í stuttu máli
Okkur líkaði við Tableau tólið frá sjónrænu sjónarhorni. Á frumgerðastigi skoðuðum við ýmsa sjónræna þætti og fundum þá alla á bókasöfnum, þar á meðal flókna fjölþrepa skiptingu og fjöldrifs foss.
Þegar við innleiddum mælaborð með lykilsöluvísum lentum við í frammistöðuerfiðleikum sem við höfum ekki enn getað sigrast á. Við eyddum meira en tveimur mánuðum og fengum virka ófullkomið mælaborð, svarhraði sem er á mörkum viðunandi. Og við drógum ályktanir fyrir okkur sjálf:
- Tableau getur ekki unnið með mikið magn af gögnum. Ef í upprunalega gagnalíkaninu ertu með meira en 10 GB af gögnum (u.þ.b. 200 milljónir X 50 raðir), mun mælaborðið verulega hægja á sér - frá 10 sekúndum í nokkrar mínútur fyrir hvern smell. Við gerðum tilraunir með bæði live-connect og extract. Vinnuhraðinn er sambærilegur.
- Takmörkun þegar notuð eru margar geymslur (gagnasett). Það er engin leið til að gefa til kynna tengsl milli gagnasafna með því að nota staðlaðar leiðir. Ef þú notar lausnir til að tengja gagnasöfn mun þetta hafa mikil áhrif á frammistöðu. Í okkar tilviki íhuguðum við möguleikann á að koma gögnum í hvern tilskilinn yfirlitshluta og gera rofa á þessum efnissettu gagnasöfnum á meðan við varðveitum áður valdar síur - þetta reyndist ómögulegt að gera í Tableau.
- Það er ekki hægt að búa til kvikar breytur í Tableau. Þú getur ekki fyllt út færibreytu sem er notuð til að sía gagnasafn í útdrætti eða meðan á lifandi tengingu stendur með niðurstöðu annars vals úr gagnasafninu eða niðurstöðu annarrar SQL fyrirspurnar, aðeins innfæddur notandi inntak eða fasta.
- Takmarkanir sem tengjast því að byggja upp mælaborð með OLAP|PivotTable þáttum.
Í MSTR, SAP SAC, SAP Analysis, ef þú bætir gagnasafni við skýrslu, þá eru allir hlutir á henni sjálfgefið tengdir hver öðrum. Tableau er ekki með þetta; tengingin verður að stilla handvirkt. Þetta er líklega sveigjanlegra, en fyrir öll mælaborðin okkar er þetta skyldubundin krafa um þætti - þannig að þetta er viðbótarlaunakostnaður. Þar að auki, ef þú býrð til tengdar síur þannig að, til dæmis, þegar þú síar svæði, er listinn yfir borgir aðeins takmarkaður við borgir þessa svæðis, endarðu strax með röð fyrirspurnir í gagnagrunninn eða útdrátt, sem hægir verulega á mælaborð. - Takmarkanir í aðgerðum. Ekki er hægt að gera fjöldabreytingar hvorki á útdrættinum né, SÉRSTAKLEGA, á gagnapakkanum frá Live-connecta. Þetta er hægt að gera í gegnum Tableau Prep, en það er aukavinna og annað tæki til að læra og viðhalda. Til dæmis er ekki hægt að yfirfæra gögn eða sameina þau sjálf. Það sem er lokað með umbreytingum á einstökum dálkum eða reitum, sem verður að velja í gegnum case eða if, og þetta myndar mjög flóknar SQL fyrirspurnir, þar sem gagnagrunnurinn eyðir mestum tíma sínum í að setja saman fyrirspurnartextann. Þessi ósveigjanleiki tólsins þurfti að leysa á sýningarstigi, sem leiðir til flóknari geymslu, viðbótar niðurhals og umbreytinga.
Við höfum ekki gefist upp á Tableau. En við lítum ekki á Tableau sem tæki sem getur byggt upp iðnaðar mælaborð og tæki til að skipta út og stafræna allt fyrirtækjaskýrslukerfi fyrirtækisins.
Við erum nú virkir að þróa svipað mælaborð í öðru tæki og á sama tíma reynum við að endurskoða mælaborðsarkitektúrinn í Tableau til að einfalda hann enn frekar. Ef samfélagið hefur áhuga munum við segja þér frá niðurstöðunum.
Við erum líka að bíða eftir hugmyndum þínum eða ráðleggingum um hvernig í Tabeau þú getur byggt upp fljótleg mælaborð yfir svo mikið magn af gögnum, því við erum með vefsíðu þar sem það er miklu meira gögn en í smásölu.
Heimild: www.habr.com