Mae'r amser ar gyfer adrodd yn Excel yn prysur ddiflannu - mae'r duedd tuag at offer cyfleus ar gyfer cyflwyno a dadansoddi gwybodaeth yn weladwy ym mhob maes. Rydym wedi bod yn trafod digideiddio adrodd yn fewnol ers amser maith a dewiswyd system Delweddu a dadansoddeg hunanwasanaeth Tableau. Siaradodd Alexander Bezugly, pennaeth adran atebion dadansoddol ac adrodd Grŵp M.Video-Eldorado, am brofiad a chanlyniadau adeiladu dangosfwrdd ymladd.
Fe ddywedaf ar unwaith na wireddwyd popeth a gynlluniwyd, ond roedd y profiad yn ddiddorol, gobeithio y bydd yn ddefnyddiol i chi hefyd. Ac os oes gan unrhyw un unrhyw syniadau ar sut y gellid ei wneud yn well, byddwn yn ddiolchgar iawn am eich cyngor a'ch syniadau.
Isod mae'r toriad yn sôn am yr hyn y daethom ar ei draws a'r hyn y dysgon ni amdano.
Ble wnaethon ni ddechrau?
Mae gan M.Video-Eldorado fodel data datblygedig: gwybodaeth strwythuredig gyda'r dyfnder storio gofynnol a nifer enfawr o adroddiadau ffurf sefydlog (gweler mwy o fanylion ). O'r rhain, mae dadansoddwyr yn gwneud naill ai tablau colyn neu gylchlythyrau wedi'u fformatio yn Excel, neu gyflwyniadau PowerPoint hardd ar gyfer defnyddwyr terfynol.
Tua dwy flynedd yn ôl, yn lle adroddiadau ffurf sefydlog, fe ddechreuon ni greu adroddiadau dadansoddol yn SAP Analysis (ychwanegiad Excel, yn ei hanfod tabl colyn dros yr injan OLAP). Ond nid oedd yr offeryn hwn yn gallu bodloni anghenion yr holl ddefnyddwyr; roedd y mwyafrif yn parhau i ddefnyddio gwybodaeth a broseswyd gan ddadansoddwyr yn ychwanegol.
Mae ein defnyddwyr terfynol yn perthyn i dri chategori:
Rheolaeth uchaf. Yn gofyn am wybodaeth mewn modd sydd wedi'i chyflwyno'n dda ac sy'n hawdd ei deall.
Rheolaeth ganol, defnyddwyr uwch. Diddordeb mewn archwilio data ac yn gallu adeiladu adroddiadau yn annibynnol os oes offer ar gael. Daethant yn ddefnyddwyr allweddol o adroddiadau dadansoddol mewn Dadansoddiad SAP.
Defnyddwyr torfol. Nid oes ganddynt ddiddordeb mewn dadansoddi data yn annibynnol; defnyddiant adroddiadau gyda rhywfaint o ryddid, ar ffurf cylchlythyrau a thablau colyn yn Excel.
Ein syniad ni oedd ymdrin ag anghenion yr holl ddefnyddwyr a rhoi un offeryn cyfleus iddynt. Fe benderfynon ni ddechrau gyda'r uwch reolwyr. Roedd angen dangosfyrddau hawdd eu defnyddio arnynt i ddadansoddi canlyniadau busnes allweddol. Felly, gwnaethom ddechrau gyda Tableau a dewiswyd dau gyfeiriad yn gyntaf: dangosyddion manwerthu ac ar-lein gyda dyfnder ac ehangder dadansoddi cyfyngedig, a fyddai'n cwmpasu tua 80% o'r data y gofynnodd yr uwch reolwyr amdano.
Gan fod defnyddwyr y dangosfyrddau yn uwch reolwyr, ymddangosodd DPA ychwanegol arall o'r cynnyrch - cyflymder ymateb. Ni fydd neb yn aros 20-30 eiliad i'r data gael ei ddiweddaru. Dylai llywio fod wedi'i wneud o fewn 4-5 eiliad, neu'n well eto, wedi'i wneud ar unwaith. Ac rydym ni, gwaetha'r modd, wedi methu â chyflawni hyn.
Dyma sut olwg oedd ar gynllun ein prif ddangosfwrdd:
Y syniad allweddol yw cyfuno'r prif yrwyr DPA, yr oedd cyfanswm o 19 ohonynt, ar y chwith a chyflwyno eu dynameg a'u dadansoddiad yn ôl prif briodoleddau ar y dde. Mae'r dasg yn ymddangos yn syml, mae'r delweddu yn rhesymegol ac yn ddealladwy, nes i chi blymio i'r manylion.
Manylion 1. Cyfrol data
Mae ein prif dabl ar gyfer gwerthiannau blynyddol yn cymryd tua 300 miliwn o resi. Gan fod angen adlewyrchu dynameg y llynedd a'r flwyddyn flaenorol, mae cyfaint y data ar werthiannau gwirioneddol yn unig tua 1 biliwn o linellau. Mae gwybodaeth am ddata arfaethedig a'r bloc gwerthu ar-lein hefyd yn cael eu storio ar wahân. Felly, er i ni ddefnyddio'r cof colofn DB SAP HANA, roedd cyflymder yr ymholiad gyda dewis yr holl ddangosyddion am wythnos o'r storfa gyfredol ar y hedfan tua 15-20 eiliad. Mae'r ateb i'r broblem hon yn awgrymu ei hun - gwireddu data ychwanegol. Ond mae ganddo beryglon hefyd, mwy amdanyn nhw isod.
Manylion 2. Dangosyddion nad ydynt yn ychwanegion
Mae llawer o'n DPA yn gysylltiedig â nifer y derbyniadau. Ac mae'r dangosydd hwn yn cynrychioli COUNT WAHANOL o nifer y rhesi (gwirio penawdau) ac yn dangos symiau gwahanol yn dibynnu ar y priodoleddau a ddewiswyd. Er enghraifft, sut y dylid cyfrifo’r dangosydd hwn a’i ddeilliad:
I wneud eich cyfrifiadau yn gywir, gallwch:
- Cyfrifwch ddangosyddion o'r fath ar y hedfan yn y storfa;
- Perfformio cyfrifiadau ar y cyfaint cyfan o ddata yn Tableau, h.y. ar gais yn Tableau, darparu'r holl ddata yn ôl hidlwyr dethol yn ronynnedd y safle derbyn;
- Creu arddangosfa wedi'i gwireddu lle bydd yr holl ddangosyddion yn cael eu cyfrifo ym mhob opsiwn sampl sy'n rhoi canlyniadau gwahanol nad ydynt yn ychwanegion.
Mae'n amlwg bod UTE1 ac UTE2 yn yr enghraifft yn nodweddion materol sy'n cynrychioli'r hierarchaeth cynnyrch. Nid yw hyn yn beth statig; mae rheolaeth o fewn y cwmni yn digwydd drwyddo, oherwydd Mae gwahanol reolwyr yn gyfrifol am wahanol grwpiau cynnyrch. Cawsom lawer o adolygiadau byd-eang o’r hierarchaeth hon, pan newidiodd pob lefel, pan oedd perthnasoedd yn cael eu hadolygu, a newidiadau cyson mewn pwyntiau, pan symudodd un grŵp o un nod i’r llall. Mewn adroddiadau confensiynol, mae hyn i gyd yn cael ei gyfrifo ar y hedfan o briodoleddau'r deunydd; yn achos gwireddu'r data hwn, mae angen datblygu mecanwaith ar gyfer olrhain newidiadau o'r fath ac ail-lwytho data hanesyddol yn awtomatig. Tasg ddibwys iawn.
Manylion 3. Cymharu data
Mae'r pwynt hwn yn debyg i'r un blaenorol. Y gwir amdani yw, wrth ddadansoddi cwmni, ei bod yn arferol ffurfio sawl lefel o gymharu â'r cyfnod blaenorol:
Cymhariaeth â'r cyfnod blaenorol (dydd i ddydd, o wythnos i wythnos, o fis i fis)
Yn y gymhariaeth hon, rhagdybir, yn dibynnu ar y cyfnod a ddewisir gan y defnyddiwr (er enghraifft, 33ain wythnos y flwyddyn), y dylem ddangos y ddeinameg erbyn yr 32ain wythnos; pe baem yn dewis data ar gyfer mis, er enghraifft, Mai , yna byddai'r gymhariaeth hon yn dangos y ddeinameg erbyn mis Ebrill.
Cymhariaeth â'r llynedd
Y prif naws yma yw, wrth gymharu fesul diwrnod ac yn ôl wythnos, nad ydych chi'n cymryd yr un diwrnod y llynedd, h.y. ni allwch roi'r flwyddyn gyfredol minws un. Rhaid i chi edrych ar y diwrnod o'r wythnos rydych chi'n ei gymharu. Wrth gymharu misoedd, i'r gwrthwyneb, mae angen i chi gymryd yn union yr un diwrnod calendr y llynedd. Mae yna hefyd arlliwiau gyda blynyddoedd naid. Yn yr ystorfeydd gwreiddiol, dosberthir yr holl wybodaeth fesul diwrnod; nid oes meysydd ar wahân gydag wythnosau, misoedd, neu flynyddoedd. Felly, i gael trawstoriad dadansoddol cyflawn yn y panel, mae angen i chi gyfrif nid un cyfnod, er enghraifft yr wythnos, ond 4 wythnos, ac yna cymharu'r data hyn, adlewyrchu'r dynameg, gwyriadau. Yn unol â hynny, gellir gweithredu'r rhesymeg hon ar gyfer cynhyrchu cymariaethau mewn dynameg hefyd naill ai yn Tableau neu ar ochr y siop. Oedd, ac wrth gwrs roeddem yn gwybod ac yn meddwl am y manylion hyn yn y cam dylunio, ond roedd yn anodd rhagweld eu heffaith ar berfformiad y dangosfwrdd terfynol.
Wrth weithredu'r dangosfwrdd, fe wnaethom ddilyn y llwybr Agile hir. Ein tasg oedd darparu offeryn gweithio gyda'r data angenrheidiol i'w brofi cyn gynted â phosibl. Felly, aethom mewn sbrintiau a dechrau o leihau gwaith ar ochr y storfa gyfredol.
Rhan 1: Ffydd yn Tableau
Er mwyn symleiddio cymorth TG a gweithredu newidiadau yn gyflym, penderfynasom wneud y rhesymeg ar gyfer cyfrifo dangosyddion nad ydynt yn ychwanegion a chymharu cyfnodau blaenorol yn Tableau.
Cam 1. Mae Popeth yn Fyw, dim addasiadau i'r ffenestr.
Ar y cam hwn, gwnaethom gysylltu Tableau â'r blaenau siopau presennol a phenderfynwyd gweld sut y byddai nifer y derbyniadau am flwyddyn yn cael eu cyfrifo.
Canlyniad:
Digalon oedd yr ateb - 20 munud. Trosglwyddo data dros y rhwydwaith, llwyth uchel ar Tableau. Sylweddolom fod angen gweithredu rhesymeg gyda dangosyddion nad ydynt yn ychwanegion ar HANA. Ni wnaeth hyn ein dychryn rhyw lawer, roedd gennym eisoes brofiad tebyg gyda BO a Analysis ac roeddem yn gwybod sut i adeiladu arddangosfeydd cyflym yn HANA sy'n cynhyrchu dangosyddion nad ydynt yn ychwanegion wedi'u cyfrifo'n gywir. Nawr y cyfan oedd ar ôl oedd eu haddasu i Tableau.
Cam 2. Rydym yn tiwnio'r casys arddangos, dim materoli, popeth ar y hedfan.
Fe wnaethom greu arddangosfa newydd ar wahân a gynhyrchodd y data gofynnol ar gyfer TABLEAU ar y hedfan. Yn gyffredinol, cawsom ganlyniad da; gwnaethom leihau'r amser ar gyfer cynhyrchu'r holl ddangosyddion mewn un wythnos i 9-10 eiliad. Ac roeddem yn onest yn disgwyl mai amser ymateb y dangosfwrdd yn Tableau fyddai 20-30 eiliad ar yr agoriad cyntaf ac yna oherwydd y storfa o 10 i 12, a fyddai'n addas i ni yn gyffredinol.
Canlyniad:
Dangosfwrdd agored cyntaf: 4-5 munud
Unrhyw glic: 3-4 munud
Nid oedd neb yn disgwyl y fath gynnydd ychwanegol yng ngwaith blaen y siop.
Rhan 2. Plymiwch i Tableau
Cam 1. Dadansoddiad perfformiad tableau a thiwnio cyflym
Dechreuon ni ddadansoddi lle mae Tableau yn treulio'r rhan fwyaf o'i amser. Ac mae yna offer eithaf da ar gyfer hyn, sydd, wrth gwrs, yn fantais i Tableau. Y brif broblem a nodwyd gennym oedd yr ymholiadau SQL cymhleth iawn yr oedd Tableau yn eu hadeiladu. Roeddent yn gysylltiedig yn bennaf â:
— trawsosod data. Gan nad oes gan Tableau offer ar gyfer trawsosod setiau data, i adeiladu ochr chwith y dangosfwrdd gyda chynrychiolaeth fanwl o'r holl DPA, roedd yn rhaid i ni greu tabl gan ddefnyddio achos. Cyrhaeddodd maint yr ymholiadau SQL yn y gronfa ddata 120 o nodau.
- dewis o gyfnod amser. Cymerodd ymholiad o'r fath ar lefel cronfa ddata fwy o amser i'w lunio nag i weithredu:
Y rhai. cais prosesu 12 eiliad + 5 eiliad gweithredu.
Fe benderfynon ni symleiddio'r rhesymeg cyfrifo ar ochr Tableau a symud rhan arall o'r cyfrifiadau i flaen y siop a lefel cronfa ddata. Daeth hyn â chanlyniadau da.
Yn gyntaf, gwnaethom y trawsosodiad ar y hedfan, gwnaethom hynny trwy uniad allanol llawn yng ngham olaf y cyfrifiad VIEW, yn ôl y dull hwn a ddisgrifir ar y wici и .
Hynny yw, gwnaethom dabl gosod - matrics trawsosod (21x21) a derbyniwyd yr holl ddangosyddion mewn dadansoddiad fesul rhes.
Oedd:
Daeth yn:
Nid oes bron dim amser yn cael ei dreulio ar drawsosod y gronfa ddata ei hun. Parhaodd y cais am yr holl ddangosyddion ar gyfer yr wythnos i gael ei brosesu mewn tua 10 eiliad. Ond ar y llaw arall, collwyd hyblygrwydd o ran adeiladu dangosfwrdd yn seiliedig ar ddangosydd penodol, h.y. ar gyfer ochr dde'r dangosfwrdd lle cyflwynir deinameg a dadansoddiad manwl o ddangosydd penodol, yn flaenorol bu'r achos arddangos yn gweithio mewn 1-3 eiliad, oherwydd roedd y cais yn seiliedig ar un dangosydd, a nawr roedd y gronfa ddata bob amser yn dewis yr holl ddangosyddion ac yn hidlo'r canlyniad cyn dychwelyd y canlyniad i Tableau.
O ganlyniad, gostyngodd cyflymder y dangosfwrdd bron i 3 gwaith.
Canlyniad:
- 5 eiliad – dosrannu dangosfyrddau, delweddu
- 15-20 eiliad - paratoi ar gyfer llunio ymholiadau gyda rhag-gyfrifiadau perfformio yn Tableau
- 35-45 eiliad - casgliad o ymholiadau SQL a'u gweithrediad cyfochrog-dilyniannol yn Hana
- 5 eiliad – prosesu canlyniadau, didoli, ailgyfrifo delweddiadau yn Tableau
- Wrth gwrs, nid oedd canlyniadau o'r fath yn gweddu i'r busnes, ac fe wnaethom barhau i optimeiddio.
Cam 2. Rhesymeg leiaf yn Tableau, gwireddu cyflawn
Roeddem yn deall ei bod yn amhosibl adeiladu dangosfwrdd gydag amser ymateb o sawl eiliad ar flaen siop sy'n rhedeg am 10 eiliad, ac fe wnaethom ystyried opsiynau ar gyfer gwireddu data ar ochr y gronfa ddata yn benodol ar gyfer y dangosfwrdd gofynnol. Ond daethom ar draws problem fyd-eang a ddisgrifir uchod - dangosyddion nad ydynt yn ychwanegion. Nid oeddem yn gallu gwneud yn siŵr, wrth newid hidlwyr neu ddrilio, bod Tableau yn newid yn hyblyg rhwng blaenau siopau gwahanol a lefelau a raggyfrifwyd ar gyfer gwahanol hierarchaethau cynnyrch (yn yr enghraifft, mae tri ymholiad heb UTE, gydag UTE1 ac UTE2 yn cynhyrchu canlyniadau gwahanol). Felly, fe wnaethom benderfynu symleiddio'r dangosfwrdd, rhoi'r gorau i'r hierarchaeth cynnyrch yn y dangosfwrdd a gweld pa mor gyflym y gallai fod mewn fersiwn symlach.
Felly, ar y cam olaf hwn, fe wnaethom ymgynnull ystorfa ar wahân lle gwnaethom ychwanegu'r holl DPA ar ffurf wedi'i thrawsosod. Ar ochr y gronfa ddata, mae unrhyw gais i storfa o'r fath yn cael ei brosesu mewn 0,1 - 0,3 eiliad. Yn y dangosfwrdd cawsom y canlyniadau canlynol:
Agoriad cyntaf: 8-10 eiliad
Unrhyw glic: 6-7 eiliad
Mae'r amser a dreulir gan Tableau yn cynnwys:
- 0,3 eiliad. — dosrannu dangosfwrdd a chrynhoi ymholiadau SQL
- 1,5-3 eiliad. — cyflawni ymholiadau SQL yn Hana ar gyfer prif ddelweddau (yn rhedeg ochr yn ochr â cham 1)
- 1,5-2 eiliad. — rendro, ailgyfrifo delweddiadau
- 1,3 eiliad. — cyflawni ymholiadau SQL ychwanegol i gael gwerthoedd hidlo perthnasol (Brand, Is-adran, Dinas, Storfa), canlyniadau dosrannu
I grynhoi yn fyr
Roeddem yn hoffi'r offeryn Tableau o safbwynt delweddu. Ar y cam prototeipio, gwnaethom ystyried amrywiol elfennau delweddu a dod o hyd iddynt i gyd mewn llyfrgelloedd, gan gynnwys segmentu aml-lefel cymhleth a rhaeadr aml-gyrrwr.
Wrth weithredu dangosfyrddau gyda dangosyddion gwerthu allweddol, daethom ar draws anawsterau perfformiad nad ydym wedi gallu eu goresgyn eto. Treuliasom fwy na dau fis a chawsom ddangosfwrdd swyddogaethol anghyflawn, y mae ei gyflymder ymateb ar fin derbyniol. A daethom i gasgliadau drosom ein hunain:
- Ni all Tableau weithio gyda llawer iawn o ddata. Os oes gennych fwy na 10 GB o ddata yn y model data gwreiddiol (tua 200 miliwn X 50 rhes), yna bydd y dangosfwrdd yn arafu'n ddifrifol - o 10 eiliad i sawl munud ar gyfer pob clic. Fe wnaethon ni arbrofi gyda live-connect a echdynnu. Mae'r cyflymder gweithredu yn gymharol.
- Cyfyngiad wrth ddefnyddio storfeydd lluosog (setiau data). Nid oes unrhyw ffordd i ddangos y berthynas rhwng setiau data gan ddefnyddio dulliau safonol. Os ydych chi'n defnyddio atebion i gysylltu setiau data, bydd hyn yn effeithio'n fawr ar berfformiad. Yn ein hachos ni, fe wnaethom ystyried yr opsiwn o gael data ym mhob adran golwg ofynnol a gwneud switshis ar y setiau data sylweddol hyn wrth gadw'r hidlwyr a ddewiswyd yn flaenorol - roedd hyn yn amhosibl i'w wneud yn Tableau.
- Nid yw'n bosibl gwneud paramedrau deinamig yn Tableau. Ni allwch lenwi paramedr a ddefnyddir i hidlo set ddata mewn detholiad neu yn ystod cysylltiad byw â chanlyniad detholiad arall o'r set ddata neu ganlyniad ymholiad SQL arall, dim ond mewnbwn defnyddiwr brodorol neu gysonyn.
- Cyfyngiadau sy'n gysylltiedig ag adeiladu dangosfwrdd gydag elfennau OLAP|PivotTable.
Yn MSTR, SAP SAC, SAP Analysis, os ydych chi'n ychwanegu set ddata at adroddiad, yna mae'r holl wrthrychau arno yn perthyn i'w gilydd yn ddiofyn. Nid oes gan Tableau hwn; rhaid ffurfweddu'r cysylltiad â llaw. Mae'n debyg bod hyn yn fwy hyblyg, ond ar gyfer ein holl ddangosfyrddau mae hyn yn ofyniad gorfodol ar gyfer elfennau - felly costau llafur ychwanegol yw hyn. Ar ben hynny, os gwnewch hidlwyr cysylltiedig fel bod, er enghraifft, wrth hidlo rhanbarth, y rhestr o ddinasoedd yn gyfyngedig i ddinasoedd y rhanbarth hwn yn unig, byddwch ar unwaith yn y pen draw ag ymholiadau olynol i'r gronfa ddata neu Detholiad, sy'n amlwg yn arafu'r dangosfwrdd. - Cyfyngiadau mewn swyddogaethau. Ni ellir gwneud trawsnewidiadau torfol naill ai ar y dyfyniad neu, YN ENWEDIG, ar y set ddata o Live-connecta. Gellir gwneud hyn trwy Tableau Prep, ond mae'n waith ychwanegol ac yn offeryn arall i ddysgu a chynnal. Er enghraifft, ni allwch drawsosod data nac ymuno ag ef ei hun. Yr hyn sy'n cael ei gau trwy drawsnewidiadau ar golofnau neu feysydd unigol, y mae'n rhaid eu dewis trwy achos neu os, ac mae hyn yn cynhyrchu ymholiadau SQL cymhleth iawn, lle mae'r gronfa ddata yn treulio'r rhan fwyaf o'i hamser yn llunio testun yr ymholiad. Roedd yn rhaid datrys yr anhyblygrwydd hwn o'r offeryn ar y lefel arddangos, sy'n arwain at storfa fwy cymhleth, lawrlwythiadau ychwanegol a thrawsnewidiadau.
Nid ydym wedi rhoi'r ffidil yn y to ar Tableau. Ond nid ydym yn ystyried Tableau fel offeryn sy'n gallu adeiladu dangosfyrddau diwydiannol ac offeryn i ddisodli a digideiddio system adrodd gorfforaethol gyfan cwmni.
Rydym bellach wrthi’n datblygu dangosfwrdd tebyg mewn offeryn arall ac, ar yr un pryd, yn ceisio adolygu pensaernïaeth y dangosfwrdd yn Tableau er mwyn ei symleiddio hyd yn oed yn fwy. Os oes gan y gymuned ddiddordeb, byddwn yn dweud wrthych am y canlyniadau.
Rydym hefyd yn aros am eich syniadau neu gyngor ar sut y gallwch chi yn Tabeau adeiladu dangosfyrddau cyflym dros symiau mor fawr o ddata, oherwydd mae gennym wefan lle mae llawer mwy o ddata nag mewn manwerthu.
Ffynhonnell: hab.com