Excelде отчеттуулуктун убактысы тездик менен жоголуп баратат - маалыматты берүү жана талдоо үчүн ыңгайлуу инструменттерге болгон тенденция бардык аймактарда байкалууда. Биз көптөн бери отчеттуулукту санариптештирүү маселесин ички талкуулап жатабыз жана Tableau визуалдаштыруу жана өзүн-өзү тейлөө аналитика системасын тандап алдык. М.Видео-Эльдорадо тобунун аналитикалык чечимдер жана отчеттуулук бөлүмүнүн башчысы Александр Безуглы күжүрмөн башкаруу панелин куруу тажрыйбасы жана натыйжалары тууралуу айтып берди.
Мен дароо айтам, пландаштырылгандын баары ишке ашкан жок, бирок тажрыйба кызыктуу болду, бул сизге да пайдалуу болот деп ишенем. Ал эми кимде-ким муну кантип жакшыраак кылса болору боюнча кандайдыр бир идеялары бар болсо, мен сиздин кеңешиңизге жана идеяларыңызга абдан ыраазы болмокмун.
Төмөндө биз жолуккан жана эмнени үйрөнгөнүбүз жөнүндө.
Биз эмнеден баштадык?
M.Video-Eldorado жакшы өнүккөн маалымат моделине ээ: талап кылынган сактоо тереңдиги менен структураланган маалымат жана туруктуу формадагы отчеттордун көп саны (толук маалыматты караңыз ). Алардын ичинен аналитиктер Excel программасында пивот таблицаларын же форматталган маалымат бюллетендерин же акыркы колдонуучулар үчүн кооз PowerPoint презентацияларын жасашат.
Болжол менен эки жыл мурун, биз туруктуу формадагы отчеттордун ордуна SAP Analysis'те аналитикалык отчетторду түзө баштадык (Excel кошумчасы, негизинен OLAP кыймылдаткычынын үстүндөгү пивот таблицасы). Бирок бул курал бардык колдонуучулардын керектөөлөрүн канааттандыра алган жок, көпчүлүк аналитиктер тарабынан кошумча иштелип чыккан маалыматты колдонууну улантышкан.
Биздин акыркы колдонуучулар үч категорияга бөлүнөт:
Топ-менеджмент. Маалыматты жакшы берилген жана түшүнүктүү түрдө сурайт.
Орто башкаруу, алдыңкы колдонуучулар. Маалыматтарды изилдөөгө кызыкдар жана куралдар бар болсо, өз алдынча отчетторду түзө алат. Алар SAP Analysisдеги аналитикалык отчеттордун негизги колдонуучулары болуп калышты.
Массалык колдонуучулар. Алар маалыматтарды өз алдынча талдап чыгууга кызыкдар эмес, алар Excel программасында маалымат бюллетендери жана пивот таблицаларынын форматында чектелген эркиндиктеги отчетторду колдонушат.
Биздин идея бардык колдонуучулардын муктаждыктарын канааттандыруу жана аларга бирдиктүү, ыңгайлуу курал берүү болчу. Биз топ-менеджменттен баштоону чечтик. Аларга бизнестин негизги натыйжаларын талдоо үчүн колдонууга оңой панелдер керек болчу. Ошентип, биз Tableau менен баштадык жана адегенде эки багытты тандап алдык: чекене жана онлайн сатуу көрсөткүчтөрү чектелген тереңдик жана талдоо кеңдиги, алар топ-менеджмент сураган маалыматтардын болжол менен 80% камтымак.
Куралдар тактасын колдонуучулар топ-менеджмент болгондуктан, продукттун дагы бир кошумча KPI пайда болду - жооп берүү ылдамдыгы. Маалыматтын жаңыланышын эч ким 20-30 секунд күтпөйт. Багыттоо 4-5 секунданын ичинде аткарылышы керек, же андан да жакшысы, ошол замат жасалышы керек. А биз, тилекке каршы, буга жетише албадык.
Биздин негизги панелдин макети ушундай болгон:
Негизги идея - сол жакта жалпысынан 19 болгон негизги KPI драйверлерин бириктирүү жана оң жакта алардын динамикасын жана негизги атрибуттары боюнча бөлүштүрүүнү көрсөтүү. Тапшырма жөнөкөй көрүнөт, визуализация логикалык жана түшүнүктүү, сиз майда-чүйдөсүнө чейин.
Толук маалымат 1. Маалыматтын көлөмү
Биздин негизги үстөл жылдык сатуу боюнча 300 миллион катарды ээлейт. Өткөн жылдын жана андан мурунку жылдын динамикасын чагылдыруу зарыл болгондуктан, иш жүзүндөгү сатуу боюнча маалыматтардын көлөмү 1 миллиард сапка жакын. Пландаштырылган маалыматтар жана онлайн сатуу блогу жөнүндө маалымат да өзүнчө сакталат. Ошондуктан, биз мамычалык эс тутумдагы DB SAP HANA колдонгонубузга карабастан, учурдагы сактагычтан бир жума бою бардык көрсөткүчтөрдү тандоо менен суроо ылдамдыгы болжол менен 15-20 секундду түзгөн. Бул маселени чечүү өзүн сунуш кылат - маалыматтарды кошумча материалдаштыруу. Бирок анын да тузактары бар, алар жөнүндө төмөндө.
Детал 2. Кошумча эмес көрсөткүчтөр
Биздин көптөгөн KPIлер квитанциялардын санына байланыштуу. Жана бул көрсөткүч саптардын санынын COUNT DISTINCT (текшерүү аталыштары) билдирет жана тандалган атрибуттарга жараша ар кандай суммаларды көрсөтөт. Мисалы, бул көрсөткүчтү жана анын туундусун кантип эсептөө керек:
Эсептөөлөрдү туура кылуу үчүн, сиз:
- Мындай көрсөткүчтөрдү сактоочу жайда эсептеп чыгуу;
- Таблицадагы маалыматтардын бардык көлөмү боюнча эсептөөлөрдү жүргүзүү, б.а. Таблицада суроо-талап боюнча, дүмүрчөк позициясынын грануляциясында тандалган чыпкаларга ылайык бардык маалыматтарды бериңиз;
- Бардык индикаторлор ар кандай кошумча эмес жыйынтыктарды берген бардык үлгү варианттарында эсептеле турган материалдашкан витрина түзүңүз.
Мисалда UTE1 жана UTE2 продукт иерархиясын чагылдырган материалдык атрибуттар экени түшүнүктүү. Бул статикалык нерсе эмес, компаниянын ичиндеги башкаруу ал аркылуу ишке ашат, анткени Ар кандай менеджерлер ар кандай продукт топтору үчүн жооптуу. Бизде бул иерархиянын көптөгөн глобалдык ревизиялары болду, бардык деңгээлдер өзгөргөндө, мамилелер кайра каралып жатканда жана бир топ бир түйүндөн экинчи түйүнгө өткөндө туруктуу чекит өзгөрдү. Кадимки отчеттуулукта мунун баары материалдын атрибуттарынан тез эле эсептелинет, бул маалыматтар материализацияланган учурда мындай өзгөрүүлөргө көз салуу жана тарыхый маалыматтарды автоматтык түрдө кайра жүктөө механизмин иштеп чыгуу зарыл. Өтө маанилүү эмес иш.
Толук маалымат 3. Маалыматтарды салыштыруу
Бул пункт мурункуга окшош. Жыйынтык - компанияны талдоодо, мурунку мезгил менен салыштыруунун бир нече деңгээлин түзүү салтка айланган:
Өткөн мезгил менен салыштыруу (күндөн күнгө, жумадан жумага, айдан айга)
Бул салыштырууда колдонуучу тандаган мезгилге жараша (мисалы, жылдын 33-жумасы) динамикасын 32-жумага көрсөтүшүбүз керек деп болжолдонууда; эгерде биз бир айдын ичинде маалыматтарды тандап алсак, мисалы, май , анда бул салыштыруу апрель айына карата динамикасын көрсөтөт.
Былтыркыга салыштырмалуу
Бул жердеги негизги нюанс - күн жана жума боюнча салыштырганда, сиз өткөн жылдын ошол эле күнүн албайсыз, б.а. бир эле минус үстүбүздөгү жылды коюуга болбойт. Сиз салыштырып жаткан жуманын күнүн карашыңыз керек. Айларды салыштырганда, тескерисинче, өткөн жылдын так эле календарлык күнүн алуу керек. Ошондой эле, кибирек жылдар менен нюанстар бар. Баштапкы репозиторийлерде бардык маалымат күн боюнча бөлүштүрүлөт; жумалар, айлар же жылдар менен өзүнчө талаалар жок. Ошондуктан, панелде толук аналитикалык кесилишин алуу үчүн бир мезгилди эмес, мисалы бир жуманы эмес, 4 жуманы санап, анан бул маалыматтарды салыштырып, динамикасын, четтөөлөрүн чагылдыруу керек. Демек, динамикада салыштырууларды түзүү үчүн бул логика Таблицада же дүкөндүн бетинде да ишке ашырылышы мүмкүн. Ооба, жана, албетте, биз дизайн этабында бул майда-чүйдөсүнө чейин билген жана ойлогон, бирок акыркы башкаруу панелинин аткаруу боюнча алардын таасирин алдын ала айтуу кыйын болчу.
Куралдар тактасын ишке ашырууда биз узун Agile жолун жолдодук. Биздин милдет мүмкүн болушунча тезирээк тестирлөө үчүн керектүү маалыматтар менен жумушчу курал менен камсыз кылуу болчу. Ошондуктан, биз спринттерге барып, учурдагы сактагычтын тарабындагы жумушту азайтуудан баштадык.
1-бөлүк: Таблицага ишеним
IT колдоосун жөнөкөйлөтүү жана өзгөртүүлөрдү тез ишке ашыруу үчүн, биз кошумча эмес көрсөткүчтөрдү эсептөө жана Tableau өткөн мезгилдерди салыштыруу логикасын түзүүнү чечтик.
1-этап. Баары Live, эч кандай терезе өзгөртүүлөр жок.
Бул этапта биз Tableau'ну учурдагы дүкөндөрдүн витриналарына туташтырдык жана бир жыл үчүн квитанциялардын саны кантип эсептелээрин көрүүнү чечтик.
жыйынтыгы:
Жооп капалуу болду - 20 мүнөт. Тармак аркылуу берилиштерди өткөрүү, Таблицага жогорку жүктөө. Биз кошумча эмес индикаторлор менен логиканы HANAда ишке ашыруу керектигин түшүндүк. Бул бизди анча деле коркуткан жок, бизде BO жана Analysis менен окшош тажрыйбабыз бар жана HANAда туура эсептелген кошумча эмес көрсөткүчтөрдү чыгарган тез витриналарды кантип курууну билчүбүз. Эми аларды Таблицага тууралоо гана калды.
2-этап. Биз дисплейлерди тууралайбыз, эч кандай материализация жок, бардыгын ылдамдыкта.
Биз TABLEAU үчүн керектүү маалыматтарды тез арада чыгарган өзүнчө жаңы витрина түздүк. Жалпысынан жакшы натыйжа алдык, бир жумада бардык көрсөткүчтөрдү түзүү убактысын 9-10 секундага чейин кыскарттык. Жана биз чынчылдык менен Tableau-да аспаптар тактасынын жооп берүү убактысы биринчи ачылганда 20-30 секунд болот, андан кийин 10дон 12ге чейинки кэштен улам, жалпысынан бизге туура келет деп күткөнбүз.
жыйынтыгы:
Биринчи ачык тактасы: 4-5 мүнөт
Ар кандай чыкылдатуу: 3-4 мүнөт
Дүкөндүн ишинин мындай кошумча жогорулашын эч ким күткөн эмес.
2-бөлүк. Таблицага түшүү
1-этап. Таблицанын натыйжалуулугун талдоо жана тез жөндөө
Биз Tableau убактысынын көбүн кайда өткөрөрүн талдай баштадык. Жана бул үчүн абдан жакшы куралдар бар, бул, албетте, Tableau плюс. Биз аныктаган негизги көйгөй Tableau куруп жаткан өтө татаал SQL сурамдары болду. Алар, биринчи кезекте, менен байланышкан:
- маалыматтарды транспозиция. Tableau'да берилиштер топтомун которуу куралдары жок болгондуктан, бардык KPIлердин деталдуу чагылдырылышы менен башкаруу панелинин сол тарабын куруу үчүн, биз иштин жардамы менен таблица түзүшүбүз керек болчу. Маалымат базасындагы SQL сурамдарынын көлөмү 120 000 белгиге жетти.
- убакыт аралыгын тандоо. Берилиштер базасынын деңгээлиндеги мындай суроону компиляциялоо аткарууга караганда көбүрөөк убакытты талап кылды:
Ошол. суроо-талапты иштетүү 12 секунд + 5 секунд аткаруу.
Биз Таблица жагындагы эсептөө логикасын жөнөкөйлөштүрүп, эсептөөлөрдүн дагы бир бөлүгүн дүкөндүн маңдайкы жана маалымат базасы деңгээлине жылдырууну чечтик. Бул жакшы натыйжаларды алып келди.
Биринчиден, биз транспозицияны учуу менен жасадык, биз аны викиде сүрөттөлгөн ушул ыкмага ылайык, VIEW эсептөөнүн акыркы этабында толук тышкы кошулуу аркылуу жасадык. и .
Башкача айтканда, биз орнотуу таблицасын түздүк - транспозиция матрицасы (21x21) жана бардык көрсөткүчтөрдү катар-катар бөлүштүрүү менен алдык.
Ал эле:
Ал болуп калды:
Маалыматтар базасын которууга дээрлик эч кандай убакыт коротулбайт. Аптадагы бардык көрсөткүчтөр боюнча суроо-талап 10 секунданын ичинде иштетиле баштады. Бирок, экинчи жагынан, ийкемдүүлүк белгилүү бир көрсөткүчтүн негизинде башкаруу панелин куруу жагынан жоголду, б.а. белгилүү бир индикатордун динамикасы жана деталдуу бөлүштүрүлүшү көрсөтүлгөн тактайдын оң тарабы үчүн, мурда дисплей 1-3 секундада иштечү, анткени суроо-талап бир көрсөткүчкө негизделген, эми маалымат базасы ар дайым бардык индикаторлорду тандап алып, натыйжаны Таблицага кайтаруудан мурун жыйынтыкты чыпкалады.
Натыйжада аспаптар тактасынын ылдамдыгы дээрлик 3 эсеге азайды.
жыйынтыгы:
- 5 сек – такталарды талдоо, визуализация
- 15-20 секунд - Таблицада алдын ала эсептөөлөрдү жүргүзүү менен суроо-талаптарды түзүүгө даярдоо
- 35-45 сек - SQL сурамдарынын компиляциясы жана алардын Ханада параллелдүү ырааттуу аткарылышы
- 5 сек – Таблицадагы визуализациялардын натыйжаларын иштетүү, сорттоо, кайра эсептөө
- Албетте, мындай жыйынтыктар бизнеске туура келген жок, биз оптималдаштырууну уланта бердик.
2-этап. Таблицадагы минималдуу логика, толук материалдаштыруу
Биз 10 секунд иштеген дүкөндүн маңдайында бир нече секунддук жооп берүү убакыты менен башкаруу тактасын куруу мүмкүн эмес экенин түшүндүк жана биз керектүү аспаптар тактасы үчүн маалымат базасы тарабында маалыматтарды материалдаштыруунун варианттарын карап чыктык. Бирок биз жогоруда сүрөттөлгөн глобалдык көйгөйгө туш болдук - кошумча эмес көрсөткүчтөр. Чыпкаларды же бургулоолорду өзгөрткөндө, Tableau ар кандай өнүм иерархиялары үчүн алдын ала иштелип чыккан ар кандай дүкөндөрдүн маңдайкы беттери менен деңгээлдеринин ортосунда ийкемдүү түрдө которулганына ынана алган жокпуз (мисалы, UTE жок үч суроо, UTE1 жана UTE2 ар кандай натыйжаларды жаратат). Ошондуктан, биз аспаптар тактасын жөнөкөйлөштүрүүнү чечтик, аспаптар тактасындагы продукт иерархиясынан баш тартып, анын жөнөкөйлөштүрүлгөн версиясында канчалык ылдам болорун көрүүнү чечтик.
Ошентип, бул акыркы этапта биз өзүнчө репозиторийди чогулттук, анда биз бардык KPIлерди транспозацияланган түрдө кошконбуз. Берилиштер базасы тарабында, мындай сактагычка болгон ар кандай суроо-талап 0,1 - 0,3 секундада иштетилет. Куралдар тактасында биз төмөнкү натыйжаларды алдык:
Биринчи ачылыш: 8-10 секунд
Ар кандай чыкылдатуу: 6-7 секунд
Tableau өткөргөн убакыт төмөнкүлөрдөн турат:
- 0,3 сек. — SQL сурамдарын талдоо жана компиляциялоо
- 1,5-3 сек. — негизги визуализациялар үчүн Hanaдагы SQL сурамдарын аткаруу (1-кадам менен параллелдүү иштейт)
- 1,5-2 сек. — визуализацияларды көрсөтүү, кайра эсептөө
- 1,3 сек. - тиешелүү чыпкалуу маанилерди алуу үчүн кошумча SQL сурамдарын аткаруу (Бренд, Бөлүм, Шаар, Дүкөн), натыйжаларды талдоо
Кыскача айтканда
Бизге Tableau куралы визуалдаштыруу жагынан жакты. Прототиптөө баскычында биз визуализациянын ар кандай элементтерин карап чыктык жана алардын бардыгын китепканалардан таптык, анын ичинде татаал көп деңгээлдүү сегментация жана көп айдоочу шаркыратма.
Негизги сатуу көрсөткүчтөрү менен башкаруу такталарын ишке ашырууда, биз али жеңе албаган аткаруучулук кыйынчылыктарга туш болдук. Биз эки айдан ашык убакыт өткөрдүк жана функционалдык жактан толук эмес башкаруу тактасын алдык, анын жооп берүү ылдамдыгы алгылыктуу чегинде. Жана биз өзүбүз үчүн жыйынтык чыгардык:
- Tableau чоң көлөмдөгү маалыматтар менен иштей албайт. Эгерде баштапкы маалымат моделинде сизде 10 ГБ ашык маалымат (болжол менен 200 миллион X 50 сап) болсо, анда башкаруу тактасы олуттуу түрдө жайлайт - ар бир чыкылдатуу үчүн 10 секунддан бир нече мүнөткө чейин. Биз live-connect жана экстракты менен эксперимент жүргүздүк. Иштөө ылдамдыгы салыштырууга болот.
- Бир нече сактагычтарды (маалыматтар топтомун) колдонууда чектөө. Стандарттык каражаттарды колдонуу менен маалымат топтомдорунун ортосундагы байланышты көрсөтүүнүн эч кандай жолу жок. Эгер маалымат топтомдорун туташтыруу үчүн убактылуу жолдорду колдонсоңуз, бул иштин майнаптуулугуна чоң таасирин тийгизет. Биздин учурда, биз ар бир талап кылынган көрүнүш бөлүмүндө маалыматтарды материалдаштыруу вариантын карап чыктык жана мурда тандалган чыпкаларды сактоо менен бул материалдашкан берилиштер топтомдорунда которуштурууларды жасоо - муну Таблицада жасоо мүмкүн эмес болуп чыкты.
- Таблицада динамикалык параметрлерди жасоо мүмкүн эмес. Сиз үзүндүдөгү берилиштер топтомун чыпкалоо үчүн колдонулган параметрди же түз туташуу учурунда берилиштер топтомун башка тандоонун натыйжасы же башка SQL сурамынын натыйжасы менен толтура албайсыз, бир гана жергиликтүү колдонуучунун киргизүүсү же туруктуу.
- OLAP|PivotTable элементтери менен башкаруу тактасын курууга байланышкан чектөөлөр.
MSTR, SAP SAC, SAP Analysis, эгерде сиз отчетко берилиштер топтомун кошсоңуз, анда андагы бардык объекттер демейки боюнча бири-бири менен байланышкан. Таблицада бул жок; туташууну кол менен конфигурациялоо керек. Бул, балким, ийкемдүүрөөк болсо керек, бирок биздин бардык панелдерибиз үчүн бул элементтер үчүн милдеттүү талап - ошондуктан бул кошумча эмгек чыгымдары. Мындан тышкары, эгер сиз тиешелүү чыпкаларды жасасаңыз, мисалы, аймакты чыпкалоодо, шаарлардын тизмеси ушул чөлкөмдүн шаарлары менен гана чектелсе, сиз дароо эле маалымат базасына же Экстрактка ырааттуу сурамдарды бересиз, бул байкалаарлык түрдө жайлатат. башкаруу тактасы. - Функциялардагы чектөөлөр. Массалык трансформацияларды үзүндүдө да, өзгөчө, Live-connecta маалымат топтомунда да жасоо мүмкүн эмес. Бул Tableau Prep аркылуу жасалышы мүмкүн, бирок бул кошумча иш жана үйрөнүү жана сактоо үчүн дагы бир курал. Мисалы, сиз маалыматтарды которууга же аны өзүнө кошо албайсыз. Жеке мамычалардагы же талаалардагы трансформациялар аркылуу эмне жабылат, алар регистр же if аркылуу тандалышы керек жана бул абдан татаал SQL сурамдарын жаратат, мында маалымат базасы убактысынын көбүн суроонун текстин түзүүгө жумшайт. Куралдын бул ийкемсиздиги витрина деңгээлинде чечилиши керек болчу, бул татаалыраак сактоого, кошумча жүктөөлөргө жана трансформацияларга алып келет.
Биз Таблицадан баш тарткан жокпуз. Бирок биз Tableau өнөр жай панелдерин курууга жөндөмдүү курал жана компаниянын бүт корпоративдик отчеттуулук системасын алмаштыруу жана санариптештирүү куралы деп эсептебейбиз.
Биз азыр башка инструментте окшош панелди активдүү иштеп жатабыз жана ошол эле учурда аны дагы жөнөкөйлөтүү үчүн Tableauдагы панелдин архитектурасын кайра карап чыгууга аракет кылып жатабыз. Коомчулук кызыкса, жыйынтыгын айтабыз.
Ошондой эле биз сиздин идеяларыңызды же Tabeauдо ушундай чоң көлөмдөгү маалыматтардын үстүнөн кантип тез башкаруу такталарын түзө аларыңыз боюнча кеңешиңизди күтөбүз, анткени бизде чекене соодага караганда бир топ көп маалымат бар веб-сайтыбыз бар.
Source: www.habr.com