Hæ Habr!
Gögn eru verðmætasta eign fyrirtækis. Næstum hvert fyrirtæki með stafræna áherslu lýsa þessu yfir. Það er erfitt að rífast við þetta: ekki ein stór upplýsingatækniráðstefna er haldin án þess að ræða aðferðir við stjórnun, geymslu og vinnslu gagna.
Gögn koma til okkar utan frá, þau verða líka til innan fyrirtækisins og ef talað er um gögn frá fjarskiptafyrirtæki, þá er þetta fyrir innri starfsmenn geymsla upplýsinga um viðskiptavininn, áhugamál hans, venjur og staðsetningu. Með réttri uppsetningu og skiptingu eru auglýsingatilboð áhrifaríkust. Hins vegar, í reynd, er ekki allt svo bjart. Gögnin sem fyrirtæki geyma geta verið vonlaust úrelt, óþarfi, endurtekin eða tilvist þeirra er óþekkt fyrir neinn nema þröngan hring notenda. ¯_(ツ)_/¯
Í orði, gögnum verður að vera stjórnað á áhrifaríkan hátt - aðeins þá verða þau eign sem færir fyrirtækinu raunverulegan ávinning og hagnað. Því miður krefst lausnar gagnastjórnunarvandamála að sigrast á töluvert af margbreytileika. Þau eru aðallega vegna bæði sögulegrar arfleifðar í formi „dýragarða“ kerfa og skorts á sameinuðum ferlum og aðferðum við stjórnun þeirra. En hvað þýðir það að vera „gagnadrifinn“?
Þetta er nákvæmlega það sem við munum tala um undir niðurskurðinum, sem og hvernig opensource staflan hjálpaði okkur.
Hugmyndin um stefnumótandi gagnastjórnun Data Governance (DG) er nú þegar nokkuð vel þekkt á rússneska markaðnum og markmiðin sem fyrirtæki hafa náð vegna innleiðingar þess eru skýr og skýr yfirlýst. Fyrirtækið okkar var engin undantekning og setti sér það verkefni að kynna hugtakið gagnastjórnun.
Svo hvar byrjuðum við? Til að byrja með mótuðum við okkur lykilmarkmið:
- Hafðu gögnin okkar aðgengileg.
- Tryggja gagnsæi lífsferils gagna.
- Veittu notendum fyrirtækis samræmd, samkvæm gögn.
- Veittu notendum fyrirtækja staðfest gögn.
Í dag eru tugir Data Governance bekkjartækja á hugbúnaðarmarkaðnum.
En eftir ítarlega greiningu og rannsókn á lausnunum, skráðum við fjölda gagnrýninna athugasemda fyrir okkur sjálf:
- Flestir framleiðendur bjóða upp á alhliða lausnir, sem fyrir okkur er óþarfi og afritar núverandi virkni. Auk þess, dýrt hvað varðar fjármagn, samþættingu við núverandi upplýsingatæknilandslag.
- Virknin og viðmótið er hannað fyrir tæknifræðinga, ekki viðskiptanotendur.
- Lágt lifunarhlutfall vara og skortur á árangursríkum útfærslum á rússneska markaðnum.
- Hár kostnaður við hugbúnað og frekari stuðning.
Viðmiðin og ráðleggingarnar sem settar voru fram hér að ofan varðandi innflutningsskipti á hugbúnaði fyrir rússnesk fyrirtæki sannfærðu okkur um að fara í átt að eigin þróun á opnum uppspretta stafla. Vettvangurinn sem við völdum var Django, ókeypis og opinn uppspretta rammi skrifaður í Python. Og þannig höfum við bent á lykileiningar sem munu stuðla að markmiðunum sem lýst er hér að ofan:
- Skýrsluskrá.
- Orðalisti fyrir viðskipti.
- Eining til að lýsa tæknilegum umbreytingum.
- Eining til að lýsa lífsferil gagna frá uppruna til BI tólsins.
- Gagnagæðaeftirlitseining.
Skýrsluskrá
Samkvæmt niðurstöðum innri rannsókna í stórum fyrirtækjum eyða starfsmenn 40-80% af tíma sínum í að leita að þeim þegar þeir leysa gagnatengd vandamál. Þess vegna settum við okkur það verkefni að gera opnar upplýsingar um núverandi skýrslur sem áður voru aðeins aðgengilegar viðskiptavinum. Þannig styttum við tíma til að búa til nýjar skýrslur og tryggjum lýðræðisvæðingu gagna.
Skýrslugerðin er orðin að einum skýrsluglugga fyrir innri notendur frá ýmsum svæðum, deildum og sviðum. Það safnar saman upplýsingum um upplýsingaþjónustu sem búin er til í nokkrum fyrirtækjageymslum fyrirtækisins og þær eru margar í Rostelecom.
En skrásetningin er ekki bara þurr listi yfir þróaðar skýrslur. Fyrir hverja skýrslu veitum við nauðsynlegar upplýsingar fyrir notandann til að kynna sér þær:
- stutt lýsing á skýrslunni;
- dýpt gagnaframboðs;
- viðskiptavina hluti;
- sjónræn tól;
- nafn fyrirtækjageymslu;
- virknikröfur fyrirtækja;
- hlekkur á skýrsluna;
- hlekkur á umsókn um aðgang;
- framkvæmdastöðu.
Notkunarstigsgreiningar eru fáanlegar fyrir skýrslur og skýrslum er raðað efst á listanum á grundvelli annálagreiningar sem byggist á fjölda einstaka notenda. Og það er ekki það. Til viðbótar við almenna eiginleika, höfum við einnig veitt nákvæma lýsingu á eigindasamsetningu skýrslnanna með dæmum um gildi og útreikningsaðferðir. Slík útlistun gefur notandanum strax svar hvort skýrslan sé gagnleg fyrir hann eða ekki.
Þróun þessarar einingar var mikilvægt skref í lýðræðisvæðingu gagna og minnkaði verulega tíma sem það tekur að finna nauðsynlegar upplýsingar. Auk þess að draga úr leitartíma hefur beiðnum til stuðningsteymis um að veita ráðgjöf einnig fækkað. Það er ómögulegt að taka ekki eftir annarri gagnlegri niðurstöðu sem við náðum með því að þróa sameinaða skrá yfir skýrslur - koma í veg fyrir þróun tvítekinna skýrslna fyrir mismunandi byggingareiningar.
Orðalisti fyrir viðskipti
Þið vitið öll að jafnvel innan sama fyrirtækis tala fyrirtæki mismunandi tungumál. Já, þeir nota sömu hugtök, en þeir þýða allt aðra hluti. Viðskiptaorðalisti er hannaður til að leysa þetta vandamál.
Fyrir okkur er viðskiptaorðalisti ekki bara uppflettirit með hugtakalýsingu og útreikningsaðferðum. Þetta er fullkomið umhverfi til að þróa, samþykkja og samþykkja hugtök, byggja upp tengsl milli skilmála og annarra upplýsingaeigna fyrirtækisins. Áður en farið er inn í orðalistann fyrir fyrirtæki þarf hugtak að fara í gegnum öll stig samþykkis hjá viðskiptavinum og gagnagæðamiðstöðinni. Aðeins eftir þetta verður það tiltækt til notkunar.
Eins og ég skrifaði hér að ofan er sérstaða þessa tóls sú að það leyfir tengingar frá stigi viðskiptahugtaks til sérstakra notendaskýrslna þar sem það er notað, sem og til stigi líkamlegra gagnagrunnshluta.
Þetta er gert mögulegt með því að nota hugtakaauðkenni orðalista í ítarlegri lýsingu á skráningarskýrslum og lýsingu á efnislegum gagnagrunnshlutum.
Eins og er hafa meira en 4000 hugtök verið skilgreind og samþykkt í orðalistanum. Notkun þess einfaldar og flýtir fyrir afgreiðslu beiðna sem berast um breytingar á upplýsingakerfum fyrirtækisins. Ef tilskilinn vísir er þegar innleiddur í einhverri skýrslu, þá mun notandinn strax sjá safn af tilbúnum skýrslum þar sem þessi vísir er notaður, og mun geta ákveðið árangursríka endurnotkun núverandi virkni eða lágmarksbreytingar hennar, án þess að hefja nýjar beiðnir um þróun nýrrar skýrslu.
Eining til að lýsa tæknilegum umbreytingum og DataLineage
Hvað eru þessar einingar, spyrðu? Það er ekki nóg að innleiða bara skýrsluskrána og orðalistann, það er líka nauðsynlegt að byggja alla viðskiptaskilmála á líkamlegu gagnagrunnslíkaninu. Þannig gátum við lokið ferlinu við að móta lífsferil gagna frá upprunakerfum til BI sjónrænnar í gegnum öll lög gagnageymslunnar. Með öðrum orðum, smíðaðu DataLineage.
Við þróuðum viðmót byggt á því sniði sem áður var notað í fyrirtækinu til að lýsa reglum og rökfræði gagnaumbreytingar. Sömu upplýsingar eru færðar inn í gegnum viðmótið og áður, en skilgreining á hugtakinu auðkenni úr viðskiptaorðasafni er orðin forsenda. Þannig byggjum við upp tengsl milli viðskiptalagsins og líkamlegra laga.
Hver þarf það? Hvað var athugavert við gamla sniðið sem þú vannst með í nokkur ár? Hversu mikið hefur launakostnaður við að búa til kröfur aukist? Við þurftum að takast á við slíkar spurningar við innleiðingu tólsins. Svörin hér eru frekar einföld - við þurfum öll þetta, gagnaskrifstofa fyrirtækisins og notendur okkar.
Reyndar þurftu starfsmenn að aðlagast; í fyrstu leiddi þetta til smá hækkunar á launakostnaði til að útbúa skjöl, en við redduðum þessu máli. Æfing, auðkenning og hagræðing á vandamálasvæðum hefur gert sitt. Við höfum náð aðalatriðinu - við höfum bætt gæði þróaðra krafna. Skyldureitir, samræmdar uppflettibækur, inntaksgrímur, innbyggðar athuganir - allt þetta gerði það mögulegt að bæta gæði umbreytingarlýsinga verulega. Við fórum frá þeirri venju að afhenda forskriftir sem þróunarkröfur og miðluðum þekkingu sem var aðeins í boði fyrir þróunarteymið. Lýsigagnagrunnurinn sem myndaður er dregur verulega úr þeim tíma sem þarf til að framkvæma aðhvarfsgreiningu og veitir möguleika á að meta fljótt áhrif breytinga á hvaða lag sem er í upplýsingatæknilandslaginu (sýningarskýrslur, samanlagnir, heimildir).
Hvað hefur þetta með venjulega notendur skýrslna að gera, hverjir eru kostir þeirra? Þökk sé hæfileikanum til að byggja upp DataLineage fá notendur okkar, jafnvel þeir sem eru fjarri SQL og öðrum forritunarmálum, fljótt upplýsingar um heimildir og hluti sem tiltekin skýrsla er gerð á grundvelli.
Gagnagæðaeftirlitseining
Allt sem við töluðum um hér að ofan varðandi að tryggja gagnsæi gagna er ekki mikilvægt án þess að skilja að gögnin sem við gefum notendum eru réttar. Ein mikilvægasta einingin í hugmyndafræðinni um gagnastjórnun er gagnagæðaeftirlitseiningin.
Á núverandi stigi er þetta skrá yfir athuganir fyrir valda aðila. Strax markmið vöruþróunar er að stækka lista yfir athuganir og samþætta skýrsluskránni.
Hvað mun það gefa og hverjum? Endanlegur notandi skrárinnar mun hafa aðgang að upplýsingum um fyrirhugaða og raunverulega dagsetningu skýrslugerðar, niðurstöður lokið athugunum með gangverki og upplýsingum um heimildir sem eru hlaðnar inn í skýrsluna.
Fyrir okkur er gagnagæðaeiningin sem er samþætt í vinnuferla okkar:
- Skjót mótun væntinga viðskiptavina.
- Að taka ákvarðanir um frekari notkun gagna.
- Að fá bráðabirgðahóp vandamála á fyrstu stigum vinnu fyrir þróun reglubundins gæðaeftirlits.
Auðvitað eru þetta fyrstu skrefin í að byggja upp fullbúið gagnastjórnunarferli. En við erum þess fullviss að aðeins með því að vinna þessa vinnu markvisst, taka virkan gagnastjórnunarverkfæri inn í vinnuferlið, munum við veita viðskiptavinum okkar upplýsingaefni, mikið traust á gögnunum, gagnsæi í móttöku þeirra og auka hraða við kynningu ný virkni.
DataOffice teymi
Heimild: www.habr.com