Hey Habr!
Lintlha ke letlotlo la bohlokoahali la k'hamphani. Hoo e ka bang k'hamphani e 'ngoe le e' ngoe ea dijithale e bolela sena. Ho thata ho pheha khang ka sena: ha ho kopano e le 'ngoe e kholo ea IT e tšoaroang ntle le ho buisana ka mekhoa ea ho laola, ho boloka le ho sebetsana le lintlha.
Lintlha li tla ho rona tse tsoang ka ntle, li boetse li hlahisoa ka har'a k'hamphani, 'me haeba re bua ka lintlha tse tsoang k'hamphaning ea telecom, joale bakeng sa basebetsi ba ka hare sena ke polokelo ea tlhahisoleseding mabapi le mofani, lithahasello tsa hae, mekhoa ea hae le sebaka. Ka profiler e nepahetseng le karohano, lipapatso tsa papatso li sebetsa haholo. Leha ho le joalo, ka ts'ebetso, ha se ntho e 'ngoe le e' ngoe e monate haholo. Lintlha tseo lik'hamphani li li bolokang e ka 'na ea e-ba tsa khale, ha li na thuso, tsa ipheta-pheta, kapa ho ba teng ha tsona ha li tsejoe ke mang kapa mang haese basebelisi ba bangata. ¯_(ツ)_/¯
Ka mantsoe a mang, data e tlameha ho laoloa ka nepo - ke ka nako eo feela e tla fetoha letlotlo le tlisang melemo le phaello ea nnete khoebong. Ka bomalimabe, ho rarolla mathata a tsamaiso ea data ho hloka ho hlola mathata a mangata. Li bakoa haholo-holo ka bobeli lefa la histori ka mokhoa oa "lizuu" tsa litsamaiso le khaello ea mekhoa e kopanetsoeng le mekhoa ea tsamaiso ea tsona. Empa ho bolela'ng ho ba "data driven"?
Sena ke sona hantle seo re tla bua ka sona tlas'a sehiloeng, hammoho le hore na opensource stack e re thusitse joang.
Khopolo ea maano a taolo ya data Governance (DG) e se e tsebahala haholo 'marakeng oa Russia,' me lipakane tse fihletsoeng ke khoebo ka lebaka la ts'ebetsong ea eona li hlakile ebile li phatlalatsoa ka ho hlaka. Khamphani ea rona e ne e se mokhelo mme e ipehetse mosebetsi oa ho hlahisa mohopolo oa taolo ea data.
Joale re qalile hokae? Taba ea pele, re ile ra iketsetsa lipakane tsa bohlokoa:
- Boloka data ea rona e fumaneha.
- Netefatsa ponaletso ea bophelo ba data.
- Fana ka basebelisi ba k'hamphani ka data e ts'oanang, e ts'oanang.
- Fana ka basebelisi ba k'hamphani lintlha tse netefalitsoeng.
Kajeno, ho na le lisebelisoa tse ngata tsa sehlopha sa Tsamaiso ea Lintlha 'marakeng oa software.
Empa kamora tlhahlobo e felletseng le boithuto ba litharollo, re ngotse maikutlo a 'maloa a bohlokoa bakeng sa rona:
- Boholo ba bahlahisi ba fana ka tharollo e felletseng, eo ho rona e seng e sa sebetse ebile e pheta ts'ebetso e teng. Ho feta moo, e theko e boima ho latela lisebelisoa, ho kopanngoa le sebaka sa hona joale sa IT.
- Ts'ebetso le sebopeho li etselitsoe litsebi tsa theknoloji, eseng basebelisi ba ho qetela ba khoebo.
- Sekhahla se tlase sa ho pholoha ha lihlahisoa le khaello ea ts'ebetsong e atlehileng 'marakeng oa Russia.
- Theko e phahameng ea software le tšehetso e eketsehileng.
Maemo le likhothaletso tse boletsoeng ka holimo mabapi le ho kenya software sebakeng sa lik'hamphani tsa Russia li re kholisitse hore re hatele pele ho nts'etsopele ea rona ka har'a sethala sa opensource. Sethala seo re se khethileng e ne e le Django, moralo oa mohloli o sa lefelloeng le o bulehileng o ngotsoeng ka Python. Kahoo re khethile li-module tsa bohlokoa tse tla kenya letsoho ho lipheo tse boletsoeng ka holimo:
- Ngoliso ea litlaleho.
- Bukana ea mantsoe ea khoebo.
- Mojule oa ho hlalosa liphetoho tsa tekheniki.
- Mojule oa ho hlalosa potoloho ea bophelo ba data ho tloha mohloling ho ea ho sesebelisoa sa BI.
- Mojule oa taolo ea boleng ba data.
Ngoliso ea litlaleho
Ho ea ka liphello tsa lithuto tsa ka hare ho lik'hamphani tse kholo, ha ho rarolla mathata a amanang le data, basebetsi ba qeta 40-80% ea nako ea bona ba li batla. Ka hona, re ipehetse mosebetsi oa ho etsa tlhahisoleseling e bulehileng mabapi le litlaleho tse teng tse neng li fumaneha feela ho bareki. Kahoo, re fokotsa nako ea ho hlahisa litlaleho tse ncha le ho netefatsa demokrasi ea data.
Rejisetara ea tlaleho e fetohile fensetere e le 'ngoe ea litlaleho bakeng sa basebelisi ba ka hare ho tsoa libakeng tse fapa-fapaneng, mafapha le likarohano. E kopanya tlhahisoleseling mabapi le lits'ebeletso tsa tlhahisoleseling tse entsoeng libakeng tse ngata tsa polokelo ea k'hamphani, 'me ho na le tse ngata tsa tsona ho Rostelecom.
Empa registry ha se feela lethathamo le omeletseng la litlaleho tse ntlafalitsoeng. Bakeng sa tlaleho e 'ngoe le e 'ngoe, re fana ka lintlha tse hlokahalang hore mosebelisi a itloaetse eona:
- tlhaloso e khuts'oane ea tlaleho;
- botebo ba ho fumaneha ha data;
- karolo ea bareki;
- sesebelisoa sa pono;
- lebitso la polokelo ea k'hamphani;
- litlhoko tsa ts'ebetso ea khoebo;
- sehokelo ho tlaleho;
- sehokelo sa kopo ea phihlello;
- boemo ba ho kenya tshebetsong.
Litlhahlobo tsa boemo ba ts'ebeliso lia fumaneha bakeng sa litlaleho, 'me litlaleho li behiloe maemong a holimo lethathamong ho ipapisitsoe le palo ea basebelisi ba ikhethang. Mme ha se yona. Ntle le litšobotsi tse akaretsang, re boetse re fane ka tlhaloso e qaqileng ea sebopeho sa litlaleho ka mehlala ea litekanyetso le mekhoa ea lipalo. Lintlha tse joalo hang-hang li fa mosebelisi karabo ea hore na tlaleho e na le thuso ho eena kapa che.
Nts'etsopele ea mojule ona e ne e le mohato oa bohlokoa ho demokrasi ea data mme e fokolitse haholo nako eo e e nkang ho fumana tlhaiso-leseling e hlokahalang. Ntle le ho fokotsa nako ea ho batla, palo ea likopo ho sehlopha sa tšehetso ho fana ka lipuisano le eona e fokotsehile. Ho ke ke ha khoneha hore re se ke ra ela hloko sephetho se seng sa bohlokoa seo re se fumaneng ka ho theha rejisetara e kopaneng ea litlaleho - ho thibela nts'etsopele ea litlaleho tse peli bakeng sa likarolo tse fapaneng tsa meralo.
Bukana ea mantsoe ea khoebo
Kaofela lea tseba hore le ka har'a k'hamphani e le 'ngoe, likhoebo li bua lipuo tse fapaneng. E, ba sebelisa mantsoe a tšoanang, empa ba bolela lintho tse fapaneng ka ho feletseng. Bukana ea tlhaloso ea khoebo e etselitsoe ho rarolla bothata bona.
Ho rona, glossary ea khoebo ha se feela buka ea litšupiso e nang le tlhaloso ea mantsoe le mokhoa oa ho bala. Ena ke tikoloho e felletseng ea ho nts'etsapele, ho lumellana le ho fana ka tumello ea mantsoe, ho aha likamano lipakeng tsa lipehelo le matlotlo a mang a tlhahisoleseling a k'hamphani. Pele o kena bukeng ea glossary ea khoebo, lentsoe le tlameha ho feta methating eohle ea tumello le bareki ba khoebo le setsi sa boleng ba data. Ke feela ka mor'a sena moo e ka sebelisoang.
Joalokaha ke ngotse ka holimo, ntho e ikhethang ea sesebelisoa sena ke hore e lumella likhokahano ho tloha boemong ba nako ea khoebo ho ea ho litlaleho tse khethehileng tsa mosebedisi tseo e sebelisoang ho tsona, hammoho le boemo ba lintho tsa polokelo ea boitsebiso.
Sena se khoneha ka tšebeliso ea li-identifiers tsa mantsoe a hlalosang mantsoe tlhalosong e qaqileng ea litlaleho tsa ngoliso le tlhaloso ea lintho tsa polokelo ea boitsebiso.
Hajoale, ho se ho hlalositsoe le ho lumellanoa ka mantsoe a fetang 4000 ka har'a Bukana ea Litlhaloso. Tšebeliso ea eona e nolofatsa le ho potlakisa ts'ebetso ea likopo tse tlang bakeng sa liphetoho tsamaisong ea tlhahisoleseling ea k'hamphani. Haeba sesupo se hlokahalang se se se kentsoe tšebetsong tlalehong efe kapa efe, mosebelisi o tla bona hang-hang lethathamo la litlaleho tse lokiselitsoeng moo ho sebelisoang letšoao lena, mme o tla khona ho etsa qeto mabapi le ts'ebeliso e ntle ea ts'ebetso e teng kapa phetoho e nyane, ntle le ho qala. likopo tse ncha bakeng sa nts'etsopele ea tlaleho e ncha.
Mojule oa ho hlalosa liphetoho tsa tekheniki le DataLineage
U botsa, li-module tsee ke life? Ha hoa lekana ho kenya tšebetsong Rejistara ea Tlaleho le Bukana ea Litlaleho feela; ho boetse hoa hlokahala ho thea lipehelo tsohle tsa khoebo ho latela mohlala oa database. Kahoo, re khonne ho phethela mokhoa oa ho theha potoloho ea bophelo ba data ho tloha lits'ebetsong tsa mohloli ho ea ho pono ea BI ka likarolo tsohle tsa polokelo ea data. Ka mantsoe a mang, haha DataLineage.
Re thehile sehokelo se ipapisitseng le sebopeho se sebelisitsoeng pele k'hamphaning ho hlalosa melao le mohopolo oa phetoho ea data. Tlhahisoleseding e ts'oanang e kenngoa ka sehokelo joaloka pele, empa tlhaloso ea lentsoe identifier ho tsoa ho glossary ea khoebo e fetohile ntho e hlokahalang. Ke kamoo re thehang khokahano lipakeng tsa likarolo tsa khoebo le tsa 'mele.
Ke mang ea e hlokang? Phoso ke efe ka mokhoa oa khale oo u sebelitseng ka oona ka lilemo tse 'maloa? Litšenyehelo tsa basebetsi bakeng sa litlhoko tsa ho hlahisa li nyolohile hakae? Re ile ra tlameha ho sebetsana le lipotso tse joalo nakong ea ts'ebetsong ea sesebelisoa. Likarabo mona li bonolo haholo - kaofela re hloka sena, ofisi ea rona ea data le basebelisi ba rona.
Ehlile, basebetsi ba ile ba tlameha ho ikamahanya le maemo; qalong, sena se ile sa lebisa keketsehong e nyane ea litšenyehelo tsa basebetsi bakeng sa ho hlophisa litokomane, empa re ile ra rarolla taba ena. Ho itloaetsa, ho khetholla le ho ntlafatsa libaka tsa mathata li entse mosebetsi oa tsona. Re fihletse ntho e ka sehloohong - re ntlafalitse boleng ba litlhoko tse ntlafalitsoeng. Libaka tse tlamang, libuka tsa litšupiso tse kopaneng, limaske tse kentsoeng, licheke tse hahelletsoeng - tsena tsohle li entse hore ho khonehe ho ntlafatsa haholo boleng ba litlhaloso tsa phetoho. Re ile ra tloha tloaelong ea ho fana ka lingoloa e le litlhoko tsa nts'etsopele le tsebo e arolelanoang e neng e fumaneha feela ho sehlopha sa nts'etsopele. Database ea metadata e hlahisitsoeng e fokotsa haholo nako e hlokahalang ho etsa tlhahlobo ea ho khutlela morao 'me e fana ka bokhoni ba ho hlahloba ka potlako phello ea liphetoho sebakeng leha e le sefe sa sebaka sa IT (litlaleho tsa lipontšo, lihlopha, mehloli).
Sena se amana joang le basebelisi ba tloaelehileng ba litlaleho, melemo ea bona ke efe? Ka lebaka la bokhoni ba ho haha DataLineage, basebelisi ba rona, esita le ba hole le SQL le lipuo tse ling tsa lenaneo, ba fumana kapele boitsebiso bo mabapi le mehloli le lintho tse thehiloeng ho eona tlaleho e itseng e hlahisoang.
Data Quality Control Module
Ntho e 'ngoe le e' ngoe eo re buileng ka eona ka holimo mabapi le ho netefatsa hore pepeneneng ea data ha e bohlokoa ntle le ho utloisisa hore data eo re e fang basebelisi e nepahetse. E 'ngoe ea li-module tsa bohlokoa tsa mohopolo oa rona oa Tsamaiso ea Lintlha ke mojule oa taolo ea boleng ba data.
Boemong ba hajoale, lena ke lethathamo la licheke bakeng sa mekhatlo e khethiloeng. Sepheo sa hang-hang bakeng sa nts'etsopele ea lihlahisoa ke ho atolosa lenane la licheke le ho kopanya le registry ea tlaleho.
E tla fana ka eng hona ho bo-mang? Mosebelisi oa ho qetela oa ngoliso o tla fumana leseli mabapi le matsatsi a reriloeng le a 'nete a ho itokisetsa tlaleho, liphetho tsa licheke tse phethiloeng tse nang le matla, le tlhaiso-leseling mabapi le mehloli e kentsoeng tlalehong.
Ho rona, mojule oa boleng ba data o kenyellelitsoeng ts'ebetsong ea rona ea mosebetsi ke:
- Ho theha kapele litebello tsa bareki.
- Ho etsa liqeto mabapi le tšebeliso e eketsehileng ea data.
- Ho fumana lintlha tse qalang tsa lintlha tsa mathata methating ea pele ea mosebetsi bakeng sa nts'etsopele ea taolo ea boleng bo tloaelehileng.
Ehlile, tsena ke mehato ea pele ea ho aha ts'ebetso e felletseng ea taolo ea data. Empa re na le ts'epo ea hore ke feela ka ho etsa mosebetsi ona ka boomo, ka ho kenya lisebelisoa tsa Tsamaiso ea data ka mafolofolo ts'ebetsong ea mosebetsi, re tla fa bareki ba rona litaba tsa litaba, boemo bo phahameng ba ts'epo ho data, pepeneneng ha ba fumana le ho eketsa lebelo la ho qala. tshebetso e ntjha.
Sehlopha sa DataOffice
Source: www.habr.com