Hey Habr!
Done yo se avantaj ki pi enpòtan nan yon konpayi. Prèske tout konpayi ki gen yon konsantre dijital deklare sa. Li difisil pou diskite ak sa a: pa gen yon sèl gwo konferans IT ki fèt san yo pa diskite sou apwòch nan jere, estoke ak trete done.
Done yo vini nan nou soti deyò, li se tou pwodwi nan konpayi an, epi si nou pale sou done ki soti nan yon konpayi telecom, Lè sa a, pou anplwaye entèn sa a se yon depo nan enfòmasyon sou kliyan an, enterè li, abitid, ak kote. Avèk bon profilage ak segmentasyon, òf piblisite yo pi efikas. Sepandan, nan pratik, se pa tout bagay ki tèlman woz. Done konpayi yo estoke yo ka san espwa demode, redondants, repete, oswa egzistans li yo se enkoni pou nenpòt moun eksepte yon sèk etwat itilizatè yo. ¯_(ツ)_/¯
Nan yon mo, done yo dwe efektivman jere - sèlman lè sa a li pral vin yon avantaj ki pote benefis reyèl ak pwofi nan biznis la. Malerezman, rezoud pwoblèm jesyon done mande pou simonte yon anpil nan konpleksite. Yo se sitou akòz tou de eritaj istorik la nan fòm lan nan "zoo" nan sistèm ak mank de pwosesis inifye ak apwòch nan jesyon yo. Men, ki sa sa vle di yo dwe "done kondwi"?
Sa a se egzakteman sa nou pral pale sou anba koupe a, osi byen ke ki jan chemine a opensource te ede nou.
Konsèp nan jesyon done estratejik Gouvènans Done (DG) deja byen li te ye nan mache Ris la, ak objektif yo reyalize pa biznis kòm yon rezilta nan aplikasyon li yo klè ak klèman deklare. Konpayi nou an pa te gen okenn eksepsyon epi li te mete tèt li travay la nan entwodwi konsèp nan jesyon done.
Se konsa, kote nou te kòmanse? Pou kòmanse, nou te fòme objektif kle pou tèt nou:
- Kenbe done nou yo aksesib.
- Asire transparans nan sik lavi done yo.
- Bay itilizatè konpayi yo done ki konsistan, ki konsistan.
- Bay itilizatè konpayi yo done verifye.
Jodi a, gen yon douzèn zouti klas Gouvènans Done sou mache lojisyèl an.
Men, apre yon analiz detaye ak etid solisyon yo, nou anrejistre yon kantite kòmantè kritik pou tèt nou:
- Pifò manifaktirè yo ofri yon seri solisyon konplè, ki pou nou se redondants ak doublons fonksyonalite ki egziste deja. Plus, chè an tèm de resous, entegrasyon nan peyizaj aktyèl IT la.
- Fonksyonalite a ak koòdone yo fèt pou teknològ, pa itilizatè fen biznis.
- Ba pousantaj siviv nan pwodwi ak mank de aplikasyon siksè sou mache Ris la.
- Segondè pri nan lojisyèl ak plis sipò.
Kritè yo ak rekòmandasyon vwa pi wo a konsènan enpòte sibstitisyon nan lojisyèl pou konpayi Ris konvenk nou pou avanse pou pi nan devlopman pwòp pa nou sou yon pil opensource. Platfòm nou te chwazi a se te Django, yon fondasyon sous lib ak louvri ki ekri nan Python. Se konsa, nou te idantifye modil kle ki pral kontribye nan objektif ki endike anwo a:
- Anrejistre rapò yo.
- Glosè biznis.
- Modil pou dekri transfòmasyon teknik.
- Modil pou dekri sik lavi done soti nan sous la rive nan zouti BI.
- Modil kontwòl kalite done.
Anrejistre rapò yo
Dapre rezilta etid entèn yo nan gwo konpayi yo, lè yo rezoud pwoblèm ki gen rapò ak done yo, anplwaye yo pase 40-80% nan tan yo ap chèche yo. Se poutèt sa, nou mete tèt nou travay pou fè enfòmasyon ouvè sou rapò ki deja egziste ki te deja disponib sèlman pou kliyan yo. Kidonk, nou redwi tan pou jenere nouvo rapò epi asire demokratizasyon done yo.
Rejis rapò a te vin tounen yon sèl fenèt rapò pou itilizatè entèn ki soti nan divès rejyon, depatman, ak divizyon. Li konsolide enfòmasyon sou sèvis enfòmasyon ki te kreye nan plizyè depo antrepriz nan konpayi an, e gen anpil nan yo nan Rostelecom.
Men, rejis la se pa sèlman yon lis sèk nan rapò devlope. Pou chak rapò, nou bay enfòmasyon ki nesesè pou itilizatè a familyarize tèt yo avèk li:
- brèf deskripsyon rapò a;
- pwofondè nan disponiblite done;
- segman kliyan;
- zouti vizyalizasyon;
- non depo antrepriz la;
- kondisyon fonksyonèl biznis;
- lyen nan rapò a;
- lyen ak aplikasyon pou aksè;
- sitiyasyon aplikasyon an.
Analiz nivo itilizasyon yo disponib pou rapò, epi rapò yo klase nan tèt lis la baze sou analytics log ki baze sou kantite itilizatè inik. Epi se pa sa. Anplis de karakteristik jeneral yo, nou te bay tou yon deskripsyon detaye sou konpozisyon atribi rapò yo ak egzanp valè ak metòd kalkil. Sa yo detay imedyatman bay itilizatè a yon repons si rapò a itil pou li oswa ou pa.
Devlopman modil sa a se te yon etap enpòtan nan demokratizasyon done e li te redwi anpil tan li pran pou jwenn enfòmasyon yo mande yo. Anplis diminye tan rechèch la, kantite demann yo bay ekip sipò a pou bay konsiltasyon yo te diminye tou. Li enposib pa sonje yon lòt rezilta itil ke nou reyalize lè nou devlope yon rejis inifye nan rapò - anpeche devlopman nan rapò kopi pou diferan inite estriktirèl.
Glosè biznis
Ou tout konnen ke menm nan menm konpayi an, biznis yo pale diferan lang. Wi, yo sèvi ak menm tèm yo, men yo vle di bagay konplètman diferan. Yon glosè biznis fèt pou rezoud pwoblèm sa a.
Pou nou, yon glosè biznis se pa sèlman yon liv referans ak yon deskripsyon tèm ak metodoloji kalkil. Sa a se yon anviwònman konplè pou devlope, dakò ak apwouve tèminoloji, bati relasyon ant tèm ak lòt byen enfòmasyon nan konpayi an. Anvan w antre nan glosè biznis la, yon tèm dwe ale nan tout etap apwobasyon ak kliyan biznis yo ak sant kalite done yo. Se sèlman apre sa li vin disponib pou itilize.
Kòm mwen te ekri pi wo a, inik nan zouti sa a se ke li pèmèt koneksyon soti nan nivo a nan yon tèm biznis nan rapò itilizatè espesifik kote li itilize, osi byen ke nan nivo nan objè baz done fizik.
Sa a se posib grasa itilizasyon idantifyan tèm glosè nan deskripsyon detaye rapò rejis yo ak deskripsyon objè baz done fizik yo.
Kounye a, plis pase 4000 tèm yo te defini ak dakò sou yo nan Glosè a. Itilizasyon li yo senplifye ak akselere pwosesis la nan demann fèk ap rantre pou chanjman nan sistèm enfòmasyon konpayi an. Si endikatè obligatwa a deja aplike nan nenpòt rapò, Lè sa a, itilizatè a pral imedyatman wè yon seri rapò ki pare kote yo itilize endikatè sa a, epi yo pral kapab deside sou reyitilizasyon efikas nan fonksyonalite ki egziste deja oswa modifikasyon minimòm li yo, san yo pa kòmanse. nouvo demann pou devlopman yon nouvo rapò.
Modil pou dekri transfòmasyon teknik ak DataLineage
Ki sa ki modil sa yo, ou mande? Li pa ase tou senpleman aplike Rejis Rapò ak Glosè; li nesesè tou pou baze tout tèm biznis yo sou modèl baz done fizik la. Kidonk, nou te kapab konplete pwosesis la nan fòme sik lavi done a soti nan sistèm sous yo nan vizyalizasyon BI atravè tout kouch nan depo done a. Nan lòt mo, bati yon DataLineage.
Nou devlope yon koòdone ki baze sou fòma yo te itilize deja nan konpayi an pou dekri règ ak lojik transfòmasyon done yo. Yo antre nan menm enfòmasyon an atravè koòdone kòm anvan, men definisyon an nan idantifyan an tèm nan glosè biznis la te vin tounen yon avantou. Sa a se ki jan nou bati yon koneksyon ant biznis la ak kouch fizik.
Ki moun ki bezwen li? Ki sa ki te mal ak ansyen fòma ou te travay avèk pandan plizyè ane? Konbyen depans travay yo pou jenere kondisyon ogmante? Nou te oblije fè fas ak kesyon sa yo pandan aplikasyon zouti a. Repons yo isit la se byen senp - nou tout bezwen sa a, biwo done konpayi nou an ak itilizatè nou yo.
Vreman vre, anplwaye yo te oblije adapte; okòmansman, sa te mennen nan yon ti ogmantasyon nan depans travay pou prepare dokiman, men nou rezoud pwoblèm sa a. Pratike, idantifye ak optimize zòn pwoblèm yo te fè travay yo. Nou te reyalize bagay prensipal la - nou te amelyore kalite kondisyon yo devlope. Jaden obligatwa, liv referans inifye, mask opinyon, chèk entegre - tout bagay sa yo te fè li posib amelyore siyifikativman kalite deskripsyon transfòmasyon yo. Nou te deplase lwen pratik nan remèt scripts kòm kondisyon devlopman ak konesans pataje ki te disponib sèlman nan ekip devlopman an. Baz done metadata pwodwi a redwi anpil tan ki nesesè pou fè analiz regresyon epi li bay kapasite pou byen vit evalye enpak chanjman yo sou nenpòt kouch peyizaj IT (rapò ekspozisyon, total, sous).
Kisa sa a gen pou wè ak itilizatè òdinè nan rapò, ki avantaj ki genyen pou yo? Gras a kapasite pou konstwi DataLineage, itilizatè nou yo, menm moun ki lwen SQL ak lòt langaj pwogramasyon, byen vit resevwa enfòmasyon sou sous yo ak objè sou baz yo pwodwi yon rapò patikilye.
Modil Kontwòl Kalite Done
Tout sa nou te pale sou pi wo a an tèm de asire transparans done yo pa enpòtan san yo pa konprann ke done yo nou bay itilizatè yo kòrèk. Youn nan modil enpòtan nan konsèp Gouvènans Done nou an se modil kontwòl kalite done.
Nan etap aktyèl la, sa a se yon katalòg chèk pou antite chwazi yo. Objektif imedya pou devlopman pwodwi se elaji lis chèk la epi entegre ak rejis rapò a.
Ki sa li pral bay ak ki moun? Itilizatè final rejis la ap gen aksè a enfòmasyon sou dat yo planifye ak aktyèl pou preparasyon pou rapò a, rezilta chèk ki fèt ak dinamik, ak enfòmasyon sou sous ki chaje nan rapò a.
Pou nou, modil kalite done ki entegre nan pwosesis travay nou yo se:
- Fòmasyon rapid nan atant kliyan yo.
- Pran desizyon sou plis itilizasyon done yo.
- Jwenn yon seri preliminè nan pwen pwoblèm nan premye etap yo nan travay pou devlopman nan kontwòl kalite regilye.
Natirèlman, sa yo se premye etap yo nan bati yon pwosesis jesyon done konplè. Men, nou gen konfyans ke sèlman nan fè espre fè travay sa a, aktivman entwodwi zouti Gouvènans Done nan pwosesis travay la, nou pral bay kliyan nou yo kontni enfòmasyon, yon wo nivo konfyans nan done yo, transparans nan resi yo ak ogmante vitès la nan lanse. nouvo fonksyonalite.
Ekip DataOffice
Sous: www.habr.com