Utawala wa data ndani ya nyumba

Habari Habr!

Data ni mali ya thamani zaidi ya kampuni. Takriban kila kampuni iliyo na mwelekeo wa kidijitali inatangaza hili. Ni vigumu kubishana na hili: hakuna mkutano mkuu mmoja wa IT unaofanyika bila kujadili mbinu za kusimamia, kuhifadhi na kuchakata data.

Data inakuja kwetu kutoka nje, pia inazalishwa ndani ya kampuni, na ikiwa tunazungumzia kuhusu data kutoka kwa kampuni ya simu, basi kwa wafanyakazi wa ndani hii ni ghala la habari kuhusu mteja, maslahi yake, tabia na eneo. Kwa uwekaji wasifu sahihi na sehemu, matoleo ya utangazaji yanafaa zaidi. Walakini, katika mazoezi, sio kila kitu ni nzuri sana. Data ambayo kampuni huhifadhi inaweza kuwa ya kizamani, isiyo na maana, inayojirudia, au kuwepo kwake haijulikani kwa mtu yeyote isipokuwa mduara finyu wa watumiaji. ¯_(ツ)_/¯

Kwa neno moja, data lazima idhibitiwe kwa ufanisi - basi tu itakuwa mali ambayo huleta faida na faida halisi kwa biashara. Kwa bahati mbaya, kutatua maswala ya usimamizi wa data kunahitaji kushinda ugumu mwingi. Wao ni hasa kutokana na urithi wa kihistoria katika mfumo wa "zoo" za mifumo na ukosefu wa michakato ya umoja na mbinu za usimamizi wao. Lakini inamaanisha nini kuwa "data inayoendeshwa"?

Hii ndio hasa tutazungumza juu ya kata, na vile vile jinsi safu ya opensource ilitusaidia.

Wazo la kimkakati la usimamizi wa data Utawala wa Takwimu (DG) tayari linajulikana sana katika soko la Urusi, na malengo yaliyofikiwa na biashara kama matokeo ya utekelezaji wake yanajulikana na kutangazwa wazi. Kampuni yetu haikuwa ubaguzi na ilijiwekea kazi ya kuanzisha dhana ya usimamizi wa data.

Kwa hiyo tulianzia wapi? Kuanza, tulijiwekea malengo muhimu:

1. Weka data yetu ipatikane.
2. Hakikisha uwazi wa mzunguko wa maisha wa data.
3. Wape watumiaji wa kampuni data thabiti, thabiti.
4. Wape watumiaji wa kampuni data iliyothibitishwa.

Leo, kuna zana kadhaa za darasa la Utawala wa Takwimu kwenye soko la programu.

Lakini baada ya uchambuzi wa kina na utafiti wa suluhisho, tulirekodi maoni kadhaa muhimu kwetu wenyewe:

• Wazalishaji wengi hutoa seti ya kina ya ufumbuzi, ambayo kwetu ni ya ziada na inarudia utendaji uliopo. Zaidi, ghali katika suala la rasilimali, ushirikiano katika mazingira ya sasa ya IT.
• Utendaji na kiolesura kimeundwa kwa ajili ya wanateknolojia, si watumiaji wa mwisho wa biashara.
• Kiwango cha chini cha maisha ya bidhaa na ukosefu wa utekelezaji wa mafanikio kwenye soko la Urusi.
• Gharama kubwa ya programu na usaidizi zaidi.

Vigezo na mapendekezo yaliyotolewa hapo juu kuhusu uingizwaji wa programu za uagizaji kwa ajili ya makampuni ya Urusi yalitushawishi tuelekee maendeleo yetu kwenye mrundikano wa rasilimali huria. Jukwaa tulilochagua lilikuwa Django, mfumo wa chanzo huria na huria ulioandikwa kwa Python. Na kwa hivyo tumegundua moduli muhimu ambazo zitachangia malengo yaliyotajwa hapo juu:

1. Usajili wa ripoti.
2. Kamusi ya biashara.
3. Moduli ya kuelezea mabadiliko ya kiufundi.
4. Moduli ya kuelezea mzunguko wa maisha ya data kutoka chanzo hadi zana ya BI.
5. Moduli ya kudhibiti ubora wa data.

Usajili wa ripoti

Kwa mujibu wa matokeo ya masomo ya ndani katika makampuni makubwa, wakati wa kutatua matatizo yanayohusiana na data, wafanyakazi hutumia 40-80% ya muda wao kutafuta. Kwa hiyo, tunajiwekea kazi ya kufanya habari wazi kuhusu ripoti zilizopo ambazo hapo awali zilipatikana kwa wateja tu. Kwa hivyo, tunapunguza muda wa kutoa ripoti mpya na kuhakikisha uwekaji data kidemokrasia.

Rejista ya kuripoti imekuwa dirisha moja la kuripoti kwa watumiaji wa ndani kutoka mikoa, idara na vitengo mbalimbali. Inaunganisha habari juu ya huduma za habari zilizoundwa katika hazina kadhaa za kampuni, na kuna wengi wao huko Rostelecom.

Lakini Usajili sio tu orodha kavu ya ripoti zilizotengenezwa. Kwa kila ripoti, tunatoa maelezo muhimu kwa mtumiaji kujifahamisha nayo:

• maelezo mafupi ya ripoti;
• kina cha upatikanaji wa data;
• sehemu ya mteja;
• chombo cha kuona;
• jina la hifadhi ya shirika;
• mahitaji ya kazi ya biashara;
• kiungo kwa ripoti;
• kiungo kwa maombi ya ufikiaji;
• hali ya utekelezaji.

Uchanganuzi wa kiwango cha matumizi unapatikana kwa ripoti, na ripoti zimeorodheshwa juu ya orodha kulingana na takwimu za kumbukumbu kulingana na idadi ya watumiaji mahususi. Na si hivyo. Mbali na sifa za jumla, tumetoa pia maelezo ya kina ya muundo wa sifa wa ripoti na mifano ya maadili na njia za hesabu. Maelezo kama haya mara moja humpa mtumiaji jibu ikiwa ripoti ni muhimu kwake au la.

Ukuzaji wa moduli hii ilikuwa hatua muhimu katika uwekaji demokrasia ya data na kwa kiasi kikubwa kupunguza muda inachukua kupata taarifa zinazohitajika. Mbali na kupunguza muda wa utafutaji, idadi ya maombi kwa timu ya usaidizi ili kutoa mashauriano pia imepungua. Haiwezekani kutokumbuka matokeo mengine muhimu ambayo tuliyapata kwa kutengeneza rejista ya umoja ya ripoti - kuzuia uundaji wa ripoti rudufu kwa vitengo tofauti vya kimuundo.

Kamusi ya biashara

Nyote mnajua kuwa hata ndani ya kampuni moja, biashara huzungumza lugha tofauti. Ndiyo, wanatumia maneno sawa, lakini wanamaanisha mambo tofauti kabisa. Kamusi ya biashara imeundwa kutatua tatizo hili.

Kwetu sisi, faharasa ya biashara sio tu kitabu cha marejeleo chenye maelezo ya istilahi na mbinu za kukokotoa. Haya ni mazingira kamili ya kuunda, kukubaliana na kuidhinisha istilahi, kujenga uhusiano kati ya masharti na mali nyingine za taarifa za kampuni. Kabla ya kuingia katika faharasa ya biashara, neno lazima lipitie hatua zote za kuidhinishwa na wateja wa biashara na kituo cha ubora wa data. Ni baada ya hii tu ndipo inapatikana kwa matumizi.

Kama nilivyoandika hapo juu, upekee wa zana hii ni kwamba inaruhusu miunganisho kutoka kwa kiwango cha neno la biashara hadi ripoti maalum za watumiaji ambamo hutumiwa, na vile vile kwa kiwango cha vitu vya hifadhidata halisi.

Hili linawezekana kupitia matumizi ya vitambulishi vya neno la faharasa katika maelezo ya kina ya ripoti za usajili na maelezo ya vitu halisi vya hifadhidata.

Hivi sasa, zaidi ya masharti 4000 yamefafanuliwa na kuafikiwa katika Faharasa. Matumizi yake hurahisisha na kuharakisha uchakataji wa maombi yanayoingia ya mabadiliko katika mifumo ya habari ya kampuni. Ikiwa kiashiria kinachohitajika tayari kimetekelezwa katika ripoti yoyote, basi mtumiaji ataona mara moja seti ya ripoti zilizotengenezwa tayari ambapo kiashiria hiki kinatumika, na ataweza kuamua juu ya utumiaji mzuri wa utendakazi uliopo au urekebishaji wake mdogo, bila kuanzisha. maombi mapya kwa ajili ya maendeleo ya ripoti mpya.

Moduli ya kuelezea mabadiliko ya kiufundi na DataLineage

Je, ni moduli hizi, unauliza? Haitoshi kutekeleza Rejista ya Ripoti na Faharasa; ni muhimu pia kuweka masharti yote ya biashara kwenye muundo halisi wa hifadhidata. Kwa hivyo, tuliweza kukamilisha mchakato wa kuunda mzunguko wa maisha ya data kutoka kwa mifumo ya chanzo hadi taswira ya BI kupitia safu zote za ghala la data. Kwa maneno mengine, jenga DataLineage.

Tulitengeneza kiolesura kulingana na umbizo lililotumiwa hapo awali katika kampuni kuelezea sheria na mantiki ya kubadilisha data. Taarifa sawa huingizwa kupitia kiolesura kama hapo awali, lakini ufafanuzi wa neno la kitambulisho kutoka kwa faharasa ya biashara imekuwa sharti. Hivi ndivyo tunavyojenga muunganisho kati ya tabaka za biashara na za kimwili.

Nani anaihitaji? Ni nini kilikuwa kibaya na umbizo la zamani ambalo ulifanya kazi nalo kwa miaka kadhaa? Je, gharama za wafanyikazi kwa mahitaji ya kuzalisha zimeongezeka kiasi gani? Tulilazimika kushughulikia maswali kama haya wakati wa utekelezaji wa zana. Majibu hapa ni rahisi sana - sote tunahitaji hii, ofisi ya data ya kampuni yetu na watumiaji wetu.

Kwa kweli, wafanyikazi walilazimika kuzoea; mwanzoni, hii ilisababisha kuongezeka kidogo kwa gharama za wafanyikazi kwa kuandaa hati, lakini tulitatua suala hili. Mazoezi, kutambua na kuboresha maeneo ya shida yamefanya kazi yao. Tumefanikiwa jambo kuu - tumeboresha ubora wa mahitaji yaliyotengenezwa. Sehemu za lazima, vitabu vya kumbukumbu vya umoja, masks ya pembejeo, hundi zilizojengwa - yote haya yalifanya iwezekanavyo kuboresha kwa kiasi kikubwa ubora wa maelezo ya mabadiliko. Tuliachana na mazoea ya kupeana hati kama mahitaji ya ukuzaji na kushiriki maarifa ambayo yalipatikana kwa timu ya ukuzaji pekee. Hifadhidata ya metadata inayozalishwa hupunguza kwa kiasi kikubwa muda unaohitajika kufanya uchanganuzi wa urejeshaji na hutoa uwezo wa kutathmini haraka athari za mabadiliko kwenye safu yoyote ya mazingira ya IT (ripoti za maonyesho, jumla, vyanzo).

Je, hii ina uhusiano gani na watumiaji wa kawaida wa ripoti, ni faida gani kwao? Shukrani kwa uwezo wa kujenga DataLineage, watumiaji wetu, hata wale walio mbali na SQL na lugha nyingine za programu, hupokea haraka taarifa kuhusu vyanzo na vitu kwa misingi ambayo ripoti fulani inatolewa.

Moduli ya Kudhibiti Ubora wa Data

Kila kitu tulichozungumza hapo juu katika suala la kuhakikisha uwazi wa data si muhimu bila kuelewa kuwa data tunayowapa watumiaji ni sahihi. Mojawapo ya moduli muhimu za dhana yetu ya Udhibiti wa Data ni moduli ya kudhibiti ubora wa data.

Katika hatua ya sasa, hii ni orodha ya hundi kwa vyombo vilivyochaguliwa. Lengo la haraka la ukuzaji wa bidhaa ni kupanua orodha ya hundi na kuunganishwa na sajili ya kuripoti.
Itatoa nini na kwa nani? Mtumiaji wa mwisho wa rejista atapata habari kuhusu tarehe zilizopangwa na halisi za utayarishaji wa ripoti, matokeo ya ukaguzi uliokamilishwa na mienendo, na habari juu ya vyanzo vilivyopakiwa kwenye ripoti.

Kwetu sisi, moduli ya ubora wa data iliyojumuishwa katika michakato yetu ya kazi ni:

• Uundaji wa haraka wa matarajio ya wateja.
• Kufanya maamuzi juu ya matumizi zaidi ya data.
• Kupata seti ya awali ya pointi za tatizo katika hatua za awali za kazi kwa ajili ya maendeleo ya udhibiti wa ubora wa mara kwa mara.

Bila shaka, hizi ni hatua za kwanza katika kujenga mchakato kamili wa usimamizi wa data. Lakini tuna uhakika kwamba kwa kufanya kazi hii kimakusudi tu, kwa kuanzisha kikamilifu zana za Udhibiti wa Data katika mchakato wa kazi, tutawapa wateja wetu maudhui ya habari, kiwango cha juu cha uaminifu katika data, uwazi katika upokeaji wao na kuongeza kasi ya uzinduzi. utendakazi mpya.

Timu ya Ofisi ya Data

Chanzo: mapenzi.com