Datu pārvaldība ar saviem spēkiem

Sveiki, Habr!

Dati ir uzņēmuma vērtīgākais aktīvs. Par to apgalvo gandrīz katra digitālā uzņēmuma kompānija. Ar to ir grūti strīdēties: bez diskusijām par datu pārvaldības, glabāšanas un apstrādes pieejām šobrīd nenotiek neviena liela IT konference.

Dati pie mums nāk no ārpuses, kā arī tiek veidoti uzņēmuma iekšienē, un, ja runājam par telekomunikāciju uzņēmuma datiem, tie ir kā iekšējiem darbiniekiem, tā arī dārgais informācijas avots par klientu, viņa interesēm, ieradumiem un atrašanās vietu. Pareizi veicot profilēšanu un segmentēšanu, reklāmas piedāvājumi iznāk visefektīvāk. Tomēr praksē ne viss ir tik rožaini. Tie dati, kurus uzņēmumi glabā, var būt bezcerīgi novecojuši, lieki, atkārtojoši vai par to eksistenci neviens nezina, izņemot šauru lietotāju loku. ¯_(ツ)_/¯

Vienkārši sakot, datiem ir jābūt efektīviem, lai tie kļūtu par aktīvu, kas uzņēmumam sniedz reālu labumu un peļņu. Diemžēl, lai risinātu datu pārvaldības jautājumus, jāiziet cauri diezgan daudziem sarežģījumiem. Tie galvenokārt ir saistīti gan ar vēsturisko mantojumu ‘dzīvnieku dārzu’ formā, gan ar vienotu procesu un pieeju trūkumu to pārvaldībā. Bet ko nozīmē ‘pārvaldīt datus’?

Tieši par to mēs runāsim zemāk, kā arī par to, kā mums palīdzēja opensource kaudze.

Datu stratēģiskās pārvaldības koncepcija Data Governance (DG) jau ir pietiekami pazīstama Krievijas tirgū, un mērķi, ko uzņēmums sasniedz tās ieviešanas rezultātā, ir skaidri un precīzi definēti. Mūsu uzņēmums nav izņēmums un ir izvirzījis sev datu pārvaldības koncepcijas ieviešanas uzdevumu.

Tātad, ar ko mēs sākām? Vispirms mēs izveidojām sev galvenos mērķus:

1. Nodrošināt mūsu datu pieejamību.
2. Nodrošināt datu dzīves cikla caurredzamību.
3. Dot uzņēmuma darbiniekiem saskaņotus un pretrunīgus datus.
4. Dot uzņēmuma darbiniekiem pārbaudītus datus.

Mūsdienās programmatūras tirgū ir pieejami desmitiem Data Governance klases rīku.

Tomēr pēc detalizētas analīzes un risinājumu izpētes mēs secinājām sev dažas kritiskas piezīmes:

• Lielākā daļa ražotāju piedāvā kompleksu risinājumu kopumu, kas mums ir pārmērīgs un atkārto jau pastāvošo funkcionalitāti. Turklāt integrācija esošajā IT ainā ir dārga resursu ziņā.
• Funkcionalitāte un saskarne ir paredzētas tehnoloģiem, nevis gala biznesa lietotājiem.
• Zema produktu pieņemšana un veiksmīgu ieviešanu trūkums Krievijas tirgū.
• Augstas programmatūras un turpmākās atbalsta izmaksas.

Iepriekš minētie kritēriji un ieteikumi attiecībā uz programmatūras importēšanas aizvietošanu krievu uzņēmumiem pārliecināja mūs doties uz brīvā programmatūras izstrādi, izmantojot opensource tehnoloģijas. Par platformu izvēlējāmies Django – bezmaksas un brīvu ietvaru, kas uzrakstīts Python. Tādējādi mēs noteicām galvenos moduļus, kas veicinās iepriekš minētos mērķus:

1. Pārskatu reģistrs.
2. Biznesa glosārijs.
3. Tehnisko transformāciju apraksta modulis.
4. Datu dzīves cikla apraksta modulis no avota līdz BI rīkam.
5. Datu kvalitātes kontroles modulis.

Pārskatu reģistrs

Saskaņā ar iekšējiem pētījumiem lielās kompānijās, risinot ar datiem saistītus uzdevumus, darbinieki pavada 40–80% laika to meklēšanā. Tāpēc mēs sev uzstādījām mērķi, lai informācija par esošajiem pārskatiem, kas iepriekš bija pieejama tikai pasūtītājiem, būtu atvērta. Tādējādi mēs samazinām laiku jaunu pārskatu izveidošanai un nodrošinām datu demokratizāciju.

Pārskatu reģistrs ir kļuvis par vienotu pārskatu logu iekšējiem lietotājiem no dažādām reģioniem, departamentiem, nodaļām. Tajā ir konsolidēta informācija par informācijas pakalpojumiem, kas izveidoti vairākos uzņēmuma korporatīvajos glabāšanas mēteļos, un to ir daudz Rostelecom.

Tomēr reģistrs nav tikai sauss izstrādāto pārskatu saraksts. Katram pārskatam mēs sniedzam lietotājam nepieciešamo informāciju patstāvīgai iepazīšanās ar to:

• īss pārskata apraksts;
• datu pieejamības dziļums;
• pasūtītāja segments;
• vizualizācijas rīks;
• korporatīvā glabāšanas nosaukums;
• biznesa funkcionalitātes prasības;
• saite uz pārskatu;
• saite uz piekļuves pieprasījumu;
• īstenošanas statuss.

At reports, there is available usage analytics, and reports are ranked at the top based on log analytics regarding the number of unique users. And that's not all. In addition to general characteristics, we have provided a detailed description of the attribute composition of the reports with examples of values and calculation methods. Such detailing immediately gives the user an answer on whether the report is useful for them or not.

The development of this module has been an important step towards democratizing data and has significantly reduced the time needed to find the required information. Besides reducing search time, the number of inquiries to the support team for consultations has also decreased. It is worth noting another valuable result we achieved by developing a single registry of reports – preventing the creation of duplicate reports for different structural units.

Business Glossary

You all know that even within the same company, the business speaks different languages. Yes, they use the same terms, but understand completely different things by them. The business glossary is designed to solve this problem.

For us, the business glossary is not just a dictionary with descriptions of terms and calculation methods. It is a full development environment for agreeing on and approving terminology, establishing correlations between terms and other information assets of the company. Before entering the business glossary, a term must undergo all stages of agreement with business clients and the data quality center. Only after this does it become available for use.

As I mentioned earlier, the uniqueness of this tool is that it allows tracing connections from the level of business terms to specific user reports in which they are used, as well as down to the level of physical objects in databases.

This has become possible through the use of glossary term identifiers in the detailed description of reports from the registry and in the description of physical objects in databases.

Šobrīd Glosārijā ir definēti un saskaņoti jau vairāk nekā 4000 terminu. Tā lietošana atvieglo un paātrina ienākošo pieprasījumu apstrādi par izmaiņām uzņēmuma informācijas sistēmās. Ja prasītais rādītājs jau ir īstenots kādā atskaitē, lietotājs uzreiz redzēs gatavo atskaišu kopumu, kur šis rādītājs ir izmantots, un varēs pieņemt lēmumu par efektīvu esošās funkcionalitātes atkārtotu izmantošanu vai tās minimālu pārstrādi, neuzsākot jaunus pieprasījumus par jaunu atskaišu izstrādi.

Tehnisko transformāciju apraksta modulis un DataLineage

Jūs jautājat, kas ir šie moduļi? Ir maz vienkārši ieviest Atskaites reģistru un Glosāriju; ir nepieciešams arī pielāgot visus biznesa terminus fiziskajam datu modeļa veidam. Tādējādi mēs spējam pabeigt datu dzīves cikla veidošanas procesu no avota sistēmām līdz BI vizualizācijai caur visiem datu krātuves slāņiem. Citiem vārdiem sakot – uzbūvēt DataLineage.

Mēs esam izstrādājuši saskarni, kuras pamatā ir iepriekš uzņēmumā izmantotais datu transformācijas noteikumu un loģikas apraksta formāts. Caur saskarni tiek ievadīta tā pati informācija kā iepriekš, bet obligātais nosacījums ir noteikt biznesa glosārija termina identifikatoru. Tādā veidā mēs veidojam saikni starp biznesa un fiziskajiem slāņiem.

Kam tas nepieciešams? Kas neapmierināja veco formātu, ar kuru mēs strādājām vairākus gadus? Cik ļoti ir palielinājušās darba izmaksas prasību definēšanai? Ar šādiem jautājumiem mums nācās saskarties rīka ieviešanas procesā. Atbildes šeit ir diezgan vienkāršas – tas nepieciešams visiem mums, mūsu uzņēmuma datu birojam un mūsu lietotājiem.

Tiešām, darbiniekiem bija jāpielāgojas, sākumā tas noveda pie nelieliem darba ievērojuma palielinājumiem dokumentācijas sagatavošanā, bet mēs risinājām šo jautājumu. Prakse, problēmu identificēšana un optimizācija izdarīja savu darbu. Mēs sasniedzām galveno — uzlaboja izstrādāto prasību kvalitāti. Obligātie aizpildāmie lauki, vienotie katalogi, ievades maskas, iebūvētie pārbaudes – viss tas ļāva ievērojami uzlabot transformāciju aprakstu kvalitāti. Mēs atteicāmies no prakses, kad skripti tika nodoti kā izstrādes prasības, un dalījāmies ar zināšanām, kas bija pieejamas tikai izstrādes komandai. Izveidotā metadatu datu bāze ievērojami samazina regresijas analīzes laiku un nodrošina iespēju ātri novērtēt izmaiņu ietekmi jebkurā IT ainavas slānī (ziņojumu vitrīnas, agregāti, avoti).

Bet kāda saistība tam ir ar parastajiem ziņojumu lietotājiem, kādi ieguvumi viņiem? Pateicoties DataLineage veidošanas iespējām, mūsu lietotāji, pat tie, kas ir tālu no SQL un citiem programmēšanas valodām, ātri iegūst informāciju par avotiem un objektiem, uz kuriem balstās attiecīgais ziņojums.

Datu kvalitātes kontroles modulis

Viss, par ko mēs runājām iepriekš attiecībā uz datu caurskatāmību, nav svarīgs bez izpratnes par to, ka dati, kurus mēs sniedzam lietotājiem, ir pareizi. Viens no svarīgajiem mūsu Data Governance koncepcijas moduļiem ir datu kvalitātes kontroles modulis.

Šajā posmā tā ir pārbaudes katalogs par izvēlētajām entitātēm. Tuvākais produkta attīstības mērķis ir paplašināt pārbaudes sarakstu un integrāciju ar ziņojumu reģistru.
Ko tas dos un kam? Beigās lietotājiem reģistrā būs pieejama informācija par plānotajām un faktiskajām ziņojuma gatavības datumiem, rezultāti no paveiktajām pārbaudēm ar dinamiku, informācija par avotiem, kas tika ielādēti ziņojumā.

Mums integrētais darba procesos datu kvalitātes modulis nozīmē:

• Operatīva klientu cerību veidošana.
• Lēmumu pieņemšana par turpmāko datu izmantošanu.
• Iepriekšēja problēmu punktu komplekta iegūšana darba sākuma posmos regulāro kvalitātes kontroles izstrādei.

Noteikti, tas ir pirmais solis pilnvērtīgas datu pārvaldības procesa izveidē. Taču mēs esam pārliecināti, ka, tikai mērķtiecīgi strādājot pie šī darba, aktīvi ieviešot DataGovernance rīkus darba procesā, mēs nodrošināsim mūsu klientiem informāciju, augstu uzticību datiem, caurskatāmību to iegūšanā un paātrināsim jaunu funkcionalitāšu ieviešanu.

DataOffice komanda

Avots: habr.com