Szia Habr!
Az adatok a vállalat legértékesebb eszközei. Szinte minden digitális fókuszú cég kijelenti ezt. Nehéz ezzel vitatkozni: egyetlen jelentős informatikai konferenciát sem tartanak meg anélkül, hogy ne vitatnák meg az adatok kezelésének, tárolásának és feldolgozásának megközelítéseit.
Az adatok kívülről érkeznek hozzánk, a cégen belül is keletkeznek, és ha egy távközlési cég adatairól beszélünk, akkor a belső munkatársak számára ez az ügyfélről, érdeklődési köréről, szokásairól, elhelyezkedéséről szóló információk tárháza. Megfelelő profilalkotás és szegmentálás esetén a hirdetési ajánlatok a leghatékonyabbak. A gyakorlatban azonban nem minden olyan rózsás. A cégek által tárolt adatok reménytelenül elavultak, redundánsak, ismétlődőek lehetnek, vagy létezésük egy szűk felhasználói körön kívül senki számára ismeretlen. ¯_(ツ)_/¯
Egyszóval az adatokat hatékonyan kell kezelni – csak akkor válnak belőlük olyan eszközzé, amely valódi hasznot és profitot hoz a vállalkozás számára. Sajnos az adatkezelési problémák megoldása meglehetősen sok bonyolultságot igényel. Ezek elsősorban a rendszerek „állatkertjei” formájában jelentkező történelmi hagyatéknak, valamint a kezelésük egységes folyamatainak és megközelítéseinek hiányának tudhatók be. De mit jelent az, hogy „adatvezérelt”?
Pontosan erről fogunk beszélni a vágás alatt, valamint arról, hogy a nyílt forráskódú verem hogyan segített nekünk.
A Data Governance (DG) stratégiai adatkezelés fogalma már meglehetősen ismert az orosz piacon, és a megvalósítás eredményeként a vállalkozások által elért célok világosak és egyértelműen deklaráltak. Cégünk sem volt kivétel, és az adatkezelés koncepciójának bevezetését tűzte ki maga elé.
Szóval hol kezdtük? Kezdetben kulcsfontosságú célokat tűztünk ki magunk elé:
- Tartsa hozzáférhetővé adatainkat.
- Biztosítsa az adatok életciklusának átláthatóságát.
- Konzisztens, következetes adatok biztosítása a vállalati felhasználók számára.
- Ellenőrzött adatok biztosítása a vállalati felhasználók számára.
Ma egy tucat Data Governance osztályú eszköz található a szoftverpiacon.
De a megoldások részletes elemzése és tanulmányozása után számos kritikus megjegyzést rögzítettünk magunknak:
- A legtöbb gyártó a megoldások átfogó készletét kínálja, amely számunkra redundáns és megkettőzi a meglévő funkciókat. Ráadásul drága az erőforrások, a jelenlegi IT-környezetbe való integráció szempontjából.
- A funkcionalitás és a felület a technológusok számára készült, nem az üzleti végfelhasználók számára.
- A termékek alacsony túlélési aránya és a sikeres megvalósítások hiánya az orosz piacon.
- Magas szoftverköltség és további támogatás.
A fentebb hangoztatott kritériumok és ajánlások az orosz vállalatok szoftverimport-helyettesítésével kapcsolatban meggyőztek bennünket arról, hogy saját fejlesztésünk felé haladjunk egy nyílt forráskódú stacken. Az általunk választott platform a Django volt, egy Python nyelven írt ingyenes és nyílt forráskódú keretrendszer. Így azonosítottuk azokat a kulcsfontosságú modulokat, amelyek hozzájárulnak a fent említett célok eléréséhez:
- A jelentések nyilvántartása.
- Üzleti szószedet.
- A műszaki átalakítások leírására szolgáló modul.
- Az adatok életciklusának leírására szolgáló modul a forrástól a BI eszközig.
- Adatminőség-ellenőrző modul.
A jelentések nyilvántartása
A nagyvállalatoknál végzett belső vizsgálatok eredményei szerint az adatokkal kapcsolatos problémák megoldása során a munkavállalók idejük 40-80%-át ezek keresésével töltik. Ezért azt a feladatot tűztük ki magunk elé, hogy a meglévő, korábban csak az ügyfelek számára elérhető riportokról nyílt információkat tegyünk. Így csökkentjük az új jelentések elkészítésének idejét és biztosítjuk az adatok demokratizálódását.
A jelentési nyilvántartás egyetlen jelentési ablaksá vált a különböző régiókból, részlegekből és részlegekből származó belső felhasználók számára. Konszolidálja a vállalat több vállalati adattárában létrehozott információs szolgáltatásokkal kapcsolatos információkat, amelyek közül sok van a Rostelecomban.
De a rendszerleíró adatbázis nem csak a kidolgozott jelentések száraz listája. Minden egyes jelentéshez megadjuk azokat az információkat, amelyek ahhoz szükségesek, hogy a felhasználó megismerje azt:
- a jelentés rövid leírása;
- az adatok elérhetőségének mélysége;
- ügyfélszegmens;
- vizualizációs eszköz;
- a vállalati tároló neve;
- üzleti funkcionális követelmények;
- link a jelentéshez;
- hivatkozás a hozzáférési kérelemhez;
- megvalósítás állapota.
Használati szintű elemzések állnak rendelkezésre a jelentésekhez, és a jelentések az egyedi felhasználók száma alapján a naplóelemzések alapján a lista tetején helyezkednek el. És ez nem az. Az általános jellemzők mellett részletes leírást adtunk a jelentések attribútum-összetételéről, példákkal az értékekre és a számítási módszerekre. Az ilyen részletezés azonnal választ ad a felhasználónak, hogy a jelentés hasznos-e számára vagy sem.
Ennek a modulnak a fejlesztése fontos lépés volt az adatok demokratizálódásában, és jelentősen csökkentette a szükséges információk megtalálásának idejét. A keresési idő csökkentése mellett a támogatási csoporthoz intézett konzultációs kérések száma is csökkent. Nem lehet nem megjegyezni egy másik hasznos eredményt, amelyet az egységes jelentésnyilvántartás kialakításával értünk el - megakadályozva, hogy a különböző szerkezeti egységeknél duplikált jelentések keletkezzenek.
Üzleti szószedet
Mindannyian tudják, hogy a vállalkozások még ugyanazon a vállalaton belül is különböző nyelveket beszélnek. Igen, ugyanazokat a kifejezéseket használják, de teljesen mást jelentenek. Egy üzleti szószedet ennek a problémának a megoldására készült.
Számunkra az üzleti szószedet nem csupán egy referenciakönyv a kifejezések leírásával és a számítási módszertannal. Ez egy teljes értékű környezet a terminológia fejlesztésére, egyeztetésére és jóváhagyására, a kifejezések és a vállalat egyéb információs eszközei közötti kapcsolatok kialakítására. Mielőtt belépne az üzleti szószedetbe, egy kifejezésnek át kell mennie az üzleti ügyfelekkel és az adatminőségi központtal történő jóváhagyás minden szakaszán. Csak ezt követően válik használhatóvá.
Ahogy fentebb is írtam, ennek az eszköznek az az egyedisége, hogy lehetővé teszi a kapcsolatokat egy üzleti kifejezés szintjétől a konkrét felhasználói jelentésekig, amelyekben használják, valamint a fizikai adatbázis-objektumok szintjéig.
Ezt a rendszerleíró jelentések részletes leírásában és a fizikai adatbázis-objektumok leírásában szószedeti kifejezések használata teszi lehetővé.
Jelenleg több mint 4000 kifejezést határoztak meg és fogadtak el a szójegyzékben. Használata leegyszerűsíti és felgyorsítja a cég információs rendszereibe beérkező változtatási kérelmek feldolgozását. Ha a szükséges indikátor már be van építve bármely jelentésbe, akkor a felhasználó azonnal látni fogja a kész jelentések készletét, ahol ezt a mutatót használják, és kezdeményezheti a meglévő funkciók hatékony újrafelhasználását vagy minimális módosítását. új kérések új jelentés kidolgozására.
A műszaki átalakítások és a DataLineage leírására szolgáló modul
Kérdezed, mik ezek a modulok? Nem elég a Jelentésnyilvántartást és a Glosszáriumot egyszerűen megvalósítani, hanem az összes üzleti kifejezést a fizikai adatbázis-modellre kell alapozni. Így az adattárház minden rétegén keresztül be tudtuk fejezni az adatéletciklus kialakításának folyamatát a forrásrendszerektől a BI-vizualizációig. Más szóval, készítsen egy DataLineage-t.
Az adatátalakítás szabályainak és logikájának leírására a cégnél korábban használt formátum alapján készítettünk egy felületet. Az interfészen keresztül ugyanazok az információk kerülnek beadásra, mint korábban, de az azonosító kifejezés definíciója az üzleti szószedetből lett előfeltétel. Így építünk kapcsolatot az üzleti és a fizikai rétegek között.
Kinek van rá szüksége? Mi volt a baj a régi formátummal, amellyel több évig dolgoztál? Mennyivel nőttek a szükségletek generálásának munkaerőköltségei? Ilyen kérdésekkel kellett megküzdenünk az eszköz megvalósítása során. A válaszok itt meglehetősen egyszerűek – erre mindannyiunknak szükségünk van, cégünk adatirodájának és felhasználóinknak.
Valóban alkalmazkodniuk kellett a dolgozóknak, ez eleinte némileg megnövelte a dokumentációk elkészítésének munkaerőköltségét, de ezt a kérdést megoldottuk. A gyakorlás, a problémás területek azonosítása és optimalizálása megtette a dolgát. A legfontosabbat elértük - javítottuk a kidolgozott követelmények minőségét. Kötelező mezők, egységes referenciakönyvek, beviteli maszkok, beépített ellenőrzések - mindez lehetővé tette a transzformációs leírások minőségének jelentős javítását. Eltávolodtunk attól a gyakorlattól, hogy a szkripteket fejlesztési követelményként adjuk át, és megosztottuk a tudást, amely csak a fejlesztőcsapat számára volt elérhető. A generált metaadat-adatbázis jelentősen csökkenti a regressziós elemzés elvégzéséhez szükséges időt, és lehetővé teszi a változások hatásának gyors felmérését az IT-környezet bármely rétegére (kirakatjelentések, aggregátumok, források).
Mi köze ennek a riportok hétköznapi felhasználóihoz, milyen előnyökkel jár számukra? A DataLineage felépítésének köszönhetően az SQL-től és más programozási nyelvektől távol lévők is gyorsan információt kapnak azokról a forrásokról és objektumokról, amelyek alapján egy adott jelentés készül.
Adatminőség-ellenőrző modul
Mindaz, amiről fentebb beszéltünk az adatok átláthatóságának biztosításával kapcsolatban, nem fontos annak megértése nélkül, hogy a felhasználóknak átadott adatok helyesek. Data Governance koncepciónk egyik fontos modulja az adatminőség-ellenőrzési modul.
Jelenleg ez a kiválasztott entitások ellenőrzéseinek katalógusa. A termékfejlesztés közvetlen célja az ellenőrzések listájának bővítése és a jelentéskészítési nyilvántartással való integráció.
Mit fog adni és kinek? A nyilvántartó végfelhasználója hozzáférhet a jelentéskészültség tervezett és tényleges időpontjaihoz, az elvégzett, dinamikus ellenőrzések eredményeihez, valamint a jelentésbe betöltött forrásokra vonatkozó információkhoz.
Számunkra a munkafolyamatainkba integrált adatminőségi modul:
- A vásárlói elvárások azonnali kialakítása.
- Döntéshozatal az adatok további felhasználásáról.
- A rendszeres minőségellenőrzések kidolgozásához a munka kezdeti szakaszában előzetes problémapontok beszerzése.
Természetesen ezek az első lépések egy teljes értékű adatkezelési folyamat felépítéséhez. Bízunk azonban abban, hogy csak ennek a munkának a céltudatos elvégzésével, az adatkezelési eszközök munkafolyamatba történő aktív bevezetésével biztosítjuk ügyfeleink számára az információs tartalmat, az adatokba vetett magas szintű bizalmat, az átvételük átláthatóságát, és növeljük az indítási sebességet. új funkcionalitás.
DataOffice csapat
Forrás: will.com