Helló, Habr!
Az adatok a vállalat legértékesebb eszközei. Ezt szinte minden digitális irányultságú cég hangoztatja. Ezt nehéz vitatni: az adatok kezelési, tárolási és feldolgozási megközelítéseiről szóló diskurzus nélkül ma már egyetlen nagyobb IT-konferencia sem zajlik le.
Az adatok külső forrásból érkeznek hozzánk, valamint a cégen belül is formálódnak, és ha a telekommunikációs adatokról beszélünk, akkor ezek az alkalmazottak számára kincset érnek, hiszen információkat nyújtanak az ügyfélről, érdeklődési köreiről, szokásairól és tartózkodási helyéről. A kellő profillal és szegmentálással a reklámajánlatok a leghatékonyabban működnek. Azonban a gyakorlatban a helyzet nem olyan rózsás. Az adatok, amelyeket a cégek tárolnak, elavultak, redundánsak, egymásra épülnek, vagy senki sem tud róluk, csak egy szűk felhasználói kör.
Egyszóval, az adatokkal hatékonyan kell gazdálkodni - csak így válhatnak a vállalkozás számára igazi hasznot és profitot hozó eszközzé. Sajnos, az adatok kezelésével kapcsolatos kérdések megoldása érdekében számos nehézséget kell leküzdeni. Ezek leginkább a rendszerek „állatkertjének” történeti öröksége, valamint az egységes folyamatok és megközelítések hiánya miatt merülnek fel. De mit is jelent az „adatajáték”?
Éppen erről beszélünk majd a folytatásban, valamint arról, hogy az opensource-stack hogyan segített nekünk.
A stratégiai adatkezelés (Data Governance, DG) koncepciója már eléggé ismert a magyar piacon, és az üzlet által elérhető célok világosak és egyértelműen megfogalmazottak. Cégünk sem volt kivétel, és belekezdett az adatkezelés koncepciójának bevezetésébe.
Tehát, hol kezdtük? Először is, meghatároztuk a kulcsfontosságú céljainkat:
- Biztosítani az adataink elérhetőségét.
- Biztosítani az adatok életciklusának átláthatóságát.
- A cég felhasználói számára egyeztetett, összhangban levő adatokat adni.
- A cég felhasználói számára ellenőrzött adatokat adni.
Jelenleg a szoftverpiacon több tucat adatkezelési osztályú eszköz érhető el.
De alapos elemzés és a megoldások tanulmányozása után számos kritikus megjegyzést rögzítettünk magunkban:
- A legtöbb gyártó átfogó megoldáscsomagot kínál, amely számunkra túlzó, és már meglévő funkcionalitásokat duplikál. Ezen kívül erőforrások szempontjából drága integrációt jelent a jelenlegi IT-tájképhez.
- A funkcionalitás és a felület technológusoknak van tervezve, nem pedig végső üzleti felhasználóknak.
- Alacsony termékelfogadási arány és sikeres bevezetési hiány a hazai piacon.
- Magas szoftverköltség és további támogatási igény.
A fent említett kritériumok és javaslatok az orosz cégek szoftverimport helyettesítésével kapcsolatban meggyőztek minket, hogy saját fejlesztésbe kezdjünk opensource technológián. A Django-t választottuk platformnak – ingyenes és nyílt keretrendszer, amely Python nyelven készült. Ily módon kiemeltük a kulcsfontosságú modulokat, amelyek segítik a fent említett célokat:
- Jelentésnyilvántartó.
- Üzleti szószedet.
- Módul a technikai átalakulások leírására.
- Módul az adatok életciklusának leírására a forrástól a BI-eszközig.
- Adatminőség-ellenőrzési modul.
Jelentésnyilvántartó
A nagyvállalatok belső kutatásai szerint, amikor az adatokkal kapcsolatos feladatokat oldanak meg, a munkatársak 40-80%-át az adatok keresésére fordítják. Ezért célul tűztük ki, hogy megnyitjuk a meglévő jelentésekről szóló információt, amelyek korábban csak a megrendelők számára voltak elérhetők. Ezzel csökkentjük az új jelentések elkészítésére fordított időt, és elősegítjük az adatok demokratizálását.
A jelentésnyilvántartó az a központi jelentési platform, amelyet a különböző régiók, osztályok és részlegek belső felhasználói használnak. Összesíti az infószolgáltatások adatait, amelyeket a vállalat több vállalati tárolójában hoztak létre, és ezekből a Rostelecomon belül nem kevés található.
A nyilvántartó azonban nem csupán egy száraz lista a kidolgozott jelentésekről. Minden jelentéshez olyan információkat biztosítunk, amelyek szükségesek a felhasználó számára az önálló megismeréshez:
- a jelentés rövid leírása;
- az adatok hozzáférésének mélysége;
- megrendelő szegmense;
- visualizáló eszköz;
- vállalati tároló neve;
- üzleti funkcionális követelmények;
- jelentés hivatkozása;
- hozzáférési igénylési hivatkozás;
- megvalósítási státusz.
A jelentések alapján elérhető az használhatósági szintű elemzés, és a jelentések a logelemzések alapján a felhasználók egyedi számának emlékezetébe kerülnek. De ez még nem minden. Az általános jellemzők mellett részletes leírást is készítettünk a jelentések attribútum-összetevőiről példák értékeivel és számítási módszerekkel. Az ilyen részletesség azonnal választ ad a felhasználónak arra, hogy hasznos-e a jelentés vagy sem.
Ennek a modulnak a fejlesztése fontos lépés volt az adatok demokratizálása szempontjából, és jelentősen csökkentette az igényelt információk keresésének idejét. Az időkeresés csökkentésén kívül a támogatói csapathoz intézett konzultációs kérelmek száma is csökkent. Nem lehet figyelmen kívül hagyni egy másik hasznos eredményt sem, amit elértünk, amikor egységes nyilvántartást hoztunk létre a jelentésekre – megakadályoztuk a duplikált jelentések fejlesztését különböző struktúrák számára.
Üzleti szótár
Mindannyian tudjátok, hogy még egyazon vállalaton belül is az üzlet eltérő nyelveken beszél. Igen, ugyanazokat a kifejezéseket használják, de teljesen más értelmezéseket adnak nekik. E problémának a megoldása az üzleti szótár feladata.
Számunkra az üzleti szótár nem csupán egy útmutató a kifejezések és számítási módszerek leírásával. Ez egy teljes fejlesztési, egyeztetési és a terminológia jóváhagyásának környezete, a kifejezések más információs eszközökkel való összefüggésének kialakítása. Mielőtt a terminológia bekerülne az üzleti szótárba, minden egyeztetési lépést meg kell tennie az üzleti megrendelőkkel és az adatok minőségközpontjával. Csak ezután válik elérhetővé a használathoz.
Ahogyan már korábban megírtam, ennek az eszköznek az egyedisége abban rejlik, hogy lehetővé teszi a kapcsolatokat az üzleti kifejezés szintjéről a konkrét felhasználói jelentések szintjére, amelyekben a kifejezés használatban van, valamint az adatbázisok fizikai objektumaihoz.
Ez a szótár-időpontok azonosítóinak használatával vált lehetővé a nyilvántartás jelentéseinek részletes leírásában és az adatbázisok fizikai objektumainak leírásában.
Jelenleg a Szószedetben több mint 4000 kifejezés van definiálva és jóváhagyva. Használata leegyszerűsíti és felgyorsítja a beérkező kérdések feldolgozását a vállalat információs rendszereiben. Ha a szükséges mutató már megvalósult valamilyen jelentésben, akkor a felhasználó azonnal látni fog egy kész jelentések listáját, ahol ez a mutató szerepel, és dönthet a már létező funkciók hatékony újbóli felhasználásáról vagy minimális finomításáról, anélkül, hogy új jelentés készítésére irányuló kéréseket indítana.
A technikai átalakítások és DataLineage leíró modulja
Megkérdezheti, mik ezek a modulok? Csak a Jelentésnyilvántartás és a Szószedet bevezetése nem elegendő, minden üzleti kifejezést át kell ültetni a fizikai adatbázis modellbe. Ily módon sikerült befejezni az adatok életciklusának kialakítását a forrásszerverektől a BI-vizualizáción át a tárolórétegekig. Más szavakkal: felépíteni a DataLineage-t.
Kifejlesztettünk egy felhasználói felületet, amely a vállalatnál korábban használt szabályok és adatátalakítási logika leírásának formátumán alapult. A felületen ugyanazt az információt rögzítjük, mint korábban, de kötelezővé vált egy üzleti szószedetből származó kifejezés azonosítójának meghatározása. Így építjük fel a kapcsolatot az üzleti és a fizikai rétegek között.
Kinek van erre szüksége? Miért volt problémás a régi formátum, amellyel évekig dolgoztunk? Mennyivel nőttek meg a követelmények megfogalmazására fordított munkaórák? Ilyen kérdésekre kellett válaszolnunk az eszköz bevezetése során. Itt a válaszok meglehetősen egyszerűek – ez mindannyiunknak szükséges, a cégünk adatirodájának és felhasználóinknak.
Valóban, a munkatársaknak alkalmazkodniuk kellett, kezdetben ez enyhe megnövekedett munkaterheket eredményezett a dokumentáció előkészítése során, de ezt a kérdést sikerült megoldanunk. A gyakorlat, a problémás területek azonosítása és optimalizálása megtette a magáét. A legfontosabb, hogy javítottuk a kidolgozott követelmények minőségét. A kötelezően kitöltendő mezők, az egységesített referenciák, az adatbeviteli maszkok és a beépített ellenőrzések mind hozzájárultak ahhoz, hogy jelentősen javítsuk a transzformációk leírásának minőségét. Elhagytuk a követelmények átadásának gyakorlatát, és megosztottuk a fejlesztő csapat számára eddig csak elérhető tudást. Az elkészített metadatabázis többszörösen csökkenti a regressziós analízishez szükséges időt, és lehetővé teszi a változások hatásának gyors értékelését az IT táj bármely rétegén (riportok, aggregátorok, források).
Milyen kapcsolatban állnak a riportok átlagos felhasználói ezzel, milyen előnyöket nyújtanak számukra? A DataLineage lehetőségének köszönhetően felhasználóink, akik akár távol állnak is az SQL-től és más programozási nyelvektől, gyorsan hozzáférhetnek az információkhoz a forrásokról és azokról az objektumokról, amelyek alapján adott riportot készítenek.
Adatminőség-ellenőrző modul
Mindez, amiről korábban beszéltünk az adatok átláthatóságának biztosítása érdekében, nem számít, ha nem értjük, hogy az adatok, amelyeket a felhasználóknak átadunk, helyesek. Az adatirányítási koncepciónk egyik fontos modulja az adatminőség-ellenőrző modul.
A jelenlegi szakaszban ez az ellenőrzések katalógusa a mintavett entitások számára. A termék fejlesztésének legközelebbi célja az ellenőrzések lista kibővítése és az riportjegyzékhez való integráció.
Mit fog ez adni és kinek? A jegyzék végfelhasználói számára elérhető információk lesznek a tervezett és tényleges riportkészítési határidőkről, a végrehajtott ellenőrzések eredményei a dinamika mentén, valamint az riportba betöltött források adatai.
Számunkra a munkafolyamatokba integrált adatminőség-modul a következőket jelenti:
- A megrendelők elvárásainak gyors formálása.
- Döntések meghozatala az adatok további felhasználásáról.
- Problémaérzékelése az első szakaszokban a rendszeres adatminőségi ellenőrzések kidolgozásához.
Ez kétségtelenül az első lépések az adatok kezelésének teljes folyamatának kiépítésében. De biztosak vagyunk benne, hogy csak akkor érhetjük el ezt a célt, ha tudatosan foglalkozunk ezzel a munkával, aktívan integrálva a DataGovernance eszközöket a munkafolyamatba, így biztosítva ügyfeleink számára az információkat, a magabiztosságot az adatokkal kapcsolatban, az átláthatóságot a beszerzésük során, és növelve az új funkciók bevezetésének sebességét.
DataOffice Csapat
Forrás: habr.com
