डेटा गव्हर्नन्स इन-हाउस

अहो हाब्र!

डेटा ही कंपनीची सर्वात मौल्यवान मालमत्ता आहे. डिजिटल फोकस असलेली जवळजवळ प्रत्येक कंपनी हे घोषित करते. याच्याशी वाद घालणे कठीण आहे: डेटा व्यवस्थापित, संग्रहित आणि प्रक्रिया करण्याच्या दृष्टिकोनावर चर्चा केल्याशिवाय एकही मोठी आयटी परिषद आयोजित केली जात नाही.

डेटा आमच्याकडे बाहेरून येतो, तो कंपनीमध्ये देखील तयार केला जातो आणि जर आपण टेलिकॉम कंपनीच्या डेटाबद्दल बोललो तर अंतर्गत कर्मचाऱ्यांसाठी हे क्लायंट, त्याच्या आवडी, सवयी आणि स्थान याबद्दल माहितीचे भांडार आहे. योग्य प्रोफाइलिंग आणि विभाजनासह, जाहिरात ऑफर सर्वात प्रभावी आहेत. तथापि, सराव मध्ये, सर्वकाही इतके गुलाबी नसते. कंपन्या संग्रहित केलेला डेटा हताशपणे कालबाह्य, अनावश्यक, पुनरावृत्ती किंवा त्याचे अस्तित्व वापरकर्त्यांच्या एका अरुंद वर्तुळाशिवाय कोणालाही माहीत नाही. ¯_(ツ)_/¯

एका शब्दात, डेटा प्रभावीपणे व्यवस्थापित करणे आवश्यक आहे - तरच ती एक मालमत्ता होईल जी व्यवसायासाठी वास्तविक फायदे आणि नफा आणते. दुर्दैवाने, डेटा व्यवस्थापन समस्यांचे निराकरण करण्यासाठी बऱ्याच गुंतागुंतांवर मात करणे आवश्यक आहे. ते मुख्यतः प्रणालींच्या "प्राणीसंग्रहालय" च्या रूपात ऐतिहासिक वारसा आणि त्यांच्या व्यवस्थापनासाठी एकत्रित प्रक्रिया आणि दृष्टीकोन नसल्यामुळे आहेत. पण "डेटा चालित" म्हणजे काय?

हेच आम्ही कट अंतर्गत बोलू, तसेच ओपनसोर्स स्टॅकने आम्हाला कशी मदत केली.

स्ट्रॅटेजिक डेटा मॅनेजमेंट डेटा गव्हर्नन्स (डीजी) ची संकल्पना रशियन मार्केटमध्ये आधीपासूनच चांगली ओळखली जाते आणि त्याच्या अंमलबजावणीच्या परिणामी व्यवसायाद्वारे साध्य केलेली उद्दिष्टे स्पष्ट आणि स्पष्टपणे घोषित केली जातात. आमची कंपनी अपवाद नव्हती आणि डेटा व्यवस्थापनाची संकल्पना सादर करण्याचे कार्य स्वतःच सेट केले.

मग आम्ही कुठे सुरुवात केली? सुरुवातीला, आम्ही स्वतःसाठी मुख्य लक्ष्ये तयार केली:

1. आमचा डेटा ॲक्सेसिबल ठेवा.
2. डेटा लाइफसायकलची पारदर्शकता सुनिश्चित करा.
3. कंपनी वापरकर्त्यांना सातत्यपूर्ण, सुसंगत डेटा प्रदान करा.
4. कंपनी वापरकर्त्यांना सत्यापित डेटा प्रदान करा.

आज, सॉफ्टवेअर मार्केटवर डझनभर डेटा गव्हर्नन्स क्लास टूल्स आहेत.

परंतु उपायांचे तपशीलवार विश्लेषण आणि अभ्यास केल्यानंतर, आम्ही स्वतःसाठी अनेक गंभीर टिप्पण्या नोंदवल्या:

• बहुतेक उत्पादक उपायांचा एक व्यापक संच ऑफर करतात, जे आमच्यासाठी अनावश्यक आहे आणि विद्यमान कार्यक्षमतेची डुप्लिकेट करते. शिवाय, संसाधनांच्या दृष्टीने महाग, सध्याच्या IT लँडस्केपमध्ये एकत्रीकरण.
• कार्यक्षमता आणि इंटरफेस तंत्रज्ञानशास्त्रज्ञांसाठी डिझाइन केले आहेत, व्यवसायाच्या अंतिम वापरकर्त्यांसाठी नाही.
• उत्पादनांचा कमी जगण्याचा दर आणि रशियन बाजारावर यशस्वी अंमलबजावणीचा अभाव.
• सॉफ्टवेअरची उच्च किंमत आणि पुढील समर्थन.

रशियन कंपन्यांसाठी सॉफ्टवेअरच्या आयात प्रतिस्थापनाच्या संदर्भात वर दिलेले निकष आणि शिफारसींनी आम्हाला ओपनसोर्स स्टॅकवर आमच्या स्वतःच्या विकासाकडे जाण्यास खात्री दिली. आम्ही निवडलेला प्लॅटफॉर्म Django होता, Python मध्ये लिहिलेली एक मुक्त आणि मुक्त स्रोत फ्रेमवर्क. आणि अशा प्रकारे आम्ही मुख्य मॉड्यूल ओळखले आहेत जे वर नमूद केलेल्या उद्दिष्टांमध्ये योगदान देतील:

1. अहवालांची नोंद.
2. व्यवसाय शब्दकोष.
3. तांत्रिक परिवर्तनांचे वर्णन करण्यासाठी मॉड्यूल.
4. स्त्रोतापासून BI टूलपर्यंत डेटा जीवन चक्राचे वर्णन करण्यासाठी मॉड्यूल.
5. डेटा गुणवत्ता नियंत्रण मॉड्यूल.

अहवालांची नोंद

मोठ्या कंपन्यांमधील अंतर्गत अभ्यासाच्या निकालांनुसार, डेटा-संबंधित समस्या सोडवताना, कर्मचारी त्यांचा 40-80% वेळ शोधण्यात घालवतात. म्हणून, पूर्वी केवळ ग्राहकांसाठी उपलब्ध असलेल्या विद्यमान अहवालांबद्दल खुली माहिती तयार करण्याचे काम आम्ही स्वतः सेट केले आहे. अशा प्रकारे, आम्ही नवीन अहवाल तयार करण्यासाठी वेळ कमी करतो आणि डेटाचे लोकशाहीकरण सुनिश्चित करतो.

विविध प्रदेश, विभाग आणि विभागांमधील अंतर्गत वापरकर्त्यांसाठी रिपोर्टिंग रजिस्टर ही एकच रिपोर्टिंग विंडो बनली आहे. हे कंपनीच्या अनेक कॉर्पोरेट भांडारांमध्ये तयार केलेल्या माहिती सेवांवरील माहिती एकत्रित करते आणि त्यापैकी बरेच Rostelecom मध्ये आहेत.

परंतु नोंदणी ही केवळ विकसित अहवालांची कोरडी यादी नाही. प्रत्येक अहवालासाठी, आम्ही वापरकर्त्याला त्याशी परिचित होण्यासाठी आवश्यक माहिती प्रदान करतो:

• अहवालाचे संक्षिप्त वर्णन;
• डेटा उपलब्धतेची खोली;
• ग्राहक विभाग;
• व्हिज्युअलायझेशन साधन;
• कॉर्पोरेट स्टोरेजचे नाव;
• व्यवसाय कार्यात्मक आवश्यकता;
• अहवालाचा दुवा;
• प्रवेशासाठी अर्जाचा दुवा;
• अंमलबजावणी स्थिती.

अहवालांसाठी वापर पातळी विश्लेषणे उपलब्ध आहेत आणि अद्वितीय वापरकर्त्यांच्या संख्येवर आधारित लॉग विश्लेषणाच्या आधारे अहवाल सूचीच्या शीर्षस्थानी रँक केले जातात. आणि ते नाही. सामान्य वैशिष्ट्यांव्यतिरिक्त, आम्ही मूल्ये आणि गणना पद्धतींच्या उदाहरणांसह अहवालांच्या गुणधर्म रचनांचे तपशीलवार वर्णन देखील प्रदान केले आहे. असे तपशील वापरकर्त्याला अहवाल त्याच्यासाठी उपयुक्त आहे की नाही याचे उत्तर त्वरित देते.

या मॉड्यूलचा विकास डेटाच्या लोकशाहीकरणातील एक महत्त्वाचा टप्पा होता आणि आवश्यक माहिती शोधण्यासाठी लागणारा वेळ लक्षणीयरीत्या कमी केला. शोध वेळ कमी करण्यासोबतच, सपोर्ट टीमला सल्लामसलत करण्याच्या विनंत्यांची संख्या देखील कमी झाली आहे. वेगवेगळ्या स्ट्रक्चरल युनिट्ससाठी डुप्लिकेट अहवालांच्या विकासास प्रतिबंध करून - अहवालांचे एक एकीकृत रजिस्टर विकसित करून आम्ही प्राप्त केलेला आणखी एक उपयुक्त परिणाम लक्षात न घेणे अशक्य आहे.

व्यवसाय शब्दकोष

तुम्हा सर्वांना माहित आहे की एकाच कंपनीत, व्यवसाय वेगवेगळ्या भाषा बोलतात. होय, ते समान संज्ञा वापरतात, परंतु त्यांचा अर्थ पूर्णपणे भिन्न गोष्टी आहेत. या समस्येचे निराकरण करण्यासाठी व्यवसाय शब्दकोष तयार केला आहे.

आमच्यासाठी, व्यवसाय शब्दकोष हे केवळ अटी आणि गणना पद्धतीचे वर्णन असलेले संदर्भ पुस्तक नाही. टर्मिनोलॉजी विकसित करणे, सहमती देणे आणि मंजूर करणे, अटी आणि कंपनीच्या इतर माहिती मालमत्तेमध्ये संबंध निर्माण करणे यासाठी हे एक पूर्ण वातावरण आहे. व्यवसाय शब्दकोषात प्रवेश करण्यापूर्वी, एक संज्ञा व्यवसाय ग्राहक आणि डेटा गुणवत्ता केंद्र यांच्या मान्यतेच्या सर्व टप्प्यांतून जाणे आवश्यक आहे. त्यानंतरच ते वापरासाठी उपलब्ध होईल.

मी वर लिहिल्याप्रमाणे, या साधनाचे वेगळेपण हे आहे की ते व्यवसायाच्या टर्मच्या स्तरापासून ते ज्या विशिष्ट वापरकर्त्याच्या अहवालांमध्ये वापरले जाते तसेच भौतिक डेटाबेस ऑब्जेक्ट्सच्या पातळीपर्यंत कनेक्शनची परवानगी देते.

रेजिस्ट्री अहवालांचे तपशीलवार वर्णन आणि भौतिक डेटाबेस ऑब्जेक्ट्सच्या वर्णनामध्ये शब्दकोष संज्ञा अभिज्ञापकांच्या वापराद्वारे हे शक्य झाले आहे.

सध्या, शब्दकोषात 4000 हून अधिक अटी परिभाषित केल्या आहेत आणि त्यावर सहमत आहेत. त्याचा वापर कंपनीच्या माहिती प्रणालीतील बदलांसाठी येणाऱ्या विनंत्यांची प्रक्रिया सुलभ आणि वेगवान करतो. आवश्यक सूचक आधीच कोणत्याही अहवालात लागू केले असल्यास, वापरकर्त्यास ताबडतोब रेडीमेड अहवालांचा संच दिसेल जेथे हा निर्देशक वापरला जाईल आणि विद्यमान कार्यक्षमतेचा प्रभावी पुनर्वापर किंवा त्याच्या किमान बदलाबाबत निर्णय घेण्यास सक्षम असेल. नवीन अहवालाच्या विकासासाठी नवीन विनंत्या.

तांत्रिक परिवर्तन आणि डेटालाइनेजचे वर्णन करण्यासाठी मॉड्यूल

हे मॉड्यूल्स काय आहेत, तुम्ही विचारता? केवळ अहवाल नोंदणी आणि शब्दकोषाची अंमलबजावणी करणे पुरेसे नाही; भौतिक डेटाबेस मॉडेलवर सर्व व्यावसायिक अटी ग्राउंड करणे देखील आवश्यक आहे. अशा प्रकारे, आम्ही डेटा वेअरहाऊसच्या सर्व स्तरांद्वारे स्त्रोत प्रणालीपासून BI व्हिज्युअलायझेशनपर्यंत डेटा जीवन चक्र तयार करण्याची प्रक्रिया पूर्ण करू शकलो. दुसऱ्या शब्दांत, डेटालाइनेज तयार करा.

डेटा ट्रान्सफॉर्मेशनचे नियम आणि तर्क यांचे वर्णन करण्यासाठी आम्ही कंपनीमध्ये पूर्वी वापरलेल्या फॉरमॅटवर आधारित इंटरफेस विकसित केला आहे. पूर्वीप्रमाणेच इंटरफेसद्वारे समान माहिती प्रविष्ट केली गेली आहे, परंतु व्यवसाय शब्दकोषातून अभिज्ञापक शब्दाची व्याख्या ही एक पूर्व शर्त बनली आहे. अशाप्रकारे आम्ही व्यवसाय आणि भौतिक स्तरांमधील संबंध तयार करतो.

कोणाला त्याची गरज आहे? तुम्ही अनेक वर्षे काम केलेल्या जुन्या फॉर्मेटमध्ये काय चूक होती? गरजा निर्माण करण्यासाठी मजुरीचा खर्च किती वाढला आहे? साधनाच्या अंमलबजावणीदरम्यान आम्हाला अशा प्रश्नांना सामोरे जावे लागले. येथे उत्तरे अगदी सोपी आहेत - आम्हा सर्वांना याची, आमच्या कंपनीचे डेटा ऑफिस आणि आमचे वापरकर्ते आवश्यक आहेत.

खरंच, कर्मचाऱ्यांना परिस्थितीशी जुळवून घ्यावे लागले; सुरुवातीला, यामुळे कागदपत्रे तयार करण्यासाठी मजुरीच्या खर्चात थोडीशी वाढ झाली, परंतु आम्ही या समस्येचे निराकरण केले. सराव, समस्या क्षेत्र ओळखणे आणि ऑप्टिमाइझ करणे त्यांचे कार्य केले आहे. आम्ही मुख्य गोष्ट साध्य केली आहे - आम्ही विकसित आवश्यकतांची गुणवत्ता सुधारली आहे. अनिवार्य फील्ड, युनिफाइड संदर्भ पुस्तके, इनपुट मास्क, अंगभूत तपासणी - या सर्वांमुळे परिवर्तन वर्णनांची गुणवत्ता लक्षणीयरीत्या सुधारणे शक्य झाले. आम्ही विकासाच्या गरजा म्हणून स्क्रिप्ट सुपूर्द करण्याच्या सरावापासून दूर गेलो आणि केवळ विकास कार्यसंघासाठी उपलब्ध असलेले ज्ञान सामायिक केले. व्युत्पन्न केलेला मेटाडेटा डेटाबेस रीग्रेशन विश्लेषण करण्यासाठी लागणारा वेळ लक्षणीयरीत्या कमी करतो आणि IT लँडस्केपच्या (शोकेस अहवाल, एकत्रित, स्त्रोत) कोणत्याही स्तरावरील बदलांच्या प्रभावाचे द्रुतपणे मूल्यांकन करण्याची क्षमता प्रदान करतो.

अहवालाच्या सामान्य वापरकर्त्यांशी याचा काय संबंध आहे, त्यांच्यासाठी काय फायदे आहेत? DataLineage तयार करण्याच्या क्षमतेबद्दल धन्यवाद, आमचे वापरकर्ते, अगदी SQL आणि इतर प्रोग्रामिंग भाषांपासून दूर असलेले, विशिष्ट अहवाल तयार केलेल्या स्त्रोतांबद्दल आणि वस्तूंबद्दल त्वरीत माहिती प्राप्त करतात.

डेटा गुणवत्ता नियंत्रण मॉड्यूल

डेटा पारदर्शकता सुनिश्चित करण्याच्या दृष्टीने आम्ही वर जे काही बोललो आहोत ते आम्ही वापरकर्त्यांना दिलेला डेटा योग्य आहे हे समजून घेतल्याशिवाय महत्त्वाचे नाही. आमच्या डेटा गव्हर्नन्स संकल्पनेतील एक महत्त्वाचे मॉड्यूल म्हणजे डेटा गुणवत्ता नियंत्रण मॉड्यूल.

सध्याच्या टप्प्यावर, हा निवडक संस्थांसाठी चेकचा कॅटलॉग आहे. उत्पादन विकासाचे तात्काळ लक्ष्य चेकची सूची विस्तृत करणे आणि अहवाल नोंदणीसह एकत्रित करणे हे आहे.
ते काय आणि कोणाला देईल? रेजिस्ट्रीच्या अंतिम वापरकर्त्याला अहवालाच्या तयारीच्या नियोजित आणि वास्तविक तारखांची माहिती, गतीशीलतेसह पूर्ण केलेल्या तपासण्यांचे परिणाम आणि अहवालात लोड केलेल्या स्त्रोतांवरील माहितीमध्ये प्रवेश असेल.

आमच्यासाठी, आमच्या कार्य प्रक्रियेमध्ये एकत्रित केलेले डेटा गुणवत्ता मॉड्यूल आहे:

• ग्राहकांच्या अपेक्षांची त्वरित निर्मिती.
• डेटाच्या पुढील वापराबाबत निर्णय घेणे.
• नियमित गुणवत्ता नियंत्रणांच्या विकासासाठी कामाच्या सुरुवातीच्या टप्प्यावर समस्या बिंदूंचा प्राथमिक संच प्राप्त करणे.

अर्थात, संपूर्ण डेटा व्यवस्थापन प्रक्रिया तयार करण्याच्या या पहिल्या पायऱ्या आहेत. परंतु आम्हाला खात्री आहे की हे काम हेतुपुरस्सर केल्याने, कामाच्या प्रक्रियेत डेटा गव्हर्नन्स टूल्सचा सक्रियपणे परिचय करून, आम्ही आमच्या क्लायंटना माहिती सामग्री, डेटावरील उच्च पातळीचा विश्वास, त्यांच्या पावतीमध्ये पारदर्शकता आणि लॉन्चिंगचा वेग वाढवू. नवीन कार्यक्षमता.

डेटा ऑफिस टीम

स्त्रोत: www.habr.com