इन-हाउस डेटा गवर्नेंस

हे हबर!

डेटा किसी कंपनी की सबसे मूल्यवान संपत्ति है। डिजिटल फोकस वाली लगभग हर कंपनी इसकी घोषणा करती है। इस पर बहस करना कठिन है: डेटा के प्रबंधन, भंडारण और प्रसंस्करण के तरीकों पर चर्चा किए बिना एक भी प्रमुख आईटी सम्मेलन आयोजित नहीं किया जाता है।

डेटा हमारे पास बाहर से आता है, यह कंपनी के भीतर भी जेनरेट होता है और अगर हम किसी टेलीकॉम कंपनी के डेटा की बात करें तो आंतरिक कर्मचारियों के लिए यह क्लाइंट, उसकी रुचियों, आदतों और स्थान के बारे में जानकारी का भंडार है। उचित प्रोफ़ाइलिंग और विभाजन के साथ, विज्ञापन ऑफ़र सबसे प्रभावी होते हैं। हालाँकि, व्यवहार में, सब कुछ इतना गुलाबी नहीं है। कंपनियां जो डेटा संग्रहीत करती हैं वह निराशाजनक रूप से पुराना, अनावश्यक, दोहराव वाला हो सकता है, या इसका अस्तित्व उपयोगकर्ताओं के एक संकीर्ण दायरे को छोड़कर किसी के लिए भी अज्ञात हो सकता है। ¯_(ツ)_/¯

एक शब्द में, डेटा को प्रभावी ढंग से प्रबंधित किया जाना चाहिए - तभी यह एक संपत्ति बन जाएगी जो व्यवसाय में वास्तविक लाभ और लाभ लाएगी। दुर्भाग्य से, डेटा प्रबंधन मुद्दों को हल करने के लिए काफी जटिलताओं पर काबू पाने की आवश्यकता होती है। वे मुख्य रूप से प्रणालियों के "चिड़ियाघर" के रूप में ऐतिहासिक विरासत और उनके प्रबंधन के लिए एकीकृत प्रक्रियाओं और दृष्टिकोणों की कमी दोनों के कारण हैं। लेकिन "डेटा संचालित" होने का क्या मतलब है?

यह वही है जिसके बारे में हम कट के तहत बात करेंगे, साथ ही ओपनसोर्स स्टैक ने हमारी मदद कैसे की।

रणनीतिक डेटा प्रबंधन डेटा गवर्नेंस (डीजी) की अवधारणा रूसी बाजार में पहले से ही काफी प्रसिद्ध है, और इसके कार्यान्वयन के परिणामस्वरूप व्यवसाय द्वारा प्राप्त लक्ष्य स्पष्ट और स्पष्ट रूप से घोषित किए गए हैं। हमारी कंपनी कोई अपवाद नहीं थी और उसने डेटा प्रबंधन की अवधारणा को पेश करने का कार्य स्वयं निर्धारित किया।

तो हमने कहां से शुरुआत की? आरंभ करने के लिए, हमने अपने लिए प्रमुख लक्ष्य बनाए:

1. हमारे डेटा को सुलभ रखें।
2. डेटा जीवनचक्र की पारदर्शिता सुनिश्चित करें।
3. कंपनी के उपयोगकर्ताओं को सुसंगत, सुसंगत डेटा प्रदान करें।
4. कंपनी उपयोगकर्ताओं को सत्यापित डेटा प्रदान करें।

आज, सॉफ़्टवेयर बाज़ार में एक दर्जन डेटा गवर्नेंस श्रेणी के उपकरण मौजूद हैं।

लेकिन समाधानों के विस्तृत विश्लेषण और अध्ययन के बाद, हमने अपने लिए कई आलोचनात्मक टिप्पणियाँ दर्ज कीं:

• अधिकांश निर्माता समाधानों का एक व्यापक सेट पेश करते हैं, जो हमारे लिए अनावश्यक है और मौजूदा कार्यक्षमता की नकल करता है। साथ ही, संसाधनों के मामले में महंगा, वर्तमान आईटी परिदृश्य में एकीकरण।
• कार्यक्षमता और इंटरफ़ेस प्रौद्योगिकीविदों के लिए डिज़ाइन किया गया है, न कि व्यावसायिक अंतिम उपयोगकर्ताओं के लिए।
• उत्पादों की कम जीवित रहने की दर और रूसी बाजार पर सफल कार्यान्वयन की कमी।
• सॉफ़्टवेयर की उच्च लागत और अतिरिक्त सहायता।

रूसी कंपनियों के लिए सॉफ़्टवेयर के आयात प्रतिस्थापन के संबंध में ऊपर बताए गए मानदंड और अनुशंसाओं ने हमें ओपनसोर्स स्टैक पर अपने स्वयं के विकास की दिशा में आगे बढ़ने के लिए आश्वस्त किया। हमने जो प्लेटफ़ॉर्म चुना वह Django था, जो पायथन में लिखा गया एक स्वतंत्र और खुला स्रोत ढांचा है। और इस प्रकार हमने प्रमुख मॉड्यूल की पहचान की है जो ऊपर बताए गए लक्ष्यों में योगदान देंगे:

1. रिपोर्ट का रजिस्टर.
2. व्यापार शब्दावली.
3. तकनीकी परिवर्तनों का वर्णन करने के लिए मॉड्यूल।
4. स्रोत से बीआई उपकरण तक डेटा जीवन चक्र का वर्णन करने के लिए मॉड्यूल।
5. डेटा गुणवत्ता नियंत्रण मॉड्यूल।

रिपोर्ट का रजिस्टर

बड़ी कंपनियों में आंतरिक अध्ययन के परिणामों के अनुसार, डेटा-संबंधी समस्याओं को हल करते समय, कर्मचारी अपना 40-80% समय उन्हें खोजने में व्यतीत करते हैं। इसलिए, हमने मौजूदा रिपोर्टों के बारे में खुली जानकारी बनाने का कार्य स्वयं निर्धारित किया है जो पहले केवल ग्राहकों के लिए उपलब्ध थीं। इस प्रकार, हम नई रिपोर्ट तैयार करने के लिए समय कम करते हैं और डेटा का लोकतंत्रीकरण सुनिश्चित करते हैं।

रिपोर्टिंग रजिस्टर विभिन्न क्षेत्रों, विभागों और प्रभागों के आंतरिक उपयोगकर्ताओं के लिए एकल रिपोर्टिंग विंडो बन गया है। यह कंपनी के कई कॉर्पोरेट रिपॉजिटरी में बनाई गई सूचना सेवाओं पर जानकारी को समेकित करता है, और रोस्टेलकॉम में उनमें से कई हैं।

लेकिन रजिस्ट्री केवल विकसित रिपोर्टों की सूखी सूची नहीं है। प्रत्येक रिपोर्ट के लिए, हम उपयोगकर्ता को उससे परिचित होने के लिए आवश्यक जानकारी प्रदान करते हैं:

• रिपोर्ट का संक्षिप्त विवरण;
• डेटा उपलब्धता की गहराई;
• ग्राहक क्षेत्र;
• विज़ुअलाइज़ेशन उपकरण;
• कॉर्पोरेट भंडारण का नाम;
• व्यावसायिक कार्यात्मक आवश्यकताएँ;
• रिपोर्ट से लिंक करें;
• पहुंच के लिए आवेदन का लिंक;
• कार्यान्वयन की स्थिति.

रिपोर्ट के लिए उपयोग स्तर के विश्लेषण उपलब्ध हैं, और रिपोर्ट को अद्वितीय उपयोगकर्ताओं की संख्या के आधार पर लॉग एनालिटिक्स के आधार पर सूची के शीर्ष पर स्थान दिया गया है। और यह बात नहीं है. सामान्य विशेषताओं के अलावा, हमने मूल्यों और गणना विधियों के उदाहरणों के साथ रिपोर्ट की विशेषता संरचना का विस्तृत विवरण भी प्रदान किया है। इस तरह की डिटेलिंग से यूजर को तुरंत जवाब मिल जाता है कि रिपोर्ट उसके लिए उपयोगी है या नहीं।

इस मॉड्यूल का विकास डेटा के लोकतंत्रीकरण में एक महत्वपूर्ण कदम था और आवश्यक जानकारी खोजने में लगने वाले समय को काफी कम कर दिया। खोज समय कम करने के अलावा, परामर्श प्रदान करने के लिए सहायता टीम के अनुरोधों की संख्या भी कम हो गई है। एक और उपयोगी परिणाम को नोट करना असंभव नहीं है जो हमने रिपोर्टों का एक एकीकृत रजिस्टर विकसित करके हासिल किया है - विभिन्न संरचनात्मक इकाइयों के लिए डुप्लिकेट रिपोर्ट के विकास को रोकना।

व्यापार शब्दावली

आप सभी जानते हैं कि एक ही कंपनी के भीतर भी व्यवसाय अलग-अलग भाषाएँ बोलते हैं। हां, वे समान शब्दों का उपयोग करते हैं, लेकिन उनका मतलब पूरी तरह से अलग चीजें हैं। इस समस्या को हल करने के लिए एक व्यावसायिक शब्दावली डिज़ाइन की गई है।

हमारे लिए, एक व्यावसायिक शब्दावली केवल शब्दों और गणना पद्धति के विवरण वाली एक संदर्भ पुस्तक नहीं है। यह शब्दावली के विकास, सहमति और अनुमोदन, शर्तों और कंपनी की अन्य सूचना परिसंपत्तियों के बीच संबंध बनाने के लिए एक पूर्ण वातावरण है। व्यावसायिक शब्दावली में प्रवेश करने से पहले, किसी शब्द को व्यावसायिक ग्राहकों और डेटा गुणवत्ता केंद्र के साथ अनुमोदन के सभी चरणों से गुजरना होगा। इसके बाद ही यह उपयोग के लिए उपलब्ध हो पाता है.

जैसा कि मैंने ऊपर लिखा है, इस टूल की विशिष्टता यह है कि यह किसी व्यावसायिक शब्द के स्तर से विशिष्ट उपयोगकर्ता रिपोर्ट जिसमें इसका उपयोग किया जाता है, के साथ-साथ भौतिक डेटाबेस ऑब्जेक्ट के स्तर तक कनेक्शन की अनुमति देता है।

यह रजिस्ट्री रिपोर्ट के विस्तृत विवरण और भौतिक डेटाबेस ऑब्जेक्ट के विवरण में शब्दावली शब्द पहचानकर्ताओं के उपयोग के माध्यम से संभव हुआ है।

वर्तमान में, शब्दावली में 4000 से अधिक शब्दों को परिभाषित और सहमत किया गया है। इसका उपयोग कंपनी की सूचना प्रणाली में बदलाव के लिए आने वाले अनुरोधों के प्रसंस्करण को सरल और तेज करता है। यदि आवश्यक संकेतक पहले से ही किसी रिपोर्ट में लागू किया गया है, तो उपयोगकर्ता तुरंत तैयार रिपोर्टों का एक सेट देखेगा जहां इस संकेतक का उपयोग किया जाता है, और मौजूदा कार्यक्षमता के प्रभावी पुन: उपयोग या इसके न्यूनतम संशोधन पर निर्णय लेने में सक्षम होगा, बिना पहल किए नई रिपोर्ट के विकास के लिए नए अनुरोध।

तकनीकी परिवर्तनों और डेटालाइनेज का वर्णन करने के लिए मॉड्यूल

आप पूछें, ये मॉड्यूल क्या हैं? केवल रिपोर्ट रजिस्टर और शब्दावली को लागू करना ही पर्याप्त नहीं है; सभी व्यावसायिक शर्तों को भौतिक डेटाबेस मॉडल पर आधारित करना भी आवश्यक है। इस प्रकार, हम डेटा वेयरहाउस की सभी परतों के माध्यम से स्रोत सिस्टम से बीआई विज़ुअलाइज़ेशन तक डेटा जीवन चक्र बनाने की प्रक्रिया को पूरा करने में सक्षम थे। दूसरे शब्दों में, एक DataLineage बनाएँ।

हमने डेटा परिवर्तन के नियमों और तर्क का वर्णन करने के लिए कंपनी में पहले उपयोग किए गए प्रारूप के आधार पर एक इंटरफ़ेस विकसित किया। वही जानकारी इंटरफ़ेस के माध्यम से पहले की तरह दर्ज की जाती है, लेकिन व्यावसायिक शब्दावली से शब्द पहचानकर्ता की परिभाषा एक शर्त बन गई है। इस प्रकार हम व्यवसाय और भौतिक परतों के बीच संबंध बनाते हैं।

इसकी जरूरत किसे है? जिस पुराने प्रारूप पर आपने कई वर्षों तक काम किया, उसमें क्या खराबी थी? आवश्यकताओं को उत्पन्न करने के लिए श्रम लागत में कितनी वृद्धि हुई है? टूल के कार्यान्वयन के दौरान हमें ऐसे प्रश्नों से निपटना पड़ा। यहां उत्तर काफी सरल हैं - हम सभी को इसकी आवश्यकता है, हमारी कंपनी के डेटा कार्यालय और हमारे उपयोगकर्ताओं को।

दरअसल, कर्मचारियों को अनुकूलन करना पड़ा; सबसे पहले, इससे दस्तावेज तैयार करने के लिए श्रम लागत में थोड़ी वृद्धि हुई, लेकिन हमने इस मुद्दे को सुलझा लिया। समस्या क्षेत्रों का अभ्यास, पहचान और अनुकूलन ने अपना काम किया है। हमने मुख्य बात हासिल की है - हमने विकसित आवश्यकताओं की गुणवत्ता में सुधार किया है। अनिवार्य फ़ील्ड, एकीकृत संदर्भ पुस्तकें, इनपुट मास्क, अंतर्निहित चेक - इन सभी ने परिवर्तन विवरणों की गुणवत्ता में उल्लेखनीय सुधार करना संभव बना दिया। हम विकास आवश्यकताओं के रूप में स्क्रिप्ट सौंपने की प्रथा से दूर चले गए और उस ज्ञान को साझा किया जो केवल विकास टीम के लिए उपलब्ध था। उत्पन्न मेटाडेटा डेटाबेस प्रतिगमन विश्लेषण करने के लिए आवश्यक समय को काफी कम कर देता है और आईटी परिदृश्य (शोकेस रिपोर्ट, समुच्चय, स्रोत) की किसी भी परत पर परिवर्तनों के प्रभाव का त्वरित आकलन करने की क्षमता प्रदान करता है।

इसका रिपोर्ट के सामान्य उपयोगकर्ताओं से क्या लेना-देना है, उनके लिए क्या फायदे हैं? DataLineage बनाने की क्षमता के लिए धन्यवाद, हमारे उपयोगकर्ता, यहां तक ​​कि SQL और अन्य प्रोग्रामिंग भाषाओं से दूर रहने वाले भी, उन स्रोतों और वस्तुओं के बारे में तुरंत जानकारी प्राप्त करते हैं जिनके आधार पर एक विशेष रिपोर्ट तैयार की जाती है।

डेटा गुणवत्ता नियंत्रण मॉड्यूल

डेटा पारदर्शिता सुनिश्चित करने के संदर्भ में हमने ऊपर जो भी बात की, वह यह समझे बिना महत्वपूर्ण नहीं है कि जो डेटा हम उपयोगकर्ताओं को देते हैं वह सही है। हमारी डेटा गवर्नेंस अवधारणा का एक महत्वपूर्ण मॉड्यूल डेटा गुणवत्ता नियंत्रण मॉड्यूल है।

वर्तमान चरण में, यह चयनित संस्थाओं के लिए चेक की एक सूची है। उत्पाद विकास का तात्कालिक लक्ष्य चेक की सूची का विस्तार करना और रिपोर्टिंग रजिस्ट्री के साथ एकीकृत करना है।
यह क्या देगा और किसे देगा? रजिस्ट्री के अंतिम उपयोगकर्ता को रिपोर्ट की तैयारी की योजनाबद्ध और वास्तविक तिथियों, गतिशीलता के साथ पूर्ण जांच के परिणामों और रिपोर्ट में लोड किए गए स्रोतों की जानकारी के बारे में जानकारी तक पहुंच प्राप्त होगी।

हमारे लिए, हमारी कार्य प्रक्रियाओं में एकीकृत डेटा गुणवत्ता मॉड्यूल है:

• ग्राहकों की अपेक्षाओं का शीघ्र गठन।
• डेटा के आगे उपयोग पर निर्णय लेना।
• नियमित गुणवत्ता नियंत्रण के विकास के लिए कार्य के प्रारंभिक चरणों में समस्या बिंदुओं का प्रारंभिक सेट प्राप्त करना।

बेशक, ये एक पूर्ण डेटा प्रबंधन प्रक्रिया के निर्माण में पहला कदम हैं। लेकिन हमें विश्वास है कि केवल इस कार्य को उद्देश्यपूर्ण ढंग से करने से, डेटा गवर्नेंस टूल को कार्य प्रक्रिया में सक्रिय रूप से पेश करने से, हम अपने ग्राहकों को सूचना सामग्री, डेटा में उच्च स्तर का विश्वास, उनकी प्राप्ति में पारदर्शिता और लॉन्चिंग की गति बढ़ाएंगे। नई कार्यक्षमता.

डेटाऑफ़िस टीम

स्रोत: www.habr.com