डाटा गभर्नेन्स इन-हाउस

हे हाबर!

डाटा कम्पनीको सबैभन्दा मूल्यवान सम्पत्ति हो। डिजिटल फोकस भएको लगभग हरेक कम्पनीले यो घोषणा गर्दछ। यससँग बहस गर्न गाह्रो छ: डाटा व्यवस्थापन, भण्डारण र प्रशोधन गर्ने दृष्टिकोणहरू छलफल नगरी एक प्रमुख आईटी सम्मेलन आयोजित हुँदैन।

हामीकहाँ बाहिरबाट डाटा आउँछ, कम्पनीभित्र पनि उत्पन्न हुन्छ र टेलिकम कम्पनीको डाटाको कुरा गर्ने हो भने आन्तरिक कर्मचारीका लागि यो ग्राहक, उसको रुची, बानी र स्थानको जानकारीको भण्डार हो। उचित प्रोफाइलिङ र विभाजनको साथ, विज्ञापन प्रस्तावहरू सबैभन्दा प्रभावकारी हुन्छन्। यद्यपि, व्यवहारमा, सबै कुरा यति गुलाबी छैन। कम्पनीहरूले भण्डारण गरेको डाटा निराशाजनक रूपमा पुरानो, अनावश्यक, दोहोरिने वा यसको अस्तित्व प्रयोगकर्ताहरूको साँघुरो सर्कल बाहेक कसैलाई थाहा छैन। ¯_(ツ)_/¯

एक शब्दमा, डाटा प्रभावकारी रूपमा व्यवस्थित हुनुपर्छ - तब मात्र यो एक सम्पत्ति बन्नेछ जसले व्यापारमा वास्तविक लाभ र नाफा ल्याउँछ। दुर्भाग्यवश, डाटा व्यवस्थापन समस्याहरू समाधान गर्न धेरै जटिलताहरू पार गर्न आवश्यक छ। तिनीहरू मुख्यतया प्रणालीहरूको "चिडियाखाना" को रूपमा ऐतिहासिक विरासत र तिनीहरूको व्यवस्थापनमा एकीकृत प्रक्रियाहरू र दृष्टिकोणहरूको अभावका कारण हुन्। तर "डेटा संचालित" हुनुको अर्थ के हो?

यो वास्तवमा हामी कट अन्तर्गत कुरा गर्नेछौं, साथै कसरी ओपनसोर्स स्ट्याकले हामीलाई मद्दत गर्‍यो।

रणनीतिक डाटा व्यवस्थापन डाटा गभर्नेन्स (डीजी) को अवधारणा पहिले नै रूसी बजारमा धेरै राम्रोसँग परिचित छ, र यसको कार्यान्वयनको परिणाम स्वरूप व्यवसायले हासिल गरेका लक्ष्यहरू स्पष्ट र स्पष्ट रूपमा घोषणा गरिएका छन्। हाम्रो कम्पनी कुनै अपवाद थिएन र डेटा व्यवस्थापन को अवधारणा को परिचय को कार्य आफैलाई सेट।

त्यसोभए हामीले कहाँ सुरु गर्यौं? सुरुमा, हामीले आफ्नै लागि मुख्य लक्ष्यहरू गठन गर्यौं:

1. हाम्रो डाटा पहुँचयोग्य राख्नुहोस्।
2. डाटा जीवनचक्र को पारदर्शिता सुनिश्चित गर्नुहोस्।
3. कम्पनी प्रयोगकर्ताहरूलाई निरन्तर, सुसंगत डेटा प्रदान गर्नुहोस्।
4. कम्पनी प्रयोगकर्ताहरूलाई प्रमाणित डाटा प्रदान गर्नुहोस्।

आज, सफ्टवेयर बजारमा दर्जनौं डाटा गभर्नेन्स क्लास उपकरणहरू छन्।

तर समाधानहरूको विस्तृत विश्लेषण र अध्ययन पछि, हामीले आफ्नै लागि धेरै महत्वपूर्ण टिप्पणीहरू रेकर्ड गर्यौं:

• धेरै निर्माताहरूले समाधानहरूको विस्तृत सेट प्रस्ताव गर्छन्, जुन हाम्रो लागि अनावश्यक छ र अवस्थित कार्यक्षमताको नक्कल गर्दछ। साथै, स्रोतहरूको हिसाबले महँगो, हालको IT परिदृश्यमा एकीकरण।
• कार्यक्षमता र इन्टरफेस टेक्नोलोजिस्टहरूको लागि डिजाइन गरिएको हो, व्यापार अन्त प्रयोगकर्ताहरू होइन।
• उत्पादनहरूको कम अस्तित्व दर र रूसी बजारमा सफल कार्यान्वयनको कमी।
• सफ्टवेयरको उच्च लागत र थप समर्थन।

रूसी कम्पनीहरूको लागि सफ्टवेयरको आयात प्रतिस्थापनको सन्दर्भमा माथि आवाज उठाइएका मापदण्ड र सिफारिसहरूले हामीलाई खुला स्रोत स्ट्याकमा हाम्रो आफ्नै विकास तिर जान विश्वस्त बनायो। हामीले रोजेको प्लेटफर्म Django थियो, पाइथनमा लेखिएको नि:शुल्क र खुला स्रोत फ्रेमवर्क। र यसरी हामीले माथि उल्लिखित लक्ष्यहरूमा योगदान गर्ने मुख्य मोड्युलहरू पहिचान गरेका छौं:

1. रिपोर्टहरूको दर्ता।
2. व्यापार शब्दावली।
3. प्राविधिक रूपान्तरणहरू वर्णन गर्नका लागि मोड्युल।
4. स्रोतबाट BI उपकरणमा डेटा जीवन चक्र वर्णन गर्नको लागि मोड्युल।
5. डाटा गुणस्तर नियन्त्रण मोड्युल।

रिपोर्टहरूको दर्ता

ठूला कम्पनीहरूमा आन्तरिक अध्ययनको नतिजा अनुसार, डाटा-सम्बन्धित समस्याहरू समाधान गर्दा, कर्मचारीहरूले उनीहरूको खोजीमा 40-80% समय खर्च गर्छन्। तसर्थ, हामीले आफूलाई अवस्थित रिपोर्टहरूको बारेमा खुला जानकारी बनाउने कार्य सेट गर्छौं जुन पहिले ग्राहकहरूलाई मात्र उपलब्ध थियो। यसरी, हामी नयाँ रिपोर्टहरू उत्पन्न गर्नको लागि समय घटाउँछौं र डेटाको लोकतान्त्रिकीकरण सुनिश्चित गर्छौं।

रिपोर्टिङ दर्ता विभिन्न क्षेत्रहरू, विभागहरू र डिभिजनहरूका आन्तरिक प्रयोगकर्ताहरूको लागि एकल रिपोर्टिङ विन्डो भएको छ। यसले कम्पनीको धेरै कर्पोरेट रिपोजिटरीहरूमा सिर्जना गरिएका सूचना सेवाहरूमा जानकारीलाई समेकित गर्दछ, र ती मध्ये धेरै Rostelecom मा छन्।

तर रजिस्ट्री विकसित रिपोर्टहरूको सुक्खा सूची मात्र होइन। प्रत्येक रिपोर्टको लागि, हामी प्रयोगकर्तालाई यससँग परिचित हुन आवश्यक जानकारी प्रदान गर्दछौं:

• रिपोर्ट को संक्षिप्त विवरण;
• डाटा उपलब्धता को गहिराई;
• ग्राहक खण्ड;
• दृश्य उपकरण;
• कर्पोरेट भण्डारण को नाम;
• व्यापार कार्यात्मक आवश्यकताहरु;
• रिपोर्टमा लिङ्क;
• पहुँचको लागि आवेदन लिङ्क;
• कार्यान्वयन स्थिति।

उपयोग स्तर विश्लेषणहरू रिपोर्टहरूका लागि उपलब्ध छन्, र रिपोर्टहरू अद्वितीय प्रयोगकर्ताहरूको संख्यामा आधारित लग विश्लेषणको आधारमा सूचीको शीर्षमा क्रमबद्ध छन्। र त्यो होइन। सामान्य विशेषताहरु को अतिरिक्त, हामीले मूल्यहरु र गणना विधिहरु को उदाहरणहरु संग रिपोर्ट को विशेषता संरचना को एक विस्तृत विवरण प्रदान गर्यौं। यस्तो विवरणले तुरुन्तै प्रयोगकर्तालाई प्रतिवेदन उसको लागि उपयोगी छ वा छैन भन्ने जवाफ दिन्छ।

यस मोड्युलको विकास डेटाको प्रजातान्त्रिकीकरणमा महत्त्वपूर्ण कदम थियो र यसले आवश्यक जानकारी फेला पार्न लाग्ने समयलाई उल्लेखनीय रूपमा घटाएको थियो। खोजी समय घटाउनुको साथै, परामर्श प्रदान गर्न समर्थन टोलीलाई अनुरोध गर्ने संख्या पनि घटेको छ। विभिन्न संरचनात्मक एकाइहरूको लागि नक्कल प्रतिवेदनहरूको विकासलाई रोक्न - रिपोर्टहरूको एक एकीकृत दर्ता विकास गरेर हामीले हासिल गरेको अर्को उपयोगी परिणामलाई नोट गर्न असम्भव छ।

व्यापार शब्दावली

तपाईं सबैलाई थाहा छ कि एउटै कम्पनी भित्र पनि, व्यवसायहरूले विभिन्न भाषाहरू बोल्छन्। हो, तिनीहरू एउटै सर्तहरू प्रयोग गर्छन्, तर तिनीहरूको अर्थ पूर्ण रूपमा फरक चीजहरू छन्। एक व्यापार शब्दावली यो समस्या समाधान गर्न डिजाइन गरिएको छ।

हाम्रो लागि, व्यापार शब्दावली सर्तहरू र गणना विधिको विवरण सहितको सन्दर्भ पुस्तक मात्र होइन। यो विकास, सहमति र शब्दावली अनुमोदन, सर्तहरू र कम्पनी को अन्य जानकारी सम्पत्ति बीच सम्बन्ध निर्माण को लागी एक पूर्ण वातावरण हो। व्यापार शब्दावलीमा प्रवेश गर्नु अघि, एक शब्द व्यापार ग्राहकहरु र डाटा गुणस्तर केन्द्र संग अनुमोदन को सबै चरणहरु मा जानु पर्छ। त्यसपछि मात्र यो प्रयोगको लागि उपलब्ध हुनेछ।

मैले माथि लेखेझैं, यस उपकरणको विशिष्टता यो हो कि यसले व्यापार शब्दको स्तरबाट विशेष प्रयोगकर्ता रिपोर्टहरूमा जडान गर्न अनुमति दिन्छ जसमा यो प्रयोग गरिन्छ, साथै भौतिक डाटाबेस वस्तुहरूको स्तरमा।

यो रजिस्ट्री रिपोर्टहरूको विस्तृत विवरण र भौतिक डाटाबेस वस्तुहरूको विवरणमा शब्दावली शब्द पहिचानकर्ताहरूको प्रयोगबाट सम्भव भएको हो।

हाल, शब्दावलीमा 4000 भन्दा बढी सर्तहरू परिभाषित र सहमत भएका छन्। यसको प्रयोगले कम्पनीको सूचना प्रणालीमा परिवर्तनहरूको लागि आगमन अनुरोधहरूको प्रक्रियालाई सरल र गति दिन्छ। यदि आवश्यक सूचक कुनै पनि रिपोर्टमा पहिले नै लागू गरिएको छ भने, प्रयोगकर्ताले तुरुन्तै तयार रिपोर्टहरूको सेट देख्नेछ जहाँ यो सूचक प्रयोग गरिएको छ, र विद्यमान कार्यक्षमता वा यसको न्यूनतम परिमार्जनको प्रभावकारी पुन: प्रयोगको बारेमा निर्णय गर्न सक्षम हुनेछ। नयाँ रिपोर्टको विकासको लागि नयाँ अनुरोधहरू।

प्राविधिक रूपान्तरण र DataLineage को वर्णन गर्न को लागी मोड्युल

यी मोड्युलहरू के हुन्, तपाइँ सोध्नुहुन्छ? यो केवल रिपोर्ट दर्ता र शब्दावली लागू गर्न पर्याप्त छैन; यो भौतिक डाटाबेस मोडेल मा सबै व्यापार सर्तहरू ग्राउन्ड गर्न आवश्यक छ। यसरी, हामीले डाटा वेयरहाउसका सबै तहहरू मार्फत स्रोत प्रणालीहरूबाट BI भिजुअलाइजेशनमा डाटा जीवन चक्र गठन गर्ने प्रक्रिया पूरा गर्न सक्षम भयौं। अर्को शब्दमा, DataLineage बनाउनुहोस्।

हामीले डेटा रूपान्तरणका नियमहरू र तर्कहरू वर्णन गर्न कम्पनीमा पहिले प्रयोग गरिएको ढाँचामा आधारित इन्टरफेस विकास गर्यौं। उही जानकारी पहिले जस्तै इन्टरफेस मार्फत प्रविष्ट गरिएको छ, तर व्यापार शब्दावलीबाट शब्द पहिचानकर्ताको परिभाषा एक पूर्व शर्त भएको छ। यसरी हामी व्यापार र भौतिक तहहरू बीचको सम्बन्ध निर्माण गर्छौं।

कसलाई चाहिन्छ? तपाईले धेरै वर्ष काम गर्नुभएको पुरानो ढाँचामा के गलत थियो? आवश्यकताहरू उत्पादन गर्नको लागि श्रम लागत कति बढेको छ? हामीले उपकरणको कार्यान्वयनको क्रममा त्यस्ता प्रश्नहरूको सामना गर्नुपर्‍यो। यहाँ जवाफहरू एकदम सरल छन् - हामी सबैलाई यो चाहिन्छ, हाम्रो कम्पनीको डाटा अफिस र हाम्रा प्रयोगकर्ताहरू।

वास्तवमा, कर्मचारीहरूले अनुकूलन गर्नुपर्‍यो; सुरुमा, यसले कागजात तयार गर्नको लागि श्रम लागतमा थोरै वृद्धि गर्‍यो, तर हामीले यो मुद्दालाई हल गर्यौं। अभ्यास, पहिचान र समस्या क्षेत्रहरू अनुकूलन आफ्नो काम गरेको छ। हामीले मुख्य कुरा हासिल गरेका छौं - हामीले विकसित आवश्यकताहरूको गुणस्तर सुधार गरेका छौं। अनिवार्य क्षेत्रहरू, एकीकृत सन्दर्भ पुस्तकहरू, इनपुट मास्कहरू, निर्मित जाँचहरू - यी सबैले परिवर्तन विवरणहरूको गुणस्तरमा उल्लेखनीय सुधार गर्न सम्भव बनायो। विकासका आवश्यकताहरू र विकास टोलीलाई मात्र उपलब्ध हुने ज्ञानको रूपमा लिपि हस्तान्तरण गर्ने अभ्यासबाट हामी टाढा भयौं। उत्पन्न मेटाडेटा डाटाबेसले प्रतिगमन विश्लेषण सञ्चालन गर्न आवश्यक समयलाई महत्त्वपूर्ण रूपमा घटाउँछ र IT परिदृश्यको कुनै पनि तह (शोकेस रिपोर्टहरू, एग्रीगेटहरू, स्रोतहरू) मा परिवर्तनहरूको प्रभावलाई द्रुत रूपमा मूल्याङ्कन गर्ने क्षमता प्रदान गर्दछ।

यो रिपोर्ट को सामान्य प्रयोगकर्ता संग के गर्न छ, तिनीहरूको लागि लाभ के हो? DataLineage निर्माण गर्ने क्षमताको लागि धन्यवाद, हाम्रा प्रयोगकर्ताहरू, SQL र अन्य प्रोग्रामिङ भाषाहरूबाट टाढा भएकाहरूले पनि, स्रोत र वस्तुहरूको बारेमा द्रुत रूपमा जानकारी प्राप्त गर्छन् जसको आधारमा एक विशेष रिपोर्ट उत्पन्न हुन्छ।

डाटा गुणस्तर नियन्त्रण मोड्युल

डाटा पारदर्शिता सुनिश्चित गर्ने सन्दर्भमा हामीले माथि कुरा गरेका सबै कुरा हामीले प्रयोगकर्ताहरूलाई दिने डाटा सही छ भनी बुझेर महत्त्वपूर्ण छैन। हाम्रो डाटा गभर्नेन्स अवधारणाको महत्त्वपूर्ण मोड्युलहरू मध्ये एक डाटा गुणस्तर नियन्त्रण मोड्युल हो।

हालको चरणमा, यो चयनित संस्थाहरूको लागि जाँचहरूको सूची हो। उत्पादन विकासको लागि तत्काल लक्ष्य चेकहरूको सूची विस्तार गर्न र रिपोर्टिङ रजिस्ट्रीसँग एकीकृत गर्नु हो।
यसले के दिन्छ र कसलाई? रजिस्ट्रीको अन्तिम प्रयोगकर्तासँग रिपोर्ट तयारीको योजनाबद्ध र वास्तविक मितिहरू, गतिशीलताका साथ पूरा गरिएका जाँचहरूको नतिजा, र रिपोर्टमा लोड गरिएका स्रोतहरूमा जानकारीको पहुँच हुनेछ।

हाम्रो लागि, हाम्रो कार्य प्रक्रियाहरूमा एकीकृत डाटा गुणस्तर मोड्युल हो:

• ग्राहक अपेक्षाहरूको द्रुत गठन।
• डाटाको थप प्रयोगमा निर्णय लिँदै।
• नियमित गुणस्तर नियन्त्रणको विकासको लागि कामको प्रारम्भिक चरणहरूमा समस्या बिन्दुहरूको प्रारम्भिक सेट प्राप्त गर्दै।

निस्सन्देह, यी पूर्ण डेटा व्यवस्थापन प्रक्रिया निर्माण गर्न पहिलो चरणहरू हुन्। तर हामी विश्वस्त छौं कि यो काम उद्देश्यपूर्ण रूपमा गरेर, डाटा व्यवस्थापन उपकरणहरू कार्य प्रक्रियामा सक्रिय रूपमा प्रस्तुत गरेर, हामी हाम्रा ग्राहकहरूलाई सूचना सामग्री, डाटामा उच्च स्तरको विश्वास, तिनीहरूको रसिदमा पारदर्शिता र सुरुवातको गति बढाउनेछौं। नयाँ कार्यक्षमता।

DataOffice टोली

स्रोत: www.habr.com