डेटा वॉल्ट का विकास और बिजनेस डेटा वॉल्ट में संक्रमण

पिछले लेख में, मैंने डेटा वॉल्ट की मूल बातों के बारे में बात की थी, डेटा वॉल्ट के मुख्य तत्वों और उनके उद्देश्य का वर्णन किया था। इसे डेटा वॉल्ट का विषय समाप्त नहीं माना जा सकता; डेटा वॉल्ट के विकास में अगले चरणों के बारे में बात करना आवश्यक है।

और इस लेख में मैं डेटा वॉल्ट के विकास और बिजनेस डेटा वॉल्ट या बस बिजनेस वॉल्ट में संक्रमण पर ध्यान केंद्रित करूंगा।

बिजनेस डेटा वॉल्ट के प्रकट होने के कारण

यह ध्यान दिया जाना चाहिए कि डेटा वॉल्ट में कुछ खूबियां हैं, लेकिन इसमें कुछ कमियां भी हैं। इन नुकसानों में से एक विश्लेषणात्मक प्रश्न लिखने में कठिनाई है। क्वेरीज़ में बड़ी संख्या में JOIN होते हैं, कोड लंबा और बोझिल होता है। इसके अलावा, डेटा वॉल्ट में प्रवेश करने वाले डेटा में कोई परिवर्तन नहीं होता है, इसलिए, व्यावसायिक दृष्टिकोण से, डेटा वॉल्ट का अपने शुद्ध रूप में कोई पूर्ण मूल्य नहीं है।

इन कमियों को दूर करने के लिए डेटा वॉल्ट पद्धति को ऐसे तत्वों के साथ विस्तारित किया गया था:

• पीआईटी (समय में बिंदु) तालिकाएँ;
• ब्रिज टेबल;
• पूर्वनिर्धारित व्युत्पत्तियाँ।

आइए इन तत्वों के उद्देश्य पर करीब से नज़र डालें।

पीआईटी टेबल

आम तौर पर, एक व्यावसायिक इकाई (एचयूबी) में अलग-अलग अद्यतन दरों वाला डेटा हो सकता है, उदाहरण के लिए, यदि हम किसी व्यक्ति की विशेषता बताने वाले डेटा के बारे में बात कर रहे हैं, तो हम कह सकते हैं कि किसी फ़ोन नंबर, पते या ईमेल के बारे में जानकारी की अद्यतन दर कहने की तुलना में अधिक है, पूरा नाम, पासपोर्ट विवरण, वैवाहिक स्थिति या लिंग।

इसलिए, उपग्रहों का निर्धारण करते समय, आपको उनकी अद्यतन आवृत्ति को ध्यान में रखना चाहिए। यह महत्वपूर्ण क्यों है?

यदि आप एक ही तालिका में विभिन्न अद्यतन दरों के साथ विशेषताओं को संग्रहीत करते हैं, तो आपको हर बार सबसे अधिक बार बदली गई विशेषता को अपडेट करने पर तालिका में एक पंक्ति जोड़नी होगी। इसका परिणाम डिस्क स्थान में वृद्धि और क्वेरी निष्पादन समय में वृद्धि है।

अब जबकि हमने उपग्रहों को अद्यतन आवृत्ति के आधार पर विभाजित कर दिया है, और उनमें स्वतंत्र रूप से डेटा लोड कर सकते हैं, हमें यह सुनिश्चित करना चाहिए कि हम अद्यतन डेटा प्राप्त कर सकें। अनावश्यक जॉइन का उपयोग किए बिना बेहतर।

मैं समझाता हूं, उदाहरण के लिए, आपको अलग-अलग अद्यतन दरों वाले उपग्रहों से वर्तमान (अंतिम अद्यतन की तारीख के अनुसार) जानकारी प्राप्त करने की आवश्यकता है। ऐसा करने के लिए, आपको न केवल JOIN बनाने की आवश्यकता होगी, बल्कि अधिकतम अद्यतन तिथि MAX (अद्यतन तिथि) के चयन के साथ कई नेस्टेड क्वेरीज़ (जानकारी वाले प्रत्येक उपग्रह के लिए) भी बनानी होगी। प्रत्येक नए JOIN के साथ, ऐसा कोड बढ़ता है और बहुत जल्दी समझना मुश्किल हो जाता है।

पीआईटी तालिका को ऐसे प्रश्नों को सरल बनाने के लिए डिज़ाइन किया गया है; पीआईटी तालिकाओं को डेटा वॉल्ट में नया डेटा लिखने के साथ-साथ भरा जाता है। पिट टेबल:

इस प्रकार, हमारे पास प्रत्येक समय बिंदु पर सभी उपग्रहों के लिए डेटा की प्रासंगिकता के बारे में जानकारी है। पीआईटी तालिका में जॉइन का उपयोग करके, हम नेस्टेड क्वेरीज़ को पूरी तरह से समाप्त कर सकते हैं, स्वाभाविक रूप से इस शर्त के साथ कि पीआईटी हर दिन और बिना अंतराल के भरी जाती है। भले ही पीआईटी में कमियां हों, आप पीआईटी में केवल एक नेस्टेड क्वेरी का उपयोग करके नवीनतम डेटा प्राप्त कर सकते हैं। प्रत्येक उपग्रह पर नेस्टेड क्वेरी की तुलना में एक नेस्टेड क्वेरी तेजी से संसाधित होगी।

पुल

विश्लेषणात्मक प्रश्नों को सरल बनाने के लिए BRIDGE तालिकाओं का भी उपयोग किया जाता है। हालाँकि, पीआईटी से जो अलग है वह विभिन्न हब, लिंक और उनके उपग्रहों के बीच अनुरोधों को सरल बनाने और तेज करने का एक साधन है।

तालिका में सभी उपग्रहों के लिए सभी आवश्यक कुंजियाँ शामिल हैं, जिनका उपयोग अक्सर प्रश्नों में किया जाता है। इसके अलावा, यदि आवश्यक हो, तो विश्लेषण के लिए कुंजियों के नाम की आवश्यकता होने पर हैश की गई व्यावसायिक कुंजियों को पाठ रूप में कुंजियों के साथ पूरक किया जा सकता है।

तथ्य यह है कि ब्रिज का उपयोग किए बिना, विभिन्न हब से संबंधित उपग्रहों में स्थित डेटा प्राप्त करने की प्रक्रिया में, न केवल उपग्रहों का, बल्कि हब को जोड़ने वाले लिंक का भी जॉइन बनाना आवश्यक होगा।

BRIDGE की उपस्थिति या अनुपस्थिति भंडारण कॉन्फ़िगरेशन और क्वेरी निष्पादन की गति को अनुकूलित करने की आवश्यकता से निर्धारित होती है। BRIGE का कोई सार्वभौमिक उदाहरण प्रस्तुत करना कठिन है।

पूर्वनिर्धारित व्युत्पत्तियाँ

एक अन्य प्रकार की वस्तु जो हमें बिजनेस डेटा वॉल्ट के करीब लाती है वह पूर्व-गणना संकेतक वाली तालिकाएँ हैं। ऐसी तालिकाएँ व्यवसाय के लिए वास्तव में महत्वपूर्ण हैं; इनमें दिए गए नियमों के अनुसार एकत्रित जानकारी होती है और इसे प्राप्त करना अपेक्षाकृत आसान हो जाता है।

वास्तुकला की दृष्टि से, पूर्वनिर्धारित व्युत्पत्तियाँ एक निश्चित केंद्र के दूसरे उपग्रह से अधिक कुछ नहीं हैं। इसमें, एक नियमित उपग्रह की तरह, एक व्यावसायिक कुंजी और उपग्रह में रिकॉर्ड के निर्माण की तारीख शामिल होती है। हालाँकि, यहीं पर समानताएँ समाप्त हो जाती हैं। ऐसे "विशेष" उपग्रह की विशेषताओं की आगे की संरचना व्यावसायिक उपयोगकर्ताओं द्वारा सबसे लोकप्रिय, पूर्व-गणना किए गए संकेतकों के आधार पर निर्धारित की जाती है।

उदाहरण के लिए, किसी कर्मचारी के बारे में जानकारी वाले हब में संकेतक वाला एक उपग्रह शामिल हो सकता है जैसे:

• न्यूनतम मजदूरी;
• अधिकतम वेतन;
• औसत वेतन;
• उपार्जित वेतन आदि का संचयी योग।

एक ही हब की पीआईटी तालिका में पूर्वनिर्धारित व्युत्पत्तियों को शामिल करना तर्कसंगत है, फिर आप किसी विशेष रूप से चयनित तिथि पर किसी कर्मचारी के लिए डेटा स्लाइस आसानी से प्राप्त कर सकते हैं।

निष्कर्ष

जैसा कि अभ्यास से पता चलता है, व्यावसायिक उपयोगकर्ताओं द्वारा डेटा वॉल्ट का उपयोग कई कारणों से कुछ हद तक कठिन है:

• क्वेरी कोड जटिल और बोझिल है;
• JOINs की प्रचुरता प्रश्नों के प्रदर्शन को प्रभावित करती है;
• विश्लेषणात्मक प्रश्न लिखने के लिए भंडारण डिज़ाइन के उत्कृष्ट ज्ञान की आवश्यकता होती है।

डेटा एक्सेस को सरल बनाने के लिए, डेटा वॉल्ट को अतिरिक्त ऑब्जेक्ट के साथ बढ़ाया गया है:

• पीआईटी (समय में बिंदु) तालिकाएँ;
• ब्रिज टेबल;
• पूर्वनिर्धारित व्युत्पत्तियाँ।

अगला लेख मेरी राय में, मैं बीआई के साथ काम करने वालों के लिए सबसे दिलचस्प बात बताने की योजना बना रहा हूं। मैं डेटा वॉल्ट के आधार पर तथ्य तालिकाएँ और आयाम तालिकाएँ बनाने के तरीके प्रस्तुत करूँगा।

लेख की सामग्री इस पर आधारित है:

• पर प्रकाशन केंटा ग्राज़ियानो, जिसमें एक विस्तृत विवरण के अलावा, मॉडल आरेख शामिल हैं;
• पुस्तक: "डेटा वॉल्ट 2.0 के साथ एक स्केलेबल डेटा वेयरहाउस का निर्माण";
• लेख डेटा वॉल्ट मूल बातें.

स्रोत: www.habr.com