बहुत बड़े डेटा को सस्ते में और तेज़ी से कैसे स्थानांतरित करें, अपलोड करें और एकीकृत करें? पुशडाउन अनुकूलन क्या है?

किसी भी बड़े डेटा ऑपरेशन के लिए बहुत अधिक कंप्यूटिंग शक्ति की आवश्यकता होती है। किसी डेटाबेस से डेटा को Hadoop तक ले जाने में कई सप्ताह लग सकते हैं या इसकी लागत एक हवाई जहाज के विंग जितनी हो सकती है। इंतजार करना और पैसा खर्च नहीं करना चाहते? विभिन्न प्लेटफार्मों पर लोड को संतुलित करें। एक तरीका पुशडाउन ऑप्टिमाइज़ेशन है।

मैंने इंफॉर्मेटिका उत्पादों के विकास और प्रशासन के लिए रूस के अग्रणी प्रशिक्षक एलेक्सी अनान्येव से इंफॉर्मेटिका बिग डेटा मैनेजमेंट (बीडीएम) में पुशडाउन ऑप्टिमाइज़ेशन फ़ंक्शन के बारे में बात करने के लिए कहा। क्या आपने कभी इंफॉर्मेटिका उत्पादों के साथ काम करना सीखा है? सबसे अधिक संभावना है, यह एलेक्सी ही था जिसने आपको पॉवरसेंटर की मूल बातें बताईं और मैपिंग बनाने का तरीका बताया।

एलेक्सी अनान्येव, डीआईएस ग्रुप में प्रशिक्षण प्रमुख

पुशडाउन क्या है?

आप में से कई लोग इंफॉर्मेटिका बिग डेटा मैनेजमेंट (बीडीएम) से पहले से ही परिचित हैं। उत्पाद विभिन्न स्रोतों से बड़े डेटा को एकीकृत कर सकता है, इसे विभिन्न प्रणालियों के बीच ले जा सकता है, उस तक आसान पहुंच प्रदान करता है, आपको इसे प्रोफाइल करने की अनुमति देता है, और भी बहुत कुछ।
सही हाथों में, बीडीएम अद्भुत काम कर सकता है: कार्य जल्दी और न्यूनतम कंप्यूटिंग संसाधनों के साथ पूरे हो जाएंगे।

क्या आप भी यही चाहते हैं? विभिन्न प्लेटफार्मों पर कंप्यूटिंग लोड वितरित करने के लिए बीडीएम में पुशडाउन सुविधा का उपयोग करना सीखें। पुशडाउन तकनीक आपको मैपिंग को एक स्क्रिप्ट में बदलने और उस वातावरण का चयन करने की अनुमति देती है जिसमें यह स्क्रिप्ट चलेगी। यह विकल्प आपको विभिन्न प्लेटफार्मों की शक्तियों को संयोजित करने और उनका अधिकतम प्रदर्शन प्राप्त करने की अनुमति देता है।

स्क्रिप्ट निष्पादन वातावरण को कॉन्फ़िगर करने के लिए, आपको पुशडाउन प्रकार का चयन करना होगा। स्क्रिप्ट को पूरी तरह से Hadoop पर चलाया जा सकता है या स्रोत और सिंक के बीच आंशिक रूप से वितरित किया जा सकता है। 4 संभावित पुशडाउन प्रकार हैं। मैपिंग को स्क्रिप्ट (मूल) में बदलने की आवश्यकता नहीं है। मैपिंग यथासंभव स्रोत (स्रोत) पर या पूरी तरह से स्रोत (पूर्ण) पर की जा सकती है। मैपिंग को Hadoop स्क्रिप्ट (कोई नहीं) में भी बदला जा सकता है।

पुशडाउन अनुकूलन

सूचीबद्ध 4 प्रकारों को अलग-अलग तरीकों से जोड़ा जा सकता है - सिस्टम की विशिष्ट आवश्यकताओं के लिए पुशडाउन को अनुकूलित किया जा सकता है। उदाहरण के लिए, किसी डेटाबेस से अपनी क्षमताओं का उपयोग करके डेटा निकालना अक्सर अधिक उपयुक्त होता है। और डेटा को Hadoop का उपयोग करके परिवर्तित किया जाएगा, ताकि डेटाबेस स्वयं ओवरलोड न हो।

आइए उस मामले पर विचार करें जब स्रोत और गंतव्य दोनों डेटाबेस में हैं, और परिवर्तन निष्पादन प्लेटफ़ॉर्म का चयन किया जा सकता है: सेटिंग्स के आधार पर, यह इंफॉर्मेटिका, एक डेटाबेस सर्वर या Hadoop होगा। ऐसा उदाहरण आपको इस तंत्र के संचालन के तकनीकी पक्ष को सबसे सटीक रूप से समझने की अनुमति देगा। स्वाभाविक रूप से, वास्तविक जीवन में ऐसी स्थिति उत्पन्न नहीं होती है, लेकिन कार्यक्षमता प्रदर्शित करने के लिए यह सबसे उपयुक्त है।

आइए एकल Oracle डेटाबेस में दो तालिकाओं को पढ़ने के लिए मैपिंग करें। और पढ़ने के परिणामों को उसी डेटाबेस में एक तालिका में दर्ज करने दें। मैपिंग योजना इस प्रकार होगी:

इंफॉर्मेटिका बीडीएम 10.2.1 पर मैपिंग के रूप में यह इस तरह दिखता है:

पुशडाउन प्रकार - मूल

यदि हम पुशडाउन नेटिव प्रकार का चयन करते हैं, तो मैपिंग इंफॉर्मेटिका सर्वर पर की जाएगी। डेटा को Oracle सर्वर से पढ़ा जाएगा, Informatica सर्वर पर स्थानांतरित किया जाएगा, वहां रूपांतरित किया जाएगा और Hadoop में स्थानांतरित किया जाएगा। दूसरे शब्दों में, हमें एक सामान्य ईटीएल प्रक्रिया मिलेगी।

पुशडाउन प्रकार - स्रोत

स्रोत प्रकार चुनते समय, हमें अपनी प्रक्रिया को डेटाबेस सर्वर (DB) और Hadoop के बीच वितरित करने का अवसर मिलता है। जब इस सेटिंग के साथ एक प्रक्रिया निष्पादित की जाती है, तो तालिकाओं से डेटा पुनर्प्राप्त करने का अनुरोध डेटाबेस को भेजा जाएगा। और बाकी का कार्य Hadoop पर चरणों के रूप में किया जाएगा।
निष्पादन आरेख इस तरह दिखेगा:

नीचे रनटाइम वातावरण स्थापित करने का एक उदाहरण दिया गया है।

इस मामले में, मैपिंग दो चरणों में की जाएगी. इसकी सेटिंग्स में हम देखेंगे कि यह एक स्क्रिप्ट में बदल गया है जिसे स्रोत पर भेजा जाएगा। इसके अलावा, तालिकाओं का संयोजन और डेटा को परिवर्तित करना स्रोत पर एक ओवरराइड क्वेरी के रूप में किया जाएगा।
नीचे दी गई तस्वीर में, हम बीडीएम पर एक अनुकूलित मैपिंग और स्रोत पर एक पुनः परिभाषित क्वेरी देखते हैं।

इस कॉन्फ़िगरेशन में Hadoop की भूमिका डेटा के प्रवाह को प्रबंधित करने - इसे व्यवस्थित करने तक कम हो जाएगी। क्वेरी का परिणाम Hadoop को भेजा जाएगा. एक बार रीडिंग पूरी हो जाने पर, Hadoop से फ़ाइल सिंक में लिखी जाएगी।

पुशडाउन प्रकार - पूर्ण

जब आप पूर्ण प्रकार का चयन करते हैं, तो मैपिंग पूरी तरह से डेटाबेस क्वेरी में बदल जाएगी। और अनुरोध का परिणाम Hadoop को भेजा जाएगा। ऐसी प्रक्रिया का एक चित्र नीचे प्रस्तुत किया गया है।

एक उदाहरण सेटअप नीचे दिखाया गया है.

परिणामस्वरूप, हमें पिछले वाले के समान एक अनुकूलित मैपिंग मिलेगी। एकमात्र अंतर यह है कि सभी तर्क रिसीवर को उसके सम्मिलन को ओवरराइड करने के रूप में स्थानांतरित कर दिए जाते हैं। अनुकूलित मैपिंग का एक उदाहरण नीचे प्रस्तुत किया गया है।

यहां, पिछले मामले की तरह, Hadoop कंडक्टर की भूमिका निभाता है। लेकिन यहां स्रोत को उसकी संपूर्णता में पढ़ा जाता है, और फिर रिसीवर स्तर पर डेटा प्रोसेसिंग तर्क निष्पादित किया जाता है।

पुशडाउन प्रकार शून्य है

खैर, आखिरी विकल्प पुशडाउन प्रकार है, जिसके भीतर हमारी मैपिंग एक Hadoop स्क्रिप्ट में बदल जाएगी।

अनुकूलित मैपिंग अब इस तरह दिखेगी:

यहां स्रोत फ़ाइलों का डेटा सबसे पहले Hadoop पर पढ़ा जाएगा। फिर, अपने साधनों का उपयोग करके, इन दोनों फ़ाइलों को संयोजित किया जाएगा। इसके बाद डेटा को कन्वर्ट कर डेटाबेस में अपलोड कर दिया जाएगा.

पुशडाउन ऑप्टिमाइज़ेशन के सिद्धांतों को समझकर, आप बड़े डेटा के साथ काम करने के लिए कई प्रक्रियाओं को बहुत प्रभावी ढंग से व्यवस्थित कर सकते हैं। इस प्रकार, हाल ही में, एक बड़ी कंपनी ने, कुछ ही हफ्तों में, स्टोरेज से बड़ा डेटा Hadoop में डाउनलोड कर लिया, जिसे उसने पहले कई वर्षों तक एकत्र किया था।

स्रोत: www.habr.com