धेरै ठूलो डाटा सस्तो र छिटो कसरी सार्ने, अपलोड गर्ने र एकीकृत गर्ने? पुशडाउन अप्टिमाइजेसन के हो?

कुनै पनि ठूला डाटा सञ्चालनका लागि धेरै कम्प्युटिङ पावर चाहिन्छ। डाटाबेसबाट Hadoop मा डाटाको सामान्य सार्न हप्ता लाग्न सक्छ वा हवाईजहाज पखेटा जत्तिकै लागत लाग्न सक्छ। पर्खन र पैसा खर्च गर्न चाहनुहुन्न? विभिन्न प्लेटफर्महरूमा लोड सन्तुलन। एउटा तरिका पुशडाउन अप्टिमाइजेसन हो।

मैले इन्फर्मेटिका उत्पादनहरूको विकास र प्रशासनको लागि रूसको अग्रणी प्रशिक्षक, एलेक्सी अनाइभलाई इन्फर्मेटिका बिग डाटा म्यानेजमेन्ट (BDM) मा पुशडाउन अप्टिमाइजेसन प्रकार्यको बारेमा कुरा गर्न सोधें। के तपाईंले कहिल्यै Informatica उत्पादनहरूसँग काम गर्न सिक्नुभएको छ? सम्भवतः, यो एलेक्सी थियो जसले तपाईंलाई PowerCenter को आधारभूत कुराहरू बताएको थियो र म्यापिङहरू कसरी निर्माण गर्ने भनेर वर्णन गरेको थियो।

एलेक्सी Ananyev, DIS समूह मा प्रशिक्षण प्रमुख

पुशडाउन भनेको के हो?

तपाईंहरू मध्ये धेरैलाई पहिले नै Informatica Big Data Management (BDM) सँग परिचित छ। उत्पादनले विभिन्न स्रोतहरूबाट ठूलो डाटा एकीकृत गर्न सक्छ, यसलाई विभिन्न प्रणालीहरू बीच सार्न सक्छ, यसलाई सजिलो पहुँच प्रदान गर्दछ, तपाईंलाई प्रोफाइल गर्न अनुमति दिन्छ, र अधिक।
दाहिने हातमा, BDM ले अचम्मको काम गर्न सक्छ: कार्यहरू छिटो र न्यूनतम कम्प्युटिङ स्रोतहरूसँग पूरा हुनेछन्।

के तपाई पनि यो चाहनुहुन्छ? विभिन्न प्लेटफर्महरूमा कम्प्युटिङ लोड वितरण गर्न BDM मा पुशडाउन सुविधा प्रयोग गर्न सिक्नुहोस्। पुशडाउन टेक्नोलोजीले तपाईंलाई म्यापिङलाई स्क्रिप्टमा बदल्न र यो स्क्रिप्ट चल्ने वातावरण चयन गर्न अनुमति दिन्छ। यो छनोटले तपाईंलाई विभिन्न प्लेटफर्महरूको शक्तिहरू संयोजन गर्न र तिनीहरूको अधिकतम प्रदर्शन प्राप्त गर्न अनुमति दिन्छ।

स्क्रिप्ट कार्यान्वयन वातावरण कन्फिगर गर्न, तपाईँले pushdown प्रकार चयन गर्न आवश्यक छ। स्क्रिप्ट पूर्ण रूपमा Hadoop मा चलाउन सकिन्छ वा आंशिक रूपमा स्रोत र सिंक बीच वितरित गर्न सकिन्छ। त्यहाँ 4 सम्भावित पुशडाउन प्रकारहरू छन्। म्यापिङलाई लिपि (नेटिभ) मा परिणत गर्न आवश्यक छैन। म्यापिङ स्रोत (स्रोत) मा वा पूर्ण रूपमा स्रोत (पूर्ण) मा सम्भव भएसम्म प्रदर्शन गर्न सकिन्छ। म्यापिङ पनि Hadoop लिपि (कुनै पनि) मा परिणत गर्न सकिन्छ।

पुशडाउन अप्टिमाइजेसन

सूचीबद्ध 4 प्रकारहरू विभिन्न तरिकामा जोड्न सकिन्छ - पुशडाउन प्रणालीको विशिष्ट आवश्यकताहरूको लागि अनुकूलित गर्न सकिन्छ। उदाहरणका लागि, डाटाबेसबाट आफ्नै क्षमताहरू प्रयोग गरेर डाटा निकाल्न यो प्रायः उपयुक्त हुन्छ। र डाटा Hadoop प्रयोग गरेर रूपान्तरण गरिनेछ, ताकि डाटाबेस आफैंलाई ओभरलोड नगर्नुहोस्।

स्रोत र गन्तव्य दुवै डेटाबेसमा हुँदा केसलाई विचार गरौं, र रूपान्तरण कार्यान्वयन प्लेटफर्म चयन गर्न सकिन्छ: सेटिङहरूमा निर्भर गर्दै, यो Informatica, डाटाबेस सर्भर, वा Hadoop हुनेछ। यस्तो उदाहरणले तपाईंलाई यस संयन्त्रको सञ्चालनको प्राविधिक पक्षलाई सही रूपमा बुझ्न अनुमति दिनेछ। स्वाभाविक रूप देखि, वास्तविक जीवन मा, यो स्थिति उत्पन्न छैन, तर यो कार्यक्षमता प्रदर्शन को लागी सबै भन्दा उपयुक्त छ।

एउटै ओरेकल डाटाबेसमा दुईवटा टेबलहरू पढ्न म्यापिङ गरौं। र पढ्ने नतिजाहरू एउटै डेटाबेसमा तालिकामा रेकर्ड गर्न दिनुहोस्। नक्सा योजना यस प्रकार हुनेछ:

Informatica BDM 10.2.1 मा म्यापिङको रूपमा यो यस्तो देखिन्छ:

पुशडाउन प्रकार - नेटिभ

यदि हामीले pushdown नेटिभ प्रकार चयन गर्यौं भने, त्यसपछि म्यापिङ Informatica सर्भरमा गरिनेछ। डाटा Oracle सर्भरबाट पढिनेछ, Informatica सर्भरमा स्थानान्तरण गरिनेछ, त्यहाँ रूपान्तरण गरी Hadoop मा स्थानान्तरण गरिनेछ। अर्को शब्दमा, हामी एक सामान्य ETL प्रक्रिया प्राप्त गर्नेछौं।

पुशडाउन प्रकार - स्रोत

स्रोत प्रकार छनौट गर्दा, हामीले हाम्रो प्रक्रियालाई डाटाबेस सर्भर (DB) र Hadoop बीच वितरण गर्ने अवसर पाउँछौं। जब यो सेटिङको साथ प्रक्रिया कार्यान्वयन हुन्छ, तालिकाहरूबाट डाटा पुन: प्राप्त गर्न अनुरोधहरू डाटाबेसमा पठाइनेछ। र बाँकी Hadoop मा चरण को रूप मा प्रदर्शन गरिनेछ।
कार्यान्वयन रेखाचित्र यस्तो देखिनेछ:

तल रनटाइम वातावरण सेटअप गर्ने उदाहरण हो।

यस अवस्थामा, म्यापिङ दुई चरणहरूमा प्रदर्शन गरिनेछ। यसको सेटिङहरूमा हामी देख्नेछौं कि यो एक स्क्रिप्टमा परिणत भएको छ जुन स्रोतमा पठाइनेछ। यसबाहेक, तालिकाहरू संयोजन र डेटा रूपान्तरण स्रोतमा ओभरराइड गरिएको क्वेरीको रूपमा प्रदर्शन गरिनेछ।
तलको चित्रमा, हामी BDM मा एक अनुकूलित म्यापिङ, र स्रोतमा पुन: परिभाषित क्वेरी देख्छौं।

यो कन्फिगरेसनमा Hadoop को भूमिका डाटा को प्रवाह प्रबन्ध गर्न को लागी कम गरिनेछ - यसलाई अर्केस्ट्रेट गर्दै। क्वेरीको नतिजा Hadoop मा पठाइनेछ। पढाइ पूरा भएपछि, Hadoop बाट फाइल सिंकमा लेखिनेछ।

पुशडाउन प्रकार - पूर्ण

जब तपाइँ पूर्ण प्रकार चयन गर्नुहुन्छ, म्यापिङ पूर्ण रूपमा डाटाबेस क्वेरीमा परिणत हुनेछ। र अनुरोधको नतिजा Hadoop मा पठाइनेछ। यस्तो प्रक्रियाको रेखाचित्र तल प्रस्तुत गरिएको छ।

एक उदाहरण सेटअप तल देखाइएको छ।

नतिजाको रूपमा, हामीले अघिल्लो जस्तै एक अनुकूलित म्यापिङ प्राप्त गर्नेछौं। केवल भिन्नता यो हो कि सबै तर्कहरू यसको सम्मिलन ओभरराइडिङको रूपमा रिसीभरमा हस्तान्तरण गरिन्छ। अनुकूलित म्यापिङको उदाहरण तल प्रस्तुत गरिएको छ।

यहाँ, अघिल्लो अवस्थामा जस्तै, Hadoop कन्डक्टर को भूमिका खेल्छ। तर यहाँ स्रोत यसको सम्पूर्णता मा पढिएको छ, र त्यसपछि डाटा प्रोसेसिंग तर्क रिसीभर स्तर मा प्रदर्शन गरिएको छ।

पुशडाउन प्रकार शून्य छ

ठीक छ, अन्तिम विकल्प पुशडाउन प्रकार हो, जस भित्र हाम्रो म्यापिङ हडूप स्क्रिप्टमा परिणत हुनेछ।

अनुकूलित म्यापिङ अब यस्तो देखिनेछ:

यहाँ स्रोत फाइलहरूबाट डाटा पहिले Hadoop मा पढिनेछ। त्यसपछि, आफ्नै माध्यम प्रयोग गरेर, यी दुई फाइलहरू संयुक्त हुनेछ। यस पछि, डाटा रूपान्तरण र डाटाबेसमा अपलोड हुनेछ।

पुशडाउन अप्टिमाइजेसनका सिद्धान्तहरू बुझेर, तपाईं ठूलो डाटासँग काम गर्नका लागि धेरै प्रक्रियाहरूलाई प्रभावकारी रूपमा व्यवस्थित गर्न सक्नुहुन्छ। यसरी, भर्खरै, एउटा ठूलो कम्पनीले केही हप्तामा, भण्डारबाट ठूलो डाटा डाउनलोड गर्‍यो Hadoop मा, जुन यसले पहिले धेरै वर्षको लागि सङ्कलन गरेको थियो।

स्रोत: www.habr.com