खूप मोठा डेटा स्वस्तात आणि त्वरीत कसा हलवायचा, अपलोड आणि समाकलित करायचा? पुशडाउन ऑप्टिमायझेशन म्हणजे काय?

मोठ्या डेटासह कोणत्याही ऑपरेशनसाठी मोठ्या संगणकीय शक्तीची आवश्यकता असते. डेटाबेसमधून हडूपकडे डेटाची सामान्य हालचाल होण्यास आठवडे लागू शकतात किंवा विमानाच्या पंखाइतके खर्च येऊ शकतात. प्रतीक्षा आणि खर्च करू इच्छित नाही? वेगवेगळ्या प्लॅटफॉर्मवर लोड संतुलित करा. एक मार्ग म्हणजे पुशडाउन ऑप्टिमायझेशन.

मी Aleksey Ananyev, Informatica उत्पादनांच्या विकास आणि प्रशासनासाठी प्रमुख रशियन प्रशिक्षक, यांना Informatica Big Data Management (BDM) मधील पुशडाउन ऑप्टिमायझेशन वैशिष्ट्याबद्दल बोलण्यास सांगितले. इन्फॉर्मेटिका उत्पादनांसह कसे कार्य करावे हे तुम्ही कधी शिकलात का? बहुधा अलेक्सीने तुम्हाला PowerCenter ची मूलभूत माहिती सांगितली आणि मॅपिंग कसे तयार करायचे ते स्पष्ट केले.

अॅलेक्सी अॅनानिव्ह, प्रशिक्षण डीआयएस ग्रुपचे प्रमुख

पुशडाउन म्हणजे काय?

तुमच्यापैकी बरेच जण आधीच Informatica Big Data Management (BDM) शी परिचित आहेत. उत्पादन विविध स्त्रोतांकडून मोठा डेटा एकत्रित करण्यास सक्षम आहे, तो वेगवेगळ्या प्रणालींमध्ये हलवू शकतो, त्यात सहज प्रवेश प्रदान करतो, तुम्हाला ते प्रोफाइल करण्याची परवानगी देतो आणि बरेच काही.
उजव्या हातात, BDM आश्चर्यकारक कार्य करू शकते: कार्ये लवकर आणि कमीतकमी संगणकीय संसाधनांसह पूर्ण होतील.

तुम्हालाही ते हवे आहे का? वेगवेगळ्या प्लॅटफॉर्मवर संगणकीय वर्कलोड पसरवण्यासाठी BDM चे पुशडाउन वैशिष्ट्य कसे वापरायचे ते जाणून घ्या. पुशडाउन तंत्रज्ञान तुम्हाला मॅपिंगला स्क्रिप्टमध्ये बदलण्याची आणि ही स्क्रिप्ट ज्या वातावरणात चालेल ते निवडण्याची परवानगी देते. अशा निवडीची शक्यता आपल्याला विविध प्लॅटफॉर्मची ताकद एकत्र करण्यास आणि त्यांची कमाल कार्यप्रदर्शन प्राप्त करण्यास अनुमती देते.

स्क्रिप्ट अंमलबजावणी वातावरण कॉन्फिगर करण्यासाठी, तुम्हाला पुशडाउन प्रकार निवडण्याची आवश्यकता आहे. स्क्रिप्ट पूर्णपणे हडूपवर चालविली जाऊ शकते किंवा स्त्रोत आणि लक्ष्य दरम्यान अंशतः वितरित केली जाऊ शकते. 4 संभाव्य पुशडाउन प्रकार आहेत. मॅपिंग स्क्रिप्ट (नेटिव्ह) मध्ये बदलले जाऊ शकत नाही. मॅपिंग शक्य तितक्या स्त्रोतावर (स्रोत) किंवा पूर्णपणे स्त्रोत (पूर्ण) वर केले जाऊ शकते. मॅपिंग हडूप स्क्रिप्टमध्ये देखील बदलले जाऊ शकते (काहीही नाही).

पुशडाउन ऑप्टिमायझेशन

सूचीबद्ध 4 प्रकार वेगवेगळ्या प्रकारे एकत्र केले जाऊ शकतात - सिस्टमच्या विशिष्ट गरजांसाठी पुशडाउन ऑप्टिमाइझ करण्यासाठी. उदाहरणार्थ, डेटाबेसमधून स्वतःच्या क्षमतांचा वापर करून डेटा पुनर्प्राप्त करणे अधिक योग्य असते. आणि डेटा बदलण्यासाठी - हडूपच्या शक्तींद्वारे, जेणेकरून डेटाबेस स्वतःच ओव्हरलोड होणार नाही.

जेव्हा स्त्रोत आणि गंतव्य दोन्ही डेटाबेसमध्ये असतात तेव्हा या प्रकरणाचा विचार करूया आणि परिवर्तने कार्यान्वित करण्यासाठी प्लॅटफॉर्म निवडला जाऊ शकतो: सेटिंग्जवर अवलंबून, ते इन्फॉर्मेटिका, डेटाबेस सर्व्हर किंवा हडूप असेल. अशा उदाहरणामुळे या यंत्रणेच्या ऑपरेशनची तांत्रिक बाजू सर्वात अचूकपणे समजेल. स्वाभाविकच, वास्तविक जीवनात, ही परिस्थिती उद्भवत नाही, परंतु कार्यक्षमतेचे प्रदर्शन करण्यासाठी ते सर्वात योग्य आहे.

एकाच ओरॅकल डेटाबेसमधील दोन टेबल्स वाचण्यासाठी मॅपिंग घेऊ. आणि वाचन परिणाम त्याच डेटाबेसमधील टेबलवर लिहू द्या. मॅपिंग योजना खालीलप्रमाणे असेल:

Informatica BDM 10.2.1 वर मॅपिंगच्या स्वरूपात, ते असे दिसते:

पुशडाउन प्रकार - मूळ

आम्ही पुशडाउन नेटिव्ह प्रकार निवडल्यास, मॅपिंग इन्फॉर्मेटिका सर्व्हरवर केले जाईल. डेटा ओरॅकल सर्व्हरवरून वाचला जाईल, इन्फॉर्मेटिका सर्व्हरवर हस्तांतरित केला जाईल, तेथे बदलला जाईल आणि हडूपमध्ये हस्तांतरित केला जाईल. दुसऱ्या शब्दांत, आम्हाला एक सामान्य ETL प्रक्रिया मिळेल.

पुशडाउन-स्रोत टाइप करा

स्रोत प्रकार निवडताना, आम्हाला आमची प्रक्रिया डेटाबेस सर्व्हर (DB) आणि Hadoop दरम्यान वितरित करण्याची संधी मिळते. जेव्हा प्रक्रिया या सेटिंगसह कार्यान्वित केली जाते, तेव्हा टेबलमधून डेटा आणण्यासाठी क्वेरी डेटाबेसला पाठवल्या जातील. आणि बाकीचे हडूप वर पायऱ्या म्हणून केले जातील.
अंमलबजावणी योजना यासारखे दिसेल:

खाली रनटाइम वातावरण सेट करण्याचे उदाहरण आहे.

या प्रकरणात, मॅपिंग दोन चरणांमध्ये केले जाईल. त्याच्या सेटिंग्जमध्ये, आपण पाहू की ते एका स्क्रिप्टमध्ये बदलले आहे जे स्त्रोताकडे पाठवले जाईल. शिवाय, सारण्या जोडणे आणि डेटा ट्रान्सफॉर्मेशन स्त्रोतावर ओव्हरराइड केलेल्या क्वेरीच्या स्वरूपात केले जाईल.
खालील चित्रात, आम्ही BDM वर ऑप्टिमाइझ केलेले मॅपिंग आणि स्त्रोतावर पुन्हा परिभाषित केलेली क्वेरी पाहतो.

या कॉन्फिगरेशनमध्ये Hadoop ची भूमिका डेटाचा प्रवाह व्यवस्थापित करण्यासाठी कमी केली जाईल - त्यांना ऑर्केस्ट्रेट करणे. क्वेरीचा निकाल हडूपला पाठवला जाईल. वाचन पूर्ण झाल्यानंतर, हडूप कडील फाइल प्राप्तकर्त्याकडे लिहिली जाईल.

पुशडाउन प्रकार - पूर्ण

जेव्हा तुम्ही पूर्ण प्रकार निवडता, तेव्हा मॅपिंग पूर्णपणे डेटाबेस क्वेरीमध्ये बदलेल. आणि क्वेरीचा निकाल हडूपला पाठवला जाईल. अशा प्रक्रियेचा एक आकृती खाली सादर केला आहे.

एक उदाहरण सेटअप खाली दर्शविले आहे.

परिणामी, आम्हाला मागील मॅपिंगसारखेच ऑप्टिमाइझ केलेले मॅपिंग मिळेल. फरक एवढाच आहे की सर्व लॉजिक रिसीव्हरला त्याच्या इन्सर्शनची पुन्हा व्याख्या करण्याच्या स्वरूपात हस्तांतरित केले जाते. ऑप्टिमाइझ केलेल्या मॅपिंगचे उदाहरण खाली दर्शविले आहे.

येथे, मागील प्रकरणाप्रमाणे, हडूप कंडक्टरची भूमिका बजावतो. परंतु येथे स्त्रोत संपूर्णपणे वाचला जातो आणि नंतर डेटा प्रोसेसिंग लॉजिक रिसीव्हर स्तरावर कार्यान्वित केले जाते.

पुशडाउन प्रकार शून्य आहे

बरं, शेवटचा पर्याय म्हणजे पुशडाउन प्रकार, ज्यामध्ये आमचे मॅपिंग हडूप स्क्रिप्टमध्ये बदलेल.

ऑप्टिमाइझ केलेले मॅपिंग आता असे दिसेल:

येथे, स्त्रोत फाइल्समधील डेटा प्रथम Hadoop द्वारे वाचला जाईल. मग, त्याच्या स्वत: च्या मार्गाने, या दोन फाइल्स एकत्र केल्या जातील. त्यानंतर, डेटा रूपांतरित केला जाईल आणि डेटाबेसमध्ये अपलोड केला जाईल.

पुशडाउन ऑप्टिमायझेशनची तत्त्वे समजून घेऊन, तुम्ही मोठ्या डेटासह कार्य करण्याच्या अनेक प्रक्रिया अतिशय प्रभावीपणे आयोजित करू शकता. तर, अगदी अलीकडे, एका मोठ्या कंपनीने स्टोरेजमधून हडूपमध्ये काही आठवड्यांत मोठा डेटा अनलोड केला, जो यापूर्वी अनेक वर्षांपासून गोळा केला जात होता.

स्त्रोत: www.habr.com