जब आपके पास Sber तराजू हो। हाइव और ग्रीनप्लम के साथ एब इनिशियो का उपयोग करना

कुछ समय पहले, हमारे सामने बिग डेटा के साथ काम करने के लिए ईटीएल टूल चुनने का सवाल आया था। पहले इस्तेमाल किया गया इंफॉर्मेटिका बीडीएम समाधान सीमित कार्यक्षमता के कारण हमारे लिए उपयुक्त नहीं था। इसका उपयोग स्पार्क-सबमिट कमांड लॉन्च करने के लिए एक ढांचे तक सीमित कर दिया गया है। बाज़ार में ऐसे कई एनालॉग नहीं थे जो, सिद्धांत रूप में, उस डेटा की मात्रा के साथ काम करने में सक्षम हों जिसका हम प्रतिदिन निपटान करते हैं। अंत में हमने एब इनिटियो को चुना। पायलट प्रदर्शनों के दौरान, उत्पाद ने बहुत उच्च डेटा प्रोसेसिंग गति दिखाई। रूसी में एब इनिटियो के बारे में लगभग कोई जानकारी नहीं है, इसलिए हमने हैबे पर अपने अनुभव के बारे में बात करने का फैसला किया।

एब इनिटियो में कई क्लासिक और असामान्य परिवर्तन हैं, जिनके कोड को अपनी पीडीएल भाषा का उपयोग करके बढ़ाया जा सकता है। एक छोटे व्यवसाय के लिए, ऐसा शक्तिशाली उपकरण संभवतः अत्यधिक होगा, और इसकी अधिकांश क्षमताएं महंगी और अप्रयुक्त हो सकती हैं। लेकिन यदि आपका पैमाना सेबरोव के करीब है, तो एब इनिटियो आपके लिए दिलचस्प हो सकता है।

यह एक व्यवसाय को विश्व स्तर पर ज्ञान संचय करने और एक पारिस्थितिकी तंत्र विकसित करने में मदद करता है, और एक डेवलपर को ईटीएल में अपने कौशल में सुधार करने, शेल में अपने ज्ञान में सुधार करने, पीडीएल भाषा में महारत हासिल करने का अवसर प्रदान करता है, लोडिंग प्रक्रियाओं की एक दृश्य तस्वीर देता है, और विकास को सरल बनाता है। कार्यात्मक घटकों की प्रचुरता के कारण।

इस पोस्ट में मैं एब इनिटियो की क्षमताओं के बारे में बात करूंगा और हाइव और ग्रीनप्लम के साथ इसके काम की तुलनात्मक विशेषताएं प्रदान करूंगा।

• एमडीडब्ल्यू ढांचे का विवरण और ग्रीनप्लम के लिए इसके अनुकूलन पर काम
• हाइव और ग्रीनप्लम के बीच एब इनिटियो प्रदर्शन तुलना
• निकट वास्तविक समय मोड में ग्रीनप्लम के साथ एब इनिटियो पर काम करना

इस उत्पाद की कार्यक्षमता बहुत व्यापक है और इसके अध्ययन के लिए बहुत समय की आवश्यकता होती है। हालाँकि, उचित कार्य कौशल और सही प्रदर्शन सेटिंग्स के साथ, डेटा प्रोसेसिंग के परिणाम बहुत प्रभावशाली होते हैं। किसी डेवलपर के लिए Ab Initio का उपयोग करना एक दिलचस्प अनुभव प्रदान कर सकता है। यह ईटीएल विकास पर एक नया कदम है, जो दृश्य वातावरण और स्क्रिप्ट जैसी भाषा में डाउनलोड विकास के बीच एक मिश्रण है।

व्यवसाय अपना पारिस्थितिकी तंत्र विकसित कर रहे हैं और यह उपकरण पहले से कहीं अधिक उपयोगी है। एब इनिटियो के साथ, आप अपने वर्तमान व्यवसाय के बारे में ज्ञान जमा कर सकते हैं और इस ज्ञान का उपयोग पुराने व्यवसाय का विस्तार करने और नए व्यवसाय खोलने के लिए कर सकते हैं। एब इनिटियो के विकल्पों में दृश्य विकास वातावरण इंफॉर्मेटिका बीडीएम और गैर-दृश्य विकास वातावरण अपाचे स्पार्क शामिल हैं।

एब इनिटियो का विवरण

Ab Initio, अन्य ETL टूल की तरह, उत्पादों का एक संग्रह है।

एबी इनिटियो जीडीई (ग्राफिकल डेवलपमेंट एनवायरनमेंट) डेवलपर के लिए एक वातावरण है जिसमें वह डेटा परिवर्तनों को कॉन्फ़िगर करता है और उन्हें तीर के रूप में डेटा प्रवाह से जोड़ता है। इस मामले में, परिवर्तनों के ऐसे सेट को ग्राफ़ कहा जाता है:

कार्यात्मक घटकों के इनपुट और आउटपुट कनेक्शन पोर्ट हैं और इसमें परिवर्तनों के भीतर गणना की गई फ़ील्ड शामिल हैं। निष्पादन के क्रम में तीरों के रूप में प्रवाह से जुड़े कई ग्राफ़ को एक योजना कहा जाता है।

कई सौ कार्यात्मक घटक हैं, जो बहुत अधिक है। उनमें से कई अत्यधिक विशिष्ट हैं। Ab Initio में क्लासिक परिवर्तनों की क्षमताएं अन्य ETL टूल की तुलना में व्यापक हैं। उदाहरण के लिए, Join के कई आउटपुट हैं। कनेक्टिंग डेटासेट के परिणाम के अलावा, आप इनपुट डेटासेट के आउटपुट रिकॉर्ड प्राप्त कर सकते हैं जिनकी कुंजियाँ कनेक्ट नहीं की जा सकीं। आप अस्वीकार, त्रुटियां और परिवर्तन ऑपरेशन का एक लॉग भी प्राप्त कर सकते हैं, जिसे टेक्स्ट फ़ाइल के समान कॉलम में पढ़ा जा सकता है और अन्य परिवर्तनों के साथ संसाधित किया जा सकता है:

या, उदाहरण के लिए, आप एक डेटा रिसीवर को एक तालिका के रूप में मूर्त रूप दे सकते हैं और उसी कॉलम में उससे डेटा पढ़ सकते हैं।

मौलिक परिवर्तन हैं. उदाहरण के लिए, स्कैन परिवर्तन में विश्लेषणात्मक कार्यों के समान कार्यक्षमता होती है। स्व-व्याख्यात्मक नामों के साथ परिवर्तन होते हैं: डेटा बनाएं, एक्सेल पढ़ें, सामान्यीकृत करें, समूहों के भीतर सॉर्ट करें, प्रोग्राम चलाएं, एसक्यूएल चलाएं, डीबी के साथ जुड़ें, आदि। ग्राफ़ रन-टाइम पैरामीटर का उपयोग कर सकते हैं, जिसमें पैरामीटर पास करने की संभावना भी शामिल है ऑपरेटिंग सिस्टम. ग्राफ़ में पास किए गए पैरामीटर के तैयार सेट वाली फ़ाइलों को पैरामीटर सेट (पीएसईटी) कहा जाता है।

जैसा कि अपेक्षित था, Ab Initio GDE का अपना स्वयं का भंडार है जिसे EME (एंटरप्राइज़ मेटा एनवायरनमेंट) कहा जाता है। डेवलपर्स के पास कोड के स्थानीय संस्करणों के साथ काम करने और केंद्रीय भंडार में उनके विकास की जांच करने का अवसर है।

निष्पादन के दौरान या ग्राफ़ निष्पादित करने के बाद, परिवर्तन को जोड़ने वाले किसी भी प्रवाह पर क्लिक करना और इन परिवर्तनों के बीच पारित डेटा को देखना संभव है:

किसी भी स्ट्रीम पर क्लिक करना और ट्रैकिंग विवरण देखना भी संभव है - परिवर्तन ने कितने समानांतरों में काम किया, कितनी लाइनें और बाइट्स किस समानांतर में लोड किए गए थे:

ग्राफ़ के निष्पादन को चरणों में विभाजित करना और चिह्नित करना संभव है कि कुछ परिवर्तनों को पहले (शून्य चरण में), अगले को पहले चरण में, अगले को दूसरे चरण में, आदि करने की आवश्यकता है।

प्रत्येक परिवर्तन के लिए, आप तथाकथित लेआउट (जहां इसे निष्पादित किया जाएगा) चुन सकते हैं: बिना समानांतर या समानांतर धागे में, जिसकी संख्या निर्दिष्ट की जा सकती है। उसी समय, जब परिवर्तन चल रहा होता है तो Ab Initio जो अस्थायी फ़ाइलें बनाता है, उन्हें सर्वर फ़ाइल सिस्टम और HDFS दोनों में रखा जा सकता है।

प्रत्येक परिवर्तन में, डिफ़ॉल्ट टेम्पलेट के आधार पर, आप पीडीएल में अपनी स्वयं की स्क्रिप्ट बना सकते हैं, जो एक शेल की तरह होती है।

पीडीएल के साथ आप परिवर्तनों की कार्यक्षमता बढ़ा सकते हैं और, विशेष रूप से, आप गतिशील रूप से (रनटाइम पर) रनटाइम पैरामीटर के आधार पर मनमाने कोड टुकड़े उत्पन्न कर सकते हैं।

एब इनिटियो में शेल के माध्यम से ओएस के साथ अच्छी तरह से विकसित एकीकरण भी है। विशेष रूप से, Sberbank linux ksh का उपयोग करता है। आप शेल के साथ वेरिएबल का आदान-प्रदान कर सकते हैं और उन्हें ग्राफ़ पैरामीटर के रूप में उपयोग कर सकते हैं। आप शेल से Ab Initio ग्राफ़ के निष्पादन को कॉल कर सकते हैं और Ab Initio को प्रशासित कर सकते हैं।

Ab Initio GDE के अलावा, डिलीवरी में कई अन्य उत्पाद शामिल हैं। ऑपरेटिंग सिस्टम कहलाने के दावे के साथ इसका अपना सह>ऑपरेशन सिस्टम है। एक नियंत्रण> केंद्र है जहां आप डाउनलोड प्रवाह को शेड्यूल और मॉनिटर कर सकते हैं। एब इनिटियो जीडीई की अनुमति से अधिक आदिम स्तर पर विकास करने के लिए उत्पाद मौजूद हैं।

एमडीडब्ल्यू ढांचे का विवरण और ग्रीनप्लम के लिए इसके अनुकूलन पर काम

अपने उत्पादों के साथ, विक्रेता एमडीडब्ल्यू (मेटाडेटा ड्रिवेन वेयरहाउस) उत्पाद की आपूर्ति करता है, जो एक ग्राफ कॉन्फ़िगरेशनकर्ता है जिसे डेटा वेयरहाउस या डेटा वॉल्ट को पॉप्युलेट करने के विशिष्ट कार्यों में सहायता के लिए डिज़ाइन किया गया है।

इसमें कस्टम (प्रोजेक्ट-विशिष्ट) मेटाडेटा पार्सर और बॉक्स से बाहर तैयार कोड जनरेटर शामिल हैं।

इनपुट के रूप में, एमडीडब्ल्यू को एक डेटा मॉडल, डेटाबेस (ओरेकल, टेराडेटा या हाइव) और कुछ अन्य सेटिंग्स से कनेक्शन स्थापित करने के लिए एक कॉन्फ़िगरेशन फ़ाइल प्राप्त होती है। उदाहरण के लिए, प्रोजेक्ट-विशिष्ट भाग मॉडल को डेटाबेस में तैनात करता है। उत्पाद का आउट-ऑफ़-द-बॉक्स भाग मॉडल तालिकाओं में डेटा लोड करके उनके लिए ग्राफ़ और कॉन्फ़िगरेशन फ़ाइलें उत्पन्न करता है। इस मामले में, संस्थाओं को अद्यतन करने पर प्रारंभिक और वृद्धिशील कार्य के कई तरीकों के लिए ग्राफ़ (और पीसेट) बनाए जाते हैं।

हाइव और आरडीबीएमएस के मामलों में, आरंभीकरण और वृद्धिशील डेटा अपडेट के लिए अलग-अलग ग्राफ़ तैयार किए जाते हैं।

हाइव के मामले में, आने वाला डेल्टा डेटा एब इनिटियो जॉइन के माध्यम से उस डेटा से जुड़ा होता है जो अपडेट से पहले तालिका में था। एमडीडब्ल्यू (हाइव और आरडीबीएमएस दोनों में) में डेटा लोडर न केवल डेल्टा से नया डेटा डालते हैं, बल्कि उन डेटा की प्रासंगिकता की अवधि को भी बंद कर देते हैं जिनकी प्राथमिक कुंजी को डेल्टा प्राप्त हुआ था। इसके अलावा, आपको डेटा के अपरिवर्तित भाग को फिर से लिखना होगा। लेकिन ऐसा करना होगा क्योंकि हाइव में डिलीट या अपडेट ऑपरेशन नहीं है।

आरडीबीएमएस के मामले में, वृद्धिशील डेटा अद्यतन के लिए ग्राफ़ अधिक इष्टतम दिखते हैं, क्योंकि आरडीबीएमएस में वास्तविक अद्यतन क्षमताएं होती हैं।

प्राप्त डेल्टा को डेटाबेस में एक मध्यवर्ती तालिका में लोड किया जाता है। इसके बाद डेल्टा उस डेटा से जुड़ जाता है जो अपडेट से पहले टेबल में था। और यह जेनरेट की गई SQL क्वेरी का उपयोग करके SQL का उपयोग करके किया जाता है। इसके बाद, SQL कमांड डिलीट+इंसर्ट का उपयोग करके, डेल्टा से नया डेटा लक्ष्य तालिका में डाला जाता है और डेटा की प्रासंगिकता की अवधि जिनकी प्राथमिक कुंजियाँ डेल्टा प्राप्त करती हैं, बंद कर दी जाती हैं।
अपरिवर्तित डेटा को दोबारा लिखने की कोई आवश्यकता नहीं है।

इसलिए हम इस निष्कर्ष पर पहुंचे कि हाइव के मामले में, एमडीडब्ल्यू को पूरी तालिका को फिर से लिखना होगा क्योंकि हाइव में अपडेट फ़ंक्शन नहीं है। और जब अद्यतन का आविष्कार किया गया हो तो डेटा को पूरी तरह से फिर से लिखने से बेहतर कुछ भी नहीं है। इसके विपरीत, आरडीबीएमएस के मामले में, उत्पाद के रचनाकारों ने एसक्यूएल के उपयोग के लिए तालिकाओं के कनेक्शन और अद्यतन को सौंपना आवश्यक समझा।

Sberbank के एक प्रोजेक्ट के लिए, हमने ग्रीनप्लम के लिए डेटाबेस लोडर का एक नया, पुन: प्रयोज्य कार्यान्वयन बनाया। यह उस संस्करण के आधार पर किया गया था जो एमडीडब्ल्यू टेराडेटा के लिए तैयार करता है। यह टेराडेटा था, न कि ओरेकल, जो इसके लिए सबसे निकट और सर्वोत्तम था, क्योंकि... यह भी एक एमपीपी प्रणाली है। टेराडेटा और ग्रीनप्लम के काम करने के तरीके, साथ ही वाक्यविन्यास, समान निकले।

विभिन्न आरडीबीएमएस के बीच एमडीडब्ल्यू-महत्वपूर्ण अंतर के उदाहरण इस प्रकार हैं। ग्रीनप्लम में, टेराडेटा के विपरीत, टेबल बनाते समय आपको एक क्लॉज लिखने की आवश्यकता होती है

distributed by

टेराडेटा लिखते हैं:

delete <table> all

, और ग्रीनप्लम में वे लिखते हैं

delete from <table>

Oracle में, अनुकूलन उद्देश्यों के लिए वे लिखते हैं

delete from t where rowid in (<соединение t с дельтой>)

, और टेराडेटा और ग्रीनप्लम लिखते हैं

delete from t where exists (select * from delta where delta.pk=t.pk)

हम यह भी नोट करते हैं कि Ab Initio के लिए GreenPlum के साथ काम करने के लिए, Ab Initio क्लस्टर के सभी नोड्स पर GreenPlum क्लाइंट को स्थापित करना आवश्यक था। ऐसा इसलिए है क्योंकि हम अपने क्लस्टर के सभी नोड्स से एक साथ ग्रीनप्लम से जुड़े हैं। और ग्रीनप्लम से पढ़ने को समानांतर बनाने के लिए और प्रत्येक समानांतर एब इनिटियो थ्रेड को ग्रीनप्लम से डेटा के अपने हिस्से को पढ़ने के लिए, हमें एसक्यूएल प्रश्नों के "कहां" अनुभाग में एब इनिटियो द्वारा समझे गए एक निर्माण को रखना था।

where ABLOCAL()

और परिवर्तन डेटाबेस से पैरामीटर रीडिंग निर्दिष्ट करके इस निर्माण का मूल्य निर्धारित करें

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, जो कुछ इस तरह संकलित होता है

mod(sk,10)=3

, अर्थात। आपको प्रत्येक विभाजन के लिए एक स्पष्ट फ़िल्टर के साथ ग्रीनप्लम को संकेत देना होगा। अन्य डेटाबेस (टेराडाटा, ओरेकल) के लिए, एब इनिटियो इस समानांतरीकरण को स्वचालित रूप से निष्पादित कर सकता है।

हाइव और ग्रीनप्लम के बीच एब इनिटियो प्रदर्शन तुलना

सर्बैंक ने हाइव के संबंध में और ग्रीनप्लम के संबंध में एमडीडब्ल्यू-जनरेटेड ग्राफ़ के प्रदर्शन की तुलना करने के लिए एक प्रयोग किया। प्रयोग के भाग के रूप में, हाइव के मामले में एब इनिटियो के समान क्लस्टर पर 5 नोड थे, और ग्रीनप्लम के मामले में एक अलग क्लस्टर पर 4 नोड थे। वे। ग्रीनप्लम की तुलना में हाइव को कुछ हार्डवेयर लाभ प्राप्त था।

हमने हाइव और ग्रीनप्लम में डेटा अपडेट करने का समान कार्य करने वाले ग्राफ़ के दो जोड़े पर विचार किया। उसी समय, एमडीडब्ल्यू विन्यासकर्ता द्वारा उत्पन्न ग्राफ़ लॉन्च किए गए:

• प्रारंभिक लोड + हाइव तालिका में यादृच्छिक रूप से उत्पन्न डेटा का वृद्धिशील लोड
• प्रारंभिक लोड + उसी ग्रीनप्लम तालिका में यादृच्छिक रूप से उत्पन्न डेटा का वृद्धिशील लोड

दोनों मामलों में (हाइव और ग्रीनप्लम) उन्होंने एक ही एब इनिटियो क्लस्टर पर 10 समानांतर थ्रेड्स पर अपलोड चलाए। Ab Initio ने HDFS में गणना के लिए मध्यवर्ती डेटा सहेजा (AB Initio के संदर्भ में, HDFS का उपयोग करके MFS लेआउट का उपयोग किया गया था)। बेतरतीब ढंग से उत्पन्न डेटा की एक पंक्ति दोनों मामलों में 200 बाइट्स लेती है।

परिणाम इस प्रकार था:

छत्ता:

हाइव में प्रारंभिक लोडिंग

पंक्तियाँ सम्मिलित की गईं
6 000 000
60 000 000
600 000 000

आरंभीकरण अवधि
सेकंड में डाउनलोड हो जाता है
41
203
1 601

हाइव में वृद्धिशील लोडिंग

उपलब्ध पंक्तियों की संख्या
प्रयोग की शुरुआत में लक्ष्य तालिका
6 000 000
60 000 000
600 000 000

लागू डेल्टा लाइनों की संख्या
प्रयोग के दौरान लक्ष्य तालिका
6 000 000
6 000 000
6 000 000

वृद्धिशील की अवधि
सेकंड में डाउनलोड हो जाता है
88
299
2 541

ग्रीनप्लम:

ग्रीनप्लम में प्रारंभिक लोडिंग

पंक्तियाँ सम्मिलित की गईं
6 000 000
60 000 000
600 000 000

आरंभीकरण अवधि
सेकंड में डाउनलोड हो जाता है
72
360
3 631

ग्रीनप्लम में वृद्धिशील लोडिंग

उपलब्ध पंक्तियों की संख्या
प्रयोग की शुरुआत में लक्ष्य तालिका
6 000 000
60 000 000
600 000 000

लागू डेल्टा लाइनों की संख्या
प्रयोग के दौरान लक्ष्य तालिका
6 000 000
6 000 000
6 000 000

वृद्धिशील की अवधि
सेकंड में डाउनलोड हो जाता है
159
199
321

हम देखते हैं कि हाइव और ग्रीनप्लम दोनों में प्रारंभिक लोडिंग की गति रैखिक रूप से डेटा की मात्रा पर निर्भर करती है और, बेहतर हार्डवेयर के कारणों से, ग्रीनप्लम की तुलना में हाइव के लिए यह थोड़ी तेज़ है।

हाइव में वृद्धिशील लोडिंग भी लक्ष्य तालिका में उपलब्ध पहले से लोड किए गए डेटा की मात्रा पर रैखिक रूप से निर्भर करती है और वॉल्यूम बढ़ने के साथ काफी धीमी गति से आगे बढ़ती है। यह लक्ष्य तालिका को पूरी तरह से फिर से लिखने की आवश्यकता के कारण होता है। इसका मतलब यह है कि बड़ी तालिकाओं में छोटे परिवर्तन लागू करना हाइव के लिए अच्छा उपयोग का मामला नहीं है।

ग्रीनप्लम में वृद्धिशील लोडिंग लक्ष्य तालिका में उपलब्ध पहले से लोड किए गए डेटा की मात्रा पर कमजोर रूप से निर्भर करती है और काफी तेज़ी से आगे बढ़ती है। यह SQL जॉइन्स और ग्रीनप्लम आर्किटेक्चर की बदौलत हुआ, जो डिलीट ऑपरेशन की अनुमति देता है।

इसलिए, ग्रीनप्लम डिलीट + इंसर्ट विधि का उपयोग करके डेल्टा जोड़ता है, लेकिन हाइव में डिलीट या अपडेट ऑपरेशन नहीं है, इसलिए पूरे डेटा ऐरे को वृद्धिशील अपडेट के दौरान पूरी तरह से फिर से लिखने के लिए मजबूर किया गया था। बोल्ड में हाइलाइट की गई कोशिकाओं की तुलना सबसे अधिक खुलासा करने वाली है, क्योंकि यह संसाधन-गहन डाउनलोड का उपयोग करने के लिए सबसे आम विकल्प से मेल खाती है। हम देखते हैं कि ग्रीनप्लम ने इस टेस्ट में हाइव को 8 बार हराया।

निकट वास्तविक समय मोड में ग्रीनप्लम के साथ एब इनिटियो पर काम करना

इस प्रयोग में, हम वास्तविक समय में यादृच्छिक रूप से उत्पन्न डेटा के साथ ग्रीनप्लम तालिका को अपडेट करने की एब इनिटियो की क्षमता का परीक्षण करेंगे। आइए ग्रीनप्लम तालिका dev42_1_db_usl.TESTING_SUBJ_org_finval पर विचार करें, जिसके साथ हम काम करेंगे।

हम इसके साथ काम करने के लिए तीन एब इनिटियो ग्राफ़ का उपयोग करेंगे:

1) ग्राफ़ Create_test_data.mp - 10 समानांतर थ्रेड्स में 6 पंक्तियों के साथ HDFS में डेटा फ़ाइलें बनाता है। डेटा यादृच्छिक है, इसकी संरचना हमारी तालिका में सम्मिलित करने के लिए व्यवस्थित की गई है

2) ग्राफ़ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset - MDW ने 10 समानांतर थ्रेड्स में हमारी तालिका में डेटा प्रविष्टि प्रारंभ करके ग्राफ़ तैयार किया (ग्राफ़ (1) द्वारा उत्पन्न परीक्षण डेटा का उपयोग किया जाता है)

3) ग्राफ़ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset - ग्राफ़ (10) द्वारा उत्पन्न ताज़ा प्राप्त डेटा (डेल्टा) के एक हिस्से का उपयोग करके 1 समानांतर थ्रेड्स में हमारी तालिका के वृद्धिशील अद्यतन के लिए MDW द्वारा उत्पन्न एक ग्राफ़

आइए नीचे दी गई स्क्रिप्ट को एनआरटी मोड में चलाएं:

• 6 परीक्षण लाइनें उत्पन्न करें
• प्रारंभिक लोड निष्पादित करें, एक खाली तालिका में 6 परीक्षण पंक्तियाँ डालें
• वृद्धिशील डाउनलोड को 5 बार दोहराएँ
  • 6 परीक्षण लाइनें उत्पन्न करें
  • तालिका में 6 परीक्षण पंक्तियों की वृद्धिशील प्रविष्टि करें (इस मामले में, वैध_टू_टीएस समाप्ति समय पुराने डेटा पर सेट किया गया है और उसी प्राथमिक कुंजी के साथ अधिक हालिया डेटा डाला गया है)

यह परिदृश्य एक निश्चित व्यवसाय प्रणाली के वास्तविक संचालन के तरीके का अनुकरण करता है - नए डेटा का एक बड़ा हिस्सा वास्तविक समय में दिखाई देता है और तुरंत ग्रीनप्लम में डाला जाता है।

अब आइए स्क्रिप्ट के लॉग को देखें:

2020-06-04 11:49:11 पर Create_test_data.input.pset प्रारंभ करें
2020-06-04 11:49:37 पर Create_test_data.input.pset समाप्त करें
42-1-2020 06:04:11 पर mdw_load.day_one.current.dev49_37_db_usl_testing_subj_org_finval.pset प्रारंभ करें
42-1-2020 06:04:11 पर mdw_load.day_one.current.dev50_42_db_usl_testing_subj_org_finval.pset समाप्त करें
2020-06-04 11:50:42 पर Create_test_data.input.pset प्रारंभ करें
2020-06-04 11:51:06 पर Create_test_data.input.pset समाप्त करें
42-1-2020 06:04:11 पर mdw_load.regular.current.dev51_06_db_usl_testing_subj_org_finval.pset प्रारंभ करें
42-1-2020 06:04:11 पर mdw_load.regular.current.dev53_41_db_usl_testing_subj_org_finval.pset समाप्त करें
2020-06-04 11:53:41 पर Create_test_data.input.pset प्रारंभ करें
2020-06-04 11:54:04 पर Create_test_data.input.pset समाप्त करें
42-1-2020 06:04:11 पर mdw_load.regular.current.dev54_04_db_usl_testing_subj_org_finval.pset प्रारंभ करें
42-1-2020 06:04:11 पर mdw_load.regular.current.dev56_51_db_usl_testing_subj_org_finval.pset समाप्त करें
2020-06-04 11:56:51 पर Create_test_data.input.pset प्रारंभ करें
2020-06-04 11:57:14 पर Create_test_data.input.pset समाप्त करें
42-1-2020 06:04:11 पर mdw_load.regular.current.dev57_14_db_usl_testing_subj_org_finval.pset प्रारंभ करें
42-1-2020 06:04:11 पर mdw_load.regular.current.dev59_55_db_usl_testing_subj_org_finval.pset समाप्त करें
2020-06-04 11:59:55 पर Create_test_data.input.pset प्रारंभ करें
2020-06-04 12:00:23 पर Create_test_data.input.pset समाप्त करें
42-1-2020 06:04:12 पर mdw_load.regular.current.dev00_23_db_usl_testing_subj_org_finval.pset प्रारंभ करें
42-1-2020 06:04:12 पर mdw_load.regular.current.dev03_23_db_usl_testing_subj_org_finval.pset समाप्त करें
2020-06-04 12:03:23 पर Create_test_data.input.pset प्रारंभ करें
2020-06-04 12:03:49 पर Create_test_data.input.pset समाप्त करें
42-1-2020 06:04:12 पर mdw_load.regular.current.dev03_49_db_usl_testing_subj_org_finval.pset प्रारंभ करें
42-1-2020 06:04:12 पर mdw_load.regular.current.dev06_46_db_usl_testing_subj_org_finval.pset समाप्त करें

यह इस चित्र से पता चलता है:

ग्राफ
प्रारंभ समय
समय समाप्त
लंबाई

Create_test_data.input.pset
04.06.2020 11 49: 11
04.06.2020 11 49: 37
00:00:26

mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11 49: 37
04.06.2020 11 50: 42
00:01:05

Create_test_data.input.pset
04.06.2020 11 50: 42
04.06.2020 11 51: 06
00:00:24

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11 51: 06
04.06.2020 11 53: 41
00:02:35

Create_test_data.input.pset
04.06.2020 11 53: 41
04.06.2020 11 54: 04
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11 54: 04
04.06.2020 11 56: 51
00:02:47

Create_test_data.input.pset
04.06.2020 11 56: 51
04.06.2020 11 57: 14
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11 57: 14
04.06.2020 11 59: 55
00:02:41

Create_test_data.input.pset
04.06.2020 11 59: 55
04.06.2020 12 00: 23
00:00:28

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12 00: 23
04.06.2020 12 03: 23
00:03:00

Create_test_data.input.pset
04.06.2020 12 03: 23
04.06.2020 12 03: 49
00:00:26

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12 03: 49
04.06.2020 12 06: 46
00:02:57

हम देखते हैं कि 6 वेतन वृद्धि लाइनें 000 मिनट में संसाधित हो जाती हैं, जो काफी तेज़ है।
लक्ष्य तालिका में डेटा निम्नानुसार वितरित किया गया:

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

आप ग्राफ़ लॉन्च होने के समय सम्मिलित किए गए डेटा का पत्राचार देख सकते हैं।
इसका मतलब है कि आप एब इनिटियो में ग्रीनप्लम में डेटा की वृद्धिशील लोडिंग को बहुत उच्च आवृत्ति के साथ चला सकते हैं और इस डेटा को ग्रीनप्लम में डालने की उच्च गति का निरीक्षण कर सकते हैं। बेशक, एक सेकंड में एक बार लॉन्च करना संभव नहीं होगा, क्योंकि एब इनिटियो को, किसी भी ईटीएल टूल की तरह, लॉन्च होने पर "स्टार्ट अप" करने के लिए समय की आवश्यकता होती है।

निष्कर्ष

Ab Initio का उपयोग वर्तमान में Sberbank में यूनिफाइड सिमेंटिक डेटा लेयर (ESS) बनाने के लिए किया जाता है। इस परियोजना में विभिन्न बैंकिंग व्यवसाय संस्थाओं के राज्य का एकीकृत संस्करण बनाना शामिल है। जानकारी विभिन्न स्रोतों से आती है, जिनकी प्रतिकृतियाँ Hadoop पर तैयार की जाती हैं। व्यावसायिक आवश्यकताओं के आधार पर, एक डेटा मॉडल तैयार किया जाता है और डेटा परिवर्तनों का वर्णन किया जाता है। एब इनिटियो ईएसएन में जानकारी लोड करता है और डाउनलोड किया गया डेटा न केवल व्यवसाय के लिए दिलचस्प है, बल्कि डेटा मार्ट के निर्माण के लिए एक स्रोत के रूप में भी काम करता है। साथ ही, उत्पाद की कार्यक्षमता आपको रिसीवर (हाइव, ग्रीनप्लम, टेराडेटा, ओरेकल) के रूप में विभिन्न प्रणालियों का उपयोग करने की अनुमति देती है, जिससे किसी व्यवसाय के लिए आवश्यक विभिन्न प्रारूपों में डेटा आसानी से तैयार करना संभव हो जाता है।

एब इनिटियो की क्षमताएं व्यापक हैं; उदाहरण के लिए, शामिल एमडीडब्ल्यू ढांचा बॉक्स से बाहर तकनीकी और व्यावसायिक ऐतिहासिक डेटा बनाना संभव बनाता है। डेवलपर्स के लिए, एब इनिटियो पहिये को फिर से आविष्कार करना संभव नहीं बनाता है, बल्कि कई मौजूदा कार्यात्मक घटकों का उपयोग करना संभव बनाता है, जो डेटा के साथ काम करते समय अनिवार्य रूप से आवश्यक पुस्तकालय हैं।

लेखक Sberbank SberProfi DWH/BigData के पेशेवर समुदाय में विशेषज्ञ हैं। SberProfi DWH/BigData पेशेवर समुदाय Hadoop इकोसिस्टम, टेराडाटा, Oracle DB, ग्रीनप्लम, साथ ही BI टूल्स Qlik, SAP BO, Tableau, आदि जैसे क्षेत्रों में दक्षता विकसित करने के लिए जिम्मेदार है।

स्रोत: www.habr.com