जब तपाईंसँग Sber स्केल छ। Hive र GreenPlum सँग Ab Initio प्रयोग गर्दै

केहि समय पहिले, हामी बिग डाटा संग काम को लागी एक ETL उपकरण छनोट को प्रश्न संग सामना गर्यो। पहिले प्रयोग गरिएको Informatica BDM समाधान सीमित कार्यक्षमताको कारणले हामीलाई उपयुक्त थिएन। यसको प्रयोग स्पार्क-सबमिट आदेशहरू सुरु गर्नको लागि फ्रेमवर्कमा घटाइएको छ। त्यहाँ बजारमा धेरै एनालगहरू थिएनन् जुन, सिद्धान्तमा, हामीले हरेक दिन व्यवहार गर्ने डेटाको मात्रासँग काम गर्न सक्षम थिए। अन्तमा हामीले Ab Initio रोज्यौं। पायलट प्रदर्शनको समयमा, उत्पादनले धेरै उच्च डाटा प्रशोधन गति देखायो। रूसी भाषामा Ab Initio को बारेमा लगभग कुनै जानकारी छैन, त्यसैले हामीले Habré मा हाम्रो अनुभवको बारेमा कुरा गर्ने निर्णय गर्यौं।

Ab Initio धेरै क्लासिक र असामान्य रूपान्तरणहरू छन्, जसको कोड यसको आफ्नै PDL भाषा प्रयोग गरेर विस्तार गर्न सकिन्छ। एउटा सानो व्यवसायको लागि, यस्तो शक्तिशाली उपकरण सम्भवतः ओभरकिल हुनेछ, र यसको अधिकांश क्षमताहरू महँगो र प्रयोग नगरिएको हुन सक्छ। तर यदि तपाइँको स्केल Sberov को नजिक छ, तब Ab Initio तपाइँको लागी रोचक हुन सक्छ।

यसले व्यवसायलाई विश्वव्यापी रूपमा ज्ञान सङ्कलन गर्न र इकोसिस्टम विकास गर्न मद्दत गर्दछ, र विकासकर्तालाई ETL मा आफ्नो सीप सुधार गर्न, खोलमा आफ्नो ज्ञान सुधार गर्न, PDL भाषामा मास्टर गर्ने अवसर प्रदान गर्दछ, लोडिङ प्रक्रियाहरूको दृश्य चित्र दिन्छ, र विकासलाई सरल बनाउँछ। कार्यात्मक अवयवहरूको प्रशस्तताको कारण।

यस पोस्टमा म Ab Initio को क्षमताहरूको बारेमा कुरा गर्नेछु र Hive र GreenPlum सँग यसको कामको तुलनात्मक विशेषताहरू प्रदान गर्नेछु।

• MDW फ्रेमवर्कको विवरण र GreenPlum को लागि यसको अनुकूलनमा काम
• Hive र GreenPlum बीच Ab Initio प्रदर्शन तुलना
• रियल टाइम मोडमा GreenPlum सँग Ab Initio काम गर्दै

यस उत्पादनको कार्यक्षमता धेरै फराकिलो छ र अध्ययन गर्न धेरै समय चाहिन्छ। यद्यपि, उचित कार्य कौशल र सही प्रदर्शन सेटिङहरूसँग, डेटा प्रशोधनका परिणामहरू धेरै प्रभावशाली छन्। एक विकासकर्ताको लागि Ab Initio प्रयोग गर्नाले एक रोचक अनुभव प्रदान गर्न सक्छ। यो ETL विकासमा नयाँ टेक हो, दृश्य वातावरण र स्क्रिप्ट-जस्तो भाषामा डाउनलोड विकास बीचको हाइब्रिड।

व्यवसायहरूले तिनीहरूको इकोसिस्टमहरू विकास गर्दैछन् र यो उपकरण पहिले भन्दा बढी काममा आउँछ। Ab Initio मार्फत, तपाईंले आफ्नो हालको व्यवसायको बारेमा ज्ञान सङ्कलन गर्न सक्नुहुन्छ र पुरानो व्यवसाय विस्तार गर्न र नयाँ व्यवसायहरू खोल्न यो ज्ञान प्रयोग गर्न सक्नुहुन्छ। Ab Initio को विकल्पहरूमा दृश्य विकास वातावरणहरू Informatica BDM र गैर-दृश्य विकास वातावरणहरू Apache Spark समावेश छन्।

Ab Initio को विवरण

Ab Initio, अन्य ETL उपकरणहरू जस्तै, उत्पादनहरूको संग्रह हो।

Ab Initio GDE (ग्राफिकल विकास वातावरण) विकासकर्ताको लागि एउटा वातावरण हो जसमा उसले डेटा रूपान्तरणहरू कन्फिगर गर्दछ र तिनीहरूलाई तीरको रूपमा डेटा प्रवाहहरूसँग जोड्दछ। यस अवस्थामा, परिवर्तनहरूको यस्तो सेटलाई ग्राफ भनिन्छ:

कार्यात्मक कम्पोनेन्टहरूको इनपुट र आउटपुट जडानहरू पोर्टहरू हुन् र रूपान्तरणहरू भित्र गणना गरिएका क्षेत्रहरू समावेश गर्दछ। तिनीहरूको कार्यान्वयनको क्रममा तीरहरूको रूपमा प्रवाहहरूद्वारा जडान गरिएका धेरै ग्राफहरूलाई योजना भनिन्छ।

त्यहाँ धेरै सय कार्यात्मक घटकहरू छन्, जुन धेरै हो। तिनीहरूमध्ये धेरै उच्च विशिष्ट छन्। Ab Initio मा क्लासिक रूपान्तरणका क्षमताहरू अन्य ETL उपकरणहरू भन्दा फराकिलो छन्। उदाहरणका लागि, Join मा धेरै आउटपुटहरू छन्। डेटासेटहरू जडान गर्ने परिणामको अतिरिक्त, तपाईंले इनपुट डेटासेटहरूको आउटपुट रेकर्डहरू प्राप्त गर्न सक्नुहुन्छ जसको कुञ्जीहरू जडान हुन सकेन। तपाईंले अस्वीकारहरू, त्रुटिहरू र रूपान्तरण अपरेशनको लग पनि प्राप्त गर्न सक्नुहुन्छ, जुन पाठ फाइलको रूपमा एउटै स्तम्भमा पढ्न सकिन्छ र अन्य रूपान्तरणहरूसँग प्रशोधन गर्न सकिन्छ:

वा, उदाहरणका लागि, तपाइँ तालिकाको रूपमा डेटा रिसीभरलाई भौतिक बनाउन सक्नुहुन्छ र एउटै स्तम्भमा त्यसबाट डेटा पढ्न सक्नुहुन्छ।

त्यहाँ मौलिक रूपान्तरणहरू छन्। उदाहरणका लागि, स्क्यान रूपान्तरणसँग विश्लेषणात्मक कार्यहरू जस्तै कार्यक्षमता छ। त्यहाँ आत्म-व्याख्यात्मक नामहरूको साथ रूपान्तरणहरू छन्: डेटा सिर्जना गर्नुहोस्, एक्सेल पढ्नुहोस्, सामान्य बनाउनुहोस्, समूहहरूमा क्रमबद्ध गर्नुहोस्, कार्यक्रम चलाउनुहोस्, SQL चलाउनुहोस्, DB सँग जोड्नुहोस्, इत्यादि। ग्राफहरूले रन-टाइम प्यारामिटरहरू प्रयोग गर्न सक्छ, जसमा मापदण्डहरू पास गर्ने सम्भावना समावेश छ। अपरेटिङ सिस्टम। ग्राफमा पास गरिएका प्यारामिटरहरूको तयार सेट भएका फाइलहरूलाई प्यारामिटर सेटहरू (psets) भनिन्छ।

अपेक्षित रूपमा, Ab Initio GDE सँग यसको आफ्नै भण्डार छ जसलाई EME (Enterprise Meta Environment) भनिन्छ। विकासकर्ताहरूसँग कोडको स्थानीय संस्करणहरूसँग काम गर्ने र केन्द्रीय भण्डारमा उनीहरूको विकासहरू जाँच गर्ने अवसर छ।

यो सम्भव छ, कार्यान्वयनको क्रममा वा ग्राफ कार्यान्वयन गरेपछि, रूपान्तरणलाई जोड्ने कुनै पनि प्रवाहमा क्लिक गर्न र यी परिवर्तनहरू बीचमा पास भएको डाटा हेर्नुहोस्:

यो कुनै पनि स्ट्रिममा क्लिक गर्न र ट्र्याकिङ विवरणहरू हेर्न पनि सम्भव छ - रूपान्तरणले कति समानान्तरहरूमा काम गर्यो, कतिवटा लाइनहरू र बाइटहरू कुन समानान्तरहरूमा लोड गरियो:

ग्राफको कार्यान्वयनलाई चरणहरूमा विभाजन गर्न सम्भव छ र चिन्ह लगाउनुहोस् कि केही परिवर्तनहरू पहिले (शून्य चरणमा), अर्कोहरू पहिलो चरणमा, अर्कोहरू दोस्रो चरणमा, आदि।

प्रत्येक रूपान्तरणको लागि, तपाइँ तथाकथित लेआउट (जहाँ यो कार्यान्वयन गरिनेछ) छनौट गर्न सक्नुहुन्छ: समानान्तर वा समानान्तर थ्रेडहरूमा, जसको संख्या निर्दिष्ट गर्न सकिन्छ। एकै समयमा, रूपान्तरणहरू चलिरहेको बेला Ab Initio ले सिर्जना गर्ने अस्थायी फाइलहरू सर्भर फाइल प्रणाली र HDFS दुवैमा राख्न सकिन्छ।

प्रत्येक रूपान्तरणमा, पूर्वनिर्धारित टेम्प्लेटमा आधारित, तपाइँ PDL मा आफ्नै लिपि सिर्जना गर्न सक्नुहुन्छ, जुन एक शेल जस्तै छ।

PDL को साथ तपाईले रूपान्तरणको कार्यक्षमता विस्तार गर्न सक्नुहुन्छ र विशेष गरी, तपाईले गतिशील रूपमा (रनटाइममा) रनटाइम प्यारामिटरहरूको आधारमा स्वेच्छाचारी कोड टुक्राहरू उत्पन्न गर्न सक्नुहुन्छ।

Ab Initio सँग शेल मार्फत OS सँग राम्रोसँग विकसित एकीकरण पनि छ। विशेष रूपमा, Sberbank ले लिनक्स ksh प्रयोग गर्दछ। तपाईले शेलसँग चरहरू साट्न सक्नुहुन्छ र ग्राफ प्यारामिटरहरूको रूपमा प्रयोग गर्न सक्नुहुन्छ। तपाईंले शेलबाट Ab Initio ग्राफहरूको कार्यान्वयनलाई कल गर्न सक्नुहुन्छ र Ab Initio व्यवस्थापन गर्न सक्नुहुन्छ।

Ab Initio GDE को अतिरिक्त, धेरै अन्य उत्पादनहरू डेलिभरीमा समावेश छन्। अपरेटिङ सिस्टम भनिने दावीको साथ यसको आफ्नै सह> अपरेशन सिस्टम छ। त्यहाँ एउटा नियन्त्रण>केन्द्र छ जहाँ तपाइँ डाउनलोड प्रवाहहरू अनुसूचित र निगरानी गर्न सक्नुहुन्छ। Ab Initio GDE ले अनुमति दिएको भन्दा धेरै आदिम स्तरमा विकास गर्न उत्पादनहरू छन्।

MDW फ्रेमवर्कको विवरण र GreenPlum को लागि यसको अनुकूलनमा काम

यसका उत्पादनहरूसँगै, विक्रेताले MDW (मेटाडेटा ड्राइभन वेयरहाउस) उत्पादनहरू आपूर्ति गर्दछ, जुन डाटा गोदामहरू वा डाटा भल्टहरू भर्ने विशिष्ट कार्यहरूमा मद्दत गर्न डिजाइन गरिएको ग्राफ कन्फिगुरेटर हो।

यसले अनुकूलन (प्रोजेक्ट-विशेष) मेटाडेटा पार्सरहरू र बक्स बाहिर तयार कोड जनरेटरहरू समावेश गर्दछ।

इनपुटको रूपमा, MDW ले डाटा मोडेल, डाटाबेस (Oracle, Teradata वा Hive) मा जडान सेटअप गर्नको लागि कन्फिगरेसन फाइल र केही अन्य सेटिङहरू प्राप्त गर्दछ। परियोजना-विशिष्ट भाग, उदाहरणका लागि, डेटाबेसमा मोडेल तैनात गर्दछ। उत्पादनको बाहिरी भागले मोडेल तालिकाहरूमा डेटा लोड गरेर तिनीहरूका लागि ग्राफहरू र कन्फिगरेसन फाइलहरू उत्पन्न गर्दछ। यस अवस्थामा, ग्राफहरू (र psets) एकाइहरू अद्यावधिक गर्ने क्रममा प्रारम्भिक र वृद्धिशील कार्यका धेरै मोडहरूको लागि सिर्जना गरिन्छ।

Hive र RDBMS को मामिलाहरूमा, प्रारम्भिक र वृद्धिशील डेटा अपडेटहरूको लागि विभिन्न ग्राफहरू उत्पन्न हुन्छन्।

Hive को मामला मा, आगमन डेल्टा डाटा Ab Initio मार्फत जडान गरिएको छ जुन डाटा अपडेट हुनु अघि तालिकामा थियो। MDW मा डाटा लोडरहरूले (Hive र RDBMS दुवैमा) डेल्टाबाट नयाँ डाटा मात्र सम्मिलित गर्दैन, तर प्राथमिक कुञ्जीहरूले डेल्टा प्राप्त गर्ने डाटाको सान्दर्भिकताको अवधि पनि बन्द गर्दछ। थप रूपमा, तपाईंले डाटाको अपरिवर्तित भाग पुन: लेख्नु पर्छ। तर यो गर्नु पर्छ किनभने Hive मा मेटाउने वा अद्यावधिक अपरेशन छैन।

RDBMS को मामलामा, वृद्धिशील डाटा अपडेट गर्ने ग्राफहरू अझ इष्टतम देखिन्छन्, किनभने RDBMS सँग वास्तविक अद्यावधिक क्षमताहरू छन्।

प्राप्त डेल्टा डाटाबेसमा मध्यवर्ती तालिकामा लोड गरिएको छ। यस पछि, डेल्टा डाटासँग जोडिएको छ जुन अपडेट हुनु अघि तालिकामा थियो। र यो उत्पन्न SQL क्वेरी प्रयोग गरेर SQL प्रयोग गरीएको छ। अर्को, SQL आदेशहरू मेटाउनुहोस् + घुसाउनुहोस् प्रयोग गरेर, डेल्टाबाट नयाँ डेटा लक्ष्य तालिकामा घुसाइएको छ र डेटाको सान्दर्भिकताको अवधि जसको प्राथमिक कुञ्जीहरूले डेल्टा प्राप्त गरेका छन् बन्द छन्।
अपरिवर्तित डाटा पुन: लेख्न आवश्यक छैन।

त्यसोभए हामी निष्कर्षमा पुग्यौं कि Hive को मामलामा, MDW ले सम्पूर्ण तालिका पुन: लेख्न जानुपर्छ किनभने Hive मा अद्यावधिक प्रकार्य छैन। र अद्यावधिक आविष्कार भएको बेला डाटा पूर्ण रूपमा पुन: लेख्नु भन्दा राम्रो केहि छैन। RDBMS को मामलामा, यसको विपरित, उत्पादनका सिर्जनाकर्ताहरूले SQL को प्रयोगको लागि तालिकाहरूको जडान र अद्यावधिकलाई सुम्पन आवश्यक ठाने।

Sberbank मा एउटा परियोजनाको लागि, हामीले GreenPlum को लागि डाटाबेस लोडरको नयाँ, पुन: प्रयोज्य कार्यान्वयन सिर्जना गर्यौं। यो टेराडाटाको लागि MDW ले उत्पन्न गरेको संस्करणमा आधारित थियो। यो टेराडाटा थियो, ओरेकल होइन, जुन यसको लागि सबैभन्दा नजिक र उत्तम आयो, किनभने ... MPP प्रणाली पनि हो। टेराडाटा र ग्रीनप्लमको काम गर्ने विधिहरू, साथै वाक्य रचना पनि उस्तै देखियो।

विभिन्न RDBMS हरू बीच MDW-महत्वपूर्ण भिन्नताहरूको उदाहरणहरू निम्नानुसार छन्। ग्रीनप्लममा, टेराडाटाको विपरीत, तालिकाहरू सिर्जना गर्दा तपाईंले क्लज लेख्नुपर्छ

distributed by

टेराडाटा लेख्छन्:

delete <table> all

, र GreenPlum मा तिनीहरू लेख्छन्

delete from <table>

Oracle मा, अनुकूलन उद्देश्यका लागि तिनीहरू लेख्छन्

delete from t where rowid in (<соединение t с дельтой>)

, र Teradata र GreenPlum लेख्छन्

delete from t where exists (select * from delta where delta.pk=t.pk)

हामी यो पनि नोट गर्छौं कि Ab Initio को लागि GreenPlum सँग काम गर्न, Ab Initio क्लस्टरका सबै नोडहरूमा GreenPlum क्लाइन्ट स्थापना गर्न आवश्यक थियो। यो किनभने हामीले हाम्रो क्लस्टरका सबै नोडहरूबाट एकैसाथ ग्रीनप्लममा जडान गरेका छौं। र GreenPlum बाट पढ्नको लागि समानान्तर हुन र प्रत्येक समानान्तर Ab Initio थ्रेडलाई GreenPlum बाट डेटाको आफ्नै भाग पढ्नको लागि, हामीले SQL क्वेरीहरूको "कहाँ" खण्डमा Ab Initio द्वारा बुझिएको निर्माण राख्नु पर्थ्यो।

where ABLOCAL()

र रूपान्तरण डाटाबेसबाट प्यारामिटर पढाइ निर्दिष्ट गरेर यस निर्माणको मूल्य निर्धारण गर्नुहोस्

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, जसले केहि जस्तै कम्पाइल गर्दछ

mod(sk,10)=3

, अर्थात् तपाईंले प्रत्येक विभाजनको लागि स्पष्ट फिल्टरको साथ ग्रीनप्लमलाई प्रम्प्ट गर्नुपर्छ। अन्य डाटाबेसका लागि (Teradata, Oracle), Ab Initio ले यो समानान्तर स्वचालित रूपमा प्रदर्शन गर्न सक्छ।

Hive र GreenPlum बीच Ab Initio प्रदर्शन तुलना

Sberbank ले Hive र GreenPlum को सम्बन्धमा MDW-उत्पन्न ग्राफहरूको कार्यसम्पादन तुलना गर्न एक प्रयोग सञ्चालन गर्यो। प्रयोगको एक भागको रूपमा, Hive को मामलामा Ab Initio को रूपमा एउटै क्लस्टरमा 5 नोडहरू थिए, र GreenPlum को मामलामा छुट्टै क्लस्टरमा 4 नोडहरू थिए। ती। हाइभको ग्रीनप्लममा केही हार्डवेयर फाइदा थियो।

हामीले Hive र GreenPlum मा डाटा अपडेट गर्ने एउटै कार्य प्रदर्शन गर्ने ग्राफहरूको दुई जोडी विचार गर्यौं। एकै समयमा, MDW कन्फिगरेटर द्वारा उत्पन्न ग्राफहरू सुरु गरियो:

• प्रारम्भिक लोड + हाइभ तालिकामा अनियमित रूपमा उत्पन्न डेटाको वृद्धिशील लोड
• उही ग्रीनप्लम तालिकामा अनियमित रूपमा उत्पन्न डाटाको प्रारम्भिक लोड + वृद्धिशील लोड

दुबै केसहरूमा (Hive र GreenPlum) तिनीहरूले एउटै Ab Initio क्लस्टरमा 10 समानान्तर थ्रेडहरूमा अपलोडहरू चलाए। Ab Initio ले HDFS मा गणनाको लागि मध्यवर्ती डेटा बचत गर्यो (Ab Initio को सन्दर्भमा, HDFS प्रयोग गरेर MFS लेआउट प्रयोग गरिएको थियो)। अनियमित रूपमा उत्पन्न डाटाको एक लाइनले दुवै अवस्थामा 200 बाइटहरू ओगटेको छ।

परिणाम यस्तो थियो:

घारमा:

Hive मा प्रारम्भिक लोडिङ

पङ्क्तिहरू सम्मिलित गरियो
6 000 000
60 000 000
600 000 000

प्रारम्भिक अवधि
सेकेन्डमा डाउनलोड
41
203
1 601

Hive मा वृद्धिशील लोड

मा उपलब्ध पङ्क्तिहरूको संख्या
प्रयोगको सुरुमा लक्षित तालिका
6 000 000
60 000 000
600 000 000

लागू गरिएका डेल्टा लाइनहरूको संख्या
प्रयोगको समयमा लक्ष्य तालिका
6 000 000
6 000 000
6 000 000

वृद्धिको अवधि
सेकेन्डमा डाउनलोड
88
299
2 541

हरियो प्लम:

GreenPlum मा प्रारम्भिक लोड

पङ्क्तिहरू सम्मिलित गरियो
6 000 000
60 000 000
600 000 000

प्रारम्भिक अवधि
सेकेन्डमा डाउनलोड
72
360
3 631

GreenPlum मा वृद्धिशील लोड

मा उपलब्ध पङ्क्तिहरूको संख्या
प्रयोगको सुरुमा लक्षित तालिका
6 000 000
60 000 000
600 000 000

लागू गरिएका डेल्टा लाइनहरूको संख्या
प्रयोगको समयमा लक्ष्य तालिका
6 000 000
6 000 000
6 000 000

वृद्धिको अवधि
सेकेन्डमा डाउनलोड
159
199
321

हाईभ र ग्रीनप्लम दुवैमा प्रारम्भिक लोडिङको गति रैखिक रूपमा डाटाको मात्रामा निर्भर गर्दछ र राम्रो हार्डवेयरको कारणले गर्दा, ग्रीनप्लमको तुलनामा हाइभको लागि यो अलि छिटो छ भनेर हामीले देख्छौं।

Hive मा वृद्धिशील लोडिङ पनि लक्ष्य तालिकामा उपलब्ध पहिले लोड गरिएको डाटाको भोल्युममा रैखिक रूपमा निर्भर गर्दछ र भोल्युम बढ्दै जाँदा एकदमै बिस्तारै अगाडि बढ्छ। यो लक्ष्य तालिका पूर्ण रूपमा पुन: लेख्न आवश्यकता को कारण हो। यसको मतलब यो हो कि ठूलो तालिकाहरूमा साना परिवर्तनहरू लागू गर्नु Hive को लागि राम्रो प्रयोगको मामला होइन।

GreenPlum मा वृद्धिशील लोडिङ कमजोर रूपमा लक्ष्य तालिकामा उपलब्ध पहिले लोड गरिएको डाटाको मात्रामा निर्भर गर्दछ र धेरै छिटो अगाडि बढ्छ। यो SQL Joins र GreenPlum आर्किटेक्चरको लागि धन्यवाद भयो, जसले मेटाउने कार्यलाई अनुमति दिन्छ।

त्यसोभए, GreenPlum ले Delete+insert विधि प्रयोग गरेर डेल्टा थप्छ, तर Hive ले मेटाउने वा अद्यावधिक गर्ने कार्यहरू गर्दैन, त्यसैले सम्पूर्ण डेटा एरेलाई वृद्धिशील अद्यावधिकको क्रममा पूर्ण रूपमा पुन: लेख्न बाध्य पारिएको थियो। बोल्डमा हाइलाइट गरिएका कक्षहरूको तुलना सबैभन्दा बढी खुलासा गर्ने छ, किनभने यो स्रोत-गहन डाउनलोडहरू प्रयोग गर्ने सबैभन्दा सामान्य विकल्पसँग मेल खान्छ। हामीले देख्यौं कि GreenPlum ले Hive लाई यस परीक्षणमा 8 पटक हरायो।

रियल टाइम मोडमा GreenPlum सँग Ab Initio काम गर्दै

यस प्रयोगमा, हामी लगभग वास्तविक समयमा अनियमित रूपमा उत्पन्न गरिएको डेटाको साथ ग्रीनप्लम तालिका अपडेट गर्ने Ab Initio को क्षमताको परीक्षण गर्नेछौं। ग्रीनप्लम तालिका dev42_1_db_usl.TESTING_SUBJ_org_finval लाई विचार गरौं, जसको साथ हामी काम गर्नेछौं।

हामी यसको साथ काम गर्न तीन Ab Initio ग्राफहरू प्रयोग गर्नेछौं:

1) ग्राफ Create_test_data.mp - 10 समानान्तर थ्रेडहरूमा 6 पङ्क्तिहरूसँग HDFS मा डेटा फाइलहरू सिर्जना गर्दछ। डाटा अनियमित छ, यसको संरचना हाम्रो तालिकामा सम्मिलित गर्न संगठित छ

2) ग्राफ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – MDW ले 10 समानान्तर थ्रेडहरूमा हाम्रो तालिकामा डेटा सम्मिलन प्रारम्भ गरेर उत्पन्न ग्राफ (ग्राफ (1) द्वारा उत्पन्न गरिएको परीक्षण डेटा प्रयोग गरिन्छ)

3) ग्राफ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset – 10 समानान्तर थ्रेडहरूमा हाम्रो तालिकाको वृद्धिशील अद्यावधिकको लागि MDW द्वारा उत्पन्न गरिएको ग्राफ ताजा प्राप्त डाटा (डेल्टा) को एक भाग प्रयोग गरेर (1) द्वारा उत्पन्न गरिएको।

NRT मोडमा तलको स्क्रिप्ट चलाउनुहोस्:

• 6 परीक्षण लाइनहरू उत्पन्न गर्नुहोस्
• प्रारम्भिक लोड सम्मिलित गर्नुहोस् 6 परीक्षण पङ्क्तिहरू खाली तालिकामा
• वृद्धिशील डाउनलोड 5 पटक दोहोर्याउनुहोस्
  • 6 परीक्षण लाइनहरू उत्पन्न गर्नुहोस्
  • तालिकामा 6 परीक्षण पङ्क्तिहरूको वृद्धिशील सम्मिलित प्रदर्शन गर्नुहोस् (यस अवस्थामा, valid_to_ts म्याद समाप्त हुने समय पुरानो डाटामा सेट गरिएको छ र उही प्राथमिक कुञ्जीको साथ थप हालको डाटा सम्मिलित गरिएको छ)

यो परिदृश्यले निश्चित व्यापार प्रणालीको वास्तविक सञ्चालनको मोडलाई अनुकरण गर्दछ - नयाँ डेटाको एकदम ठूलो भाग वास्तविक समयमा देखा पर्दछ र तुरुन्तै ग्रीनप्लममा खन्याइन्छ।

अब स्क्रिप्टको लग हेरौं:

2020-06-04 11:49:11 मा Create_test_data.input.pset सुरु गर्नुहोस्
2020-06-04 11:49:37 मा Create_test_data.input.pset समाप्त गर्नुहोस्
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset २०२०-०६-०४ ११:४९:३७ मा सुरु गर्नुहोस्
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:50:42 मा समाप्त गर्नुहोस्
2020-06-04 11:50:42 मा Create_test_data.input.pset सुरु गर्नुहोस्
2020-06-04 11:51:06 मा Create_test_data.input.pset समाप्त गर्नुहोस्
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset २०२०-०६-०४ ११:५१:०६ मा सुरु गर्नुहोस्
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset २०२०-०६-०४ ११:५३:४१ मा समाप्त गर्नुहोस्
2020-06-04 11:53:41 मा Create_test_data.input.pset सुरु गर्नुहोस्
2020-06-04 11:54:04 मा Create_test_data.input.pset समाप्त गर्नुहोस्
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset २०२०-०६-०४ ११:५१:०६ मा सुरु गर्नुहोस्
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset २०२०-०६-०४ ११:५३:४१ मा समाप्त गर्नुहोस्
2020-06-04 11:56:51 मा Create_test_data.input.pset सुरु गर्नुहोस्
2020-06-04 11:57:14 मा Create_test_data.input.pset समाप्त गर्नुहोस्
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset २०२०-०६-०४ ११:५१:०६ मा सुरु गर्नुहोस्
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset २०२०-०६-०४ ११:५३:४१ मा समाप्त गर्नुहोस्
2020-06-04 11:59:55 मा Create_test_data.input.pset सुरु गर्नुहोस्
2020-06-04 12:00:23 मा Create_test_data.input.pset समाप्त गर्नुहोस्
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset २०२०-०६-०४ ११:५१:०६ मा सुरु गर्नुहोस्
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset २०२०-०६-०४ ११:५३:४१ मा समाप्त गर्नुहोस्
2020-06-04 12:03:23 मा Create_test_data.input.pset सुरु गर्नुहोस्
2020-06-04 12:03:49 मा Create_test_data.input.pset समाप्त गर्नुहोस्
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset २०२०-०६-०४ ११:५१:०६ मा सुरु गर्नुहोस्
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset २०२०-०६-०४ ११:५३:४१ मा समाप्त गर्नुहोस्

यो यो तस्वीर बाहिर जान्छ:

ग्राफ
सुरु समय
समय समाप्त गर्नुहोस्
लंबाई

Create_test_data.input.pset
04.06.2020: 11: 49: 11
04.06.2020: 11: 49: 37
00:00:26

mdw_load.day_one.current।
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 49: 37
04.06.2020: 11: 50: 42
00:01:05

Create_test_data.input.pset
04.06.2020: 11: 50: 42
04.06.2020: 11: 51: 06
00:00:24

mdw_load.regular.current।
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 51: 06
04.06.2020: 11: 53: 41
00:02:35

Create_test_data.input.pset
04.06.2020: 11: 53: 41
04.06.2020: 11: 54: 04
00:00:23

mdw_load.regular.current।
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 54: 04
04.06.2020: 11: 56: 51
00:02:47

Create_test_data.input.pset
04.06.2020: 11: 56: 51
04.06.2020: 11: 57: 14
00:00:23

mdw_load.regular.current।
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 57: 14
04.06.2020: 11: 59: 55
00:02:41

Create_test_data.input.pset
04.06.2020: 11: 59: 55
04.06.2020: 12: 00: 23
00:00:28

mdw_load.regular.current।
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 12: 00: 23
04.06.2020: 12: 03: 23
00:03:00

Create_test_data.input.pset
04.06.2020: 12: 03: 23
04.06.2020: 12: 03: 49
00:00:26

mdw_load.regular.current।
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 12: 03: 49
04.06.2020: 12: 06: 46
00:02:57

हामी देख्छौं कि 6 वृद्धि रेखाहरू 000 मिनेटमा प्रशोधन गरिन्छ, जुन एकदम छिटो छ।
लक्षित तालिकाको डाटा निम्नानुसार वितरण गरिएको थियो:

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

तपाईंले ग्राफहरू सुरु भएको समय सम्म सम्मिलित डाटाको पत्राचार देख्न सक्नुहुन्छ।
यसको मतलब तपाईंले Ab Initio मा GreenPlum मा धेरै उच्च फ्रिक्वेन्सीको साथ डाटाको वृद्धिशील लोडिङ चलाउन सक्नुहुन्छ र यो डाटालाई GreenPlum मा घुसाउने उच्च गति अवलोकन गर्न सक्नुहुन्छ। अवश्य पनि, यो एक सेकेन्डमा एक पटक सुरू गर्न सम्भव हुनेछैन, किनकि Ab Initio, कुनै पनि ETL उपकरण जस्तै, सुरु गर्दा "स्टार्ट अप" गर्न समय चाहिन्छ।

निष्कर्षमा

Ab Initio हाल Sberbank मा एक एकीकृत सिमान्टिक डाटा लेयर (ESS) निर्माण गर्न प्रयोग गरिन्छ। यस परियोजनामा ​​विभिन्न बैंकिङ व्यवसायिक संस्थाहरूको राज्यको एकीकृत संस्करण निर्माण समावेश छ। जानकारी विभिन्न स्रोतहरूबाट आउँछ, जसको प्रतिकृतिहरू Hadoop मा तयार छन्। व्यापार आवश्यकताहरूको आधारमा, डेटा मोडेल तयार गरिन्छ र डेटा रूपान्तरणहरू वर्णन गरिन्छ। Ab Initio ले ESN मा जानकारी लोड गर्छ र डाउनलोड गरिएको डाटा व्यवसायको लागि मात्र होइन, डेटा मार्टहरू निर्माण गर्न स्रोतको रूपमा पनि काम गर्दछ। एकै समयमा, उत्पादनको कार्यक्षमताले तपाईंलाई रिसीभर (Hive, Greenplum, Teradata, Oracle) को रूपमा विभिन्न प्रणालीहरू प्रयोग गर्न अनुमति दिन्छ, जसले यसलाई आवश्यक पर्ने विभिन्न ढाँचाहरूमा व्यवसायको लागि सजिलैसँग डेटा तयार गर्न सम्भव बनाउँछ।

Ab Initio को क्षमताहरू फराकिलो छन्; उदाहरणका लागि, समावेश गरिएको MDW फ्रेमवर्कले प्राविधिक र व्यापारिक ऐतिहासिक डेटालाई बाकस बाहिर बनाउन सम्भव बनाउँछ। विकासकर्ताहरूका लागि, Ab Initio ले व्हीललाई पुन: आविष्कार गर्न सम्भव बनाउँछ, तर धेरै अवस्थित कार्यात्मक कम्पोनेन्टहरू प्रयोग गर्न, जुन अनिवार्य रूपमा डेटासँग काम गर्दा आवश्यक पुस्तकालयहरू हुन्।

लेखक Sberbank SberProfi DWH/BigData को व्यावसायिक समुदायमा विशेषज्ञ हुनुहुन्छ। SberProfi DWH/BigData व्यावसायिक समुदाय Hadoop इकोसिस्टम, Teradata, Oracle DB, GreenPlum, साथै BI उपकरण Qlik, SAP BO, Tableau, आदि जस्ता क्षेत्रहरूमा दक्षताहरू विकास गर्न जिम्मेवार छ।

स्रोत: www.habr.com