जेव्हा तुमच्याकडे Sber स्केल असेल. Hive आणि GreenPlum सह Ab Initio वापरणे

काही काळापूर्वी, आम्हाला बिग डेटासोबत काम करण्यासाठी ETL टूल निवडण्याचा प्रश्न पडला होता. पूर्वी वापरलेले Informatica BDM सोल्यूशन मर्यादित कार्यक्षमतेमुळे आम्हाला अनुकूल नव्हते. स्पार्क-सबमिट कमांड्स लाँच करण्याच्या फ्रेमवर्कमध्ये त्याचा वापर कमी केला गेला आहे. बाजारात असे बरेच एनालॉग्स नव्हते जे तत्त्वतः, आम्ही दररोज हाताळत असलेल्या डेटाच्या व्हॉल्यूमसह कार्य करण्यास सक्षम होते. शेवटी आम्ही Ab Initio निवडले. प्रायोगिक प्रात्यक्षिक दरम्यान, उत्पादनाने खूप उच्च डेटा प्रक्रिया गती दर्शविली. रशियन भाषेत Ab Initio बद्दल जवळजवळ कोणतीही माहिती नाही, म्हणून आम्ही Habré वरील आमच्या अनुभवाबद्दल बोलण्याचे ठरवले.

Ab Initio मध्ये अनेक क्लासिक आणि असामान्य परिवर्तने आहेत, ज्याचा कोड स्वतःची PDL भाषा वापरून वाढवता येतो. एका लहान व्यवसायासाठी, असे शक्तिशाली साधन बहुधा ओव्हरकिल असेल आणि त्यातील बहुतेक क्षमता महाग आणि न वापरलेल्या असू शकतात. परंतु जर तुमचा स्केल Sberov च्या जवळ असेल, तर Ab Initio तुमच्यासाठी मनोरंजक असेल.

हे व्यवसायाला जागतिक स्तरावर ज्ञान जमा करण्यास आणि एक इकोसिस्टम विकसित करण्यास मदत करते आणि विकासकाला ETL मधील कौशल्ये सुधारण्यासाठी, शेलमधील त्याचे ज्ञान सुधारण्यासाठी, PDL भाषेवर प्रभुत्व मिळविण्याची संधी प्रदान करते, लोडिंग प्रक्रियेचे दृश्य चित्र देते आणि विकास सुलभ करते. कार्यात्मक घटकांच्या विपुलतेमुळे.

या पोस्टमध्ये मी Ab Initio च्या क्षमतांबद्दल बोलेन आणि Hive आणि GreenPlum सह त्याच्या कामाची तुलनात्मक वैशिष्ट्ये प्रदान करेन.

• MDW फ्रेमवर्कचे वर्णन आणि GreenPlum साठी त्याच्या कस्टमायझेशनवर कार्य करा
• Hive आणि GreenPlum मधील Ab Initio कामगिरीची तुलना
• ग्रीनप्लम सोबत रिअल टाइम मोडमध्ये काम करत आहे

या उत्पादनाची कार्यक्षमता खूप विस्तृत आहे आणि अभ्यास करण्यासाठी बराच वेळ आवश्यक आहे. तथापि, योग्य कार्य कौशल्ये आणि योग्य कार्यप्रदर्शन सेटिंग्जसह, डेटा प्रक्रियेचे परिणाम खूप प्रभावी आहेत. डेव्हलपरसाठी Ab Initio वापरणे एक मनोरंजक अनुभव देऊ शकते. हे ETL डेव्हलपमेंटवर एक नवीन टेक आहे, व्हिज्युअल वातावरण आणि स्क्रिप्ट-सदृश भाषेत डाउनलोड डेव्हलपमेंटमधील संकरित.

व्यवसाय त्यांची इकोसिस्टम विकसित करत आहेत आणि हे साधन नेहमीपेक्षा अधिक उपयुक्त आहे. Ab Initio सह, तुम्ही तुमच्या सध्याच्या व्यवसायाबद्दल ज्ञान जमा करू शकता आणि जुन्या आणि नवीन व्यवसायांचा विस्तार करण्यासाठी या ज्ञानाचा वापर करू शकता. Ab Initio च्या पर्यायांमध्ये व्हिज्युअल डेव्हलपमेंट एनवायरमेंट इन्फॉर्मेटिका BDM आणि नॉन-व्हिज्युअल डेव्हलपमेंट एनवायरमेंट्स अपाचे स्पार्क समाविष्ट आहेत.

Ab Initio चे वर्णन

Ab Initio, इतर ETL साधनांप्रमाणे, उत्पादनांचा संग्रह आहे.

Ab Initio GDE (ग्राफिकल डेव्हलपमेंट एन्व्हायर्नमेंट) हे डेव्हलपरसाठी एक वातावरण आहे ज्यामध्ये तो डेटा ट्रान्सफॉर्मेशन कॉन्फिगर करतो आणि त्यांना बाणांच्या स्वरूपात डेटा प्रवाहाशी जोडतो. या प्रकरणात, परिवर्तनांच्या अशा संचाला आलेख म्हणतात:

फंक्शनल घटकांचे इनपुट आणि आउटपुट कनेक्शन हे पोर्ट असतात आणि त्यामध्ये ट्रान्सफॉर्मेशनमध्ये गणना केलेली फील्ड असतात. त्यांच्या अंमलबजावणीच्या क्रमाने बाणांच्या रूपात प्रवाहाद्वारे जोडलेल्या अनेक आलेखांना योजना म्हणतात.

अनेक शंभर फंक्शनल घटक आहेत, जे खूप आहे. त्यापैकी बरेच उच्च विशिष्ट आहेत. Ab Initio मधील क्लासिक ट्रान्सफॉर्मेशनची क्षमता इतर ETL टूल्सच्या तुलनेत विस्तृत आहे. उदाहरणार्थ, Join मध्ये एकाधिक आउटपुट आहेत. डेटासेट कनेक्ट करण्याच्या परिणामाव्यतिरिक्त, आपण इनपुट डेटासेटचे आउटपुट रेकॉर्ड मिळवू शकता ज्यांच्या की कनेक्ट केल्या जाऊ शकल्या नाहीत. तुम्हाला नकार, त्रुटी आणि ट्रान्सफॉर्मेशन ऑपरेशनचा लॉग देखील मिळू शकतो, जो टेक्स्ट फाईलच्या समान कॉलममध्ये वाचला जाऊ शकतो आणि इतर ट्रान्सफॉर्मेशनसह प्रक्रिया केली जाऊ शकते:

किंवा, उदाहरणार्थ, तुम्ही टेबलच्या स्वरूपात डेटा रिसीव्हर बनवू शकता आणि त्याच कॉलममध्ये डेटा वाचू शकता.

मूळ परिवर्तने आहेत. उदाहरणार्थ, स्कॅन ट्रान्सफॉर्मेशनमध्ये विश्लेषणात्मक फंक्शन्सप्रमाणेच कार्यक्षमता असते. स्वयं-स्पष्टीकरणात्मक नावांसह परिवर्तने आहेत: डेटा तयार करा, एक्सेल वाचा, सामान्यीकृत करा, गटांमध्ये क्रमवारी लावा, प्रोग्राम चालवा, एसक्यूएल चालवा, डीबीसह सामील व्हा, इ. आलेख रन-टाइम पॅरामीटर्स वापरू शकतात, ज्यामध्ये पॅरामीटर्स पास होण्याच्या शक्यतेचा समावेश आहे. ऑपरेटिंग सिस्टम आलेखावर पास केलेल्या पॅरामीटर्सचा तयार संच असलेल्या फायलींना पॅरामीटर सेट (psets) म्हणतात.

अपेक्षेप्रमाणे, Ab Initio GDE चे स्वतःचे भांडार आहे ज्याचे नाव EME (एंटरप्राइज मेटा एन्व्हायर्नमेंट) आहे. विकसकांना कोडच्या स्थानिक आवृत्त्यांसह कार्य करण्याची आणि त्यांच्या विकासाची मध्यवर्ती भांडारात तपासणी करण्याची संधी आहे.

अंमलबजावणी दरम्यान किंवा आलेख कार्यान्वित केल्यानंतर, परिवर्तनाला जोडणार्‍या कोणत्याही प्रवाहावर क्लिक करणे आणि या परिवर्तनांदरम्यान पास झालेला डेटा पाहणे शक्य आहे:

कोणत्याही प्रवाहावर क्लिक करणे आणि ट्रॅकिंग तपशील पाहणे देखील शक्य आहे - परिवर्तनाने किती समांतर काम केले, कोणत्या समांतरांमध्ये किती रेषा आणि बाइट लोड केले:

आलेखाच्या अंमलबजावणीला टप्प्याटप्प्याने विभागणे शक्य आहे आणि चिन्हांकित करा की काही परिवर्तने प्रथम (शून्य टप्प्यात), पुढील पहिल्या टप्प्यात, पुढील दुसऱ्या टप्प्यात इ.

प्रत्येक परिवर्तनासाठी, आपण तथाकथित लेआउट निवडू शकता (जेथे ते कार्यान्वित केले जाईल): समांतर किंवा समांतर थ्रेड्सशिवाय, ज्याची संख्या निर्दिष्ट केली जाऊ शकते. त्याच वेळी, ट्रान्सफॉर्मेशन्स चालू असताना Ab Initio तयार करतो त्या तात्पुरत्या फाइल्स सर्व्हर फाइल सिस्टम आणि HDFS मध्ये ठेवल्या जाऊ शकतात.

प्रत्येक परिवर्तनामध्ये, डीफॉल्ट टेम्पलेटवर आधारित, तुम्ही PDL मध्ये तुमची स्वतःची स्क्रिप्ट तयार करू शकता, जी थोडी शेलसारखी आहे.

PDL सह, तुम्ही ट्रान्सफॉर्मेशन्सची कार्यक्षमता वाढवू शकता आणि विशेषतः, रनटाइम पॅरामीटर्सवर अवलंबून तुम्ही डायनॅमिकली (रनटाइमवर) अनियंत्रित कोडचे तुकडे तयार करू शकता.

Ab Initio चे शेल द्वारे OS सह सु-विकसित एकीकरण देखील आहे. विशेषतः, Sberbank linux ksh वापरते. तुम्ही शेलसह व्हेरिएबल्सची देवाणघेवाण करू शकता आणि आलेख पॅरामीटर्स म्हणून वापरू शकता. तुम्ही शेलमधून Ab Initio आलेखांच्या अंमलबजावणीला कॉल करू शकता आणि Ab Initio प्रशासित करू शकता.

Ab Initio GDE व्यतिरिक्त, इतर अनेक उत्पादने वितरणामध्ये समाविष्ट आहेत. ऑपरेटिंग सिस्टीम म्हटल्याचा दावा असलेली स्वतःची Co>Operation System आहे. तेथे एक नियंत्रण>केंद्र आहे जेथे तुम्ही डाउनलोड प्रवाहाचे वेळापत्रक आणि निरीक्षण करू शकता. Ab Initio GDE परवानगी देते त्यापेक्षा अधिक आदिम स्तरावर विकास करण्यासाठी उत्पादने आहेत.

MDW फ्रेमवर्कचे वर्णन आणि GreenPlum साठी त्याच्या कस्टमायझेशनवर कार्य करा

त्याच्या उत्पादनांसह, विक्रेता MDW (मेटाडेटा चालित वेअरहाऊस) उत्पादनाचा पुरवठा करतो, जे डेटा वेअरहाऊस किंवा डेटा व्हॉल्ट्सची संख्या वाढवण्याच्या विशिष्ट कार्यांमध्ये मदत करण्यासाठी डिझाइन केलेले आलेख कॉन्फिगरेटर आहे.

त्यात सानुकूल (प्रोजेक्ट-विशिष्ट) मेटाडेटा विश्लेषक आणि बॉक्सच्या बाहेर तयार कोड जनरेटर आहेत.

इनपुट म्हणून, MDW ला डेटा मॉडेल, डेटाबेस (Oracle, Teradata किंवा Hive) आणि काही इतर सेटिंग्जशी कनेक्शन सेट करण्यासाठी कॉन्फिगरेशन फाइल प्राप्त होते. प्रकल्प-विशिष्ट भाग, उदाहरणार्थ, मॉडेलला डेटाबेसमध्ये तैनात करतो. उत्पादनाचा आउट-ऑफ-द-बॉक्स भाग मॉडेल टेबलमध्ये डेटा लोड करून त्यांच्यासाठी आलेख आणि कॉन्फिगरेशन फाइल्स तयार करतो. या प्रकरणात, आलेख (आणि psets) संस्था अद्यतनित करण्याच्या आरंभिक आणि वाढीव कार्यासाठी अनेक मोड तयार केले जातात.

Hive आणि RDBMS च्या बाबतीत, आरंभिकरण आणि वाढीव डेटा अद्यतनांसाठी भिन्न आलेख तयार केले जातात.

Hive च्या बाबतीत, येणारा डेल्टा डेटा Ab Initio Join द्वारे जोडला जातो जो अपडेट करण्यापूर्वी टेबलमध्ये होता. MDW मधील डेटा लोडर (हाइव्ह आणि RDBMS दोन्हीमध्ये) केवळ डेल्टामधून नवीन डेटाच घालत नाहीत तर ज्या डेटाच्या प्राथमिक कळांना डेल्टा प्राप्त झाला त्या डेटाच्या प्रासंगिकतेचा कालावधी देखील बंद करतात. याव्यतिरिक्त, आपल्याला डेटाचा न बदललेला भाग पुन्हा लिहावा लागेल. परंतु हे करावे लागेल कारण Hive मध्ये डिलीट किंवा अपडेट ऑपरेशन्स नाहीत.

RDBMS च्या बाबतीत, वाढीव डेटा अपडेट करण्यासाठी आलेख अधिक इष्टतम दिसतात, कारण RDBMS मध्ये वास्तविक अद्यतन क्षमता आहेत.

प्राप्त केलेला डेल्टा डेटाबेसमधील इंटरमीडिएट टेबलमध्ये लोड केला जातो. यानंतर, डेल्टा अद्यतनापूर्वी टेबलमध्ये असलेल्या डेटाशी कनेक्ट केला जातो. आणि हे व्युत्पन्न केलेल्या SQL क्वेरी वापरून SQL वापरून केले जाते. पुढे, डिलीट+इन्सर्ट या SQL कमांड्सचा वापर करून, डेल्टामधील नवीन डेटा टार्गेट टेबलमध्ये घातला जातो आणि ज्या डेटाच्या प्राथमिक कळांना डेल्टा प्राप्त झाला त्या डेटाच्या प्रासंगिकतेचा कालावधी बंद केला जातो.
अपरिवर्तित डेटा पुन्हा लिहिण्याची आवश्यकता नाही.

म्हणून आम्ही या निष्कर्षावर पोहोचलो की Hive च्या बाबतीत, MDW ला संपूर्ण टेबल पुन्हा लिहायला जावे लागेल कारण Hive मध्ये अपडेट फंक्शन नाही. आणि जेव्हा अद्यतनाचा शोध लावला गेला तेव्हा डेटा पूर्णपणे पुनर्लेखन करण्यापेक्षा काहीही चांगले नाही. आरडीबीएमएसच्या बाबतीत, त्याउलट, उत्पादनाच्या निर्मात्यांना एसक्यूएलच्या वापरासाठी टेबलचे कनेक्शन आणि अद्ययावतीकरण सोपविणे आवश्यक वाटले.

Sberbank मधील प्रकल्पासाठी, आम्ही GreenPlum साठी डेटाबेस लोडरची नवीन, पुन्हा वापरता येण्याजोगी अंमलबजावणी तयार केली आहे. हे टेराडाटा साठी MDW तयार केलेल्या आवृत्तीवर आधारित केले गेले. हे टेराडाटा होते, ओरॅकल नाही, जे यासाठी सर्वात जवळ आले आणि सर्वोत्तम, कारण... MPP प्रणाली देखील आहे. टेराडेटा आणि ग्रीनप्लमच्या कामाच्या पद्धती, तसेच वाक्यरचना समान असल्याचे दिसून आले.

वेगवेगळ्या RDBMS मधील MDW-गंभीर फरकांची उदाहरणे खालीलप्रमाणे आहेत. ग्रीनप्लममध्ये, टेराडेटाच्या विपरीत, टेबल तयार करताना तुम्हाला एक क्लॉज लिहावा लागेल

distributed by

टेराडाटा लिहितात:

delete <table> all

, आणि GreenPlum मध्ये ते लिहितात

delete from <table>

ओरॅकलमध्ये, ऑप्टिमायझेशनच्या उद्देशाने ते लिहितात

delete from t where rowid in (<соединение t с дельтой>)

, आणि Teradata आणि GreenPlum लिहितात

delete from t where exists (select * from delta where delta.pk=t.pk)

आम्ही हे देखील लक्षात घेतो की Ab Initio साठी GreenPlum सह कार्य करण्यासाठी, Ab Initio क्लस्टरच्या सर्व नोड्सवर GreenPlum क्लायंट स्थापित करणे आवश्यक होते. कारण आम्ही आमच्या क्लस्टरमधील सर्व नोड्समधून एकाच वेळी ग्रीनप्लमशी कनेक्ट झालो आहोत. आणि ग्रीनप्लमचे वाचन समांतर होण्यासाठी आणि प्रत्येक समांतर Ab Initio थ्रेडने ग्रीनप्लममधील डेटाचा स्वतःचा भाग वाचण्यासाठी, आम्हाला SQL क्वेरीच्या “कुठे” विभागात Ab Initio द्वारे समजलेले बांधकाम ठेवावे लागेल.

where ABLOCAL()

आणि ट्रान्सफॉर्मेशन डेटाबेसमधून पॅरामीटर रीडिंग निर्दिष्ट करून या बांधकामाचे मूल्य निर्धारित करा

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, जे असे काहीतरी संकलित करते

mod(sk,10)=3

, म्हणजे तुम्हाला प्रत्येक विभाजनासाठी स्पष्ट फिल्टरसह GreenPlum प्रॉम्प्ट करावे लागेल. इतर डेटाबेससाठी (Teradata, Oracle), Ab Initio हे समांतर स्वयंचलितपणे करू शकतात.

Hive आणि GreenPlum मधील Ab Initio कामगिरीची तुलना

Sberbank ने Hive च्या संबंधात आणि GreenPlum च्या संबंधात MDW-व्युत्पन्न आलेखांच्या कामगिरीची तुलना करण्यासाठी एक प्रयोग आयोजित केला. प्रयोगाचा एक भाग म्हणून, Hive च्या बाबतीत Ab Initio सारख्या क्लस्टरवर 5 नोड्स होते आणि GreenPlum च्या बाबतीत वेगळ्या क्लस्टरवर 4 नोड्स होते. त्या. ग्रीनप्लमच्या तुलनेत पोळ्याचा काही हार्डवेअर फायदा होता.

आम्ही Hive आणि GreenPlum मध्ये डेटा अपडेट करण्याचे समान कार्य करत असलेल्या ग्राफच्या दोन जोड्या विचारात घेतल्या. त्याच वेळी, MDW कॉन्फिगरेटरद्वारे व्युत्पन्न केलेले आलेख लॉन्च केले गेले:

• प्रारंभिक लोड + हायव्ह टेबलमध्ये यादृच्छिकपणे व्युत्पन्न केलेल्या डेटाचा वाढीव भार
• त्याच ग्रीनप्लम टेबलमध्ये यादृच्छिकपणे व्युत्पन्न केलेल्या डेटाचा प्रारंभिक लोड + वाढीव भार

दोन्ही प्रकरणांमध्ये (Hive आणि GreenPlum) त्यांनी एकाच Ab Initio क्लस्टरवर 10 समांतर थ्रेडवर अपलोड केले. Ab Initio ने HDFS मध्ये गणनेसाठी इंटरमीडिएट डेटा जतन केला (Ab Initio च्या संदर्भात, HDFS वापरून MFS लेआउट वापरला गेला). यादृच्छिकपणे व्युत्पन्न केलेल्या डेटाच्या एका ओळीने दोन्ही प्रकरणांमध्ये 200 बाइट्स व्यापले आहेत.

परिणाम असा होता:

पोळे:

पोळे मध्ये प्रारंभिक लोडिंग

पंक्ती घातल्या
6 000 000
60 000 000
600 000 000

प्रारंभ कालावधी
सेकंदात डाउनलोड
41
203
1 601

पोळे मध्ये वाढीव लोडिंग

मध्ये उपलब्ध पंक्तींची संख्या
प्रयोगाच्या सुरुवातीला लक्ष्य सारणी
6 000 000
60 000 000
600 000 000

लागू केलेल्या डेल्टा लाइनची संख्या
प्रयोगादरम्यान लक्ष्य सारणी
6 000 000
6 000 000
6 000 000

वाढीव कालावधी
सेकंदात डाउनलोड
88
299
2 541

ग्रीनप्लम:

ग्रीनप्लममध्ये प्रारंभिक लोडिंग

पंक्ती घातल्या
6 000 000
60 000 000
600 000 000

प्रारंभ कालावधी
सेकंदात डाउनलोड
72
360
3 631

ग्रीनप्लममध्ये वाढीव लोडिंग

मध्ये उपलब्ध पंक्तींची संख्या
प्रयोगाच्या सुरुवातीला लक्ष्य सारणी
6 000 000
60 000 000
600 000 000

लागू केलेल्या डेल्टा लाइनची संख्या
प्रयोगादरम्यान लक्ष्य सारणी
6 000 000
6 000 000
6 000 000

वाढीव कालावधी
सेकंदात डाउनलोड
159
199
321

आम्ही पाहतो की Hive आणि GreenPlum दोन्हीमध्ये प्रारंभिक लोडिंगचा वेग रेषीयपणे डेटाच्या प्रमाणात अवलंबून असतो आणि चांगल्या हार्डवेअरच्या कारणास्तव, ग्रीनप्लमपेक्षा Hive साठी तो थोडा वेगवान आहे.

Hive मधील वाढीव लोडिंग देखील लक्ष्य सारणीमध्ये उपलब्ध असलेल्या पूर्वी लोड केलेल्या डेटाच्या व्हॉल्यूमवर अवलंबून असते आणि व्हॉल्यूम जसजसा वाढत जातो तसतसे हळू हळू पुढे जाते. हे लक्ष्य सारणी पूर्णपणे पुन्हा लिहिण्याच्या गरजेमुळे होते. याचा अर्थ असा आहे की मोठ्या टेबलमध्ये लहान बदल लागू करणे हे पोळ्यासाठी योग्य वापराचे प्रकरण नाही.

ग्रीनप्लममधील वाढीव लोडिंग लक्ष्य तक्त्यामध्ये उपलब्ध असलेल्या पूर्वी लोड केलेल्या डेटाच्या व्हॉल्यूमवर कमकुवतपणे अवलंबून असते आणि वेगाने पुढे जाते. एसक्यूएल जॉइन्स आणि ग्रीनप्लम आर्किटेक्चरमुळे हे घडले, जे डिलीट ऑपरेशनला अनुमती देते.

म्हणून, ग्रीनप्लम डिलीट+इन्सर्ट पद्धत वापरून डेल्टा जोडते, परंतु Hive मध्ये डिलीट किंवा अपडेट ऑपरेशन्स नाहीत, त्यामुळे वाढीव अपडेट दरम्यान संपूर्ण डेटा अॅरे पूर्णपणे पुन्हा लिहिण्यास भाग पाडले गेले. ठळकपणे हायलाइट केलेल्या सेलची तुलना सर्वात प्रकट करणारी आहे, कारण ती संसाधन-केंद्रित डाउनलोड वापरण्यासाठी सर्वात सामान्य पर्यायाशी संबंधित आहे. आम्ही पाहतो की ग्रीनप्लमने या चाचणीत हायव्हला 8 वेळा हरवले.

ग्रीनप्लम सोबत रिअल टाइम मोडमध्ये काम करत आहे

या प्रयोगात, आम्ही जवळपास रिअल टाइममध्ये यादृच्छिकपणे व्युत्पन्न केलेल्या डेटाच्या भागांसह ग्रीनप्लम टेबल अपडेट करण्याच्या Ab Initio च्या क्षमतेची चाचणी करू. चला GreenPlum टेबल dev42_1_db_usl.TESTING_SUBJ_org_finval विचारात घेऊ या, ज्यासह आपण कार्य करू.

त्याच्यासोबत काम करण्यासाठी आम्ही तीन Ab Initio आलेख वापरू:

1) ग्राफ Create_test_data.mp – HDFS मध्ये 10 समांतर थ्रेड्समध्ये 6 पंक्तीसह डेटा फाइल्स तयार करतो. डेटा यादृच्छिक आहे, त्याची रचना आमच्या सारणीमध्ये समाविष्ट करण्यासाठी आयोजित केली आहे

2) आलेख mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – MDW ने 10 समांतर थ्रेड्समध्ये आमच्या टेबलमध्ये डेटा इन्सर्टेशन सुरू करून व्युत्पन्न केलेला आलेख (ग्राफ (1) द्वारे व्युत्पन्न केलेला चाचणी डेटा वापरला जातो)

3) आलेख mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset – MDW द्वारे व्युत्पन्न केलेला आलेख 10 समांतर थ्रेड्समध्ये आमच्या टेबलच्या वाढीव अपडेटसाठी नव्याने प्राप्त झालेल्या डेटाचा (डेल्टा) भाग वापरून (1 द्वारे व्युत्पन्न केलेला आलेख)

चला खालील स्क्रिप्ट NRT मोडमध्ये चालवू:

• 6 चाचणी ओळी व्युत्पन्न करा
• रिकाम्या टेबलमध्ये प्रारंभिक लोड 6 चाचणी पंक्ती घाला
• वाढीव डाउनलोड 5 वेळा पुन्हा करा
  • 6 चाचणी ओळी व्युत्पन्न करा
  • टेबलमध्ये 6 चाचणी पंक्तींचा वाढीव समावेश करा (या प्रकरणात, valid_to_ts कालबाह्यता वेळ जुन्या डेटावर सेट केला जातो आणि त्याच प्राथमिक कीसह अधिक अलीकडील डेटा घातला जातो)

ही परिस्थिती विशिष्ट व्यवसाय प्रणालीच्या वास्तविक ऑपरेशनच्या मोडचे अनुकरण करते - नवीन डेटाचा बराच मोठा भाग रिअल टाइममध्ये दिसून येतो आणि लगेच ग्रीनप्लममध्ये ओतला जातो.

आता स्क्रिप्टचा लॉग पाहू:

2020-06-04 11:49:11 वाजता Create_test_data.input.pset सुरू करा
2020-06-04 11:49:37 वाजता Create_test_data.input.pset पूर्ण करा
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:49:37 वाजता सुरू करा
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:50:42 वाजता समाप्त करा
2020-06-04 11:50:42 वाजता Create_test_data.input.pset सुरू करा
2020-06-04 11:51:06 वाजता Create_test_data.input.pset पूर्ण करा
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:51:06 वाजता सुरू करा
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:53:41 वाजता पूर्ण करा
2020-06-04 11:53:41 वाजता Create_test_data.input.pset सुरू करा
2020-06-04 11:54:04 वाजता Create_test_data.input.pset पूर्ण करा
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:54:04 वाजता सुरू करा
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:56:51 वाजता पूर्ण करा
2020-06-04 11:56:51 वाजता Create_test_data.input.pset सुरू करा
2020-06-04 11:57:14 वाजता Create_test_data.input.pset पूर्ण करा
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:57:14 वाजता सुरू करा
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:59:55 वाजता पूर्ण करा
2020-06-04 11:59:55 वाजता Create_test_data.input.pset सुरू करा
2020-06-04 12:00:23 वाजता Create_test_data.input.pset पूर्ण करा
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:00:23 वाजता सुरू करा
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:23 वाजता पूर्ण करा
2020-06-04 12:03:23 वाजता Create_test_data.input.pset सुरू करा
2020-06-04 12:03:49 वाजता Create_test_data.input.pset पूर्ण करा
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:49 वाजता सुरू करा
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:06:46 वाजता पूर्ण करा

हे चित्र बाहेर वळते:

आलेख
सुरवातीची वेळ
पूर्ण वेळ
लांबी

Create_test_data.input.pset
04.06.2020: 11: 49: 11
04.06.2020: 11: 49: 37
00:00:26

mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 49: 37
04.06.2020: 11: 50: 42
00:01:05

Create_test_data.input.pset
04.06.2020: 11: 50: 42
04.06.2020: 11: 51: 06
00:00:24

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 51: 06
04.06.2020: 11: 53: 41
00:02:35

Create_test_data.input.pset
04.06.2020: 11: 53: 41
04.06.2020: 11: 54: 04
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 54: 04
04.06.2020: 11: 56: 51
00:02:47

Create_test_data.input.pset
04.06.2020: 11: 56: 51
04.06.2020: 11: 57: 14
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 57: 14
04.06.2020: 11: 59: 55
00:02:41

Create_test_data.input.pset
04.06.2020: 11: 59: 55
04.06.2020: 12: 00: 23
00:00:28

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 12: 00: 23
04.06.2020: 12: 03: 23
00:03:00

Create_test_data.input.pset
04.06.2020: 12: 03: 23
04.06.2020: 12: 03: 49
00:00:26

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 12: 03: 49
04.06.2020: 12: 06: 46
00:02:57

आम्ही पाहतो की 6 वाढीव रेषा 000 मिनिटांत प्रक्रिया केल्या जातात, जे खूप जलद आहे.
लक्ष्य सारणीमधील डेटा खालीलप्रमाणे वितरीत केला गेला:

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

आलेख लाँच केल्‍याच्‍या वेळेस घातलेल्‍या डेटाचा पत्रव्यवहार तुम्ही पाहू शकता.
याचा अर्थ तुम्ही ग्रीनप्लममध्ये ग्रीनप्लममध्ये अतिशय उच्च वारंवारतेसह डेटाचे वाढीव लोडिंग चालवू शकता आणि हा डेटा ग्रीनप्लममध्ये समाविष्ट करण्याच्या उच्च गतीचे निरीक्षण करू शकता. अर्थात, सेकंदाला एकदा लाँच करणे शक्य होणार नाही, कारण कोणत्याही ETL टूलप्रमाणे Ab Initio ला लॉन्च झाल्यावर "स्टार्ट अप" होण्यासाठी वेळ लागतो.

निष्कर्ष

Ab Initio सध्या Sberbank येथे युनिफाइड सिमेंटिक डेटा लेयर (ESS) तयार करण्यासाठी वापरला जातो. या प्रकल्पामध्ये विविध बँकिंग व्यवसाय संस्थांच्या राज्याची एकत्रित आवृत्ती तयार करणे समाविष्ट आहे. विविध स्त्रोतांकडून माहिती मिळते, ज्याच्या प्रतिकृती हडूपवर तयार केल्या जातात. व्यवसायाच्या गरजांवर आधारित, डेटा मॉडेल तयार केले जाते आणि डेटा परिवर्तनांचे वर्णन केले जाते. Ab Initio ESN मध्ये माहिती लोड करते आणि डाउनलोड केलेला डेटा केवळ व्यवसायासाठीच स्वारस्य नसतो, परंतु डेटा मार्ट तयार करण्यासाठी स्त्रोत म्हणून देखील काम करतो. त्याच वेळी, उत्पादनाची कार्यक्षमता तुम्हाला रिसीव्हर (हाइव्ह, ग्रीनप्लम, टेराडेटा, ओरॅकल) म्हणून विविध प्रणाली वापरण्याची परवानगी देते, ज्यामुळे व्यवसायासाठी आवश्यक असलेल्या विविध स्वरूपांमध्ये सहजपणे डेटा तयार करणे शक्य होते.

Ab Initio च्या क्षमता विस्तृत आहेत; उदाहरणार्थ, समाविष्ट MDW फ्रेमवर्क बॉक्सच्या बाहेर तांत्रिक आणि व्यावसायिक ऐतिहासिक डेटा तयार करणे शक्य करते. डेव्हलपरसाठी, Ab Initio चाक पुन्हा शोधणे शक्य करते, परंतु अनेक विद्यमान कार्यात्मक घटक वापरणे शक्य करते, जे डेटासह कार्य करताना आवश्यक लायब्ररी असतात.

लेखक Sberbank SberProfi DWH/BigData च्या व्यावसायिक समुदायातील तज्ञ आहेत. SberProfi DWH/BigData व्यावसायिक समुदाय हडूप इकोसिस्टम, टेराडेटा, ओरॅकल डीबी, ग्रीनप्लम, तसेच BI टूल्स Qlik, SAP BO, Tableau इत्यादी क्षेत्रांमध्ये क्षमता विकसित करण्यासाठी जबाबदार आहे.

स्त्रोत: www.habr.com