જ્યારે તમારી પાસે Sber ભીંગડા હોય. Hive અને GreenPlum સાથે Ab Initio નો ઉપયોગ કરવો

થોડા સમય પહેલા, અમને બિગ ડેટા સાથે કામ કરવા માટે ETL ટૂલ પસંદ કરવાના પ્રશ્નનો સામનો કરવો પડ્યો હતો. અગાઉ વપરાયેલ ઇન્ફોર્મેટિકા BDM સોલ્યુશન મર્યાદિત કાર્યક્ષમતાને કારણે અમને અનુકૂળ ન હતું. તેનો ઉપયોગ સ્પાર્ક-સબમિટ આદેશો શરૂ કરવા માટેના માળખામાં ઘટાડી દેવામાં આવ્યો છે. બજારમાં એવા ઘણા એનાલોગ નહોતા જે, સૈદ્ધાંતિક રીતે, ડેટાના જથ્થા સાથે કામ કરવા સક્ષમ હતા જેની સાથે આપણે દરરોજ વ્યવહાર કરીએ છીએ. અંતે અમે Ab Initio પસંદ કર્યું. પાયલોટ પ્રદર્શન દરમિયાન, ઉત્પાદને ખૂબ જ ઊંચી ડેટા પ્રોસેસિંગ ઝડપ દર્શાવી હતી. રશિયનમાં Ab Initio વિશે લગભગ કોઈ માહિતી નથી, તેથી અમે Habré પરના અમારા અનુભવ વિશે વાત કરવાનું નક્કી કર્યું.

Ab Initio માં ઘણા ક્લાસિક અને અસામાન્ય પરિવર્તનો છે, જેનો કોડ તેની પોતાની PDL ભાષાનો ઉપયોગ કરીને વિસ્તૃત કરી શકાય છે. નાના વ્યવસાય માટે, આવા શક્તિશાળી સાધન ઓવરકિલ હોઈ શકે છે, અને તેની મોટાભાગની ક્ષમતાઓ ખર્ચાળ અને બિનઉપયોગી હોઈ શકે છે. પરંતુ જો તમારું સ્કેલ Sberov's ની નજીક છે, તો Ab Initio તમારા માટે રસપ્રદ હોઈ શકે છે.

તે વ્યવસાયને વૈશ્વિક સ્તરે જ્ઞાન એકઠું કરવામાં અને ઇકોસિસ્ટમ વિકસાવવામાં મદદ કરે છે, અને વિકાસકર્તાને ETL માં તેની કુશળતા સુધારવા, શેલમાં તેનું જ્ઞાન સુધારવા, PDL ભાષામાં નિપુણતા મેળવવાની તક પૂરી પાડે છે, લોડિંગ પ્રક્રિયાઓનું દ્રશ્ય ચિત્ર આપે છે અને વિકાસને સરળ બનાવે છે. કાર્યાત્મક ઘટકોની વિપુલતાને કારણે.

આ પોસ્ટમાં હું Ab Initio ની ક્ષમતાઓ વિશે વાત કરીશ અને Hive અને GreenPlum સાથે તેના કામની તુલનાત્મક લાક્ષણિકતાઓ પ્રદાન કરીશ.

• MDW ફ્રેમવર્કનું વર્ણન અને ગ્રીનપ્લમ માટે તેના કસ્ટમાઇઝેશન પર કામ કરો
• Hive અને GreenPlum વચ્ચે Ab Initio પ્રદર્શન સરખામણી
• રીઅલ ટાઇમ મોડમાં ગ્રીનપ્લમ સાથે અબ ઇનિટિયો પર કામ કરવું

આ ઉત્પાદનની કાર્યક્ષમતા ખૂબ વિશાળ છે અને અભ્યાસ કરવા માટે ઘણો સમય જરૂરી છે. જો કે, યોગ્ય કાર્ય કુશળતા અને યોગ્ય પ્રદર્શન સેટિંગ્સ સાથે, ડેટા પ્રોસેસિંગના પરિણામો ખૂબ પ્રભાવશાળી છે. વિકાસકર્તા માટે Ab Initio નો ઉપયોગ રસપ્રદ અનુભવ પ્રદાન કરી શકે છે. આ ETL ડેવલપમેન્ટ પર એક નવો ટેક છે, જે વિઝ્યુઅલ એન્વાયર્નમેન્ટ અને સ્ક્રિપ્ટ જેવી ભાષામાં ડાઉનલોડ ડેવલપમેન્ટ વચ્ચેનો હાઇબ્રિડ છે.

વ્યવસાયો તેમની ઇકોસિસ્ટમ વિકસાવી રહ્યા છે અને આ સાધન પહેલા કરતા વધુ કામમાં આવે છે. Ab Initio સાથે, તમે તમારા વર્તમાન વ્યવસાય વિશે જ્ઞાન એકઠા કરી શકો છો અને આ જ્ઞાનનો ઉપયોગ જૂના અને નવા વ્યવસાયોને વિસ્તારવા માટે કરી શકો છો. એબ ઇનિટિયોના વિકલ્પોમાં વિઝ્યુઅલ ડેવલપમેન્ટ એન્વાયર્નમેન્ટ્સ ઇન્ફોર્મેટિકા બીડીએમ અને નોન-વિઝ્યુઅલ ડેવલપમેન્ટ એન્વાયર્નમેન્ટ્સ અપાચે સ્પાર્કનો સમાવેશ થાય છે.

Ab Initio નું વર્ણન

Ab Initio, અન્ય ETL સાધનોની જેમ, ઉત્પાદનોનો સંગ્રહ છે.

Ab Initio GDE (ગ્રાફિકલ ડેવલપમેન્ટ એન્વાયર્નમેન્ટ) એ ડેવલપર માટે એક પર્યાવરણ છે જેમાં તે ડેટા ટ્રાન્સફોર્મેશનને ગોઠવે છે અને તીરના રૂપમાં ડેટા ફ્લો સાથે જોડે છે. આ કિસ્સામાં, પરિવર્તનના આવા સમૂહને ગ્રાફ કહેવામાં આવે છે:

કાર્યાત્મક ઘટકોના ઇનપુટ અને આઉટપુટ જોડાણો એ પોર્ટ છે અને તેમાં રૂપાંતરણની અંદર ગણતરી કરેલ ક્ષેત્રો છે. તેમના અમલના ક્રમમાં તીરોના સ્વરૂપમાં પ્રવાહ દ્વારા જોડાયેલા કેટલાક આલેખને પ્લાન કહેવામાં આવે છે.

ત્યાં ઘણા સો કાર્યાત્મક ઘટકો છે, જે ઘણું છે. તેમાંના ઘણા અત્યંત વિશિષ્ટ છે. Ab Initio માં ક્લાસિક ટ્રાન્સફોર્મેશનની ક્ષમતાઓ અન્ય ETL ટૂલ્સ કરતાં વધુ વ્યાપક છે. ઉદાહરણ તરીકે, Join પાસે બહુવિધ આઉટપુટ છે. ડેટાસેટ્સને કનેક્ટ કરવાના પરિણામ ઉપરાંત, તમે ઇનપુટ ડેટાસેટ્સના આઉટપુટ રેકોર્ડ્સ મેળવી શકો છો જેની કી કનેક્ટ કરી શકાતી નથી. તમે અસ્વીકાર, ભૂલો અને ટ્રાન્સફોર્મેશન ઑપરેશનનો લોગ પણ મેળવી શકો છો, જે ટેક્સ્ટ ફાઇલની જેમ જ કૉલમમાં વાંચી શકાય છે અને અન્ય ટ્રાન્સફોર્મેશન સાથે પ્રક્રિયા કરી શકાય છે:

અથવા, ઉદાહરણ તરીકે, તમે કોષ્ટકના રૂપમાં ડેટા રીસીવરને સાકાર કરી શકો છો અને તે જ કૉલમમાં તેમાંથી ડેટા વાંચી શકો છો.

મૂળ પરિવર્તનો છે. ઉદાહરણ તરીકે, સ્કેન ટ્રાન્સફોર્મેશનમાં વિશ્લેષણાત્મક કાર્યો જેવી જ કાર્યક્ષમતા છે. સ્વ-સ્પષ્ટીકરણ નામો સાથે પરિવર્તનો છે: ડેટા બનાવો, એક્સેલ વાંચો, સામાન્ય બનાવો, જૂથોમાં સૉર્ટ કરો, પ્રોગ્રામ ચલાવો, એસક્યુએલ ચલાવો, ડીબી સાથે જોડાઓ, વગેરે. આલેખ રન-ટાઇમ પરિમાણોનો ઉપયોગ કરી શકે છે, જેમાં પેરામીટર પસાર કરવાની સંભાવનાનો સમાવેશ થાય છે. ઓપરેટિંગ સિસ્ટમ ગ્રાફ પર પસાર કરાયેલા પેરામીટર્સના તૈયાર સેટ સાથેની ફાઇલોને પેરામીટર સેટ્સ (psets) કહેવામાં આવે છે.

અપેક્ષા મુજબ, Ab Initio GDE પાસે તેની પોતાની રીપોઝીટરી છે જેને EME (એન્ટરપ્રાઇઝ મેટા એન્વાયર્નમેન્ટ) કહેવાય છે. વિકાસકર્તાઓને કોડના સ્થાનિક સંસ્કરણો સાથે કામ કરવાની અને તેમના વિકાસને કેન્દ્રીય ભંડારમાં તપાસવાની તક મળે છે.

એક્ઝેક્યુશન દરમિયાન અથવા ગ્રાફને એક્ઝિક્યુટ કર્યા પછી, ટ્રાન્સફોર્મેશનને જોડતા કોઈપણ ફ્લો પર ક્લિક કરવું અને આ ટ્રાન્સફોર્મેશન વચ્ચે પસાર થયેલા ડેટાને જોવાનું શક્ય છે:

કોઈપણ સ્ટ્રીમ પર ક્લિક કરવું અને ટ્રેકિંગ વિગતો જોવાનું પણ શક્ય છે - રૂપાંતરણ કેટલા સમાંતરોમાં કામ કરે છે, કેટલી લાઈનો અને બાઈટ્સ કઈ સમાંતરમાં લોડ કરવામાં આવી હતી:

ગ્રાફના અમલીકરણને તબક્કાઓમાં વિભાજિત કરવું અને ચિહ્નિત કરવું શક્ય છે કે કેટલાક રૂપાંતરણો પ્રથમ (શૂન્ય તબક્કામાં), પછીના પ્રથમ તબક્કામાં, પછીના બીજા તબક્કામાં, વગેરે કરવાની જરૂર છે.

દરેક પરિવર્તન માટે, તમે કહેવાતા લેઆઉટ (જ્યાં તે ચલાવવામાં આવશે) પસંદ કરી શકો છો: સમાનતા વિના અથવા સમાંતર થ્રેડોમાં, જેની સંખ્યા સ્પષ્ટ કરી શકાય છે. તે જ સમયે, કામચલાઉ ફાઇલો કે જે Ab Initio બનાવે છે જ્યારે ટ્રાન્સફોર્મેશન ચાલી રહ્યું હોય ત્યારે સર્વર ફાઇલ સિસ્ટમ અને HDFS બંનેમાં મૂકી શકાય છે.

દરેક ટ્રાન્સફોર્મેશનમાં, ડિફોલ્ટ ટેમ્પલેટના આધારે, તમે તમારી પોતાની સ્ક્રિપ્ટ PDL માં બનાવી શકો છો, જે થોડી શેલ જેવી છે.

PDL સાથે, તમે પરિવર્તનની કાર્યક્ષમતાને વિસ્તૃત કરી શકો છો અને, ખાસ કરીને, તમે ગતિશીલ રીતે (રનટાઇમ પર) રનટાઇમ પરિમાણોના આધારે મનસ્વી કોડ ટુકડાઓ જનરેટ કરી શકો છો.

Ab Initio શેલ દ્વારા OS સાથે સારી રીતે વિકસિત એકીકરણ પણ ધરાવે છે. ખાસ કરીને, Sberbank linux ksh નો ઉપયોગ કરે છે. તમે શેલ સાથે ચલોનું વિનિમય કરી શકો છો અને તેનો ગ્રાફ પરિમાણો તરીકે ઉપયોગ કરી શકો છો. તમે શેલમાંથી Ab Initio ગ્રાફના અમલને કૉલ કરી શકો છો અને Ab Initioનું સંચાલન કરી શકો છો.

Ab Initio GDE ઉપરાંત, અન્ય ઘણી પ્રોડક્ટ્સ ડિલિવરીમાં સામેલ છે. ઓપરેટિંગ સિસ્ટમ કહેવાના દાવા સાથે તેની પોતાની કો>ઓપરેશન સિસ્ટમ છે. ત્યાં એક નિયંત્રણ>કેન્દ્ર છે જ્યાં તમે શેડ્યૂલ કરી શકો છો અને ડાઉનલોડ ફ્લોને મોનિટર કરી શકો છો. Ab Initio GDE પરવાનગી આપે છે તેના કરતાં વધુ આદિમ સ્તરે વિકાસ કરવા માટેના ઉત્પાદનો છે.

MDW ફ્રેમવર્કનું વર્ણન અને ગ્રીનપ્લમ માટે તેના કસ્ટમાઇઝેશન પર કામ કરો

તેના ઉત્પાદનોની સાથે, વિક્રેતા MDW (મેટાડેટા ડ્રિવન વેરહાઉસ) ઉત્પાદનનો પુરવઠો પૂરો પાડે છે, જે ડેટા વેરહાઉસ અથવા ડેટા વૉલ્ટને વસાવવાના વિશિષ્ટ કાર્યોમાં મદદ કરવા માટે રચાયેલ ગ્રાફ રૂપરેખાકાર છે.

તેમાં કસ્ટમ (પ્રોજેક્ટ-વિશિષ્ટ) મેટાડેટા પાર્સર્સ અને બોક્સની બહાર તૈયાર કોડ જનરેટર છે.

ઇનપુટ તરીકે, MDW એક ડેટા મોડેલ, ડેટાબેઝ (ઓરેકલ, ટેરાડેટા અથવા મધપૂડો) અને કેટલાક અન્ય સેટિંગ્સ સાથે જોડાણ સેટ કરવા માટે એક રૂપરેખાંકન ફાઇલ મેળવે છે. પ્રોજેક્ટ-વિશિષ્ટ ભાગ, ઉદાહરણ તરીકે, મોડેલને ડેટાબેઝમાં જમાવે છે. પ્રોડક્ટનો આઉટ-ઓફ-ધ-બોક્સ ભાગ મોડેલ કોષ્ટકોમાં ડેટા લોડ કરીને તેમના માટે ગ્રાફ અને રૂપરેખાંકન ફાઇલો બનાવે છે. આ કિસ્સામાં, ગ્રાફ્સ (અને psets) એકમોને અપડેટ કરવા પર પ્રારંભિક અને વધારાના કાર્યના વિવિધ મોડ્સ માટે બનાવવામાં આવે છે.

મધપૂડો અને RDBMS ના કેસોમાં, પ્રારંભિક અને વધારાના ડેટા અપડેટ્સ માટે વિવિધ ગ્રાફ જનરેટ કરવામાં આવે છે.

Hive ના કિસ્સામાં, આવનારા ડેલ્ટા ડેટાને Ab Initio દ્વારા જોડવામાં આવે છે તે ડેટા સાથે જોડાઓ જે અપડેટ પહેલા કોષ્ટકમાં હતો. MDW (Hive અને RDBMS બંનેમાં)માં ડેટા લોડર્સ ડેલ્ટામાંથી માત્ર નવો ડેટા જ દાખલ કરતા નથી, પરંતુ તે ડેટાની સુસંગતતાના સમયગાળાને પણ બંધ કરે છે જેની પ્રાથમિક કીને ડેલ્ટા પ્રાપ્ત થાય છે. વધુમાં, તમારે ડેટાના અપરિવર્તિત ભાગને ફરીથી લખવો પડશે. પરંતુ આ કરવું પડશે કારણ કે Hive માં ડિલીટ અથવા અપડેટ ઓપરેશન્સ નથી.

આરડીબીએમએસના કિસ્સામાં, ઇન્ક્રીમેન્ટલ ડેટા અપડેટ કરવા માટેના ગ્રાફ વધુ શ્રેષ્ઠ લાગે છે, કારણ કે આરડીબીએમએસમાં વાસ્તવિક અપડેટ કરવાની ક્ષમતા હોય છે.

પ્રાપ્ત ડેલ્ટા ડેટાબેઝમાં મધ્યવર્તી કોષ્ટકમાં લોડ થાય છે. આ પછી, ડેલ્ટા એ ડેટા સાથે જોડાયેલ છે જે અપડેટ પહેલા કોષ્ટકમાં હતો. અને આ જનરેટ કરેલ SQL ક્વેરીનો ઉપયોગ કરીને SQL નો ઉપયોગ કરીને કરવામાં આવે છે. આગળ, SQL કમાન્ડ ડીલીટ+ઇન્સર્ટનો ઉપયોગ કરીને, ડેલ્ટામાંથી નવો ડેટા ટાર્ગેટ ટેબલમાં દાખલ કરવામાં આવે છે અને જે ડેટાની પ્રાથમિક કીને ડેલ્ટા પ્રાપ્ત થાય છે તેની સુસંગતતાનો સમયગાળો બંધ છે.
અપરિવર્તિત ડેટાને ફરીથી લખવાની જરૂર નથી.

તેથી અમે નિષ્કર્ષ પર આવ્યા કે Hive ના કિસ્સામાં, MDW એ સમગ્ર કોષ્ટકને ફરીથી લખવાની હદ સુધી જવું પડશે કારણ કે Hive માં અપડેટ કાર્ય નથી. અને જ્યારે અપડેટની શોધ કરવામાં આવી હોય ત્યારે ડેટાને સંપૂર્ણપણે ફરીથી લખવા કરતાં વધુ સારું કંઈ નથી. RDBMS ના કિસ્સામાં, તેનાથી વિપરીત, ઉત્પાદનના નિર્માતાઓએ SQL ના ઉપયોગ માટે કોષ્ટકોના જોડાણ અને અપડેટને સોંપવું જરૂરી લાગ્યું.

Sberbank ખાતેના પ્રોજેક્ટ માટે, અમે GreenPlum માટે ડેટાબેઝ લોડરનું નવું, ફરીથી વાપરી શકાય તેવું અમલીકરણ બનાવ્યું છે. ટેરાડેટા માટે MDW જે વર્ઝન જનરેટ કરે છે તેના આધારે આ કરવામાં આવ્યું હતું. તે ટેરાડેટા હતું, ઓરેકલ નહીં, તે આ માટે શ્રેષ્ઠ અને નજીકનું હતું, કારણ કે... એક MPP સિસ્ટમ પણ છે. ટેરાડેટા અને ગ્રીનપ્લમની કામ કરવાની પદ્ધતિઓ, તેમજ સિન્ટેક્સ સમાન હોવાનું બહાર આવ્યું છે.

વિવિધ RDBMS વચ્ચે MDW- જટિલ તફાવતોના ઉદાહરણો નીચે મુજબ છે. ગ્રીનપ્લમમાં, ટેરાડેટાથી વિપરીત, કોષ્ટકો બનાવતી વખતે તમારે કલમ લખવાની જરૂર છે

distributed by

ટેરાડેટા લખે છે:

delete <table> all

, અને ગ્રીનપ્લમમાં તેઓ લખે છે

delete from <table>

ઓરેકલમાં, ઑપ્ટિમાઇઝેશન હેતુઓ માટે તેઓ લખે છે

delete from t where rowid in (<соединение t с дельтой>)

, અને ટેરાડેટા અને ગ્રીનપ્લમ લખે છે

delete from t where exists (select * from delta where delta.pk=t.pk)

અમે એ પણ નોંધીએ છીએ કે ગ્રીનપ્લમ સાથે કામ કરવા માટે Ab Initio માટે, Ab Initio ક્લસ્ટરના તમામ નોડ્સ પર ગ્રીનપ્લમ ક્લાયંટ ઇન્સ્ટોલ કરવું જરૂરી હતું. આ એટલા માટે છે કારણ કે અમે અમારા ક્લસ્ટરના તમામ નોડ્સમાંથી એકસાથે ગ્રીનપ્લમ સાથે કનેક્ટ થયા છીએ. અને ગ્રીનપ્લમમાંથી વાંચન સમાંતર થવા માટે અને દરેક સમાંતર Ab Initio થ્રેડ ગ્રીનપ્લમમાંથી ડેટાનો પોતાનો હિસ્સો વાંચવા માટે, અમારે SQL ક્વેરીઝના "જ્યાં" વિભાગમાં Ab Initio દ્વારા સમજાયેલ કન્સ્ટ્રક્શન મૂકવું પડશે.

where ABLOCAL()

અને ટ્રાન્સફોર્મેશન ડેટાબેઝમાંથી પેરામીટર રીડિંગનો ઉલ્લેખ કરીને આ બાંધકામની કિંમત નક્કી કરો

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, જે કંઈક આના જેવું કમ્પાઈલ કરે છે

mod(sk,10)=3

, એટલે કે તમારે ગ્રીનપ્લમને દરેક પાર્ટીશન માટે સ્પષ્ટ ફિલ્ટર જણાવવું પડશે. અન્ય ડેટાબેસેસ (ટેરાડેટા, ઓરેકલ) માટે, Ab Initio આ સમાંતર આપમેળે કરી શકે છે.

Hive અને GreenPlum વચ્ચે Ab Initio પ્રદર્શન સરખામણી

Sberbank એ Hive ના સંબંધમાં અને GreenPlum ના સંબંધમાં MDW-જનરેટ કરેલ ગ્રાફના પ્રદર્શનની સરખામણી કરવા માટે એક પ્રયોગ હાથ ધર્યો હતો. પ્રયોગના ભાગ રૂપે, Hive ના કિસ્સામાં Ab Initio જેવા જ ક્લસ્ટર પર 5 નોડ્સ હતા અને ગ્રીનપ્લમના કિસ્સામાં અલગ ક્લસ્ટર પર 4 નોડ્સ હતા. તે. ગ્રીનપ્લમ પર મધપૂડોને હાર્ડવેરનો થોડો ફાયદો હતો.

અમે Hive અને GreenPlum માં ડેટા અપડેટ કરવાનું સમાન કાર્ય કરતા ગ્રાફના બે જોડીને ધ્યાનમાં લીધા. તે જ સમયે, MDW રૂપરેખાકાર દ્વારા જનરેટ કરાયેલા ગ્રાફ્સ લોન્ચ કરવામાં આવ્યા હતા:

• પ્રારંભિક લોડ + મધપૂડો કોષ્ટકમાં રેન્ડમલી જનરેટ થયેલ ડેટાનો વધારો
• પ્રારંભિક લોડ + સમાન ગ્રીનપ્લમ ટેબલમાં રેન્ડમલી જનરેટ થયેલ ડેટાનો વધારો

બંને કિસ્સાઓમાં (Hive અને GreenPlum) તેઓ સમાન Ab Initio ક્લસ્ટર પર 10 સમાંતર થ્રેડો પર અપલોડ કરે છે. Ab Initio એ HDFS માં ગણતરીઓ માટે મધ્યવર્તી ડેટા સાચવ્યો (Ab Initioના સંદર્ભમાં, HDFS નો ઉપયોગ કરીને MFS લેઆઉટનો ઉપયોગ કરવામાં આવ્યો હતો). રેન્ડમલી જનરેટ થયેલ ડેટાની એક લાઇન બંને કિસ્સાઓમાં 200 બાઇટ્સ ધરાવે છે.

પરિણામ આના જેવું હતું:

મધપૂડો:

મધપૂડો માં પ્રારંભિક લોડિંગ

પંક્તિઓ શામેલ કરી
6 000 000
60 000 000
600 000 000

પ્રારંભ અવધિ
સેકન્ડોમાં ડાઉનલોડ થાય છે
41
203
1 601

મધપૂડો માં વધારો લોડિંગ

માં ઉપલબ્ધ પંક્તિઓની સંખ્યા
પ્રયોગની શરૂઆતમાં લક્ષ્ય ટેબલ
6 000 000
60 000 000
600 000 000

લાગુ કરેલ ડેલ્ટા લાઇનની સંખ્યા
પ્રયોગ દરમિયાન લક્ષ્ય કોષ્ટક
6 000 000
6 000 000
6 000 000

વૃદ્ધિની અવધિ
સેકન્ડોમાં ડાઉનલોડ થાય છે
88
299
2 541

ગ્રીનપ્લમ:

ગ્રીનપ્લમમાં પ્રારંભિક લોડિંગ

પંક્તિઓ શામેલ કરી
6 000 000
60 000 000
600 000 000

પ્રારંભ અવધિ
સેકન્ડોમાં ડાઉનલોડ થાય છે
72
360
3 631

ગ્રીનપ્લમમાં ઇન્ક્રીમેન્ટલ લોડિંગ

માં ઉપલબ્ધ પંક્તિઓની સંખ્યા
પ્રયોગની શરૂઆતમાં લક્ષ્ય ટેબલ
6 000 000
60 000 000
600 000 000

લાગુ કરેલ ડેલ્ટા લાઇનની સંખ્યા
પ્રયોગ દરમિયાન લક્ષ્ય કોષ્ટક
6 000 000
6 000 000
6 000 000

વૃદ્ધિની અવધિ
સેકન્ડોમાં ડાઉનલોડ થાય છે
159
199
321

અમે જોઈએ છીએ કે મધપૂડો અને ગ્રીનપ્લમ બંનેમાં પ્રારંભિક લોડિંગની ઝડપ રેખીય રીતે ડેટાના જથ્થા પર આધારિત છે અને, વધુ સારા હાર્ડવેરના કારણોસર, તે ગ્રીનપ્લમ કરતાં મધપૂડો માટે થોડી ઝડપી છે.

મધપૂડોમાં વધારાનું લોડિંગ લક્ષ્ય કોષ્ટકમાં ઉપલબ્ધ અગાઉ લોડ કરેલા ડેટાના વોલ્યુમ પર પણ રેખીય રીતે આધાર રાખે છે અને વોલ્યુમ વધે તેમ એકદમ ધીમેથી આગળ વધે છે. આ લક્ષ્ય કોષ્ટકને સંપૂર્ણપણે ફરીથી લખવાની જરૂરિયાતને કારણે થાય છે. આનો અર્થ એ છે કે વિશાળ કોષ્ટકોમાં નાના ફેરફારો લાગુ કરવા એ મધપૂડો માટે સારો ઉપયોગ નથી.

ગ્રીનપ્લમમાં વધારાનું લોડિંગ લક્ષ્ય કોષ્ટકમાં ઉપલબ્ધ અગાઉ લોડ કરેલા ડેટાના વોલ્યુમ પર નબળું આધાર રાખે છે અને ખૂબ ઝડપથી આગળ વધે છે. આ SQL Joins અને GreenPlum આર્કિટેક્ચરને આભારી છે, જે ડિલીટ ઓપરેશનને મંજૂરી આપે છે.

તેથી, ગ્રીનપ્લમ ડીલીટ+ઇન્સર્ટ મેથડનો ઉપયોગ કરીને ડેલ્ટા ઉમેરે છે, પરંતુ હાઇવમાં ડિલીટ કે અપડેટ ઓપરેશન્સ નથી, તેથી ઇન્ક્રીમેન્ટલ અપડેટ દરમિયાન સમગ્ર ડેટા એરેને સંપૂર્ણપણે ફરીથી લખવાની ફરજ પડી હતી. બોલ્ડમાં પ્રકાશિત કોષોની સરખામણી સૌથી વધુ છતી કરે છે, કારણ કે તે સંસાધન-સઘન ડાઉનલોડ્સનો ઉપયોગ કરવા માટેના સૌથી સામાન્ય વિકલ્પને અનુરૂપ છે. આપણે જોઈએ છીએ કે ગ્રીનપ્લમે આ ટેસ્ટમાં મધપૂડોને 8 વખત હરાવ્યો છે.

રીઅલ ટાઇમ મોડમાં ગ્રીનપ્લમ સાથે અબ ઇનિટિયો પર કામ કરવું

આ પ્રયોગમાં, અમે નજીકના વાસ્તવિક સમયમાં રેન્ડમલી જનરેટ થયેલા ડેટા સાથે ગ્રીનપ્લમ ટેબલને અપડેટ કરવાની Ab Initioની ક્ષમતાનું પરીક્ષણ કરીશું. ચાલો ગ્રીનપ્લમ ટેબલ dev42_1_db_usl.TESTING_SUBJ_org_finval ને ધ્યાનમાં લઈએ, જેની સાથે આપણે કામ કરીશું.

અમે તેની સાથે કામ કરવા માટે ત્રણ Ab Initio ગ્રાફનો ઉપયોગ કરીશું:

1) ગ્રાફ Create_test_data.mp - HDFS માં 10 સમાંતર થ્રેડોમાં 6 પંક્તિઓ સાથે ડેટા ફાઇલો બનાવે છે. ડેટા રેન્ડમ છે, તેનું માળખું અમારા કોષ્ટકમાં દાખલ કરવા માટે ગોઠવવામાં આવ્યું છે

2) ગ્રાફ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – 10 સમાંતર થ્રેડોમાં અમારા કોષ્ટકમાં ડેટા દાખલ કરીને MDW જનરેટ કરેલ ગ્રાફ (ગ્રાફ (1) દ્વારા જનરેટ થયેલ ટેસ્ટ ડેટાનો ઉપયોગ થાય છે)

આલેખ

ચાલો નીચેની સ્ક્રિપ્ટને NRT મોડમાં ચલાવીએ:

• 6 ટેસ્ટ લાઇન જનરેટ કરો
• ખાલી કોષ્ટકમાં 6 પરીક્ષણ પંક્તિઓ દાખલ કરવા માટે પ્રારંભિક લોડ કરો
• ઇન્ક્રીમેન્ટલ ડાઉનલોડ 5 વખત પુનરાવર્તન કરો
  • 6 ટેસ્ટ લાઇન જનરેટ કરો
  • કોષ્ટકમાં 6 પરીક્ષણ પંક્તિઓની વધારાની દાખલ કરો (આ કિસ્સામાં, valid_to_ts સમાપ્તિનો સમય જૂના ડેટા પર સેટ કરવામાં આવે છે અને તે જ પ્રાથમિક કી સાથે વધુ તાજેતરનો ડેટા દાખલ કરવામાં આવે છે)

આ દૃશ્ય ચોક્કસ બિઝનેસ સિસ્ટમના વાસ્તવિક સંચાલનના મોડનું અનુકરણ કરે છે - નવા ડેટાનો એકદમ મોટો ભાગ વાસ્તવિક સમયમાં દેખાય છે અને તરત જ ગ્રીનપ્લમમાં રેડવામાં આવે છે.

હવે ચાલો સ્ક્રિપ્ટનો લોગ જોઈએ:

2020-06-04 11:49:11 વાગ્યે Create_test_data.input.pset શરૂ કરો
2020-06-04 11:49:37 વાગ્યે Create_test_data.input.pset સમાપ્ત કરો
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:49:37 વાગ્યે શરૂ કરો
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:50:42 પર સમાપ્ત કરો
2020-06-04 11:50:42 વાગ્યે Create_test_data.input.pset શરૂ કરો
2020-06-04 11:51:06 વાગ્યે Create_test_data.input.pset સમાપ્ત કરો
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:51:06 વાગ્યે શરૂ કરો
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:53:41 પર સમાપ્ત કરો
2020-06-04 11:53:41 વાગ્યે Create_test_data.input.pset શરૂ કરો
2020-06-04 11:54:04 વાગ્યે Create_test_data.input.pset સમાપ્ત કરો
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:54:04 વાગ્યે શરૂ કરો
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:56:51 પર સમાપ્ત કરો
2020-06-04 11:56:51 વાગ્યે Create_test_data.input.pset શરૂ કરો
2020-06-04 11:57:14 વાગ્યે Create_test_data.input.pset સમાપ્ત કરો
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:57:14 વાગ્યે શરૂ કરો
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:59:55 પર સમાપ્ત કરો
2020-06-04 11:59:55 વાગ્યે Create_test_data.input.pset શરૂ કરો
2020-06-04 12:00:23 વાગ્યે Create_test_data.input.pset સમાપ્ત કરો
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:00:23 વાગ્યે શરૂ કરો
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:23 પર સમાપ્ત કરો
2020-06-04 12:03:23 વાગ્યે Create_test_data.input.pset શરૂ કરો
2020-06-04 12:03:49 વાગ્યે Create_test_data.input.pset સમાપ્ત કરો
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:49 વાગ્યે શરૂ કરો
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:06:46 પર સમાપ્ત કરો

આ ચિત્ર બહાર આવ્યું છે:

ગ્રાફ
પ્રારંભ સમય
સમય સમાપ્ત કરો
લંબાઈ

Create_test_data.input.pset
04.06.2020 11: 49: 11
04.06.2020 11: 49: 37
00:00:26

mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 49: 37
04.06.2020 11: 50: 42
00:01:05

Create_test_data.input.pset
04.06.2020 11: 50: 42
04.06.2020 11: 51: 06
00:00:24

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 51: 06
04.06.2020 11: 53: 41
00:02:35

Create_test_data.input.pset
04.06.2020 11: 53: 41
04.06.2020 11: 54: 04
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 54: 04
04.06.2020 11: 56: 51
00:02:47

Create_test_data.input.pset
04.06.2020 11: 56: 51
04.06.2020 11: 57: 14
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 57: 14
04.06.2020 11: 59: 55
00:02:41

Create_test_data.input.pset
04.06.2020 11: 59: 55
04.06.2020 12: 00: 23
00:00:28

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 00: 23
04.06.2020 12: 03: 23
00:03:00

Create_test_data.input.pset
04.06.2020 12: 03: 23
04.06.2020 12: 03: 49
00:00:26

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 03: 49
04.06.2020 12: 06: 46
00:02:57

આપણે જોઈએ છીએ કે 6 ઈન્ક્રીમેન્ટ લાઈનો 000 મિનિટમાં પ્રોસેસ થાય છે, જે એકદમ ઝડપી છે.
લક્ષ્ય કોષ્ટકમાંનો ડેટા નીચે મુજબ વિતરિત કરવામાં આવ્યો છે:

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

તમે આલેખ લોંચ કરવામાં આવ્યા હતા તે સમય માટે દાખલ કરેલ ડેટાનો પત્રવ્યવહાર જોઈ શકો છો.
આનો અર્થ એ છે કે તમે ખૂબ જ ઊંચી આવર્તન સાથે એબી ઇનિટિયોમાં ગ્રીનપ્લમમાં ડેટાનું ઇન્ક્રીમેન્ટલ લોડિંગ ચલાવી શકો છો અને આ ડેટાને ગ્રીનપ્લમમાં દાખલ કરવાની ઊંચી ઝડપનું અવલોકન કરી શકો છો. અલબત્ત, સેકન્ડમાં એકવાર લોન્ચ કરવું શક્ય બનશે નહીં, કારણ કે એબ ઇનિટિયો, કોઈપણ ETL ટૂલની જેમ, જ્યારે લોન્ચ કરવામાં આવે ત્યારે "સ્ટાર્ટ અપ" કરવા માટે સમયની જરૂર પડે છે.

નિષ્કર્ષ

Ab Initio હાલમાં Sberbank ખાતે યુનિફાઇડ સિમેન્ટીક ડેટા લેયર (ESS) બનાવવા માટે ઉપયોગમાં લેવાય છે. આ પ્રોજેક્ટમાં વિવિધ બેંકિંગ વ્યવસાયિક સંસ્થાઓના રાજ્યનું એકીકૃત સંસ્કરણ બનાવવાનો સમાવેશ થાય છે. માહિતી વિવિધ સ્ત્રોતોમાંથી આવે છે, જેની પ્રતિકૃતિઓ હડૂપ પર તૈયાર કરવામાં આવી છે. વ્યવસાયિક જરૂરિયાતોના આધારે, ડેટા મોડેલ તૈયાર કરવામાં આવે છે અને ડેટા ટ્રાન્સફોર્મેશનનું વર્ણન કરવામાં આવે છે. Ab Initio ESN માં માહિતી લોડ કરે છે અને ડાઉનલોડ કરેલ ડેટા ફક્ત વ્યવસાય માટે જ રસ ધરાવતો નથી, પરંતુ ડેટા માર્ટ્સ બનાવવા માટેના સ્ત્રોત તરીકે પણ કામ કરે છે. તે જ સમયે, ઉત્પાદનની કાર્યક્ષમતા તમને રીસીવર (હાઇવ, ગ્રીનપ્લમ, ટેરાડેટા, ઓરેકલ) તરીકે વિવિધ સિસ્ટમોનો ઉપયોગ કરવાની મંજૂરી આપે છે, જે વ્યવસાય માટે જરૂરી વિવિધ ફોર્મેટમાં સરળતાથી ડેટા તૈયાર કરવાનું શક્ય બનાવે છે.

Ab Initio ની ક્ષમતાઓ વિશાળ છે; ઉદાહરણ તરીકે, સમાવિષ્ટ MDW ફ્રેમવર્ક બોક્સની બહાર તકનીકી અને વ્યવસાયિક ઐતિહાસિક ડેટા બનાવવાનું શક્ય બનાવે છે. વિકાસકર્તાઓ માટે, Ab Initio વ્હીલને પુનઃશોધ કરવાનું શક્ય બનાવે છે, પરંતુ ઘણા વર્તમાન કાર્યાત્મક ઘટકોનો ઉપયોગ કરવાનું શક્ય બનાવે છે, જે ડેટા સાથે કામ કરતી વખતે આવશ્યક લાઇબ્રેરીઓ છે.

લેખક Sberbank SberProfi DWH/BigData ના વ્યાવસાયિક સમુદાયમાં નિષ્ણાત છે. SberProfi DWH/BigData વ્યાવસાયિક સમુદાય Hadoop ઇકોસિસ્ટમ, Teradata, Oracle DB, GreenPlum, તેમજ BI ટૂલ્સ Qlik, SAP BO, Tableau, વગેરે જેવા ક્ષેત્રોમાં સક્ષમતા વિકસાવવા માટે જવાબદાર છે.

સોર્સ: www.habr.com