ખૂબ મોટા ડેટાને સસ્તામાં અને ઝડપથી કેવી રીતે ખસેડવા, અપલોડ કરવા અને એકીકૃત કરવા? પુશડાઉન ઓપ્ટિમાઇઝેશન શું છે?

કોઈપણ મોટા ડેટા ઓપરેશન માટે ઘણી બધી કમ્પ્યુટિંગ શક્તિની જરૂર પડે છે. ડેટાબેઝમાંથી હડૂપમાં ડેટાના સામાન્ય ખસેડવામાં અઠવાડિયા લાગી શકે છે અથવા વિમાનની પાંખ જેટલો ખર્ચ થઈ શકે છે. રાહ જોવા અને પૈસા ખર્ચવા નથી માંગતા? વિવિધ પ્લેટફોર્મ પર ભારને સંતુલિત કરો. એક રીત પુશડાઉન ઓપ્ટિમાઇઝેશન છે.

મેં ઇન્ફોર્મેટિકા ઉત્પાદનોના વિકાસ અને વહીવટ માટે રશિયાના અગ્રણી ટ્રેનર, એલેક્સી એનાયેવને ઇન્ફોર્મેટિકા બિગ ડેટા મેનેજમેન્ટ (BDM) માં પુશડાઉન ઓપ્ટિમાઇઝેશન કાર્ય વિશે વાત કરવા કહ્યું. શું તમે ક્યારેય ઇન્ફોર્મેટિકા ઉત્પાદનો સાથે કામ કરવાનું શીખ્યા છો? મોટે ભાગે, તે એલેક્સી હતો જેણે તમને પાવરસેન્ટરની મૂળભૂત બાબતો કહી અને મેપિંગ કેવી રીતે બનાવવું તે સમજાવ્યું.

એલેક્સી એનાયેવ, ડીઆઈએસ ગ્રુપના તાલીમ વડા

પુશડાઉન શું છે?

તમારામાંથી ઘણા પહેલાથી જ Informatica Big Data Management (BDM) થી પરિચિત છો. ઉત્પાદન વિવિધ સ્રોતોમાંથી મોટા ડેટાને એકીકૃત કરી શકે છે, તેને વિવિધ સિસ્ટમો વચ્ચે ખસેડી શકે છે, તેને સરળ ઍક્સેસ પ્રદાન કરે છે, તમને તેને પ્રોફાઇલ કરવાની મંજૂરી આપે છે અને ઘણું બધું.
જમણા હાથમાં, BDM અજાયબીઓનું કામ કરી શકે છે: કાર્યો ઝડપથી અને ન્યૂનતમ કમ્પ્યુટિંગ સંસાધનો સાથે પૂર્ણ થશે.

શું તમે પણ તે ઈચ્છો છો? વિવિધ પ્લેટફોર્મ પર કમ્પ્યુટિંગ લોડનું વિતરણ કરવા માટે BDM માં પુશડાઉન સુવિધાનો ઉપયોગ કરવાનું શીખો. પુશડાઉન ટેક્નોલોજી તમને મેપિંગને સ્ક્રિપ્ટમાં ફેરવવાની અને આ સ્ક્રિપ્ટ ચાલશે તે વાતાવરણને પસંદ કરવાની મંજૂરી આપે છે. આ પસંદગી તમને વિવિધ પ્લેટફોર્મ્સની શક્તિઓને સંયોજિત કરવાની અને તેમનું મહત્તમ પ્રદર્શન પ્રાપ્ત કરવાની મંજૂરી આપે છે.

સ્ક્રિપ્ટ એક્ઝેક્યુશન પર્યાવરણને ગોઠવવા માટે, તમારે પુશડાઉન પ્રકાર પસંદ કરવાની જરૂર છે. સ્ક્રિપ્ટ સંપૂર્ણપણે Hadoop પર ચલાવી શકાય છે અથવા સ્ત્રોત અને સિંક વચ્ચે આંશિક રીતે વિતરિત કરી શકાય છે. ત્યાં 4 સંભવિત પુશડાઉન પ્રકારો છે. મેપિંગને સ્ક્રિપ્ટ (મૂળ)માં ફેરવવાની જરૂર નથી. મેપિંગ શક્ય તેટલું સ્ત્રોત (સ્રોત) અથવા સંપૂર્ણપણે સ્ત્રોત (સંપૂર્ણ) પર કરી શકાય છે. મેપિંગને હડુપ સ્ક્રિપ્ટમાં પણ ફેરવી શકાય છે (કોઈ નહીં).

પુશડાઉન ઓપ્ટિમાઇઝેશન

સૂચિબદ્ધ 4 પ્રકારોને અલગ અલગ રીતે જોડી શકાય છે - સિસ્ટમની ચોક્કસ જરૂરિયાતો માટે પુશડાઉનને ઑપ્ટિમાઇઝ કરી શકાય છે. ઉદાહરણ તરીકે, તેની પોતાની ક્ષમતાઓનો ઉપયોગ કરીને ડેટાબેઝમાંથી ડેટા કાઢવા માટે તે ઘણીવાર વધુ યોગ્ય છે. અને ડેટાને Hadoop નો ઉપયોગ કરીને રૂપાંતરિત કરવામાં આવશે, જેથી ડેટાબેઝ પોતે જ ઓવરલોડ ન થાય.

ચાલો કેસને ધ્યાનમાં લઈએ જ્યારે સ્રોત અને ગંતવ્ય બંને ડેટાબેઝમાં હોય, અને ટ્રાન્સફોર્મેશન એક્ઝેક્યુશન પ્લેટફોર્મ પસંદ કરી શકાય: સેટિંગ્સના આધારે, તે ઇન્ફોર્મેટિકા, ડેટાબેઝ સર્વર અથવા હડુપ હશે. આવા ઉદાહરણ તમને આ મિકેનિઝમના સંચાલનની તકનીકી બાજુને સૌથી સચોટ રીતે સમજવાની મંજૂરી આપશે. સ્વાભાવિક રીતે, વાસ્તવિક જીવનમાં, આ પરિસ્થિતિ ઊભી થતી નથી, પરંતુ કાર્યક્ષમતા દર્શાવવા માટે તે શ્રેષ્ઠ અનુકૂળ છે.

ચાલો એક ઓરેકલ ડેટાબેઝમાં બે કોષ્ટકો વાંચવા માટે મેપિંગ લઈએ. અને વાંચન પરિણામોને સમાન ડેટાબેઝમાં કોષ્ટકમાં રેકોર્ડ કરવા દો. મેપિંગ સ્કીમ આના જેવી હશે:

Informatica BDM 10.2.1 પર મેપિંગના સ્વરૂપમાં તે આના જેવું દેખાય છે:

પુશડાઉન પ્રકાર - મૂળ

જો આપણે પુશડાઉન નેટીવ પ્રકાર પસંદ કરીએ, તો મેપિંગ ઈન્ફોર્મેટિકા સર્વર પર કરવામાં આવશે. ડેટા ઓરેકલ સર્વરમાંથી વાંચવામાં આવશે, ઇન્ફોર્મેટિકા સર્વર પર ટ્રાન્સફર કરવામાં આવશે, ત્યાં ટ્રાન્સફોર્મ થશે અને Hadoop પર ટ્રાન્સફર થશે. બીજા શબ્દોમાં કહીએ તો, અમને સામાન્ય ETL પ્રક્રિયા મળશે.

પુશડાઉન પ્રકાર - સ્ત્રોત

સ્ત્રોત પ્રકાર પસંદ કરતી વખતે, અમને અમારી પ્રક્રિયાને ડેટાબેઝ સર્વર (DB) અને Hadoop વચ્ચે વિતરિત કરવાની તક મળે છે. જ્યારે આ સેટિંગ સાથે પ્રક્રિયા ચલાવવામાં આવે છે, ત્યારે કોષ્ટકોમાંથી ડેટા પુનઃપ્રાપ્ત કરવાની વિનંતીઓ ડેટાબેઝને મોકલવામાં આવશે. અને બાકીનું કામ Hadoop પર સ્ટેપ્સના રૂપમાં કરવામાં આવશે.
એક્ઝેક્યુશન ડાયાગ્રામ આના જેવો દેખાશે:

નીચે રનટાઇમ એન્વાયર્નમેન્ટ સેટ કરવાનું ઉદાહરણ છે.

આ કિસ્સામાં, મેપિંગ બે પગલામાં કરવામાં આવશે. તેની સેટિંગ્સમાં આપણે જોશું કે તે એક સ્ક્રિપ્ટમાં ફેરવાઈ ગયું છે જે સ્ત્રોતને મોકલવામાં આવશે. તદુપરાંત, કોમ્બિનિંગ કોષ્ટકો અને ડેટા ટ્રાન્સફોર્મિંગ સ્ત્રોત પર ઓવરરાઇડ ક્વેરી સ્વરૂપે કરવામાં આવશે.
નીચેના ચિત્રમાં, અમે BDM પર ઑપ્ટિમાઇઝ મેપિંગ અને સ્ત્રોત પર પુનઃવ્યાખ્યાયિત ક્વેરી જોઈએ છીએ.

આ રૂપરેખાંકનમાં Hadoop ની ભૂમિકા ડેટાના પ્રવાહને સંચાલિત કરવા માટે ઘટાડવામાં આવશે - તેને ગોઠવવામાં આવશે. ક્વેરીનું પરિણામ Hadoop પર મોકલવામાં આવશે. એકવાર વાંચન પૂર્ણ થઈ ગયા પછી, હડુપમાંથી ફાઇલ સિંક પર લખવામાં આવશે.

પુશડાઉન પ્રકાર - સંપૂર્ણ

જ્યારે તમે સંપૂર્ણ પ્રકાર પસંદ કરો છો, ત્યારે મેપિંગ સંપૂર્ણપણે ડેટાબેઝ ક્વેરી માં ફેરવાઈ જશે. અને વિનંતીનું પરિણામ Hadoop પર મોકલવામાં આવશે. આવી પ્રક્રિયાનો આકૃતિ નીચે પ્રસ્તુત છે.

એક ઉદાહરણ સેટઅપ નીચે બતાવેલ છે.

પરિણામે, અમને અગાઉના એક જેવું જ ઑપ્ટિમાઇઝ મેપિંગ મળશે. માત્ર એટલો જ તફાવત છે કે તમામ તર્ક રીસીવરને તેના નિવેશને ઓવરરાઇડ કરવાના સ્વરૂપમાં ટ્રાન્સફર કરવામાં આવે છે. ઑપ્ટિમાઇઝ મેપિંગનું ઉદાહરણ નીચે પ્રસ્તુત છે.

અહીં, અગાઉના કેસની જેમ, હડુપ કંડક્ટરની ભૂમિકા ભજવે છે. પરંતુ અહીં સ્રોત તેની સંપૂર્ણતામાં વાંચવામાં આવે છે, અને પછી ડેટા પ્રોસેસિંગ લોજિક રીસીવર સ્તરે કરવામાં આવે છે.

પુશડાઉન પ્રકાર નલ છે

ઠીક છે, છેલ્લો વિકલ્પ પુશડાઉન પ્રકાર છે, જેની અંદર આપણું મેપિંગ Hadoop સ્ક્રિપ્ટમાં ફેરવાઈ જશે.

ઑપ્ટિમાઇઝ મેપિંગ હવે આના જેવું દેખાશે:

અહીં સોર્સ ફાઈલોનો ડેટા સૌથી પહેલા Hadoop પર વાંચવામાં આવશે. પછી, તેના પોતાના માધ્યમનો ઉપયોગ કરીને, આ બે ફાઇલોને જોડવામાં આવશે. આ પછી, ડેટાને કન્વર્ટ કરીને ડેટાબેઝમાં અપલોડ કરવામાં આવશે.

પુશડાઉન ઓપ્ટિમાઇઝેશનના સિદ્ધાંતોને સમજીને, તમે મોટા ડેટા સાથે કામ કરવા માટે ઘણી પ્રક્રિયાઓને ખૂબ જ અસરકારક રીતે ગોઠવી શકો છો. આમ, તાજેતરમાં જ, એક મોટી કંપનીએ, માત્ર થોડા અઠવાડિયામાં, Hadoop માં સ્ટોરેજમાંથી મોટો ડેટા ડાઉનલોડ કર્યો, જે તેણે અગાઉ ઘણા વર્ષોથી એકત્રિત કર્યો હતો.

સોર્સ: www.habr.com