ક્લાઉડેરા વિશે શું ખાસ છે અને તેને કેવી રીતે રાંધવું

વિતરિત કમ્પ્યુટિંગ અને મોટા ડેટા માટેનું બજાર, અનુસાર આંકડા, દર વર્ષે 18-19% વધી રહી છે. આનો અર્થ એ છે કે આ હેતુઓ માટે સોફ્ટવેર પસંદ કરવાનો મુદ્દો સુસંગત રહે છે. આ પોસ્ટમાં, અમે શા માટે વિતરિત કમ્પ્યુટિંગની જરૂર છે તેની સાથે શરૂઆત કરીશું, સોફ્ટવેર પસંદ કરવા વિશે વધુ વિગતમાં જઈશું, ક્લાઉડેરાનો ઉપયોગ કરીને Hadoopનો ઉપયોગ કરવા વિશે વાત કરીશું અને છેલ્લે હાર્ડવેર પસંદ કરવા વિશે વાત કરીશું અને તે વિવિધ રીતે પ્રભાવને કેવી રીતે અસર કરે છે.

શા માટે નિયમિત વ્યવસાયમાં વિતરિત કમ્પ્યુટિંગની જરૂર છે? અહીં બધું એક જ સમયે સરળ અને જટિલ છે. સરળ - કારણ કે મોટાભાગના કિસ્સાઓમાં અમે માહિતીના એકમ દીઠ પ્રમાણમાં સરળ ગણતરીઓ કરીએ છીએ. તે મુશ્કેલ છે કારણ કે આવી ઘણી બધી માહિતી છે. ઘણા. પરિણામે, તે જરૂરી છે 1000 થ્રેડોમાં ટેરાબાઇટ ડેટાની પ્રક્રિયા કરો. આમ, ઉપયોગના કિસ્સાઓ તદ્દન સાર્વત્રિક છે: ડેટાના એક પણ મોટા એરે પર મોટી સંખ્યામાં મેટ્રિક્સ ધ્યાનમાં લેવા જરૂરી હોય ત્યાં ગણતરીઓનો ઉપયોગ કરી શકાય છે.

તાજેતરના ઉદાહરણોમાંથી એક: પિઝેરિયા ચેઇન ડોડો પિઝા વ્યાખ્યાયિત ગ્રાહક ઓર્ડર ડેટાબેઝના વિશ્લેષણના આધારે, કે રેન્ડમ ટોપિંગ સાથે પિઝા પસંદ કરતી વખતે, વપરાશકર્તાઓ સામાન્ય રીતે ઘટકોના માત્ર છ મૂળભૂત સેટ વત્તા બે રેન્ડમ સાથે કામ કરે છે. આને અનુરૂપ, પિઝેરિયાએ તેની ખરીદીને સમાયોજિત કરી. વધુમાં, તે ઓર્ડરિંગ સ્ટેજ દરમિયાન વપરાશકર્તાઓને ઓફર કરવામાં આવતા વધારાના ઉત્પાદનોની વધુ સારી રીતે ભલામણ કરવામાં સક્ષમ હતી, જેનાથી નફો વધ્યો.

એક વધુ ઉદાહરણ: વિશ્લેષણ ઉત્પાદન વસ્તુઓએ H&M સ્ટોરને વેચાણના સ્તરને જાળવી રાખીને વ્યક્તિગત સ્ટોર્સમાં વર્ગીકરણ 40% ઘટાડવાની મંજૂરી આપી. નબળી વેચાતી વસ્તુઓને બાકાત રાખીને આ પ્રાપ્ત થયું હતું અને ગણતરીમાં મોસમને ધ્યાનમાં લેવામાં આવી હતી.

સાધન પસંદગી

આ પ્રકારના કમ્પ્યુટિંગ માટેનું ઉદ્યોગ માનક Hadoop છે. શા માટે? કારણ કે Hadoop એક ઉત્તમ, સારી રીતે દસ્તાવેજીકૃત માળખું છે (તે જ Habr આ વિષય પર ઘણા વિગતવાર લેખો પ્રદાન કરે છે), જે ઉપયોગિતાઓ અને પુસ્તકાલયોના સંપૂર્ણ સેટ સાથે છે. તમે સ્ટ્રક્ચર્ડ અને અનસ્ટ્રક્ચર્ડ બંને ડેટાના વિશાળ સેટ ઇનપુટ કરી શકો છો, અને સિસ્ટમ પોતે જ તેને કમ્પ્યુટિંગ પાવર વચ્ચે વિતરિત કરશે. તદુપરાંત, આ સમાન ક્ષમતાઓ કોઈપણ સમયે વધારી અથવા અક્ષમ કરી શકાય છે - ક્રિયામાં તે જ આડી માપનીયતા.

2017 માં, પ્રભાવશાળી કન્સલ્ટિંગ કંપની ગાર્ટનર તારણ કાઢ્યુંકે હડુપ ટૂંક સમયમાં અપ્રચલિત થઈ જશે. કારણ તદ્દન મામૂલી છે: વિશ્લેષકો માને છે કે કંપનીઓ ક્લાઉડ પર સામૂહિક રીતે સ્થળાંતર કરશે, કારણ કે ત્યાં તેઓ કમ્પ્યુટિંગ પાવરનો ઉપયોગ કરે છે તેમ ચૂકવણી કરી શકશે. બીજું મહત્વનું પરિબળ કે જે માનવામાં આવે છે કે હડુપને "દફનાવી" શકે છે તે તેની ગતિ છે. કારણ કે Apache Spark અથવા Google Cloud DataFlow જેવા વિકલ્પો MapReduce કરતા વધુ ઝડપી છે, જે Hadoop ને નીચે આપે છે.

Hadoop ઘણા સ્તંભો પર ટકે છે, જેમાંથી સૌથી વધુ નોંધપાત્ર છે MapReduce ટેક્નોલોજી (સર્વર વચ્ચે ગણતરી માટે ડેટા વિતરિત કરવાની સિસ્ટમ) અને HDFS ફાઇલ સિસ્ટમ. બાદમાં ખાસ કરીને ક્લસ્ટર ગાંઠો વચ્ચે વિતરિત માહિતી સંગ્રહિત કરવા માટે રચાયેલ છે: નિશ્ચિત કદના દરેક બ્લોકને અનેક ગાંઠો પર મૂકી શકાય છે, અને પ્રતિકૃતિ માટે આભાર, સિસ્ટમ વ્યક્તિગત ગાંઠોની નિષ્ફળતા માટે સ્થિતિસ્થાપક છે. ફાઇલ ટેબલને બદલે, નેમનોડ નામના વિશિષ્ટ સર્વરનો ઉપયોગ થાય છે.

નીચેનું ચિત્ર બતાવે છે કે MapReduce કેવી રીતે કાર્ય કરે છે. પ્રથમ તબક્કે, ડેટાને ચોક્કસ માપદંડ અનુસાર વિભાજિત કરવામાં આવે છે, બીજા તબક્કે તે કમ્પ્યુટિંગ શક્તિ અનુસાર વિતરિત કરવામાં આવે છે, અને ત્રીજા તબક્કે ગણતરી થાય છે.

MapReduce મૂળરૂપે Google દ્વારા તેની શોધ જરૂરિયાતો માટે બનાવવામાં આવ્યું હતું. પછી MapReduce મફત કોડ ગયો, અને અપાચેએ પ્રોજેક્ટ સંભાળ્યો. ઠીક છે, Google ધીમે ધીમે અન્ય ઉકેલો પર સ્થાનાંતરિત થયું. એક રસપ્રદ ટીડબિટ: Google પાસે હાલમાં Google ક્લાઉડ ડેટાફ્લો નામનો પ્રોજેક્ટ છે, જે તેના ઝડપી રિપ્લેસમેન્ટ તરીકે Hadoop પછીના આગળના પગલા તરીકે સ્થિત છે.

ઝીણવટભરી નજર બતાવે છે કે Google ક્લાઉડ ડેટાફ્લો અપાચે બીમની વિવિધતા પર આધારિત છે, જ્યારે અપાચે બીમમાં સારી રીતે દસ્તાવેજીકૃત અપાચે સ્પાર્ક ફ્રેમવર્કનો સમાવેશ થાય છે, જે આપણને ઉકેલોની લગભગ સમાન એક્ઝેક્યુશન સ્પીડ વિશે વાત કરવાની મંજૂરી આપે છે. સારું, Apache Spark HDFS ફાઇલ સિસ્ટમ પર સંપૂર્ણ રીતે કામ કરે છે, જે તેને Hadoop સર્વર્સ પર જમાવટ કરવાની મંજૂરી આપે છે.

Google ક્લાઉડ ડેટાફ્લો વિરુદ્ધ Hadoop અને Spark માટે દસ્તાવેજીકરણ અને તૈયાર સોલ્યુશન્સનું પ્રમાણ અહીં ઉમેરો અને ટૂલની પસંદગી સ્પષ્ટ થઈ જાય છે. તદુપરાંત, એન્જિનિયરો પોતાને માટે નક્કી કરી શકે છે કે કયો કોડ - હડુપ અથવા સ્પાર્ક માટે - તેઓએ કાર્ય, અનુભવ અને લાયકાત પર ધ્યાન કેન્દ્રિત કરીને ચલાવવું જોઈએ.

મેઘ અથવા સ્થાનિક સર્વર

ક્લાઉડમાં સામાન્ય સંક્રમણ તરફના વલણે હડુપ-એ-એ-સર્વિસ જેવા રસપ્રદ શબ્દને પણ જન્મ આપ્યો છે. આવી સ્થિતિમાં, કનેક્ટેડ સર્વર્સનું વહીવટ ખૂબ જ મહત્વપૂર્ણ બની ગયું છે. કારણ કે, અરે, તેની લોકપ્રિયતા હોવા છતાં, શુદ્ધ હડુપ એ ગોઠવવાનું એક મુશ્કેલ સાધન છે, કારણ કે ઘણું બધું હાથથી કરવાનું છે. ઉદાહરણ તરીકે, સર્વરોને વ્યક્તિગત રીતે ગોઠવો, તેમની કામગીરીનું નિરીક્ષણ કરો અને ઘણા પરિમાણોને કાળજીપૂર્વક ગોઠવો. સામાન્ય રીતે, કામ એક કલાપ્રેમી માટે છે અને ક્યાંક ગડબડ થવાની અથવા કંઈક ગુમ થવાની મોટી તક છે.

તેથી, વિવિધ વિતરણ કિટ્સ, જે શરૂઆતમાં અનુકૂળ જમાવટ અને વહીવટી સાધનોથી સજ્જ છે, ખૂબ જ લોકપ્રિય બની છે. સૌથી વધુ લોકપ્રિય વિતરણોમાંનું એક જે સ્પાર્કને સમર્થન આપે છે અને બધું સરળ બનાવે છે તે ક્લાઉડેરા છે. તેમાં પેઇડ અને ફ્રી વર્ઝન બંને છે - અને બાદમાં નોડ્સની સંખ્યાને મર્યાદિત કર્યા વિના તમામ મૂળભૂત કાર્યક્ષમતા ઉપલબ્ધ છે.

સેટઅપ દરમિયાન, Cloudera મેનેજર SSH મારફતે તમારા સર્વર્સ સાથે કનેક્ટ થશે. એક રસપ્રદ મુદ્દો: ઇન્સ્ટોલ કરતી વખતે, તે કહેવાતા દ્વારા હાથ ધરવામાં આવે તે સ્પષ્ટ કરવું વધુ સારું છે પાર્સલ: વિશિષ્ટ પેકેજો, જેમાંના દરેકમાં એકબીજા સાથે કામ કરવા માટે રૂપરેખાંકિત તમામ જરૂરી ઘટકો હોય છે. આવશ્યકપણે આ પેકેજ મેનેજરનું સુધારેલું સંસ્કરણ છે.

ઇન્સ્ટોલેશન પછી, અમે ક્લસ્ટર મેનેજમેન્ટ કન્સોલ પ્રાપ્ત કરીએ છીએ, જ્યાં તમે ક્લસ્ટર ટેલિમેટ્રી, ઇન્સ્ટોલ કરેલી સેવાઓ જોઈ શકો છો, ઉપરાંત તમે સંસાધનો ઉમેરી/દૂર કરી શકો છો અને ક્લસ્ટર ગોઠવણીને સંપાદિત કરી શકો છો.

પરિણામે, રોકેટની કેબિન જે તમને BigData ના ઉજ્જવળ ભવિષ્યમાં લઈ જશે તે તમારી સામે દેખાય છે. પરંતુ આપણે "ચાલો જઈએ" કહીએ તે પહેલાં, ચાલો હૂડ હેઠળ આગળ વધીએ.

હાર્ડવેર જરૂરિયાતો

તેની વેબસાઇટ પર, ક્લાઉડેરા વિવિધ સંભવિત રૂપરેખાંકનોનો ઉલ્લેખ કરે છે. સામાન્ય સિદ્ધાંતો કે જેના દ્વારા તેઓ બનાવવામાં આવ્યા છે તે ચિત્રમાં દર્શાવવામાં આવ્યા છે:

MapReduce આ આશાવાદી ચિત્રને અસ્પષ્ટ કરી શકે છે. જો તમે પાછલા વિભાગના ડાયાગ્રામને ફરીથી જોશો, તો તે સ્પષ્ટ થાય છે કે લગભગ તમામ કિસ્સાઓમાં, ડિસ્ક અથવા નેટવર્કમાંથી ડેટા વાંચતી વખતે મેપરેડ્યુસ જોબમાં અડચણ આવી શકે છે. ક્લાઉડેરા બ્લોગમાં પણ આની નોંધ લેવામાં આવી છે. પરિણામે, સ્પાર્ક દ્વારા સહિત કોઈપણ ઝડપી ગણતરીઓ માટે, જેનો ઉપયોગ રીઅલ-ટાઇમ ગણતરીઓ માટે થાય છે, I/O ઝડપ ખૂબ જ મહત્વપૂર્ણ છે. તેથી, હડૂપનો ઉપયોગ કરતી વખતે, ક્લસ્ટરમાં સંતુલિત અને ઝડપી મશીનો શામેલ હોય તે ખૂબ જ મહત્વપૂર્ણ છે, જે તેને હળવાશથી કહીએ તો, ક્લાઉડ ઇન્ફ્રાસ્ટ્રક્ચરમાં હંમેશા સુનિશ્ચિત થતું નથી.

લોડ વિતરણમાં સંતુલન શક્તિશાળી મલ્ટી-કોર CPU સાથે સર્વર પર ઓપનસ્ટૅક વર્ચ્યુઅલાઈઝેશનના ઉપયોગ દ્વારા પ્રાપ્ત થાય છે. ડેટા નોડ્સ તેમના પોતાના પ્રોસેસર સંસાધનો અને ચોક્કસ ડિસ્ક ફાળવવામાં આવે છે. અમારા નિર્ણયમાં એટોસ કોડેક્સ ડેટા લેક એન્જિન વ્યાપક વર્ચ્યુઅલાઈઝેશન પ્રાપ્ત થાય છે, જેના કારણે અમને કામગીરીની દ્રષ્ટિએ (નેટવર્ક ઈન્ફ્રાસ્ટ્રક્ચરની અસર ઓછી કરવામાં આવે છે) અને TCO (અતિરિક્ત ભૌતિક સર્વર્સ દૂર કરવામાં આવે છે) બંનેમાં ફાયદો થાય છે.

BullSequana S200 સર્વર્સનો ઉપયોગ કરતી વખતે, અમને ખૂબ જ સમાન લોડ મળે છે, જેમાં કેટલીક અડચણો નથી. ન્યૂનતમ રૂપરેખાંકનમાં 3 BullSequana S200 સર્વરનો સમાવેશ થાય છે, જેમાં પ્રત્યેકમાં બે JBODs છે, ઉપરાંત વધારાના S200s જેમાં ચાર ડેટા નોડ છે વૈકલ્પિક રીતે જોડાયેલા છે. અહીં ટેરાજેન પરીક્ષણમાં લોડનું ઉદાહરણ છે:

વિવિધ ડેટા વોલ્યુમો અને પ્રતિકૃતિ મૂલ્યો સાથેના પરીક્ષણો ક્લસ્ટર નોડ્સ વચ્ચે લોડ વિતરણના સંદર્ભમાં સમાન પરિણામો દર્શાવે છે. નીચે પ્રદર્શન પરીક્ષણો દ્વારા ડિસ્ક એક્સેસના વિતરણનો ગ્રાફ છે.

ગણતરીઓ 3 BullSequana S200 સર્વરની ન્યૂનતમ ગોઠવણીના આધારે કરવામાં આવી હતી. તેમાં 9 ડેટા નોડ્સ અને 3 માસ્ટર નોડ્સનો સમાવેશ થાય છે, તેમજ OpenStack વર્ચ્યુઅલાઈઝેશન પર આધારિત સુરક્ષાની જમાવટના કિસ્સામાં આરક્ષિત વર્ચ્યુઅલ મશીનોનો સમાવેશ થાય છે. ટેરાસોર્ટ પરીક્ષણ પરિણામ: બ્લોક કદ 512 MB પ્રતિકૃતિ પરિબળ એન્ક્રિપ્શન સાથે ત્રણની બરાબર 23,1 મિનિટ છે.

સિસ્ટમ કેવી રીતે વિસ્તૃત કરી શકાય? ડેટા લેક એન્જિન માટે વિવિધ પ્રકારના એક્સ્ટેન્શન્સ ઉપલબ્ધ છે:

• ડેટા નોડ્સ: દરેક 40 TB ઉપયોગી જગ્યા માટે
• GPU ઇન્સ્ટોલ કરવાની ક્ષમતા સાથે વિશ્લેષણાત્મક ગાંઠો
• વ્યવસાયની જરૂરિયાતોને આધારે અન્ય વિકલ્પો (ઉદાહરણ તરીકે, જો તમને કાફકા અને તેના જેવાની જરૂર હોય તો)

એટોસ કોડેક્સ ડેટા લેક એંજીન બંને સર્વર અને પૂર્વ-ઇન્સ્ટોલ કરેલ સોફ્ટવેરનો સમાવેશ કરે છે, જેમાં લાઇસન્સવાળી ક્લાઉડેરા કીટનો સમાવેશ થાય છે; Hadoop પોતે, RedHat Enterprise Linux કર્નલ પર આધારિત વર્ચ્યુઅલ મશીનો સાથે OpenStack, ડેટા પ્રતિકૃતિ અને બેકઅપ સિસ્ટમ્સ (બેકઅપ નોડ અને Cloudera BDR - બેકઅપ અને ડિઝાસ્ટર રિકવરીનો ઉપયોગ સહિત). Atos Codex Data Lake Engine એ પ્રમાણિત થવા માટેનું પ્રથમ વર્ચ્યુઅલાઈઝેશન સોલ્યુશન છે ક્લોડેરા.

જો તમને વિગતોમાં રસ હોય, તો અમને ટિપ્પણીઓમાં અમારા પ્રશ્નોના જવાબ આપવામાં આનંદ થશે.

સોર્સ: www.habr.com