અમે કેવી રીતે અત્યંત કાર્યક્ષમ અને સસ્તું ડેટાલેકનું આયોજન કર્યું અને આવું શા માટે છે

અમે એક અદ્ભુત સમયમાં જીવીએ છીએ જ્યારે તમે ઘણા તૈયાર ઓપન સોર્સ ટૂલ્સને ઝડપથી અને સરળતાથી કનેક્ટ કરી શકો છો, સ્ટેકઓવરફ્લોની સલાહ અનુસાર, "બહુવિધ અક્ષરો" માં શોધ્યા વિના, તેમને તમારી "ચેતના બંધ" સાથે સેટ કરી શકો છો અને લોન્ચ કરી શકો છો. તેમને વ્યાપારી કામગીરીમાં. અને જ્યારે તમારે અપડેટ/વિસ્તૃત કરવાની જરૂર હોય અથવા કોઈ આકસ્મિક રીતે અમુક મશીનો રીબૂટ કરે છે - ત્યારે તમને ખ્યાલ આવે છે કે એક પ્રકારનું બાધ્યતા ખરાબ સ્વપ્ન શરૂ થઈ ગયું છે, બધું જ નાટકીય રીતે ઓળખી શકાય તેટલું જટિલ બની ગયું છે, કોઈ પાછું વળવાનું નથી, ભવિષ્ય અસ્પષ્ટ અને સુરક્ષિત છે, પ્રોગ્રામિંગને બદલે, મધમાખીઓનું સંવર્ધન કરો અને ચીઝ કરો.

એવું કંઈ નથી કે વધુ અનુભવી સાથીદારો, જેમના માથા બગ્સથી વિખરાયેલા છે અને તેથી પહેલેથી જ ભૂખરા છે, બિલ્ટ-ઇન સપોર્ટ સાથે "ફેશનેબલ ભાષાઓ"માં ડઝનેક સર્વર્સ પર "ક્યુબ્સ" માં "કન્ટેનર" ના પેકની અવિશ્વસનીય ઝડપી જમાવટનો વિચાર કરે છે. અસુમેળ નોન-બ્લોકિંગ I/O, નમ્રતાથી સ્મિત કરો. અને તેઓ ચુપચાપ “મેન પીએસ” ફરીથી વાંચવાનું ચાલુ રાખે છે, જ્યાં સુધી તેમની આંખોમાંથી લોહી ન નીકળે ત્યાં સુધી તેઓ “nginx” સોર્સ કોડમાં તપાસ કરે છે અને યુનિટ ટેસ્ટ લખે છે, લખે છે. સાથીદારો જાણે છે કે સૌથી રસપ્રદ બાબત ત્યારે આવશે જ્યારે "આ બધું" એક દિવસ નવા વર્ષની પૂર્વસંધ્યાએ રાત્રે દાવ પર મૂકાશે. અને તેમને યુનિક્સ, યાદ રાખેલ TCP/IP સ્ટેટ ટેબલ અને મૂળભૂત સોર્ટિંગ-સર્ચ અલ્ગોરિધમ્સની ઊંડી સમજણ દ્વારા જ મદદ મળશે. ચાઇમ્સ હડતાલ તરીકે સિસ્ટમને જીવંત બનાવવા માટે.

ઓહ હા, હું થોડો વિચલિત થયો, પરંતુ મને આશા છે કે હું અપેક્ષાની સ્થિતિ વ્યક્ત કરવામાં સફળ થયો છું.
આજે હું ડેટાલેક માટે અનુકૂળ અને સસ્તું સ્ટેક જમાવવાનો અમારો અનુભવ શેર કરવા માંગુ છું, જે સંપૂર્ણપણે અલગ માળખાકીય વિભાગો માટે કંપનીમાં મોટાભાગના વિશ્લેષણાત્મક કાર્યોને હલ કરે છે.

થોડા સમય પહેલા, અમે સમજમાં આવ્યા હતા કે કંપનીઓને ઉત્પાદન અને તકનીકી વિશ્લેષણ બંનેના ફળની વધુને વધુ જરૂર છે (મશીન લર્નિંગના સ્વરૂપમાં કેક પર આઈસિંગનો ઉલ્લેખ ન કરવો) અને વલણો અને જોખમોને સમજવા માટે - અમારે એકત્રિત કરવાની અને વિશ્લેષણ કરવાની જરૂર છે. વધુ અને વધુ મેટ્રિક્સ.

Bitrix24 માં મૂળભૂત તકનીકી વિશ્લેષણ

ઘણા વર્ષો પહેલા, Bitrix24 સેવાની શરૂઆત સાથે, અમે એક સરળ અને વિશ્વસનીય વિશ્લેષણાત્મક પ્લેટફોર્મ બનાવવા માટે સક્રિયપણે સમય અને સંસાધનોનું રોકાણ કર્યું હતું જે ઈન્ફ્રાસ્ટ્રક્ચરમાં સમસ્યાઓને ઝડપથી જોવામાં અને આગળના પગલાની યોજના બનાવવામાં મદદ કરશે. અલબત્ત, શક્ય તેટલા સરળ અને સમજી શકાય તેવા તૈયાર સાધનો લેવાની સલાહ આપવામાં આવી હતી. પરિણામે, વિશ્લેષણ અને વિઝ્યુલાઇઝેશન માટે નાગીઓસને મોનિટરિંગ અને મુનિન માટે પસંદ કરવામાં આવ્યા હતા. હવે અમારી પાસે નાગીઓસમાં હજારો ચેક છે, મુનિનમાં સેંકડો ચાર્ટ છે અને અમારા સાથીદારો દરરોજ તેનો સફળતાપૂર્વક ઉપયોગ કરે છે. મેટ્રિક્સ સ્પષ્ટ છે, ગ્રાફ સ્પષ્ટ છે, સિસ્ટમ ઘણા વર્ષોથી વિશ્વસનીય રીતે કામ કરી રહી છે અને તેમાં નિયમિતપણે નવા પરીક્ષણો અને ગ્રાફ ઉમેરવામાં આવે છે: જ્યારે અમે નવી સેવાને કાર્યરત કરીએ છીએ, ત્યારે અમે ઘણા પરીક્ષણો અને ગ્રાફ ઉમેરીએ છીએ. સારા નસીબ.

ફિંગર ઓન ધ પલ્સ - એડવાન્સ્ડ ટેકનિકલ એનાલિટિક્સ

"શક્ય તેટલી ઝડપથી" સમસ્યાઓ વિશે માહિતી મેળવવાની ઇચ્છાએ અમને સરળ અને સમજી શકાય તેવા સાધનો - પિનબા અને xhprof સાથે સક્રિય પ્રયોગો તરફ દોરી ગયા.

પિનબાએ અમને PHPમાં વેબ પેજના ભાગોની કામગીરીની ઝડપ વિશે UDP પેકેટમાં આંકડા મોકલ્યા, અને અમે MySQL સ્ટોરેજમાં ઑનલાઇન જોઈ શકીએ છીએ (Pinba ઝડપી ઇવેન્ટ એનાલિટિક્સ માટે તેના પોતાના MySQL એન્જિન સાથે આવે છે) સમસ્યાઓની ટૂંકી સૂચિ અને પ્રતિસાદ આપે છે. તેમને અને xhprof એ અમને ક્લાઈન્ટો પાસેથી સૌથી ધીમા PHP પેજના એક્ઝિક્યુશનના આલેખ એકત્ર કરવાની અને આનાથી શું થઈ શકે તેનું વિશ્લેષણ કરવાની મંજૂરી આપી - શાંતિથી, ચા રેડવી અથવા કંઈક મજબૂત.

થોડા સમય પહેલા, ટૂલકીટને રિવર્સ ઇન્ડેક્સીંગ એલ્ગોરિધમના આધારે બીજા એકદમ સરળ અને સમજી શકાય તેવા એન્જિન સાથે ફરીથી ભરવામાં આવી હતી, જે સુપ્રસિદ્ધ લ્યુસીન લાઇબ્રેરી - સ્થિતિસ્થાપક/કિબાનામાં સંપૂર્ણ રીતે લાગુ કરવામાં આવી હતી. લોગમાંની ઘટનાઓના આધારે ઇન્વર્સ લ્યુસીન ઇન્ડેક્સમાં દસ્તાવેજોના મલ્ટિ-થ્રેડેડ રેકોર્ડિંગનો સરળ વિચાર અને ફેસટ ડિવિઝનનો ઉપયોગ કરીને તેમના દ્વારા ઝડપી શોધ ખરેખર ઉપયોગી સાબિત થઈ.

કિબાનામાં "બકેટ" "ઉપરની તરફ વહેતી" અને હજુ સુધી સંપૂર્ણપણે ભૂલી ન શકાય તેવી રિલેશનલ બીજગણિતની પુનઃશોધિત ભાષા જેવા નિમ્ન-સ્તરના વિભાવનાઓ સાથે વિઝ્યુલાઇઝેશનના બદલે તકનીકી દેખાવ હોવા છતાં, આ સાધન નીચેના કાર્યોમાં અમને સારી રીતે મદદ કરવાનું શરૂ કર્યું:

• છેલ્લા કલાકમાં પી24 પોર્ટલ પર Bitrix1 ક્લાયન્ટમાં કેટલી PHP ભૂલો હતી અને કઈ ભૂલો હતી? સમજો, માફ કરો અને ઝડપથી સુધારો.
• જર્મનીમાં પાછલા 24 કલાકમાં પોર્ટલ પર કેટલા વિડિયો કૉલ્સ કરવામાં આવ્યા હતા, કઈ ગુણવત્તા સાથે અને ચેનલ/નેટવર્કમાં કોઈ મુશ્કેલીઓ હતી?
• સિસ્ટમ કાર્યક્ષમતા (PHP માટે અમારું C એક્સ્ટેંશન), નવીનતમ સેવા અપડેટમાં સ્રોતમાંથી સંકલિત અને ક્લાયન્ટ્સ માટે રોલઆઉટ કેટલી સારી રીતે કાર્ય કરે છે? ત્યાં segfaults છે?
• શું ગ્રાહક ડેટા PHP મેમરીમાં ફિટ છે? શું પ્રક્રિયાઓને ફાળવેલ મેમરીને ઓળંગવા વિશે કોઈ ભૂલો છે: "મેમરી બહાર"? શોધો અને તટસ્થ કરો.

અહીં એક નક્કર ઉદાહરણ છે. સંપૂર્ણ અને બહુ-સ્તરીય પરીક્ષણ હોવા છતાં, ક્લાયંટ, ખૂબ જ બિન-માનક કેસ અને ક્ષતિગ્રસ્ત ઇનપુટ ડેટા સાથે, એક હેરાન કરનાર અને અણધારી ભૂલ પ્રાપ્ત થઈ, એક સાયરન વાગ્યું અને તેને ઝડપથી ઠીક કરવાની પ્રક્રિયા શરૂ થઈ:

વધુમાં, કિબાના તમને ચોક્કસ ઇવેન્ટ્સ માટે સૂચનાઓ ગોઠવવાની મંજૂરી આપે છે, અને ટૂંકા સમયમાં કંપનીમાં સાધનનો ઉપયોગ વિવિધ વિભાગોના ડઝનેક કર્મચારીઓ દ્વારા થવાનું શરૂ થયું - તકનીકી સપોર્ટ અને વિકાસથી લઈને QA સુધી.

કંપનીની અંદરના કોઈપણ વિભાગની પ્રવૃત્તિને ટ્રૅક કરવા અને માપવા માટે અનુકૂળ બની ગઈ છે - સર્વર પર લૉગ્સનું મેન્યુઅલી પૃથ્થકરણ કરવાને બદલે, તમારે માત્ર એક વાર પાર્સિંગ લૉગ્સ સેટ કરવાની જરૂર છે અને આનંદ માણવા માટે તેને સ્થિતિસ્થાપક ક્લસ્ટર પર મોકલવાની જરૂર છે, ઉદાહરણ તરીકે, કિબાનામાં ચિંતન કરવું. છેલ્લા ચંદ્ર મહિના માટે 3-D પ્રિન્ટર પર મુદ્રિત બે માથાવાળા બિલાડીના બચ્ચાંની સંખ્યાનું ડેશબોર્ડ.

મૂળભૂત વ્યાપાર વિશ્લેષણ

દરેક વ્યક્તિ જાણે છે કે કંપનીઓમાં બિઝનેસ એનાલિટિક્સ ઘણીવાર હા, એક્સેલના અત્યંત સક્રિય ઉપયોગથી શરૂ થાય છે. પરંતુ મુખ્ય વસ્તુ એ છે કે તે ત્યાં સમાપ્ત થતું નથી. ક્લાઉડ-આધારિત Google Analytics પણ આગમાં બળતણ ઉમેરે છે - તમે ઝડપથી સારી સામગ્રીની આદત પાડવાનું શરૂ કરો છો.

અમારી સુમેળપૂર્વક વિકાસશીલ કંપનીમાં, મોટા ડેટા સાથે વધુ સઘન કાર્યના અહીં અને ત્યાં "પ્રબોધકો" દેખાવા લાગ્યા. વધુ ઊંડાણપૂર્વકના અને બહુપક્ષીય અહેવાલોની જરૂરિયાત નિયમિતપણે દેખાવા લાગી, અને વિવિધ વિભાગોના વ્યક્તિઓના પ્રયાસો દ્વારા, થોડા સમય પહેલા એક સરળ અને વ્યવહારુ ઉકેલનું આયોજન કરવામાં આવ્યું - ક્લિકહાઉસ અને પાવરબીઆઈનું સંયોજન.

લાંબા સમય સુધી, આ લવચીક ઉકેલે ઘણી મદદ કરી, પરંતુ ધીમે ધીમે સમજણ આવવા લાગી કે ક્લિકહાઉસ રબર નથી અને તેની મજાક ઉડાવી શકાતી નથી.

અહીં એ સારી રીતે સમજવું અગત્યનું છે કે ક્લિકહાઉસ, ડ્રુડની જેમ, વર્ટિકાની જેમ, એમેઝોન રેડશિફ્ટની જેમ (જે પોસ્ટગ્રેસ પર આધારિત છે), એકદમ અનુકૂળ એનાલિટિક્સ (સરવાળા, એકત્રીકરણ, કૉલમ દ્વારા ન્યૂનતમ-મહત્તમ અને થોડા સંભવિત જોડાણો) માટે ઑપ્ટિમાઇઝ કરાયેલ વિશ્લેષણાત્મક એન્જિન છે. ), કારણ કે અમારા માટે જાણીતા MySQL અને અન્ય (રો-ઓરિએન્ટેડ) ડેટાબેસેસથી વિપરીત રિલેશનલ કોષ્ટકોના કૉલમના કાર્યક્ષમ સ્ટોરેજ માટે આયોજિત.

સારમાં, ક્લિકહાઉસ એ માત્ર એક વધુ કેપેસિયસ "ડેટાબેઝ" છે, જેમાં પોઈન્ટ-બાય-પોઈન્ટ નિવેશ ખૂબ જ અનુકૂળ નથી (તે રીતે તે હેતુપૂર્વક છે, બધું બરાબર છે), પરંતુ ડેટા સાથે કામ કરવા માટે સુખદ એનાલિટિક્સ અને રસપ્રદ શક્તિશાળી કાર્યોનો સમૂહ. હા, તમે ક્લસ્ટર પણ બનાવી શકો છો - પરંતુ તમે સમજો છો કે માઇક્રોસ્કોપ વડે નખને હથોડી મારવી એ સંપૂર્ણપણે યોગ્ય નથી અને અમે અન્ય ઉકેલો શોધવાનું શરૂ કર્યું.

અજગર અને વિશ્લેષકોની માંગ

અમારી કંપનીમાં ઘણા ડેવલપર્સ છે જે PHP, JavaScript, C#, C/C++, Java, Go, Rust, Python, Bash માં લગભગ દરરોજ 10-20 વર્ષથી કોડ લખે છે. એવા ઘણા અનુભવી સિસ્ટમ એડમિનિસ્ટ્રેટર્સ પણ છે જેમણે એક કરતાં વધુ એકદમ અવિશ્વસનીય આપત્તિનો અનુભવ કર્યો છે જે આંકડાશાસ્ત્રના નિયમોમાં બંધબેસતું નથી (ઉદાહરણ તરીકે, જ્યારે રેઇડ -10 માં મોટાભાગની ડિસ્ક વીજળીની તીવ્ર હડતાલથી નાશ પામે છે). આવા સંજોગોમાં, લાંબા સમય સુધી તે સ્પષ્ટ ન હતું કે "અજગર વિશ્લેષક" શું છે. Python એ PHP જેવું છે, માત્ર નામ થોડું લાંબુ છે અને દુભાષિયાના સ્ત્રોત કોડમાં મન-બદલતા પદાર્થોના થોડા ઓછા નિશાન છે. જો કે, જેમ જેમ વધુ ને વધુ વિશ્લેષણાત્મક અહેવાલો બનાવવામાં આવ્યા તેમ તેમ, અનુભવી વિકાસકર્તાઓ નમ્પી, પાંડા, મેટપ્લોટલિબ, સીબોર્ન જેવા સાધનોમાં સાંકડી વિશેષતાના મહત્વને વધુને વધુ સમજવા લાગ્યા.
નિર્ણાયક ભૂમિકા, મોટે ભાગે, "લોજિસ્ટિક રીગ્રેસન" શબ્દોના સંયોજનથી કર્મચારીઓના અચાનક બેહોશ અને હા, હા, પિસ્પાર્કનો ઉપયોગ કરીને મોટા ડેટા પર અસરકારક રિપોર્ટિંગના પ્રદર્શન દ્વારા ભજવવામાં આવી હતી.

અપાચે સ્પાર્ક, તેના કાર્યાત્મક દાખલા કે જેના પર રિલેશનલ બીજગણિત સંપૂર્ણ રીતે બંધબેસે છે, અને તેની ક્ષમતાઓએ MySQL થી ટેવાયેલા વિકાસકર્તાઓ પર એવી છાપ પાડી કે અનુભવી વિશ્લેષકો સાથે રેન્કને મજબૂત કરવાની જરૂરિયાત દિવસેને દિવસે સ્પષ્ટ થઈ ગઈ.

અપાચે સ્પાર્ક/હેડૂપના આગળના પ્રયાસો અને જે સ્ક્રિપ્ટ મુજબ બરાબર ન થયું

જો કે, તે ટૂંક સમયમાં સ્પષ્ટ થઈ ગયું કે સ્પાર્ક સાથે કંઈક વ્યવસ્થિત રીતે બરાબર નથી, અથવા તમારા હાથને વધુ સારી રીતે ધોવા માટે તે જરૂરી હતું. જો Hadoop/MapReduce/Lucene સ્ટેક એકદમ અનુભવી પ્રોગ્રામરો દ્વારા બનાવવામાં આવ્યું હતું, જે સ્પષ્ટ છે કે જો તમે જાવામાં સોર્સ કોડ અથવા લ્યુસીનમાં ડગ કટિંગના વિચારોને નજીકથી જોશો, તો સ્પાર્ક, અચાનક, વિચિત્ર ભાષા સ્કેલામાં લખાયેલ છે, જે છે. વ્યવહારિકતાના દૃષ્ટિકોણથી ખૂબ જ વિવાદાસ્પદ અને હાલમાં વિકાસશીલ નથી. અને ઓછી કામગીરી માટે મેમરી ફાળવણી સાથે અતાર્કિક અને બહુ પારદર્શક ન હોવાને કારણે સ્પાર્ક ક્લસ્ટર પરની ગણતરીમાં નિયમિત ઘટાડો (ઘણી કી એક જ સમયે આવે છે)એ તેની આસપાસ એવી કોઈ વસ્તુનો પ્રભામંડળ બનાવ્યો છે જેમાં વૃદ્ધિ માટે જગ્યા છે. વધુમાં, મોટી સંખ્યામાં વિચિત્ર ખુલ્લા બંદરો, સૌથી અગમ્ય સ્થળોએ ઉગતી અસ્થાયી ફાઇલો અને જાર પર નિર્ભરતાના નરકના કારણે પરિસ્થિતિ વધુ વણસી હતી - જેના કારણે સિસ્ટમ સંચાલકોને એક લાગણી હતી જે બાળપણથી જાણીતી હતી: ઉગ્ર તિરસ્કાર (અથવા કદાચ તેઓને સાબુથી હાથ ધોવાની જરૂર હતી).

પરિણામે, અમે અપાચે સ્પાર્ક (સ્પાર્ક સ્ટ્રીમિંગ, સ્પાર્ક એસક્યુએલ સહિત) અને હડુપ ઇકોસિસ્ટમ (અને તેથી વધુ) નો સક્રિયપણે ઉપયોગ કરતા કેટલાક આંતરિક વિશ્લેષણાત્મક પ્રોજેક્ટ્સ “બચી” ગયા છીએ. એ હકીકત હોવા છતાં કે સમય જતાં અમે "તે" ને ખૂબ સારી રીતે તૈયાર કરવાનું અને મોનિટર કરવાનું શીખ્યા, અને ડેટાના સ્વભાવમાં ફેરફાર અને સમાન આરડીડી હેશિંગના અસંતુલનને કારણે "તે" વ્યવહારીક રીતે અચાનક તૂટી પડવાનું બંધ થઈ ગયું, પહેલેથી જ તૈયાર કંઈક લેવાની ઇચ્છા. , મેઘમાં ક્યાંક અપડેટ અને વહીવટ વધુ મજબૂત અને મજબૂત થયો. આ સમયે અમે એમેઝોન વેબ સેવાઓની તૈયાર ક્લાઉડ એસેમ્બલીનો ઉપયોગ કરવાનો પ્રયાસ કર્યો - ઇએમઆર અને, ત્યારબાદ, તેનો ઉપયોગ કરીને સમસ્યાઓ હલ કરવાનો પ્રયાસ કર્યો. EMR એ એમેઝોન દ્વારા ઇકોસિસ્ટમના વધારાના સોફ્ટવેર સાથે તૈયાર કરાયેલ અપાચે સ્પાર્ક છે, જેમ કે ક્લાઉડેરા/હોર્ટનવર્કસ બિલ્ડ કરે છે.

વિશ્લેષણ માટે રબર ફાઇલ સ્ટોરેજની તાત્કાલિક જરૂરિયાત છે

શરીરના વિવિધ ભાગોમાં દાઝવા સાથે "રસોઈ" હાડૂપ/સ્પાર્કનો અનુભવ નિરર્થક ન હતો. એકલ, સસ્તું અને વિશ્વસનીય ફાઇલ સ્ટોરેજ બનાવવાની જરૂરિયાત કે જે હાર્ડવેર નિષ્ફળતાઓ માટે પ્રતિરોધક હશે અને જેમાં ફાઇલોને વિવિધ સિસ્ટમોમાંથી વિવિધ ફોર્મેટમાં સંગ્રહિત કરવી અને આ ડેટામાંથી અહેવાલો માટે કાર્યક્ષમ અને સમય-કાર્યક્ષમ નમૂનાઓ બનાવવાનું શક્ય બનશે. ચોખ્ખુ.

હું એ પણ ઇચ્છતો હતો કે આ પ્લેટફોર્મના સોફ્ટવેરને અપડેટ કરવું એ 20-પાનાના જાવા ટ્રેસ વાંચવા અને સ્પાર્ક હિસ્ટ્રી સર્વર અને બેકલાઇટ મેગ્નિફાઇંગ ગ્લાસનો ઉપયોગ કરીને ક્લસ્ટરના કિલોમીટર-લાંબા વિગતવાર લૉગ્સનું વિશ્લેષણ કરીને નવા વર્ષના દુઃસ્વપ્નમાં ફેરવાઈ ન જાય. હું એક સરળ અને પારદર્શક ટૂલ મેળવવા માંગતો હતો જેને હૂડ હેઠળ નિયમિત ડાઇવિંગની જરૂર ન હોય જો ડેવલપરની માનક MapReduce વિનંતી એક્ઝિક્યુટ કરવાનું બંધ કરી દે જ્યારે રીડ્યુડ ડેટા વર્કર ખૂબ જ સારી રીતે પસંદ ન કરેલા સ્રોત ડેટા પાર્ટીશન અલ્ગોરિધમને કારણે મેમરીમાંથી બહાર નીકળી જાય.

શું એમેઝોન S3 ડેટાલેક માટે ઉમેદવાર છે?

Hadoop/MapReduce સાથેના અનુભવે અમને શીખવ્યું કે અમને સ્કેલેબલ, વિશ્વસનીય ફાઇલ સિસ્ટમ અને તેની ટોચ પર સ્કેલેબલ કામદારોની જરૂર છે, ડેટાની નજીક "આવવું" જેથી કરીને ડેટા નેટવર્ક પર ન જાય. કામદારો વિવિધ ફોર્મેટમાં ડેટા વાંચવા માટે સક્ષમ હોવા જોઈએ, પરંતુ બિનજરૂરી માહિતીને પ્રાધાન્યમાં વાંચવી જોઈએ નહીં અને કામદારો માટે અનુકૂળ ફોર્મેટમાં અગાઉથી ડેટા સ્ટોર કરવામાં સક્ષમ હોવા જોઈએ.

ફરી એકવાર, મૂળભૂત વિચાર. સિંગલ ક્લસ્ટર એનાલિટીકલ એન્જિનમાં મોટા ડેટાને "રેડવાની" કોઈ ઈચ્છા નથી, જે વહેલા કે પછીના સમયમાં ગૂંગળાવી નાખશે અને તમારે તેને નીચ બનાવવું પડશે. હું ફાઈલો, માત્ર ફાઈલો, એક સમજી શકાય તેવા ફોર્મેટમાં સંગ્રહિત કરવા માંગુ છું અને વિવિધ પરંતુ સમજી શકાય તેવા સાધનોનો ઉપયોગ કરીને તેના પર અસરકારક વિશ્લેષણાત્મક પ્રશ્નો કરવા માંગુ છું. અને વિવિધ ફોર્મેટમાં વધુ અને વધુ ફાઇલો હશે. અને એન્જિનને નહીં, પરંતુ સ્રોત ડેટાને શાર્ડ કરવું વધુ સારું છે. અમને એક એક્સટેન્સિબલ અને સાર્વત્રિક ડેટાલેકની જરૂર છે, અમે નક્કી કર્યું...

જો તમે Hadoop માંથી તમારી પોતાની ચોપ્સ તૈયાર કર્યા વિના, પરિચિત અને જાણીતા સ્કેલેબલ ક્લાઉડ સ્ટોરેજ Amazon S3 માં ફાઇલો સ્ટોર કરો તો શું?

તે સ્પષ્ટ છે કે વ્યક્તિગત ડેટા "ઓછો" છે, પરંતુ જો આપણે તેને ત્યાં લઈ જઈએ અને "તેને અસરકારક રીતે ચલાવીએ" તો અન્ય ડેટા વિશે શું?

એમેઝોન વેબ સેવાઓનું ક્લસ્ટર-બિગડેટા-એનાલિટિક્સ ઇકોસિસ્ટમ - ખૂબ જ સરળ શબ્દોમાં

AWS સાથેના અમારા અનુભવને ધ્યાનમાં રાખીને, Apache Hadoop/MapReduce ત્યાં વિવિધ ચટણીઓ હેઠળ લાંબા સમયથી સક્રિયપણે ઉપયોગમાં લેવાય છે, ઉદાહરણ તરીકે DataPipeline સેવામાં (હું મારા સાથીદારોને ઈર્ષ્યા કરું છું, તેઓએ તેને યોગ્ય રીતે કેવી રીતે તૈયાર કરવું તે શીખ્યા). અહીં અમે DynamoDB કોષ્ટકોમાંથી વિવિધ સેવાઓમાંથી બેકઅપ સેટ કરીએ છીએ:


અને તેઓ એમ્બેડેડ Hadoop/MapReduce ક્લસ્ટરો જેવા કે ક્લોકવર્ક પર ઘણા વર્ષોથી નિયમિતપણે ચાલી રહ્યા છે. "તેને સેટ કરો અને ભૂલી જાઓ":

તમે વિશ્લેષકો માટે ક્લાઉડમાં જ્યુપિટર લેપટોપ સેટ કરીને અને AI મોડલ્સને યુદ્ધમાં તાલીમ આપવા અને જમાવવા માટે AWS SageMaker સેવાનો ઉપયોગ કરીને ડેટા શેતાનવાદમાં અસરકારક રીતે જોડાઈ શકો છો. તે અમારા માટે જેવો દેખાય છે તે અહીં છે:

અને હા, તમે ક્લાઉડમાં તમારા માટે અથવા વિશ્લેષક માટે એક લેપટોપ પસંદ કરી શકો છો અને તેને Hadoop/Spark ક્લસ્ટર સાથે જોડી શકો છો, ગણતરીઓ કરો અને પછી બધું નીચે ખીલી શકો છો:

વ્યક્તિગત વિશ્લેષણાત્મક પ્રોજેક્ટ્સ માટે ખરેખર અનુકૂળ છે અને કેટલાક માટે અમે મોટા પાયે ગણતરીઓ અને વિશ્લેષણો માટે EMR સેવાનો સફળતાપૂર્વક ઉપયોગ કર્યો છે. ડેટાલેક માટે સિસ્ટમ સોલ્યુશન વિશે શું, તે કામ કરશે? આ ક્ષણે અમે આશા અને નિરાશાની ધાર પર હતા અને શોધ ચાલુ રાખી.

AWS ગુંદર - સ્ટેરોઇડ્સ પર સરસ રીતે પેક કરેલ અપાચે સ્પાર્ક

તે બહાર આવ્યું છે કે AWS પાસે “Hive/Pig/Spark” સ્ટેકનું પોતાનું વર્ઝન છે. મધપૂડોની ભૂમિકા, એટલે કે. ડેટાલેકમાં ફાઇલોની સૂચિ અને તેમના પ્રકારો "ડેટા કેટલોગ" સેવા દ્વારા કરવામાં આવે છે, જે અપાચે હાઇવ ફોર્મેટ સાથે તેની સુસંગતતાને છુપાવતી નથી. તમારી ફાઇલો ક્યાં સ્થિત છે અને તે કયા ફોર્મેટમાં છે તે વિશે તમારે આ સેવામાં માહિતી ઉમેરવાની જરૂર છે. ડેટા ફક્ત s3 માં જ નહીં, પણ ડેટાબેઝમાં પણ હોઈ શકે છે, પરંતુ તે આ પોસ્ટનો વિષય નથી. અમારી DataLake ડેટા ડાયરેક્ટરી કેવી રીતે ગોઠવાય છે તે અહીં છે:

ફાઇલો નોંધાયેલ છે, મહાન. જો ફાઇલો અપડેટ કરવામાં આવી હોય, તો અમે ક્રોલર્સને મેન્યુઅલી અથવા શેડ્યૂલ પર લૉન્ચ કરીએ છીએ, જે તળાવમાંથી તેમના વિશેની માહિતી અપડેટ કરશે અને તેમને સાચવશે. પછી તળાવમાંથી ડેટા પર પ્રક્રિયા કરી શકાય છે અને પરિણામો ક્યાંક અપલોડ કરી શકાય છે. સૌથી સરળ કિસ્સામાં, અમે s3 પર પણ અપલોડ કરીએ છીએ. ડેટા પ્રોસેસિંગ ગમે ત્યાં કરી શકાય છે, પરંતુ એવું સૂચન કરવામાં આવે છે કે તમે AWS Glue API મારફતે અદ્યતન ક્ષમતાઓનો ઉપયોગ કરીને Apache Spark ક્લસ્ટર પર પ્રક્રિયાને ગોઠવો. વાસ્તવમાં, તમે pyspark લાઇબ્રેરીનો ઉપયોગ કરીને સારો જૂનો અને પરિચિત પાયથોન કોડ લઈ શકો છો અને તેના અમલીકરણને મોનિટરિંગ સાથે અમુક ક્ષમતાના ક્લસ્ટરના N નોડ્સ પર ગોઠવી શકો છો, Hadoopની હિંમતમાં ખોદ્યા વિના અને ડોકર-મોકર કન્ટેનરને ખેંચ્યા વિના અને નિર્ભરતા તકરારને દૂર કર્યા વિના. .

ફરી એકવાર, એક સરળ વિચાર. Apache Spark ને ગોઠવવાની કોઈ જરૂર નથી, તમારે ફક્ત pyspark માટે પાયથોન કોડ લખવાની જરૂર છે, તેને તમારા ડેસ્કટૉપ પર સ્થાનિક રીતે પરીક્ષણ કરો અને પછી તેને ક્લાઉડમાં મોટા ક્લસ્ટર પર ચલાવો, સ્રોત ડેટા ક્યાં છે અને પરિણામ ક્યાં મૂકવું તે સ્પષ્ટ કરીને. કેટલીકવાર આ જરૂરી અને ઉપયોગી છે, અને આ રીતે તે અહીં ગોઠવેલ છે:

આમ, જો તમારે s3 માં ડેટાનો ઉપયોગ કરીને સ્પાર્ક ક્લસ્ટર પર કંઈક ગણતરી કરવાની જરૂર હોય, તો અમે python/pyspark માં કોડ લખીએ છીએ, તેનું પરીક્ષણ કરીએ છીએ અને ક્લાઉડ માટે શુભેચ્છા.

ઓર્કેસ્ટ્રેશન વિશે શું? જો કાર્ય પડી ગયું અને અદૃશ્ય થઈ ગયું તો શું? હા, અપાચે પિગ શૈલીમાં એક સુંદર પાઇપલાઇન બનાવવાની દરખાસ્ત છે અને અમે તેનો પ્રયાસ પણ કર્યો છે, પરંતુ હમણાં માટે અમે PHP અને JavaScript (હું સમજું છું, ત્યાં જ્ઞાનાત્મક વિસંવાદિતા છે, પરંતુ તે કામ કરે છે) માટે અમારા ઊંડે કસ્ટમાઇઝ્ડ ઓર્કેસ્ટ્રેશનનો ઉપયોગ કરવાનું નક્કી કર્યું છે. વર્ષો અને ભૂલો વિના).

તળાવમાં સંગ્રહિત ફાઇલોનું ફોર્મેટ કામગીરીની ચાવી છે

વધુ બે મુખ્ય મુદ્દાઓને સમજવા માટે તે ખૂબ જ મહત્વપૂર્ણ છે. તળાવમાં ફાઇલ ડેટા પરની ક્વેરી શક્ય તેટલી ઝડપથી ચલાવવામાં આવે અને નવી માહિતી ઉમેરવામાં આવે ત્યારે કામગીરી બગડે નહીં તે માટે, તમારે આ કરવાની જરૂર છે:

• ફાઇલોના કૉલમ્સને અલગથી સ્ટોર કરો (જેથી તમારે કૉલમમાં શું છે તે સમજવા માટે બધી લાઇન વાંચવી ન પડે). આ માટે અમે સંકોચન સાથે લાકડાનું પાતળું પડ ફોર્મેટ લીધું
• ફાઈલોને ફોલ્ડરમાં વહેંચવી ખૂબ જ મહત્વપૂર્ણ છે જેમ કે: ભાષા, વર્ષ, મહિનો, દિવસ, સપ્તાહ. આ પ્રકારના શાર્ડિંગને સમજતા એન્જીન એક પંક્તિમાં તમામ ડેટાને તપાસ્યા વિના માત્ર જરૂરી ફોલ્ડર્સને જ જોશે.

અનિવાર્યપણે, આ રીતે, તમે ટોચ પર લટકાવેલા વિશ્લેષણાત્મક એન્જિનો માટે સૌથી વધુ કાર્યક્ષમ સ્વરૂપમાં સ્રોત ડેટા મૂકે છે, જે કટકાવાળા ફોલ્ડર્સમાં પણ ફાઇલોમાંથી ફક્ત જરૂરી કૉલમ્સ પસંદ કરીને દાખલ કરી અને વાંચી શકે છે. તમારે ક્યાંય પણ ડેટા "ફિલ અપ" કરવાની જરૂર નથી (સ્ટોરેજ ખાલી ફાટી જશે) - તેને તરત જ સમજદારીપૂર્વક ફાઇલ સિસ્ટમમાં યોગ્ય ફોર્મેટમાં મૂકો. અલબત્ત, અહીં એ સ્પષ્ટ હોવું જોઈએ કે DataLake માં વિશાળ csv ફાઈલ સંગ્રહિત કરવી, જેને કૉલમ કાઢવા માટે ક્લસ્ટર દ્વારા પ્રથમ લાઇન દ્વારા વાંચવી આવશ્યક છે, તે ખૂબ સલાહભર્યું નથી. ઉપરોક્ત બે મુદ્દાઓ વિશે ફરીથી વિચારો જો તે હજી સ્પષ્ટ નથી કે આ બધું શા માટે થઈ રહ્યું છે.

AWS એથેના - જેક-ઇન-ધ-બોક્સ

અને પછી, તળાવ બનાવતી વખતે, અમે આકસ્મિક રીતે એમેઝોન એથેના તરફ આવી ગયા. અચાનક તે બહાર આવ્યું કે અમારી વિશાળ લોગ ફાઇલોને ફોલ્ડર શાર્ડમાં યોગ્ય (પાર્કેટ) કૉલમ ફોર્મેટમાં કાળજીપૂર્વક ગોઠવીને, તમે ખૂબ જ ઝડપથી તેમાંથી અત્યંત માહિતીપ્રદ પસંદગીઓ કરી શકો છો અને અપાચે સ્પાર્ક/ગ્લુ ક્લસ્ટર વિના રિપોર્ટ્સ બનાવી શકો છો.

s3 માં ડેટા દ્વારા સંચાલિત એથેના એન્જિન સુપ્રસિદ્ધ પર આધારિત છે પ્રેસ્ટો - ડેટા પ્રોસેસિંગ તરફના અભિગમોના MPP (વિશાળ સમાંતર પ્રક્રિયા) પરિવારના પ્રતિનિધિ, જ્યાં તે છે ત્યાં ડેટા લે છે, s3 અને Hadoop થી Cassandra અને સામાન્ય ટેક્સ્ટ ફાઇલો. તમારે ફક્ત એથેનાને એક SQL ક્વેરી ચલાવવા માટે પૂછવાની જરૂર છે, અને પછી બધું "ઝડપી અને આપમેળે કાર્ય કરે છે." એ નોંધવું અગત્યનું છે કે એથેના "સ્માર્ટ" છે, તે ફક્ત જરૂરી શાર્ડ ફોલ્ડર્સ પર જાય છે અને વિનંતીમાં જરૂરી કૉલમ્સ જ વાંચે છે.

એથેનાને વિનંતી કરવા માટેની કિંમતો પણ રસપ્રદ છે. અમે માટે ચૂકવણી સ્કેન કરેલા ડેટાનું પ્રમાણ. તે. ક્લસ્ટરમાં પ્રતિ મિનિટ મશીનોની સંખ્યા માટે નહીં, પરંતુ... ખરેખર 100-500 મશીનો પર સ્કેન કરેલા ડેટા માટે, વિનંતી પૂર્ણ કરવા માટે જરૂરી માત્ર ડેટા.

અને યોગ્ય રીતે શાર્ડ કરેલા ફોલ્ડર્સમાંથી ફક્ત જરૂરી કૉલમ્સની વિનંતી કરીને, તે બહાર આવ્યું કે એથેના સેવા અમને મહિનામાં દસ ડોલરનો ખર્ચ કરે છે. સારું, ક્લસ્ટરો પરના વિશ્લેષણોની તુલનામાં સરસ, લગભગ મફત!

માર્ગ દ્વારા, અમે s3 માં અમારા ડેટાને કેવી રીતે વહેંચીએ છીએ તે અહીં છે:

પરિણામે, ટૂંકા સમયમાં, કંપનીના સંપૂર્ણપણે અલગ વિભાગો, માહિતી સુરક્ષાથી લઈને એનાલિટિક્સ સુધી, એથેનાને સક્રિયપણે વિનંતીઓ કરવાનું શરૂ કર્યું અને ઝડપથી, સેકન્ડોમાં, એકદમ લાંબા ગાળામાં "મોટા" ડેટામાંથી ઉપયોગી જવાબો પ્રાપ્ત કર્યા: મહિનાઓ, અડધા વર્ષ, વગેરે. પી.

પરંતુ અમે આગળ ગયા અને જવાબો માટે મેઘ પાસે જવાનું શરૂ કર્યું ODBC ડ્રાઇવર દ્વારા: એક વિશ્લેષક પરિચિત કન્સોલમાં SQL ક્વેરી લખે છે, જે 100-500 મશીનો પર "પેનિસ માટે" s3 ને ડેટા મોકલે છે અને સામાન્ય રીતે થોડીક સેકન્ડોમાં જવાબ આપે છે. આરામદાયક. અને ઝડપી. હું હજુ પણ માની શકતો નથી.

પરિણામે, ડેટાને s3 માં, કાર્યક્ષમ સ્તંભાકાર ફોર્મેટમાં અને ફોલ્ડર્સમાં ડેટાના વાજબી શેરિંગ સાથે સંગ્રહ કરવાનું નક્કી કર્યા પછી... અમને ડેટાલેક અને ઝડપી અને સસ્તું વિશ્લેષણાત્મક એન્જિન પ્રાપ્ત થયું - મફતમાં. અને તે કંપનીમાં ખૂબ જ લોકપ્રિય બન્યો, કારણ કે... એસક્યુએલને સમજે છે અને ક્લસ્ટર શરૂ/રોકવા/સેટ કરવા કરતાં વધુ ઝડપથી કામ કરે છે. "અને જો પરિણામ સમાન છે, તો શા માટે વધુ ચૂકવણી કરવી?"

એથેનાને કરેલી વિનંતી કંઈક આના જેવી લાગે છે. જો ઇચ્છિત હોય, અલબત્ત, તમે પૂરતી રચના કરી શકો છો જટિલ અને બહુ-પૃષ્ઠ SQL ક્વેરી, પરંતુ અમે અમારી જાતને સરળ જૂથ સુધી મર્યાદિત કરીશું. ચાલો જોઈએ કે વેબ સર્વર લોગમાં ક્લાયંટ પાસે થોડા અઠવાડિયા પહેલા કયા પ્રતિસાદ કોડ હતા અને ખાતરી કરો કે કોઈ ભૂલો નથી:

તારણો

એક લાંબો, પરંતુ પીડાદાયક માર્ગ પસાર કર્યા પછી, જોખમો અને જટિલતાના સ્તર અને સમર્થનની કિંમતનું સતત પર્યાપ્ત મૂલ્યાંકન કરીને, અમે ડેટાલેક અને એનાલિટિક્સ માટે એક ઉકેલ શોધી કાઢ્યો જે માલિકીની ઝડપ અને કિંમત બંને સાથે અમને ખુશ કરવાનું ક્યારેય બંધ કરતું નથી.

તે બહાર આવ્યું છે કે કંપનીના સંપૂર્ણપણે જુદા જુદા વિભાગોની જરૂરિયાતો માટે ડેટાલેક ચલાવવા માટે અસરકારક, ઝડપી અને સસ્તું બનાવવું એ એવા અનુભવી વિકાસકર્તાઓની ક્ષમતામાં પણ છે કે જેમણે ક્યારેય આર્કિટેક્ટ તરીકે કામ કર્યું નથી અને ચોરસ પર ચોરસ કેવી રીતે દોરવા તે જાણતા નથી. હડૂપ ઇકોસિસ્ટમમાંથી 50 શબ્દોને તીર અને જાણો.

પ્રવાસની શરૂઆતમાં, ખુલ્લા અને બંધ સૉફ્ટવેરના ઘણા જંગલી પ્રાણી સંગ્રહાલયમાંથી અને વંશજોને જવાબદારીના ભારની સમજણથી મારું માથું ફાટી રહ્યું હતું. ફક્ત તમારા ડેટાલેકને સરળ સાધનોથી બનાવવાનું શરૂ કરો: nagios/munin -> elastic/kibana -> Hadoop/Spark/s3..., પ્રતિસાદ એકત્રિત કરો અને થઈ રહેલી પ્રક્રિયાઓના ભૌતિકશાસ્ત્રને ઊંડાણપૂર્વક સમજો. બધું જટિલ અને અસ્પષ્ટ - તે દુશ્મનો અને સ્પર્ધકોને આપો.

જો તમે ક્લાઉડ પર જવા માંગતા ન હોવ અને ઓપન-સોર્સ પ્રોજેક્ટ્સને સપોર્ટ, અપડેટ અને પેચ કરવાનું પસંદ ન કરો, તો તમે ટોપ પર Hadoop અને Presto સાથે સસ્તી ઑફિસ મશીનો પર, સ્થાનિક સ્તરે અમારા જેવી જ સ્કીમ બનાવી શકો છો. મુખ્ય વસ્તુ એ નથી કે રોકો અને આગળ વધો, ગણતરી કરો, સરળ અને સ્પષ્ટ ઉકેલો શોધો, અને બધું ચોક્કસપણે કાર્ય કરશે! દરેકને શુભેચ્છા અને ફરી મળીશું!

સોર્સ: www.habr.com