AWS તેની સ્થિતિસ્થાપક સેવાઓ કેવી રીતે રાંધે છે. સ્કેલિંગ સર્વર્સ અને ડેટાબેઝ

વાદળો જાદુઈ બોક્સ જેવા છે - તમે પૂછો છો કે તમને શું જોઈએ છે, અને સંસાધનો ક્યાંય બહાર દેખાતા નથી. વર્ચ્યુઅલ મશીનો, ડેટાબેસેસ, નેટવર્ક - આ બધું ફક્ત તમારા માટે છે. અન્ય ક્લાઉડ ભાડૂતો છે, પરંતુ તમારા બ્રહ્માંડમાં તમે એકમાત્ર શાસક છો. તમને ખાતરી છે કે તમને હંમેશા જરૂરી સંસાધનો પ્રાપ્ત થશે, તમે કોઈને પણ ધ્યાનમાં લેતા નથી અને તમે સ્વતંત્ર રીતે નક્કી કરો છો કે નેટવર્ક કેવું હશે. આ જાદુ કેવી રીતે કાર્ય કરે છે જે ક્લાઉડને સ્થિતિસ્થાપક રીતે સંસાધનોની ફાળવણી કરે છે અને ભાડૂતોને એકબીજાથી સંપૂર્ણપણે અલગ કરે છે?

AWS ક્લાઉડ એ એક મેગા-સુપર જટિલ સિસ્ટમ છે જે 2006 થી ઉત્ક્રાંતિપૂર્વક વિકસિત થઈ રહી છે. આ વિકાસનો એક ભાગ બન્યો વેસિલી પેન્ટ્યુખિન - એમેઝોન વેબ સર્વિસીસ આર્કિટેક્ટ. એક આર્કિટેક્ટ તરીકે, તે માત્ર અંતિમ પરિણામ પર જ નહીં, પરંતુ AWS દ્વારા જે પડકારોનો સામનો કરે છે તેના પર પણ તે આંતરિક દેખાવ મેળવે છે. સિસ્ટમ કેવી રીતે કાર્ય કરે છે તેની સમજ જેટલી વધારે તેટલો વિશ્વાસ. તેથી, વેસિલી AWS ક્લાઉડ સેવાઓના રહસ્યો શેર કરશે. નીચે ભૌતિક AWS સર્વર્સની ડિઝાઇન, સ્થિતિસ્થાપક ડેટાબેઝ માપનીયતા, કસ્ટમ એમેઝોન ડેટાબેઝ અને વર્ચ્યુઅલ મશીનોના પ્રદર્શનને વધારવા માટેની પદ્ધતિઓ છે જ્યારે તેની કિંમતમાં ઘટાડો કરે છે. Amazon ના આર્કિટેક્ચરલ અભિગમોનું જ્ઞાન તમને AWS સેવાઓનો વધુ અસરકારક રીતે ઉપયોગ કરવામાં મદદ કરશે અને તમને તમારા પોતાના ઉકેલો બનાવવા માટે નવા વિચારો આપી શકે છે.

વક્તા વિશે: વેસિલી પેન્ટ્યુખિન (મરઘી) .ru કંપનીઓમાં યુનિક્સ એડમિન તરીકે શરૂઆત કરી, 6 વર્ષ સુધી મોટા સન માઇક્રોસિસ્ટમ હાર્ડવેર પર કામ કર્યું, અને 11 વર્ષ સુધી EMC ખાતે ડેટા-સેન્ટ્રિક વિશ્વનો પ્રચાર કર્યો. તે કુદરતી રીતે ખાનગી વાદળોમાં વિકસ્યું, અને 2017 માં સાર્વજનિક વાદળોમાં સ્થાનાંતરિત થયું. હવે તે AWS ક્લાઉડમાં રહેવા અને વિકાસ કરવામાં મદદ કરવા માટે તકનીકી સલાહ આપે છે.

અસ્વીકરણ: નીચેની દરેક વસ્તુ વેસિલીના અંગત અભિપ્રાય છે અને એમેઝોન વેબ સેવાઓની સ્થિતિ સાથે સુસંગત ન હોઈ શકે. વિડિઓ રેકોર્ડિંગ આ લેખ જેના પર આધારિત છે તે અહેવાલ અમારી YouTube ચેનલ પર ઉપલબ્ધ છે.

હું એમેઝોન ઉપકરણ વિશે કેમ વાત કરું છું?

મારી પ્રથમ કારમાં મેન્યુઅલ ટ્રાન્સમિશન હતું. હું કાર ચલાવી શકું અને તેના પર સંપૂર્ણ નિયંત્રણ રાખી શકું તેવી લાગણીને કારણે તે ખૂબ સરસ હતું. મને એ પણ ગમ્યું કે હું ઓછામાં ઓછું તેના ઓપરેશનના સિદ્ધાંતને લગભગ સમજું છું. સ્વાભાવિક રીતે, મેં બૉક્સની રચના તદ્દન આદિમ હોવાની કલ્પના કરી - સાયકલ પરના ગિયરબોક્સ જેવું કંઈક.

બધું સરસ હતું, એક વસ્તુ સિવાય - ટ્રાફિક જામમાં અટવાયું. એવું લાગે છે કે તમે બેઠા છો અને કંઈ કરી રહ્યા નથી, પરંતુ તમે સતત ગિયર્સ બદલો છો, ક્લચ, ગેસ, બ્રેક દબાવો છો - તે ખરેખર તમને થાકી જાય છે. પરિવારને ઓટોમેટીક કાર મળતાં ટ્રાફિક જામની સમસ્યા આંશિક રીતે હલ થઇ હતી. ડ્રાઇવિંગ કરતી વખતે, મારી પાસે કંઈક વિશે વિચારવાનો અને ઑડિઓબુક સાંભળવાનો સમય હતો.

મારા જીવનમાં બીજું રહસ્ય દેખાયું, કારણ કે મેં મારી કાર કેવી રીતે કાર્ય કરે છે તે સમજવાનું સંપૂર્ણપણે બંધ કરી દીધું. આધુનિક કાર એ એક જટિલ ઉપકરણ છે. કાર એકસાથે ડઝનેક અલગ-અલગ માપદંડોને અપનાવે છે: ગેસ દબાવવો, બ્રેક, ડ્રાઇવિંગ શૈલી, રસ્તાની ગુણવત્તા. મને સમજાતું નથી કે તે હવે કેવી રીતે કાર્ય કરે છે.

જ્યારે મેં એમેઝોન ક્લાઉડ પર કામ કરવાનું શરૂ કર્યું, તે પણ મારા માટે એક રહસ્ય હતું. ફક્ત આ રહસ્ય વધુ તીવ્રતાનો ઓર્ડર છે, કારણ કે કારમાં એક ડ્રાઇવર છે, અને AWS માં તે લાખો છે. બધા વપરાશકર્તાઓ વારાફરતી સ્ટીયર કરે છે, ગેસ દબાવો અને બ્રેક કરો. તે આશ્ચર્યજનક છે કે તેઓ જ્યાં ઇચ્છે ત્યાં જાય છે - તે મારા માટે એક ચમત્કાર છે! સિસ્ટમ આપમેળે દરેક વપરાશકર્તાને અનુકૂલન કરે છે, સ્કેલ કરે છે અને સ્થિતિસ્થાપક રીતે ગોઠવે છે જેથી તેને લાગે કે તે આ બ્રહ્માંડમાં એકલો છે.

જ્યારે હું પાછળથી એમેઝોનમાં આર્કિટેક્ટ તરીકે કામ કરવા આવ્યો ત્યારે જાદુ થોડો ઓછો થઈ ગયો. મેં જોયું કે અમને કઈ સમસ્યાઓનો સામનો કરવો પડે છે, અમે તેમને કેવી રીતે હલ કરીએ છીએ અને અમે સેવાઓ કેવી રીતે વિકસાવીએ છીએ. સિસ્ટમ કેવી રીતે કાર્ય કરે છે તેની વધતી સમજ સાથે, સેવામાં વધુ વિશ્વાસ દેખાય છે. તેથી હું AWS ક્લાઉડના હૂડ હેઠળ શું છે તેનું ચિત્ર શેર કરવા માંગુ છું.

આપણે શું વાત કરીશું

મેં વૈવિધ્યસભર અભિગમ પસંદ કર્યો - મેં 4 રસપ્રદ સેવાઓ પસંદ કરી જે વિશે વાત કરવા યોગ્ય છે.

સર્વર ઓપ્ટિમાઇઝેશન. ભૌતિક મૂર્ત સ્વરૂપ સાથે ક્ષણિક વાદળો: ભૌતિક ડેટા કેન્દ્રો જ્યાં ભૌતિક સર્વર્સ હોય છે જે ગુંજારિત કરે છે, ગરમ કરે છે અને લાઇટ સાથે ઝબકતા હોય છે.

સર્વરલેસ કાર્યો (લેમ્બડા) કદાચ ક્લાઉડમાં સૌથી વધુ માપી શકાય તેવી સેવા છે.

ડેટાબેઝ સ્કેલિંગ. હું તમને જણાવીશ કે અમે અમારા પોતાના સ્કેલેબલ ડેટાબેસેસ કેવી રીતે બનાવીએ છીએ.

નેટવર્ક સ્કેલિંગ. છેલ્લો ભાગ જેમાં હું અમારા નેટવર્કનું ઉપકરણ ખોલીશ. આ એક અદ્ભુત વસ્તુ છે - દરેક ક્લાઉડ યુઝર માને છે કે તે ક્લાઉડમાં એકલા છે અને અન્ય ભાડૂતોને બિલકુલ જોતા નથી.

નૉૅધ. આ લેખ સર્વર ઓપ્ટિમાઇઝેશન અને ડેટાબેઝ સ્કેલિંગની ચર્ચા કરશે. અમે આગામી લેખમાં નેટવર્ક સ્કેલિંગ પર વિચાર કરીશું. સર્વરલેસ કાર્યો ક્યાં છે? તેમના વિશે એક અલગ ટ્રાન્સક્રિપ્ટ પ્રકાશિત કરવામાં આવી હતી "નાનો, પણ સ્માર્ટ. અનબૉક્સિંગ ફાયરક્રેકર માઇક્રોવર્ચ્યુઅલ" તે વિવિધ સ્કેલિંગ પદ્ધતિઓ વિશે વાત કરે છે, અને ફાયરક્રેકર સોલ્યુશનની વિગતવાર ચર્ચા કરે છે - વર્ચ્યુઅલ મશીન અને કન્ટેનરના શ્રેષ્ઠ ગુણોનું સહજીવન.

સર્વર્સ

વાદળ ક્ષણિક છે. પરંતુ આ ક્ષણિકતામાં હજી પણ ભૌતિક મૂર્ત સ્વરૂપ છે - સર્વર્સ. શરૂઆતમાં, તેમનું સ્થાપત્ય શાસ્ત્રીય હતું. સ્ટાન્ડર્ડ x86 ચિપસેટ, નેટવર્ક કાર્ડ્સ, Linux, Xen હાઇપરવાઇઝર જેના પર વર્ચ્યુઅલ મશીનો લોન્ચ કરવામાં આવ્યા હતા.

2012 માં, આ આર્કિટેક્ચરે તેના કાર્યોનો ખૂબ સારી રીતે સામનો કર્યો. Xen એક મહાન હાઇપરવાઇઝર છે, પરંતુ તેની એક મોટી ખામી છે. તેની પાસે પૂરતું છે ઉપકરણ અનુકરણ માટે ઉચ્ચ ઓવરહેડ. જેમ જેમ નવા, ઝડપી નેટવર્ક કાર્ડ્સ અથવા SSD ડ્રાઇવ્સ ઉપલબ્ધ થાય છે, તેમ આ ઓવરહેડ ખૂબ ઊંચું થઈ જાય છે. આ સમસ્યાનો સામનો કેવી રીતે કરવો? અમે એક સાથે બે મોરચે કામ કરવાનું નક્કી કર્યું - હાર્ડવેર અને હાઇપરવાઇઝર બંનેને ઑપ્ટિમાઇઝ કરો. કાર્ય ખૂબ ગંભીર છે.

હાર્ડવેર અને હાઇપરવાઇઝરને ઑપ્ટિમાઇઝ કરી રહ્યું છે

એક જ સમયે બધું કરવું અને તે સારી રીતે કરવું કામ કરશે નહીં. "સારું" શું હતું તે પણ શરૂઆતમાં અસ્પષ્ટ હતું.

અમે એક ઉત્ક્રાંતિ અભિગમ અપનાવવાનું નક્કી કર્યું - અમે આર્કિટેક્ચરના એક મહત્વપૂર્ણ તત્વને બદલીએ છીએ અને તેને ઉત્પાદનમાં ફેંકીએ છીએ.

અમે દરેક રેક પર પગ મુકીએ છીએ, ફરિયાદો અને સૂચનો સાંભળીએ છીએ. પછી આપણે બીજા ઘટકને બદલીએ છીએ. તેથી, નાની વૃદ્ધિમાં, અમે વપરાશકર્તાઓ અને સમર્થનના પ્રતિસાદના આધારે સમગ્ર આર્કિટેક્ચરમાં ધરમૂળથી ફેરફાર કરીએ છીએ.

2013 માં સૌથી જટિલ વસ્તુ - નેટવર્ક સાથે પરિવર્તનની શરૂઆત થઈ. IN સીએક્સએનએક્સએક્સ દાખલાઓ, પ્રમાણભૂત નેટવર્ક કાર્ડમાં વિશિષ્ટ નેટવર્ક એક્સિલરેટર કાર્ડ ઉમેરવામાં આવ્યું હતું. તે ફ્રન્ટ પેનલ પર ટૂંકા લૂપબેક કેબલ સાથે શાબ્દિક રીતે જોડાયેલું હતું. તે સુંદર નથી, પરંતુ તે વાદળમાં દેખાતું નથી. પરંતુ હાર્ડવેર સાથેની સીધી ક્રિયાપ્રતિક્રિયા મૂળભૂત રીતે જીટર અને નેટવર્ક થ્રુપુટમાં સુધારો કરે છે.

આગળ અમે બ્લોક ડેટા સ્ટોરેજ EBS - સ્થિતિસ્થાપક બ્લોક સ્ટોરેજની ઍક્સેસ સુધારવાનું નક્કી કર્યું. તે નેટવર્ક અને સ્ટોરેજનું સંયોજન છે. મુશ્કેલી એ છે કે જ્યારે નેટવર્ક એક્સિલરેટર કાર્ડ બજારમાં અસ્તિત્વમાં હતા, ત્યારે ફક્ત સ્ટોરેજ એક્સિલરેટર હાર્ડવેર ખરીદવાનો કોઈ વિકલ્પ નહોતો. તેથી અમે સ્ટાર્ટઅપ તરફ વળ્યા અન્નપૂર્ણા લેબ્સ, જેમણે અમારા માટે ખાસ ASIC ચિપ્સ વિકસાવી છે. તેઓએ રિમોટ EBS વોલ્યુમોને NVMe ઉપકરણો તરીકે માઉન્ટ કરવાની મંજૂરી આપી.

દાખલાઓમાં C4 અમે બે સમસ્યાઓ હલ કરી. પ્રથમ એ છે કે અમે આશાસ્પદ ભવિષ્ય માટે એક પાયો અમલમાં મૂક્યો છે, પરંતુ તે સમયે નવી, NVMe તકનીક. બીજું, અમે EBS ને વિનંતીઓની પ્રક્રિયાને નવા કાર્ડમાં સ્થાનાંતરિત કરીને કેન્દ્રીય પ્રોસેસરને નોંધપાત્ર રીતે અનલોડ કર્યું. તે સારી રીતે બહાર આવ્યું, તેથી હવે અન્નપૂર્ણા લેબ્સ એમેઝોનનો ભાગ છે.

નવેમ્બર 2017 સુધીમાં, અમને સમજાયું કે હાઇપરવાઇઝરને બદલવાનો સમય આવી ગયો છે.

નવા હાઇપરવાઇઝરને સંશોધિત KVM કર્નલ મોડ્યુલોના આધારે વિકસાવવામાં આવ્યું હતું.

તેણે ઉપકરણ ઇમ્યુલેશનના ઓવરહેડને મૂળભૂત રીતે ઘટાડવાનું અને નવા ASICs સાથે સીધા જ કામ કરવાનું શક્ય બનાવ્યું. દાખલાઓ સીએક્સએનએક્સએક્સ હૂડ હેઠળ ચાલતા નવા હાઇપરવાઇઝર સાથેની પ્રથમ વર્ચ્યુઅલ મશીનો હતી. અમે તેને નામ આપ્યું નાઇટ્રો.

સમયરેખા પર દાખલાઓની ઉત્ક્રાંતિ.

નવેમ્બર 2017 થી દેખાતા તમામ નવા પ્રકારના વર્ચ્યુઅલ મશીનો આ હાઈપરવાઈઝર પર ચાલે છે. બેર મેટલના દાખલાઓમાં હાઇપરવાઇઝર હોતું નથી, પરંતુ તેમને નાઇટ્રો પણ કહેવામાં આવે છે, કારણ કે તેઓ વિશિષ્ટ નાઇટ્રો કાર્ડનો ઉપયોગ કરે છે.

આગામી બે વર્ષોમાં, નાઈટ્રોના દાખલાઓની સંખ્યા બે ડઝનને વટાવી ગઈ: A1, C5, M5, T3 અને અન્ય.

દાખલાના પ્રકારો.

આધુનિક નાઈટ્રો મશીનો કેવી રીતે કામ કરે છે

તેઓ ત્રણ મુખ્ય ઘટકો ધરાવે છે: નાઇટ્રો હાઇપરવાઇઝર (ઉપર ચર્ચા કરેલ), સુરક્ષા ચિપ અને નાઇટ્રો કાર્ડ્સ.

સુરક્ષા ચિપ સીધા મધરબોર્ડમાં સંકલિત. તે ઘણા મહત્વપૂર્ણ કાર્યોને નિયંત્રિત કરે છે, જેમ કે હોસ્ટ OS ના લોડિંગને નિયંત્રિત કરવું.

નાઈટ્રો કાર્ડ્સ - તેના ચાર પ્રકાર છે. તે બધા અન્નપૂર્ણા લેબ્સ દ્વારા વિકસાવવામાં આવ્યા છે અને સામાન્ય ASIC પર આધારિત છે. તેમના કેટલાક ફર્મવેર પણ સામાન્ય છે.

ચાર પ્રકારના નાઈટ્રો કાર્ડ.

એક કાર્ડ સાથે કામ કરવા માટે રચાયેલ છે નેટવર્કVPC. આ તે છે જે વર્ચ્યુઅલ મશીનોમાં નેટવર્ક કાર્ડ તરીકે દેખાય છે ENA - સ્થિતિસ્થાપક નેટવર્ક એડેપ્ટર. તે ભૌતિક નેટવર્ક દ્વારા ટ્રાન્સમિટ કરતી વખતે ટ્રાફિકને પણ સમાવે છે (આપણે લેખના બીજા ભાગમાં આ વિશે વાત કરીશું), સુરક્ષા જૂથો ફાયરવોલને નિયંત્રિત કરે છે, અને રૂટીંગ અને અન્ય નેટવર્ક વસ્તુઓ માટે જવાબદાર છે.

પસંદ કરેલા કાર્ડ્સ બ્લોક સ્ટોરેજ સાથે કામ કરે છે ઇબીએસ અને ડિસ્ક કે જે સર્વરમાં બનેલ છે. તેઓ મહેમાનને વર્ચ્યુઅલ મશીન તરીકે દેખાય છે NVMe એડેપ્ટરો. તેઓ ડેટા એન્ક્રિપ્શન અને ડિસ્ક મોનિટરિંગ માટે પણ જવાબદાર છે.

નાઈટ્રો કાર્ડ્સ, હાઈપરવાઈઝર અને સિક્યોરિટી ચિપની સિસ્ટમ SDN નેટવર્કમાં સંકલિત છે અથવા સોફ્ટવેર વ્યાખ્યાયિત નેટવર્ક. આ નેટવર્કના સંચાલન માટે જવાબદાર (નિયંત્રણ વિમાન) નિયંત્રક કાર્ડ.

અલબત્ત, અમે નવા ASIC વિકસાવવાનું ચાલુ રાખીએ છીએ. ઉદાહરણ તરીકે, 2018 ના અંતમાં તેઓએ ઇન્ફરેન્ટિયા ચિપ રિલીઝ કરી, જે તમને મશીન લર્નિંગ કાર્યો સાથે વધુ કાર્યક્ષમતાથી કામ કરવાની મંજૂરી આપે છે.

ઇન્ફરેન્ટિયા મશીન લર્નિંગ પ્રોસેસર ચિપ.

સ્કેલેબલ ડેટાબેઝ

પરંપરાગત ડેટાબેઝમાં સ્તરીય માળખું હોય છે. મોટા પ્રમાણમાં સરળ બનાવવા માટે, નીચેના સ્તરોને અલગ પાડવામાં આવે છે.

• એસક્યુએલ - ક્લાયંટ અને રિક્વેસ્ટ ડિસ્પેચર્સ તેના પર કામ કરે છે.
• જોગવાઈઓ વ્યવહારો - અહીં બધું સ્પષ્ટ છે, ACID અને તે બધું.
• કેશીંગ, જે બફર પૂલ દ્વારા પ્રદાન કરવામાં આવે છે.
• લોગીંગ — ફરીથી લોગ સાથે કામ પૂરું પાડે છે. MySQL માં તેઓને બિન લોગ કહેવામાં આવે છે, PosgreSQL માં - Ahead Logs (WAL) લખો.
• સંગ્રહ - ડિસ્ક પર ડાયરેક્ટ રેકોર્ડિંગ.

સ્તરીય ડેટાબેઝ માળખું.

ડેટાબેઝને સ્કેલ કરવાની વિવિધ રીતો છે: શાર્ડિંગ, શેર્ડ નથિંગ આર્કિટેક્ચર, શેર્ડ ડિસ્ક.

જો કે, આ બધી પદ્ધતિઓ સમાન મોનોલિથિક ડેટાબેઝ માળખું જાળવી રાખે છે. આ નોંધપાત્ર રીતે સ્કેલિંગને મર્યાદિત કરે છે. આ સમસ્યાને ઉકેલવા માટે, અમે અમારો પોતાનો ડેટાબેઝ વિકસાવ્યો છે - એમેઝોન ઓરોરા. તે MySQL અને PostgreSQL સાથે સુસંગત છે.

એમેઝોન ઓરોરા

મુખ્ય આર્કિટેક્ચરલ વિચાર મુખ્ય ડેટાબેઝમાંથી સંગ્રહ અને લોગીંગ સ્તરોને અલગ કરવાનો છે.

આગળ જોતાં, હું કહીશ કે અમે કેશીંગ સ્તરને પણ સ્વતંત્ર બનાવ્યું છે. આર્કિટેક્ચર મોનોલિથ બનવાનું બંધ કરે છે, અને અમે વ્યક્તિગત બ્લોક્સને માપવામાં સ્વતંત્રતાની વધારાની ડિગ્રી મેળવીએ છીએ.

લોગીંગ અને સ્ટોરેજ લેવલ ડેટાબેઝથી અલગ છે.

પરંપરાગત DBMS બ્લોકના રૂપમાં સ્ટોરેજ સિસ્ટમમાં ડેટા લખે છે. Amazon Aurora ખાતે, અમે સ્માર્ટ સ્ટોરેજ બનાવ્યું છે જે ભાષા બોલી શકે છે ફરીથી લોગ. અંદર, સ્ટોરેજ લોગને ડેટા બ્લોક્સમાં ફેરવે છે, તેમની અખંડિતતા પર નજર રાખે છે અને આપમેળે બેકઅપ લે છે.

આ અભિગમ તમને આવી રસપ્રદ બાબતોને અમલમાં મૂકવાની મંજૂરી આપે છે ક્લોનિંગ. તે મૂળભૂત રીતે ઝડપી અને વધુ આર્થિક રીતે કાર્ય કરે છે કારણ કે તેને તમામ ડેટાની સંપૂર્ણ નકલ બનાવવાની જરૂર નથી.

સંગ્રહ સ્તરને વિતરિત સિસ્ટમ તરીકે લાગુ કરવામાં આવે છે. તે ખૂબ મોટી સંખ્યામાં ભૌતિક સર્વરો ધરાવે છે. દરેક રીડો લોગ પર પ્રક્રિયા કરવામાં આવે છે અને એકસાથે સાચવવામાં આવે છે છ ગાંઠ. આ ડેટા પ્રોટેક્શન અને લોડ બેલેન્સિંગને સુનિશ્ચિત કરે છે.

યોગ્ય પ્રતિકૃતિઓનો ઉપયોગ કરીને રીડ સ્કેલિંગ પ્રાપ્ત કરી શકાય છે. ડિસ્ટ્રિબ્યુટેડ સ્ટોરેજ મુખ્ય ડેટાબેઝ ઇન્સ્ટન્સ, જેના દ્વારા અમે ડેટા લખીએ છીએ અને બાકીની પ્રતિકૃતિઓ વચ્ચે સિંક્રનાઇઝેશનની જરૂરિયાતને દૂર કરે છે. અપ-ટુ-ડેટ ડેટા તમામ પ્રતિકૃતિઓ માટે ઉપલબ્ધ હોવાની ખાતરી આપવામાં આવે છે.

એકમાત્ર સમસ્યા વાંચેલી પ્રતિકૃતિઓ પર જૂના ડેટાને કેશ કરવાની છે. પરંતુ આ સમસ્યા હલ કરવામાં આવી રહી છે બધા ફરીથી લોગનું ટ્રાન્સફર આંતરિક નેટવર્ક પર પ્રતિકૃતિઓ માટે. જો લોગ કેશમાં છે, તો તે ખોટો અને ઓવરરાઇટ તરીકે ચિહ્નિત થયેલ છે. જો તે કેશમાં નથી, તો તે ખાલી કાઢી નાખવામાં આવે છે.

અમે સ્ટોરેજની વ્યવસ્થા કરી લીધી છે.

DBMS સ્તરોને કેવી રીતે માપવા

અહીં, આડી સ્કેલિંગ વધુ મુશ્કેલ છે. તો ચાલો પીટાયેલા માર્ગે જઈએ ક્લાસિક વર્ટિકલ સ્કેલિંગ.

ચાલો ધારીએ કે અમારી પાસે એક એપ્લિકેશન છે જે માસ્ટર નોડ દ્વારા DBMS સાથે વાતચીત કરે છે.

ઊભી રીતે સ્કેલિંગ કરતી વખતે, અમે એક નવો નોડ ફાળવીએ છીએ જેમાં વધુ પ્રોસેસર્સ અને મેમરી હશે.

આગળ, અમે એપ્લિકેશનને જૂના માસ્ટર નોડમાંથી નવામાં સ્વિચ કરીએ છીએ. સમસ્યાઓ ઊભી થાય છે.

• આને નોંધપાત્ર એપ્લિકેશન ડાઉનટાઇમની જરૂર પડશે.
• નવા માસ્ટર નોડમાં કોલ્ડ કેશ હશે. કેશ ગરમ થયા પછી જ ડેટાબેઝનું પ્રદર્શન મહત્તમ હશે.

પરિસ્થિતિ કેવી રીતે સુધારવી? એપ્લિકેશન અને માસ્ટર નોડ વચ્ચે પ્રોક્સી સેટ કરો.

આ આપણને શું આપશે? હવે બધી એપ્લિકેશનોને નવા નોડ પર મેન્યુઅલી રીડાયરેક્ટ કરવાની જરૂર નથી. સ્વિચ પ્રોક્સી હેઠળ કરી શકાય છે અને તે મૂળભૂત રીતે ઝડપી છે.

એવું લાગે છે કે સમસ્યા હલ થઈ ગઈ છે. પરંતુ ના, અમે હજી પણ કેશને ગરમ કરવાની જરૂરિયાતથી પીડાય છે. વધુમાં, એક નવી સમસ્યા દેખાઈ છે - હવે પ્રોક્સી એ નિષ્ફળતાનો સંભવિત બિંદુ છે.

એમેઝોન ઓરોરા સર્વરલેસ સાથે અંતિમ ઉકેલ

અમે આ સમસ્યાઓ કેવી રીતે હલ કરી?

પ્રોક્સી છોડી દીધી. આ એક અલગ ઉદાહરણ નથી, પરંતુ પ્રોક્સીઓનો આખો વિતરિત કાફલો છે જેના દ્વારા એપ્લિકેશનો ડેટાબેઝ સાથે જોડાય છે. નિષ્ફળતાના કિસ્સામાં, કોઈપણ ગાંઠો લગભગ તરત જ બદલી શકાય છે.

વિવિધ કદના ગરમ ગાંઠોનો પૂલ ઉમેર્યો. તેથી, જો મોટા અથવા નાના કદના નવા નોડની ફાળવણી કરવી જરૂરી હોય, તો તે તરત જ ઉપલબ્ધ છે. તેને લોડ થવા માટે રાહ જોવાની જરૂર નથી.

સમગ્ર સ્કેલિંગ પ્રક્રિયા ખાસ મોનિટરિંગ સિસ્ટમ દ્વારા નિયંત્રિત થાય છે. મોનિટરિંગ વર્તમાન માસ્ટર નોડની સ્થિતિનું સતત નિરીક્ષણ કરે છે. જો તે શોધે છે, ઉદાહરણ તરીકે, પ્રોસેસર લોડ નિર્ણાયક મૂલ્ય સુધી પહોંચી ગયો છે, તો તે નવા નોડ ફાળવવાની જરૂરિયાત વિશે ગરમ ઉદાહરણોના પૂલને સૂચિત કરે છે.

વિતરિત પ્રોક્સીઓ, ગરમ ઉદાહરણો અને દેખરેખ.

જરૂરી પાવર સાથે નોડ ઉપલબ્ધ છે. બફર પૂલ તેની નકલ કરવામાં આવે છે, અને સિસ્ટમ સ્વિચ કરવા માટે સલામત ક્ષણની રાહ જોવાનું શરૂ કરે છે.

સામાન્ય રીતે સ્વિચ કરવાની ક્ષણ ખૂબ જ ઝડપથી આવે છે. પછી પ્રોક્સી અને જૂના માસ્ટર નોડ વચ્ચે સંચાર સસ્પેન્ડ કરવામાં આવે છે, બધા સત્રો નવા નોડ પર સ્વિચ કરવામાં આવે છે.

ડેટાબેઝ રિઝ્યુમ સાથે કામ કરો.

ગ્રાફ બતાવે છે કે સસ્પેન્શન ખરેખર ખૂબ જ ટૂંકું છે. વાદળી ગ્રાફ લોડ બતાવે છે, અને લાલ સ્ટેપ્સ સ્કેલિંગ ક્ષણો દર્શાવે છે. વાદળી ગ્રાફમાં ટૂંકા ગાળાના ડૂબકી એ ચોક્કસ રીતે ટૂંકા વિલંબ છે.

માર્ગ દ્વારા, એમેઝોન ઓરોરા તમને પૈસા બચાવવા અને ડેટાબેઝનો ઉપયોગ ન હોય ત્યારે તેને બંધ કરવાની મંજૂરી આપે છે, ઉદાહરણ તરીકે, સપ્તાહના અંતે. લોડ બંધ કર્યા પછી, ડીબી ધીમે ધીમે તેની શક્તિ ઘટાડે છે અને થોડા સમય માટે બંધ થાય છે. જ્યારે લોડ પાછો આવશે, ત્યારે તે ફરીથી સરળતાથી વધશે.

Amazon ઉપકરણ વિશેની વાર્તાના આગળના ભાગમાં, અમે નેટવર્ક સ્કેલિંગ વિશે વાત કરીશું. સબ્સ્ક્રાઇબ કરો ટપાલ અને ટ્યુન રહો જેથી તમે લેખ ચૂકી ન જાઓ.

માં હાઇલોડ++ વેસિલી પેન્ટ્યુખિન રિપોર્ટ આપશે.હ્યુસ્ટન, અમને એક સમસ્યા છે. નિષ્ફળતા માટે સિસ્ટમોની ડિઝાઇન, આંતરિક એમેઝોન ક્લાઉડ સેવાઓ માટે વિકાસ પેટર્ન" એમેઝોન ડેવલપર્સ દ્વારા ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સ માટે કયા ડિઝાઇન પેટર્નનો ઉપયોગ કરવામાં આવે છે, સેવા નિષ્ફળતાના કારણો શું છે, સેલ-આધારિત આર્કિટેક્ચર શું છે, કોન્સ્ટન્ટ વર્ક, શફલ શાર્ડિંગ - તે રસપ્રદ રહેશે. કોન્ફરન્સ સુધી એક મહિના કરતાં ઓછો સમય - તમારી ટિકિટ બુક કરો. ઓક્ટોબર 24 અંતિમ ભાવ વધારો.

સોર્સ: www.habr.com