AWS તેની સ્થિતિસ્થાપક સેવાઓ કેવી રીતે રાંધે છે. નેટવર્ક સ્કેલિંગ

એમેઝોન વેબ સર્વિસીસ નેટવર્કનો સ્કેલ વિશ્વભરમાં 69 પ્રદેશોમાં 22 ઝોન છે: યુએસએ, યુરોપ, એશિયા, આફ્રિકા અને ઓસ્ટ્રેલિયા. દરેક ઝોનમાં 8 જેટલા ડેટા સેન્ટર્સ છે - ડેટા પ્રોસેસિંગ સેન્ટર્સ. દરેક ડેટા સેન્ટરમાં હજારો અથવા સેંકડો હજારો સર્વર્સ હોય છે. નેટવર્ક એવી રીતે ડિઝાઇન કરવામાં આવ્યું છે કે તમામ અસંભવિત આઉટેજ દૃશ્યોને ધ્યાનમાં લેવામાં આવે. ઉદાહરણ તરીકે, બધા પ્રદેશો એકબીજાથી અલગ છે, અને ઍક્સેસિબિલિટી ઝોન કેટલાક કિલોમીટરના અંતર પર અલગ પડે છે. જો તમે કેબલ કાપી નાખો તો પણ, સિસ્ટમ બેકઅપ ચેનલો પર સ્વિચ કરશે, અને માહિતીની ખોટ થોડા ડેટા પેકેટ્સ જેટલી થશે. વેસિલી પેન્ટ્યુખિન નેટવર્ક કયા અન્ય સિદ્ધાંતો પર બનેલ છે અને તે કેવી રીતે રચાયેલ છે તે વિશે વાત કરશે.

વેસિલી પેન્ટ્યુખિન .ru કંપનીઓમાં યુનિક્સ એડમિનિસ્ટ્રેટર તરીકે શરૂઆત કરી, 6 વર્ષ સુધી મોટા સન માઈક્રોસિસ્ટમ હાર્ડવેર પર કામ કર્યું અને EMCમાં 11 વર્ષ સુધી ડેટા-કેન્દ્રિત વિશ્વનો પ્રચાર કર્યો. તે કુદરતી રીતે ખાનગી વાદળોમાં વિકસ્યું, પછી જાહેરમાં ખસેડ્યું. હવે, એમેઝોન વેબ સર્વિસીસ આર્કિટેક્ટ તરીકે, તે AWS ક્લાઉડમાં જીવંત અને વિકાસ કરવામાં મદદ કરવા માટે તકનીકી સલાહ પ્રદાન કરે છે.

AWS ટ્રાયોલોજીના પાછલા ભાગમાં, વેસિલીએ ભૌતિક સર્વર્સ અને ડેટાબેઝ સ્કેલિંગની ડિઝાઇનનો અભ્યાસ કર્યો. નાઇટ્રો કાર્ડ્સ, કસ્ટમ KVM-આધારિત હાઇપરવાઇઝર, એમેઝોન ઓરોરા ડેટાબેઝ - આ બધું સામગ્રીમાં "AWS તેની સ્થિતિસ્થાપક સેવાઓ કેવી રીતે રાંધે છે. સ્કેલિંગ સર્વર્સ અને ડેટાબેઝ" સંદર્ભ માટે વાંચો અથવા જુઓ વિડિયોટેપ ભાષણો

આ ભાગ નેટવર્ક સ્કેલિંગ પર ધ્યાન કેન્દ્રિત કરશે, જે AWS માં સૌથી જટિલ સિસ્ટમોમાંની એક છે. ફ્લેટ નેટવર્કથી વર્ચ્યુઅલ પ્રાઇવેટ ક્લાઉડ અને તેની ડિઝાઇન, બ્લેકફૂટ અને હાયપરપ્લેનની આંતરિક સેવાઓ, ઘોંઘાટીયા પાડોશીની સમસ્યા અને અંતે - નેટવર્કનો સ્કેલ, બેકબોન અને ભૌતિક કેબલ્સ. કટ હેઠળ આ બધા વિશે.

અસ્વીકરણ: નીચેની દરેક વસ્તુ વેસિલીના અંગત અભિપ્રાય છે અને એમેઝોન વેબ સેવાઓની સ્થિતિ સાથે સુસંગત ન હોઈ શકે.

નેટવર્ક સ્કેલિંગ

AWS ક્લાઉડ 2006 માં લોન્ચ કરવામાં આવ્યું હતું. તેનું નેટવર્ક તદ્દન આદિમ હતું - સપાટ માળખું સાથે. ખાનગી સરનામાની શ્રેણી તમામ ક્લાઉડ ભાડૂતો માટે સામાન્ય હતી. નવું વર્ચ્યુઅલ મશીન શરૂ કરતી વખતે, તમને આકસ્મિક રીતે આ શ્રેણીમાંથી ઉપલબ્ધ IP સરનામું પ્રાપ્ત થયું.

આ અભિગમ અમલમાં મૂકવો સરળ હતો, પરંતુ મૂળભૂત રીતે ક્લાઉડનો ઉપયોગ મર્યાદિત હતો. ખાસ કરીને, જમીન પર અને AWS માં ખાનગી નેટવર્કને સંયોજિત કરતા હાઇબ્રિડ સોલ્યુશન્સ વિકસાવવાનું ખૂબ મુશ્કેલ હતું. સૌથી સામાન્ય સમસ્યા IP એડ્રેસ રેન્જને ઓવરલેપ કરવાની હતી.

વર્ચ્યુઅલ ખાનગી વાદળ

વાદળ માંગમાં હોવાનું બહાર આવ્યું. સ્કેલેબિલિટી અને લાખો ભાડૂતો દ્વારા તેના ઉપયોગની શક્યતા વિશે વિચારવાનો સમય આવી ગયો છે. ફ્લેટ નેટવર્ક એક મોટો અવરોધ બની ગયો છે. તેથી, અમે નેટવર્ક સ્તરે વપરાશકર્તાઓને એકબીજાથી કેવી રીતે અલગ કરવા તે વિશે વિચાર્યું જેથી કરીને તેઓ સ્વતંત્ર રીતે IP રેન્જ પસંદ કરી શકે.

જ્યારે તમે નેટવર્ક આઇસોલેશન વિશે વિચારો છો ત્યારે પ્રથમ વસ્તુ શું ધ્યાનમાં આવે છે? ચોક્કસ વી.એલ.એન.એન. и VRF - વર્ચ્યુઅલ રૂટીંગ અને ફોરવર્ડિંગ.

કમનસીબે, તે કામ ન કર્યું. VLAN ID માત્ર 12 બિટ્સ છે, જે આપણને માત્ર 4096 અલગ સેગમેન્ટ આપે છે. સૌથી મોટી સ્વીચો પણ મહત્તમ 1-2 હજાર VRF નો ઉપયોગ કરી શકે છે. VRF અને VLAN નો એકસાથે ઉપયોગ કરવાથી અમને માત્ર થોડા મિલિયન સબનેટ મળે છે. આ ચોક્કસપણે લાખો ભાડૂતો માટે પૂરતું નથી, જેમાંથી દરેક બહુવિધ સબનેટનો ઉપયોગ કરવા સક્ષમ હોવા જોઈએ.

અમે પણ જરૂરી સંખ્યામાં મોટા બૉક્સ ખરીદવાનું પરવડી શકતા નથી, ઉદાહરણ તરીકે, સિસ્કો અથવા જ્યુનિપરમાંથી. ત્યાં બે કારણો છે: તે ખૂબ ખર્ચાળ છે, અને અમે તેમના વિકાસ અને પેચિંગ નીતિઓની દયા પર રહેવા માંગતા નથી.

ત્યાં માત્ર એક જ નિષ્કર્ષ છે - તમારા પોતાના ઉકેલ બનાવો.

2009માં અમે જાહેરાત કરી હતી VPC - વર્ચ્યુઅલ ખાનગી વાદળ. નામ અટકી ગયું અને હવે ઘણા ક્લાઉડ પ્રદાતાઓ પણ તેનો ઉપયોગ કરે છે.

VPC એ વર્ચ્યુઅલ નેટવર્ક છે SDN (સોફ્ટવેર ડિફાઈન્ડ નેટવર્ક). અમે L2 અને L3 સ્તરે વિશેષ પ્રોટોકોલની શોધ ન કરવાનું નક્કી કર્યું. નેટવર્ક પ્રમાણભૂત ઇથરનેટ અને IP પર ચાલે છે. નેટવર્ક પર ટ્રાન્સમિશન માટે, વર્ચ્યુઅલ મશીન ટ્રાફિક આપણા પોતાના પ્રોટોકોલ રેપરમાં સમાવિષ્ટ છે. તે ID સૂચવે છે જે ભાડૂતના VPC સાથે સંબંધિત છે.

સરળ લાગે છે. જો કે, ત્યાં ઘણા ગંભીર તકનીકી પડકારો છે જેને દૂર કરવાની જરૂર છે. ઉદાહરણ તરીકે, વર્ચ્યુઅલ MAC/IP સરનામાં, VPC ID અને અનુરૂપ ભૌતિક MAC/IP મેપિંગ પર ડેટા ક્યાં અને કેવી રીતે સંગ્રહિત કરવો. AWS સ્કેલ પર, આ એક વિશાળ ટેબલ છે જે ન્યૂનતમ ઍક્સેસ વિલંબ સાથે કામ કરવું જોઈએ. આ માટે જવાબદાર છે મેપિંગ સેવા, જે સમગ્ર નેટવર્કમાં પાતળા સ્તરમાં ફેલાયેલ છે.

નવી પેઢીના મશીનોમાં, હાર્ડવેર સ્તરે નાઈટ્રો કાર્ડ દ્વારા એન્કેપ્સ્યુલેશન કરવામાં આવે છે. જૂના કિસ્સાઓમાં, એન્કેપ્સ્યુલેશન અને ડીકેપ્સ્યુલેશન સોફ્ટવેર આધારિત છે. 

ચાલો જાણીએ કે તે સામાન્ય શબ્દોમાં કેવી રીતે કાર્ય કરે છે. ચાલો L2 સ્તરથી શરૂઆત કરીએ. ચાલો ધારીએ કે અમારી પાસે ભૌતિક સર્વર 10.0.0.2 પર IP 192.168.0.3 સાથે વર્ચ્યુઅલ મશીન છે. તે વર્ચ્યુઅલ મશીન 10.0.0.3 પર ડેટા મોકલે છે, જે 192.168.1.4 પર રહે છે. ARP વિનંતી જનરેટ થાય છે અને નેટવર્ક નાઇટ્રો કાર્ડ પર મોકલવામાં આવે છે. સરળતા માટે, અમે ધારીએ છીએ કે બંને વર્ચ્યુઅલ મશીનો સમાન "વાદળી" VPC માં રહે છે.

નકશો સ્ત્રોત સરનામાને તેના પોતાના સાથે બદલે છે અને ARP ફ્રેમને મેપિંગ સેવામાં ફોરવર્ડ કરે છે.

મેપિંગ સેવા L2 ભૌતિક નેટવર્ક પર ટ્રાન્સમિશન માટે જરૂરી માહિતી પરત કરે છે.

ARP પ્રતિસાદમાં નાઇટ્રો કાર્ડ ભૌતિક નેટવર્ક પર MAC ને VPC માં સરનામા સાથે બદલે છે.

ડેટા ટ્રાન્સફર કરતી વખતે, અમે લોજિકલ MAC અને IP ને VPC રેપરમાં લપેટીએ છીએ. અમે યોગ્ય સ્ત્રોત અને ગંતવ્ય IP નાઇટ્રો કાર્ડનો ઉપયોગ કરીને આ બધું ભૌતિક નેટવર્ક પર પ્રસારિત કરીએ છીએ.

ભૌતિક મશીન કે જેના પર પેકેજ નક્કી કરવામાં આવ્યું છે તે તપાસ કરે છે. એડ્રેસ સ્પુફિંગની શક્યતાને રોકવા માટે આ જરૂરી છે. મશીન મેપિંગ સેવાને વિશેષ વિનંતી મોકલે છે અને પૂછે છે: “ભૌતિક મશીન 192.168.0.3 થી મને એક પેકેટ મળ્યું જે વાદળી VPC માં 10.0.0.3 માટે બનાવાયેલ છે. શું તે કાયદેસર છે? 

મેપિંગ સેવા તેના સંસાધન ફાળવણી કોષ્ટકને તપાસે છે અને પેકેટને પસાર થવા દે છે અથવા નકારે છે. તમામ નવા કિસ્સાઓમાં, વધારાની માન્યતા નાઈટ્રો કાર્ડ્સમાં એમ્બેડ કરવામાં આવે છે. સૈદ્ધાંતિક રીતે પણ તેને બાયપાસ કરવું અશક્ય છે. તેથી, અન્ય VPC માં સંસાધનો માટે સ્પુફિંગ કામ કરશે નહીં.

આગળ, ડેટા વર્ચ્યુઅલ મશીનને મોકલવામાં આવે છે જેના માટે તેનો હેતુ છે. 

મેપિંગ સેવા વિવિધ સબનેટમાં વર્ચ્યુઅલ મશીનો વચ્ચે ડેટા ટ્રાન્સફર કરવા માટે લોજિકલ રાઉટર તરીકે પણ કામ કરે છે. બધું કલ્પનાત્મક રીતે સરળ છે, હું વિગતવાર નહીં જઈશ.

તે તારણ આપે છે કે દરેક પેકેટને ટ્રાન્સમિટ કરતી વખતે, સર્વર્સ મેપિંગ સેવા તરફ વળે છે. અનિવાર્ય વિલંબ સાથે કેવી રીતે વ્યવહાર કરવો? કેશીંગ, અલબત્ત.

સુંદરતા એ છે કે તમારે સમગ્ર વિશાળ ટેબલને કેશ કરવાની જરૂર નથી. ભૌતિક સર્વર પ્રમાણમાં ઓછી સંખ્યામાં VPC માંથી વર્ચ્યુઅલ મશીનોને હોસ્ટ કરે છે. તમારે ફક્ત આ VPCs વિશેની માહિતીને કેશ કરવાની જરૂર છે. "ડિફોલ્ટ" રૂપરેખાંકનમાં અન્ય VPCs પર ડેટા સ્થાનાંતરિત કરવું હજી પણ કાયદેસર નથી. જો VPC-પિયરિંગ જેવી કાર્યક્ષમતાનો ઉપયોગ કરવામાં આવે છે, તો અનુરૂપ VPCs વિશેની માહિતી વધુમાં કેશમાં લોડ કરવામાં આવે છે. 

અમે VPC માં ડેટાના ટ્રાન્સફરને સોર્ટ આઉટ કર્યું.

બ્લેકફૂટ

જ્યાં ટ્રાફિકને બહાર ટ્રાન્સમિટ કરવાની જરૂર હોય તેવા કિસ્સામાં શું કરવું, ઉદાહરણ તરીકે ઈન્ટરનેટ અથવા VPN મારફતે જમીન પર? અમને અહીં મદદ કરે છે બ્લેકફૂટ - AWS આંતરિક સેવા. તે અમારી દક્ષિણ આફ્રિકાની ટીમ દ્વારા વિકસાવવામાં આવી છે. તેથી જ આ સેવાનું નામ દક્ષિણ આફ્રિકામાં રહેતા પેંગ્વિનના નામ પરથી રાખવામાં આવ્યું છે.

બ્લેકફૂટ ટ્રાફિકને ડીકેપ્સ્યુલેટ કરે છે અને તેની સાથે જે જરૂરી હોય તે કરે છે. ડેટા જેમ છે તેમ ઇન્ટરનેટ પર મોકલવામાં આવે છે.

VPN નો ઉપયોગ કરતી વખતે ડેટાને ડીકેપ્સ્યુલેટ કરવામાં આવે છે અને IPsec માં ફરીથી લપેટવામાં આવે છે.

ડાયરેક્ટ કનેક્ટનો ઉપયોગ કરતી વખતે, ટ્રાફિકને ટેગ કરવામાં આવે છે અને યોગ્ય VLAN પર મોકલવામાં આવે છે.

હાયપરપ્લેન

આ આંતરિક પ્રવાહ નિયંત્રણ સેવા છે. ઘણી નેટવર્ક સેવાઓને મોનિટરિંગની જરૂર છે ડેટા ફ્લો સ્ટેટ્સ. ઉદાહરણ તરીકે, NAT નો ઉપયોગ કરતી વખતે, ફ્લો કંટ્રોલ એ સુનિશ્ચિત કરવું જોઈએ કે દરેક IP: destination પોર્ટ જોડી પાસે એક અનન્ય આઉટગોઇંગ પોર્ટ છે. બેલેન્સરના કિસ્સામાં NLB - નેટવર્ક લોડ બેલેન્સર, ડેટા ફ્લો હંમેશા સમાન લક્ષ્ય વર્ચ્યુઅલ મશીન પર નિર્દેશિત થવો જોઈએ. સુરક્ષા જૂથો એ સ્ટેટફુલ ફાયરવોલ છે. તે ઇનકમિંગ ટ્રાફિક પર નજર રાખે છે અને આઉટગોઇંગ પેકેટ ફ્લો માટે પોર્ટ ખોલે છે.

AWS ક્લાઉડમાં, ટ્રાન્સમિશન લેટન્સી જરૂરિયાતો અત્યંત ઊંચી છે. એ કારણે હાયપરપ્લેન સમગ્ર નેટવર્કના પ્રદર્શન માટે મહત્વપૂર્ણ.

હાઇપરપ્લેન EC2 વર્ચ્યુઅલ મશીનો પર બનેલ છે. અહીં કોઈ જાદુ નથી, ફક્ત ઘડાયેલું છે. યુક્તિ એ છે કે આ મોટી રેમ સાથે વર્ચ્યુઅલ મશીનો છે. ઓપરેશન્સ વ્યવહારિક હોય છે અને ફક્ત મેમરીમાં જ કરવામાં આવે છે. આ તમને માત્ર દસ માઇક્રોસેકન્ડના વિલંબને પ્રાપ્ત કરવાની મંજૂરી આપે છે. ડિસ્ક સાથે કામ કરવાથી બધી ઉત્પાદકતા મરી જશે. 

હાયપરપ્લેન એ આવા EC2 મશીનોની વિશાળ સંખ્યાની વિતરિત સિસ્ટમ છે. દરેક વર્ચ્યુઅલ મશીન 5 GB/s ની બેન્ડવિડ્થ ધરાવે છે. સમગ્ર પ્રાદેશિક નેટવર્કમાં, આ બેન્ડવિડ્થના અવિશ્વસનીય ટેરાબિટ્સ પ્રદાન કરે છે અને પ્રક્રિયાને મંજૂરી આપે છે પ્રતિ સેકન્ડ લાખો જોડાણો.

હાયપરપ્લેન માત્ર સ્ટ્રીમ્સ સાથે કામ કરે છે. તેના માટે VPC પેકેટ એન્કેપ્સ્યુલેશન સંપૂર્ણપણે પારદર્શક છે. આ આંતરિક સેવામાં સંભવિત નબળાઈ હજુ પણ VPC અલગતાને તૂટતા અટકાવશે. નીચેના સ્તરો સુરક્ષા માટે જવાબદાર છે.

ઘોંઘાટીયા પાડોશી

હજુ પણ સમસ્યા છે ઘોંઘાટીયા પાડોશી - ઘોંઘાટીયા પાડોશી. ચાલો ધારીએ કે આપણી પાસે 8 નોડ્સ છે. આ ગાંઠો તમામ ક્લાઉડ વપરાશકર્તાઓના પ્રવાહની પ્રક્રિયા કરે છે. બધું સારું લાગે છે અને ભાર બધા નોડ્સ પર સમાનરૂપે વિતરિત થવો જોઈએ. ગાંઠો ખૂબ શક્તિશાળી છે અને તેમને ઓવરલોડ કરવું મુશ્કેલ છે.

પરંતુ અમે અસંભવિત દૃશ્યો પર આધારિત અમારા આર્કિટેક્ચરનું નિર્માણ કરીએ છીએ. 

ઓછી સંભાવનાનો અર્થ અશક્ય નથી.

અમે એવી પરિસ્થિતિની કલ્પના કરી શકીએ છીએ જેમાં એક અથવા વધુ વપરાશકર્તાઓ ખૂબ જ ભાર પેદા કરશે. બધા હાયપરપ્લેન નોડ્સ આ લોડની પ્રક્રિયામાં સામેલ છે અને અન્ય વપરાશકર્તાઓ સંભવિત રૂપે અમુક પ્રકારની કામગીરી હિટનો અનુભવ કરી શકે છે. આ ક્લાઉડના ખ્યાલને તોડે છે, જેમાં ભાડૂતો એકબીજાને પ્રભાવિત કરવાની ક્ષમતા ધરાવતા નથી.

ઘોંઘાટીયા પાડોશીની સમસ્યાને કેવી રીતે હલ કરવી? પ્રથમ વસ્તુ જે ધ્યાનમાં આવે છે તે શાર્ડિંગ છે. અમારા 8 ગાંઠો તાર્કિક રીતે 4 ગાંઠોના 2 શાર્ડમાં વહેંચાયેલા છે. હવે ઘોંઘાટીયા પાડોશી બધા વપરાશકર્તાઓના માત્ર એક ક્વાર્ટરને ખલેલ પહોંચાડશે, પરંતુ તે તેમને મોટા પ્રમાણમાં ખલેલ પહોંચાડશે.

ચાલો વસ્તુઓ જુદી રીતે કરીએ. અમે દરેક વપરાશકર્તાને માત્ર 3 નોડ ફાળવીશું. 

યુક્તિ એ વિવિધ વપરાશકર્તાઓને રેન્ડમલી નોડ્સ અસાઇન કરવાની છે. નીચેના ચિત્રમાં, વાદળી વપરાશકર્તા ગાંઠોને અન્ય બે વપરાશકર્તાઓમાંથી એક સાથે છેદે છે - લીલો અને નારંગી.

8 નોડ્સ અને 3 વપરાશકર્તાઓ સાથે, ઘોંઘાટીયા પાડોશી વપરાશકર્તાઓમાંથી એક સાથે છેદે છે તેની સંભાવના 54% છે. તે આ સંભાવના સાથે છે કે વાદળી વપરાશકર્તા અન્ય ભાડૂતોને પ્રભાવિત કરશે. તે જ સમયે, તેના લોડનો માત્ર એક ભાગ. અમારા ઉદાહરણમાં, આ પ્રભાવ ઓછામાં ઓછો કોઈક રીતે દરેકને નહીં, પરંતુ બધા વપરાશકર્તાઓના ત્રીજા ભાગ માટે ધ્યાનપાત્ર હશે. આ પહેલેથી જ સારું પરિણામ છે.

છેદશે તેવા વપરાશકર્તાઓની સંખ્યા

ટકાવારીમાં સંભાવના

0

18%

1

54%

2

26%

3

2%

ચાલો પરિસ્થિતિને વાસ્તવિકતાની નજીક લાવીએ - ચાલો 100 નોડ્સ અને 5 નોડ્સ પર 5 વપરાશકર્તાઓ લઈએ. આ કિસ્સામાં, 77% ની સંભાવના સાથે કોઈપણ ગાંઠો છેદે નહીં. 

છેદશે તેવા વપરાશકર્તાઓની સંખ્યા

ટકાવારીમાં સંભાવના

0

77%

1

21%

2

1,8%

3

0,06%

4

0,0006%

5

0,00000013%

વાસ્તવિક પરિસ્થિતિમાં, હાયપરપ્લેન નોડ્સ અને વપરાશકર્તાઓની વિશાળ સંખ્યા સાથે, અન્ય વપરાશકર્તાઓ પર ઘોંઘાટીયા પાડોશીની સંભવિત અસર ન્યૂનતમ છે. આ પદ્ધતિ કહેવામાં આવે છે મિશ્રણ શાર્ડિંગ - શફલ શાર્ડિંગ. તે નોડની નિષ્ફળતાની નકારાત્મક અસરને ઘટાડે છે.

ઘણી સેવાઓ હાઇપરપ્લેનના આધારે બનાવવામાં આવી છે: નેટવર્ક લોડ બેલેન્સર, NAT ગેટવે, એમેઝોન EFS, AWS પ્રાઇવેટલિંક, AWS ટ્રાન્ઝિટ ગેટવે.

નેટવર્ક સ્કેલ

હવે નેટવર્કના જ સ્કેલ વિશે વાત કરીએ. ઑક્ટોબર 2019 માટે AWS તેની સેવાઓ ઓફર કરે છે 22 પ્રદેશો, અને 9 વધુ આયોજન કરવામાં આવ્યું છે.

• દરેક પ્રદેશમાં અનેક ઉપલબ્ધતા ઝોન હોય છે. વિશ્વભરમાં તેમાંથી 69 છે.
• દરેક AZમાં ડેટા પ્રોસેસિંગ સેન્ટરનો સમાવેશ થાય છે. તેમાં કુલ 8 થી વધુ નથી.
• ડેટા સેન્ટરમાં મોટી સંખ્યામાં સર્વર છે, જેમાં કેટલાક 300 સુધી છે.

હવે ચાલો આ બધાની સરેરાશ કરીએ, ગુણાકાર કરીએ અને પ્રતિબિંબિત કરતી પ્રભાવશાળી આકૃતિ મેળવીએ એમેઝોન ક્લાઉડ સ્કેલ.

ઉપલબ્ધતા ઝોન અને ડેટા સેન્ટર વચ્ચે ઘણી ઓપ્ટિકલ લિંક્સ છે. અમારા સૌથી મોટા પ્રદેશોમાંના એકમાં, 388 ચેનલો ફક્ત એકબીજા અને અન્ય પ્રદેશો (ટ્રાન્સિટ સેન્ટર્સ) સાથેના સંચાર કેન્દ્રો વચ્ચે AZ સંચાર માટે મૂકવામાં આવી છે. કુલ આ ઉન્મત્ત આપે છે 5000 Tbit.

બેકબોન AWS ખાસ કરીને ક્લાઉડ માટે બનાવવામાં આવ્યું છે અને ઑપ્ટિમાઇઝ કરવામાં આવ્યું છે. અમે તેને ચેનલો પર બનાવીએ છીએ 100 જીબી / સે. ચીનના પ્રદેશોને બાદ કરતાં અમે તેમને સંપૂર્ણપણે નિયંત્રિત કરીએ છીએ. ટ્રાફિક અન્ય કંપનીઓના લોડ સાથે શેર કરવામાં આવતો નથી.

અલબત્ત, અમે ખાનગી બેકબોન નેટવર્ક ધરાવતા એકમાત્ર ક્લાઉડ પ્રદાતા નથી. વધુ ને વધુ મોટી કંપનીઓ આ માર્ગને અનુસરી રહી છે. સ્વતંત્ર સંશોધકો દ્વારા આની પુષ્ટિ કરવામાં આવી છે, ઉદાહરણ તરીકે ટેલિજીઓગ્રાફી.

ગ્રાફ દર્શાવે છે કે સામગ્રી પ્રદાતાઓ અને ક્લાઉડ પ્રદાતાઓનો હિસ્સો વધી રહ્યો છે. આ કારણે, બેકબોન પ્રદાતાઓના ઇન્ટરનેટ ટ્રાફિકનો હિસ્સો સતત ઘટી રહ્યો છે.

હું સમજાવીશ કે આવું શા માટે થાય છે. પહેલાં, મોટાભાગની વેબ સેવાઓ સીધી ઇન્ટરનેટથી સુલભ અને વપરાશમાં આવતી હતી. આજકાલ, વધુ અને વધુ સર્વર્સ ક્લાઉડમાં સ્થિત છે અને તેના દ્વારા સુલભ છે સીડીએન - સામગ્રી વિતરણ નેટવર્ક. સંસાધનને ઍક્સેસ કરવા માટે, વપરાશકર્તા ઈન્ટરનેટ દ્વારા માત્ર નજીકના CDN PoP પર જાય છે - હાજરીનો મુદ્દો. મોટેભાગે તે નજીકમાં ક્યાંક હોય છે. પછી તે સાર્વજનિક ઈન્ટરનેટને છોડી દે છે અને એટલાન્ટિકમાં ખાનગી કરોડરજ્જુ દ્વારા ઉડે ​​છે, ઉદાહરણ તરીકે, અને સીધા જ સંસાધન પર પહોંચે છે.

મને આશ્ચર્ય થાય છે કે જો આ વલણ ચાલુ રહેશે તો 10 વર્ષમાં ઇન્ટરનેટ કેવી રીતે બદલાશે?

ભૌતિક ચેનલો

વિજ્ઞાનીઓ હજુ સુધી બ્રહ્માંડમાં પ્રકાશની ઝડપ કેવી રીતે વધારવી તે શોધી શક્યા નથી, પરંતુ તેમણે ઓપ્ટિકલ ફાઈબર દ્વારા તેને પ્રસારિત કરવાની પદ્ધતિઓમાં ઘણી પ્રગતિ કરી છે. અમે હાલમાં 6912 ફાઇબર કેબલનો ઉપયોગ કરીએ છીએ. આ તેમના ઇન્સ્ટોલેશનની કિંમતને નોંધપાત્ર રીતે ઑપ્ટિમાઇઝ કરવામાં મદદ કરે છે.

કેટલાક પ્રદેશોમાં અમારે ખાસ કેબલનો ઉપયોગ કરવો પડે છે. ઉદાહરણ તરીકે, સિડની પ્રદેશમાં આપણે ઉધઈ સામે ખાસ કોટિંગ સાથે કેબલનો ઉપયોગ કરીએ છીએ. 

કોઈ પણ વ્યક્તિ મુશ્કેલીઓથી મુક્ત નથી અને કેટલીકવાર અમારી ચેનલોને નુકસાન થાય છે. જમણી બાજુનો ફોટો અમેરિકન પ્રદેશોમાંના એકમાં ઓપ્ટિકલ કેબલ બતાવે છે જે બાંધકામ કામદારો દ્વારા ફાટી ગયા હતા. દુર્ઘટનાના પરિણામે માત્ર 13 ડેટા પેકેટ જ ખોવાઈ ગયા હતા, જે આશ્ચર્યજનક છે. ફરી એકવાર - ફક્ત 13! સિસ્ટમ શાબ્દિક રીતે તરત જ બેકઅપ ચેનલો પર સ્વિચ કરે છે - સ્કેલ કામ કરી રહ્યું છે.

અમે Amazon ની કેટલીક ક્લાઉડ સેવાઓ અને ટેક્નોલોજીઓ દ્વારા આગળ વધ્યા. હું આશા રાખું છું કે અમારા ઇજનેરોએ જે કાર્યોને હલ કરવાના છે તેના સ્કેલનો તમને ઓછામાં ઓછો થોડો ખ્યાલ હશે. અંગત રીતે, મને આ ખૂબ જ રોમાંચક લાગે છે. 

AWS ઉપકરણ વિશે વેસિલી પેન્ટ્યુખિનની ટ્રાયોલોજીનો આ અંતિમ ભાગ છે. IN પ્રથમ ભાગો સર્વર ઓપ્ટિમાઇઝેશન અને ડેટાબેઝ સ્કેલિંગનું વર્ણન કરે છે, અને માં બીજા - સર્વરલેસ કાર્યો અને ફાયરક્રેકર.

માં હાઇલોડ++ નવેમ્બરમાં વેસિલી પેન્ટ્યુખિન એમેઝોન ઉપકરણની નવી વિગતો શેર કરશે. તેમણે કહેશે નિષ્ફળતાના કારણો અને એમેઝોન પર વિતરિત સિસ્ટમોની ડિઝાઇન વિશે. 24 ઓક્ટોબર હજુ પણ શક્ય છે પુસ્તક ને સારી કિંમતે ટિકિટ, અને પછીથી ચૂકવણી કરો. અમે HighLoad++ પર તમારી રાહ જોઈ રહ્યા છીએ, આવો અને ચેટ કરીએ!

સોર્સ: www.habr.com