Миқёси шабакаи Amazon Web Services 69 минтақаро дар саросари ҷаҳон дар 22 минтақа ташкил медиҳад: ИМА, Аврупо, Осиё, Африқо ва Австралия. Ҳар як минтақа то 8 маркази додаҳо - Марказҳои коркарди маълумотро дар бар мегирад. Ҳар як маркази додаҳо дорои ҳазорҳо ё садҳо ҳазор серверҳо мебошад. Шабака тавре тарҳрезӣ шудааст, ки ҳама сенарияҳои эҳтимолии қатъшавӣ ба назар гирифта мешаванд. Масалан, ҳамаи минтақаҳо аз ҳамдигар ҷудо карда шудаанд ва минтақаҳои дастрас дар масофаи якчанд километр ҷудо карда шудаанд. Ҳатто агар шумо кабелро буред, система ба каналҳои эҳтиётӣ мегузарад ва талафоти иттилоот ба чанд пакети додаҳо баробар мешавад. Василий Пантюхин дар бораи он, ки шабака дар асоси кадом принсипҳо ва чӣ гуна сохторбандӣ шудааст, сӯҳбат хоҳад кард.
Василий Пантюхин ҳамчун маъмури Unix дар ширкатҳои .ru оғоз ёфт, дар тӯли 6 сол дар сахтафзори бузурги Sun Microsystem кор кард ва дар тӯли 11 сол дар EMC ҷаҳони ба маълумот мутамарказро мавъиза кард. Он табиатан ба абрҳои хусусӣ табдил ёфт ва сипас ба абрҳои ҷамъиятӣ гузашт. Ҳоло, ҳамчун меъмори Amazon Web Services, ӯ маслиҳати техникӣ медиҳад, то дар абри AWS зиндагӣ ва рушд кунад.
Дар қисми қаблии трилогияи AWS, Василий ба тарҳрезии серверҳои физикӣ ва миқёси пойгоҳи додаҳо машғул буд. Кортҳои Nitro, гипервизори фармоишии KVM, махзани Amazon Aurora - дар бораи ҳамаи ин дар мавод "" Барои контекст хонед ё тамошо кунед нуткхо.
Ин қисм ба миқёси шабака, яке аз системаҳои мураккабтарин дар AWS тамаркуз хоҳад кард. Эволютсия аз шабакаи ҳамвор ба абри хусусии виртуалӣ ва тарроҳии он, хидматҳои дохилии Blackfoot ва HyperPlane, мушкилоти ҳамсояи пурғавғо ва дар ниҳоят - миқёси шабака, магистралӣ ва кабелҳои физикӣ. Дар бораи хамаи ин дар зери набуред.
Радди масъулият: ҳама чиз дар зер андешаи шахсии Василий аст ва метавонад бо мавқеи Amazon Web Services мувофиқат накунад.
Миқёси шабака
Абри AWS дар соли 2006 ба кор даромад. Шабакаи ӯ хеле ибтидоӣ буд - бо сохтори ҳамвор. Доираи суроғаҳои хусусӣ барои ҳама иҷорагирони абр умумӣ буд. Ҳангоми оғоз кардани мошини нави виртуалӣ, шумо тасодуфан аз ин диапазон суроғаи IP дастрасро гирифтед.
Татбиқи ин равиш осон буд, аммо истифодаи абрро ба таври куллӣ маҳдуд кард. Махсусан, таҳияи қарорҳои гибридӣ, ки шабакаҳои хусусиро дар замин ва AWS муттаҳид мекунанд, хеле душвор буд. Мушкилоти маъмултарин такрори диапазони суроғаҳои IP буд.
Абри виртуалии хусусӣ
Абр талабгор шуд. Вакти он расидааст, ки дар бораи васеъшавй ва имконияти истифодаи он аз тарафи даххо миллион ичоракорон фикр кунем. Шабакаи ҳамвор ба монеаи асосӣ табдил ёфтааст. Аз ин рӯ, мо дар бораи чӣ гуна ҷудо кардани корбарон аз ҳамдигар дар сатҳи шабака фикр кардем, то онҳо мустақилона диапазони IP-ро интихоб кунанд.
Вақте ки шумо дар бораи изолятсияи шабака фикр мекунед, аввалин чизе ки ба хотир меояд, кадом аст? Албатта ВЛАН и VRF - масир ва интиқоли виртуалӣ.
Мутаассифона, он кор накард. VLAN ID танҳо 12 бит аст, ки ба мо танҳо 4096 сегменти ҷудогона медиҳад. Ҳатто калонтарин коммутаторҳо метавонанд ҳадди аксар 1-2 ҳазор VRF-ро истифода баранд. Истифодаи VRF ва VLAN якҷоя ба мо танҳо чанд миллион зершабакаҳоро медиҳад. Ин бешубҳа барои даҳҳо миллион иҷорагирон кофӣ нест, ки ҳар яки онҳо бояд зершабакаҳои сершуморро истифода баранд.
Мо инчунин наметавонем шумораи зарурии қуттиҳои калонро, масалан, аз Cisco ё Juniper харем. Ду сабаб вуҷуд дорад: он девонавор гарон аст ва мо намехоҳем, ки сиёсати рушд ва ислоҳи онҳо дар раҳм қарор гирем.
Танҳо як хулоса вуҷуд дорад - ҳалли худро созед.
Соли 2009 эълон карда будем VPC - Абри виртуалии хусусӣ. Ном часпидааст ва ҳоло бисёр провайдерҳои абрӣ низ онро истифода мебаранд.
VPC як шабакаи виртуалӣ аст SDN (Шабакаи муайяншудаи нармафзор). Мо тасмим гирифтем, ки протоколҳои махсусро дар сатҳҳои L2 ва L3 ихтироъ накунем. Шабака дар Ethernet ва IP стандартӣ кор мекунад. Барои интиқол тавассути шабака, трафики мошини виртуалӣ дар бастаи протоколи худи мо фаро гирифта шудааст. Он ID-ро нишон медиҳад, ки ба VPC-и иҷорагир тааллуқ дорад.
Садо оддӣ. Бо вуҷуди ин, якчанд мушкилоти ҷиддии техникӣ мавҷуданд, ки бояд бартараф карда шаванд. Масалан, дар куҷо ва чӣ тавр нигоҳ доштани маълумот дар бораи харитасозии суроғаҳои виртуалии MAC/IP, ID VPC ва MAC/IP-и мувофиқ. Дар миқёси AWS, ин ҷадвали бузургест, ки бояд бо таъхирҳои ҳадди ақали дастрасӣ кор кунад. Барои ин масъул аст хадамоти харитасозӣ, ки дар як қабати тунук дар тамоми шабака паҳн шудааст.
Дар мошинҳои насли нав инкапсуляция тавассути кортҳои Nitro дар сатҳи сахтафзор анҷом дода мешавад. Дар ҳолатҳои кӯҳна, инкапсуляция ва декапсуляция ба нармафзор асос ёфтааст.
Биёед бифаҳмем, ки он ба таври умумӣ чӣ гуна кор мекунад. Биёед бо сатҳи L2 оғоз кунем. Фарз мекунем, ки мо як мошини маҷозӣ бо IP 10.0.0.2 дар сервери физикии 192.168.0.3 дорем. Он маълумотро ба мошини виртуалии 10.0.0.3, ки дар 192.168.1.4 зиндагӣ мекунад, мефиристад. Дархости ARP тавлид ва ба шабакаи Nitro корти фиристода мешавад. Барои содда, мо тахмин мезанем, ки ҳарду мошини виртуалӣ дар як VPC "кабуд" зиндагӣ мекунанд.
Харита суроғаи манбаъро бо суроғаи худ иваз мекунад ва чаҳорчӯбаи ARP-ро ба хидмати харитасозӣ интиқол медиҳад.
Хидмати харитасозӣ маълумотеро бармегардонад, ки барои интиқол тавассути шабакаи физикии L2 зарур аст.
Корти Nitro дар посухи ARP MAC-ро дар шабакаи физикӣ бо суроғаи VPC иваз мекунад.
Ҳангоми интиқоли маълумот, мо MAC ва IP-и мантиқиро дар печи VPC мепӯшем. Мо ҳамаи инро тавассути шабакаи физикӣ бо истифода аз кортҳои мувофиқи IP Nitro манбаъ ва таъинот интиқол медиҳем.
Мошини физикие, ки баста ба он таъин шудааст, чекро иҷро мекунад. Ин барои пешгирии эҳтимолияти қаллобии суроғаҳо зарур аст. Мошин ба хадамоти харитасозӣ дархости махсус мефиристад ва мепурсад: “Аз мошини физикии 192.168.0.3 ман бастаеро гирифтам, ки барои 10.0.0.3 дар VPC кабуд пешбинӣ шудааст. Оё ӯ қонунӣ аст?
Хидмати харитасозӣ ҷадвали тақсимоти захираҳои худро тафтиш мекунад ва гузариши бастаро иҷозат медиҳад ё рад мекунад. Дар ҳама ҳолатҳои нав, тасдиқи иловагӣ дар кортҳои Nitro ҷойгир карда шудааст. Хатто аз чихати назариявй аз он гузаштан мумкин нест. Аз ин рӯ, қаллобӣ ба захираҳо дар дигар VPC кор намекунад.
Баъдан, маълумот ба мошини маҷозӣ фиристода мешавад, ки барои он пешбинӣ шудааст.
Хидмати харитасозӣ инчунин ҳамчун роутери мантиқӣ барои интиқоли маълумот байни мошинҳои виртуалӣ дар зершабакаҳои гуногун кор мекунад. Ҳама чиз аз ҷиҳати консептуалӣ оддӣ аст, ман ба тафсилот намеравам.
Маълум мешавад, ки ҳангоми интиқоли ҳар як баста серверҳо ба хидмати харитасозӣ муроҷиат мекунанд. Бо таъхирҳои ногузир чӣ гуна бояд мубориза бурд? Кэшкунӣ, Албатта.
Зебоӣ дар он аст, ки ба шумо лозим нест, ки тамоми мизи азимро кэш кунед. Сервери физикӣ мошинҳои виртуалиро аз шумораи нисбатан ками VPCҳо ҷойгир мекунад. Шумо танҳо бояд маълумотро дар бораи ин VPC-ҳо кэш кунед. Интиқоли маълумот ба VPC-ҳои дигар дар конфигуратсияи "пешфарз" то ҳол қонунӣ нест. Агар функсия ба монанди VPC-peering истифода шавад, он гоҳ маълумот дар бораи VPC-ҳои мувофиқ ба таври иловагӣ ба кэш бор карда мешавад.
Мо интиқоли маълумотро ба VPC ҷудо кардем.
Роҳбарият
Дар ҳолатҳое, ки трафик бояд берун аз он интиқол дода шавад, масалан ба Интернет ё тавассути VPN ба замин чӣ бояд кард? Дар ин ҷо ба мо кӯмак мекунад Роҳбарият — Хадамоти дохилии AWS. Он аз ҷониби дастаи Африқои Ҷанубии мо таҳия шудааст. Аз ин рӯ, хидмат ба номи пингвин, ки дар Африқои Ҷанубӣ зиндагӣ мекунад, номгузорӣ шудааст.
Blackfoot трафикро декапсулатсия мекунад ва он чизеро, ки бо он лозим аст, мекунад. Маълумот ба Интернет ҳамчунон фиристода мешавад.
Ҳангоми истифодаи VPN маълумот дар IPsec декапсулизатсия карда мешавад ва дубора печонида мешавад.
Ҳангоми истифодаи Direct Connect, трафик барчасп карда мешавад ва ба VLAN мувофиқ фиристода мешавад.
HyperPlane
Ин хидмати назорати ҷараёни дохилӣ аст. Бисёре аз хидматҳои шабакавӣ мониторингро талаб мекунанд ҳолати ҷараёни маълумот. Масалан, ҳангоми истифодаи NAT, назорати ҷараён бояд кафолат диҳад, ки ҳар як ҷуфти порти IP: таъинот порти ягонаи баромад дорад. Дар мавриди мувозинат НЛБ - Тавозуни сарбории шабака, ҷараёни маълумот бояд ҳамеша ба як мошини виртуалии ҳадаф равона карда шавад. Гурӯҳҳои Амният як девори ҳолати мавҷуд аст. Он трафики воридшударо назорат мекунад ва бандарҳоро барои ҷараёни бастаҳои содиротӣ мекушояд.
Дар абри AWS, талабот ба таъхири интиқол бениҳоят баланд аст. Барои ҳамон HyperPlane барои кори тамоми шабака муҳим аст.
Hyperplane дар мошинҳои виртуалии EC2 сохта шудааст. Дар ин ҷо ҷодугарӣ нест, танҳо маккор аст. Ҳилла дар он аст, ки ин мошинҳои виртуалӣ бо RAM калон мебошанд. Амалиётҳо транзаксионӣ буда, танҳо дар хотира иҷро мешаванд. Ин ба шумо имкон медиҳад, ки ба таъхирҳои ҳамагӣ даҳҳо микросония ноил шавед. Кор бо диск тамоми хосилнокии мехнатро мекушад.
Гиперплан як системаи тақсимшудаи шумораи зиёди чунин мошинҳои EC2 мебошад. Ҳар як мошини виртуалӣ дорои маҷрои 5 ГБ/с мебошад. Дар тамоми шабакаи минтақавӣ, ин терабитҳои бениҳоят фарохмаҷро таъмин мекунад ва коркардро имкон медиҳад миллионҳо пайвастшавӣ дар як сония.
HyperPlane танҳо бо ҷараёнҳо кор мекунад. Инкапсуляцияи бастаи VPC барои он комилан шаффоф аст. Як осебпазирии эҳтимолӣ дар ин хидмати дохилӣ то ҳол аз шикастани изолятсияи VPC пешгирӣ мекунад. Сатҳҳои поёнӣ барои амният масъуланд.
Ҳамсояи пурғавғо
Ҳанӯз мушкилот вуҷуд дорад ҳамсояи пурғавғо - ҳамсояи пурғавғо. Фарз мекунем, ки мо 8 гиреҳ дорем. Ин гиреҳҳо ҷараёни ҳама корбарони абрро коркард мекунанд. Ба назар чунин мерасад, ки ҳама чиз хуб аст ва сарборӣ бояд дар тамоми гиреҳҳо баробар тақсим карда шавад. Гиреҳҳо хеле пурқувватанд ва аз ҳад зиёд бор кардани онҳо душвор аст.
Аммо мо меъмории худро дар асоси сенарияҳои эҳтимолӣ ҳам месозем.
Эҳтимолияти паст маънои имконнопазирро надорад.
Мо метавонем вазъиятеро тасаввур кунем, ки дар он як ё якчанд корбарон бори аз ҳад зиёд тавлид мекунанд. Ҳама гиреҳҳои HyperPlane дар коркарди ин сарборӣ иштирок мекунанд ва корбарони дигар эҳтимолан як навъ зарбаи иҷроишро эҳсос мекунанд. Ин консепсияи абрро вайрон мекунад, ки дар он иҷоракорон қобилияти ба ҳамдигар таъсир расонидан надоранд.
Мушкилоти ҳамсояи пурғавғоро чӣ гуна бояд ҳал кард? Аввалин чизе, ки ба ақл меояд, sharding аст. 8 гиреҳи мо мантиқӣ ба 4 гиреҳ аз 2 гиреҳ тақсим карда мешавад. Акнун як ҳамсояи пурғавғо танҳо чоряки ҳамаи корбаронро ба ташвиш меорад, аммо он онҳоро хеле ба ташвиш меорад.
Биёед корро ба таври дигар кунем. Мо ба ҳар як корбар танҳо 3 гиреҳ ҷудо мекунем.
Ҳила ин аст, ки ба таври тасодуфӣ гиреҳҳоро ба корбарони гуногун таъин кунед. Дар расми зер корбари кабуд гиреҳҳоро бо яке аз ду корбари дигар - сабз ва норанҷӣ буриш мекунад.
Бо 8 гиреҳ ва 3 корбар, эҳтимолияти буриши ҳамсояи пурғавғо бо яке аз корбарон 54% аст. Маҳз бо ҳамин эҳтимолият корбари кабуд ба иҷорагирони дигар таъсир мерасонад. Дар баробари ин факат як кисми бори он. Дар мисоли мо, ин таъсир ҳадди аққал барои ҳама на ба ҳама, балки танҳо сеяки ҳамаи корбарон намоён хоҳад буд. Ин аллакай натичаи хуб аст.
Шумораи корбароне, ки ба ҳам мепайванданд
Эҳтимолият дар фоиз
0
18%
1
54%
2
26%
3
2%
Биёед вазъиятро ба воқеият наздик кунем - биёед 100 гиреҳ ва 5 корбарро дар 5 гиреҳ гирем. Дар ин ҳолат, ҳеҷ яке аз гиреҳҳо бо эҳтимолияти 77% бурида намешаванд.
Шумораи корбароне, ки ба ҳам мепайванданд
Эҳтимолият дар фоиз
0
77%
1
21%
2
1,8%
3
0,06%
4
0,0006%
5
0,00000013%
Дар вазъияти воқеӣ, бо шумораи зиёди гиреҳҳо ва корбарони HyperPlane, таъсири эҳтимолии ҳамсояи пурғавғо ба корбарони дигар ҳадди аққал аст. Ин усул номида мешавад омехтаи пора - омехтаи омехта. Он таъсири манфии нокомии гиреҳҳоро кам мекунад.
Бисёр хидматҳо дар асоси HyperPlane сохта шудаанд: Network Load Balancer, NAT Gateway, Amazon EFS, AWS PrivateLink, AWS Transit Gateway.
Миқёси шабака
Акнун биёед дар бораи миқёси худи шабака сӯҳбат кунем. Дар моҳи октябри соли 2019 AWS хидматҳои худро дар 22 вилоят, ва 9 боз ба накша гирифта шудааст.
- Ҳар як минтақа дорои якчанд Минтақаҳои дастрас аст. Дар саросари ҷаҳон 69 нафари онҳо мавҷуданд.
- Ҳар як AZ аз марказҳои коркарди маълумот иборат аст. Дар маҷмӯъ аз 8 адад зиёд нест.
- Дар маркази додаҳо шумораи зиёди серверҳо мавҷуданд, ки баъзеашон то 300 доранд.
Акнун биёед ҳамаи инро ба ҳисоби миёна ҳисоб кунем, афзоиш диҳем ва рақами таъсирбахше ба даст орем, ки инъикос мекунад Миқёси абрии Amazon.
Байни минтақаҳои дастрас ва маркази додаҳо робитаҳои зиёди оптикӣ мавҷуданд. Дар яке аз минтақаҳои калонтарини мо танҳо барои алоқаи AZ байни ҳамдигар ва марказҳои алоқа бо минтақаҳои дигар (Марказҳои транзитӣ) 388 канал гузаронида шудааст. Дар маҷмӯъ ин девона медиҳад 5000 Тбит.
Backbone AWS махсус барои абр сохта шудааст ва оптимизатсия карда шудааст. Мо онро дар каналҳо месозем 100 ГБ / с. Мо онҳоро комилан назорат мекунем, ба истиснои минтақаҳои Чин. Трафик бо бори дигар ширкатҳо тақсим карда намешавад.
Албатта, мо ягона провайдери абрӣ нестем, ки шабакаи хусусии шоҳроҳи дорад. Ба ин рох торафт бештар корхонахои калон пеш рафта истодаанд. Инро муҳаққиқони мустақил тасдиқ мекунанд, масалан аз .
График нишон медиҳад, ки ҳиссаи провайдерҳои мундариҷа ва провайдерҳои абр меафзояд. Аз ин рӯ, ҳиссаи трафики интернетии провайдерҳои магистралӣ мунтазам коҳиш меёбад.
Ман мефаҳмонам, ки чаро ин рӯй медиҳад. Пештар, аксари хидматҳои веб дастрас буданд ва мустақиман аз Интернет истифода мешуданд. Имрӯзҳо, серверҳои бештар ва бештар дар абр ҷойгиранд ва тавассути онҳо дастрасанд CDN - Шабакаи паҳнкунии мундариҷа. Барои дастрасӣ ба манбаъ, корбар тавассути Интернет танҳо ба наздиктарин CDN PoP мегузарад - Нуқтаи ҳузур. Аксар вақт он дар ҷои наздик аст. Он гоҳ он Интернети ҷамъиятиро тарк мекунад ва тавассути шоҳроҳи хусусии уқёнуси Атлантик парвоз мекунад ва мустақиман ба манбаъ мерасад.
Аҷиб, агар ин тамоюл идома ёбад, интернет пас аз 10 сол чӣ гуна тағйир меёбад?
Каналҳои ҷисмонӣ
Олимон то ҳол дар бораи чӣ гуна зиёд кардани суръати рӯшноӣ дар Коинот муайян накардаанд, аммо онҳо дар усулҳои интиқоли он тавассути нахи оптикӣ ба пешрафти бузург ноил шуданд. Мо дар айни замон 6912 кабели нахро истифода мебарем. Ин барои ба таври назаррас оптимизатсия кардани арзиши насби онҳо кӯмак мекунад.
Дар баъзе районхо мо бояд кабелхои махсусро истифода барем. Масалан, дар вилояти Сидней мо кабелҳои дорои рӯйпӯши махсусро бар зидди термитҳо истифода мебарем.
Ҳеҷ кас аз мушкилот эмин нест ва баъзан каналҳои мо вайрон мешаванд. Дар акси рост кабелҳои оптикӣ дар яке аз минтақаҳои Амрико нишон дода шудаанд, ки аз ҷониби коргарони сохтмон канда шудаанд. Дар натиҷаи садама танҳо 13 пакети маълумот гум шуд, ки ин тааҷҷубовар аст. Бори дигар - ҳамагӣ 13! Система ба таври фаврӣ ба каналҳои эҳтиётӣ гузашт - миқёс кор мекунад.
Мо тавассути баъзе хидматҳо ва технологияҳои абрии Amazon давида баромадем. Умедворам, ки шумо ҳадди аққал дар бораи миқёси вазифаҳое, ки муҳандисони мо бояд ҳал кунанд, тасаввурот доред. Шахсан ман инро хеле ҳаяҷоновар меёбам.
Ин қисми ниҳоии трилогияи Василий Пантюхин дар бораи дастгоҳи AWS мебошад. ДАР қисмҳо оптимизатсияи сервер ва миқёси пойгоҳи додаҳоро тавсиф мекунанд ва дар — функсияҳои бе сервер ва Firecracker.
Дар бораи он Моҳи ноябр Василий Пантюхин ҷузъиёти нави дастгоҳи Амазонкаро мубодила хоҳад кард. У дар бораи сабабҳои нокомиҳо ва тарҳрезии системаҳои тақсимшуда дар Amazon. 24 октябрь хануз имконпазир аст чипта бо нархи хуб, ва пардохт дертар. Мо шуморо дар HighLoad++ интизорем, биёед ва сӯҳбат кунем!
Манбаъ: will.com