Абрҳо мисли як қуттии ҷодугарӣ мебошанд - шумо чӣ ба шумо лозим аст, мепурсед, ва захираҳо танҳо пайдо мешаванд. Мошинҳои виртуалӣ, пойгоҳи додаҳо, шабака - ҳамаи ин танҳо ба шумо тааллуқ дорад. Дигар иҷорагирони абрҳо ҳастанд, аммо шумо дар ҷаҳони худ ҳокими ягона ҳастед. Шумо боварӣ доред, ки шумо ҳамеша захираҳои заруриро мегиред, шумо ҳеҷ касро ба назар намегиред ва шумо мустақилона муайян мекунед, ки шабака чӣ гуна хоҳад буд. Ин ҷодугарӣ чӣ гуна кор мекунад, ки абрро ба таври чандирӣ захираҳо ҷудо мекунад ва иҷорагиронро аз ҳамдигар комилан ҷудо мекунад?
Абри AWS як системаи мураккаби бениҳоят хеле мураккаб аст, ки аз соли 2006 ба таври эволютсионӣ инкишоф меёбад. Як кисми ин тараккиёт ба амал омад Василий Пантюхин - Архитектори Amazon Web Services. Ҳамчун меъмор, вай на танҳо дар натиҷаи ниҳоӣ, балки инчунин ба мушкилоте, ки AWS бартараф мекунад, назари ботинӣ мегирад. Чӣ қадаре ки фаҳмиши он, ки система чӣ гуна кор мекунад, эътимод бештар аст. Аз ин рӯ, Василий асрори хидматҳои абрии AWS-ро мубодила хоҳад кард. Дар зер тарҳи серверҳои физикии AWS, миқёспазирии пойгоҳи додаҳо, пойгоҳи фармоишии Amazon ва усулҳои баланд бардоштани самаранокии мошинҳои виртуалӣ ва ҳамзамон коҳиш додани нархи онҳо оварда шудааст. Донистани равишҳои меъмории Amazon ба шумо барои самараноктар истифода бурдани хидматҳои AWS кӯмак мекунад ва метавонад ба шумо идеяҳои навро барои сохтани қарорҳои шахсии худ пешниҳод кунад.
Дар бораи маърузачй: Василий Пантюхин () ҳамчун администратори Unix дар ширкатҳои .ru оғоз ёфт, дар тӯли 6 сол дар сахтафзорҳои бузурги Sun Microsystem кор кард ва дар тӯли 11 сол дар EMC ҷаҳони марказонидашудаи маълумотро мавъиза кард. Он табиатан ба абрҳои хусусӣ табдил ёфт ва дар соли 2017 ба абрҳои ҷамъиятӣ гузашт. Ҳоло ӯ маслиҳати техникӣ медиҳад, то дар абри AWS зиндагӣ ва рушд кунад.
Радди масъулият: ҳама чиз дар зер андешаи шахсии Василий аст ва метавонад бо мавқеи Amazon Web Services мувофиқат накунад. Гузорише, ки ба он мақола асос ёфтааст, дар канали YouTube-и мо дастрас аст.
Чаро ман дар бораи дастгоҳи Amazon гап мезанам?
Мошини аввалини ман интиқоли дастӣ дошт. Ин хеле хуб буд, зеро эҳсосоте, ки ман метавонам мошинро идора кунам ва онро пурра идора кунам. Ба ман инчунин маъқул шуд, ки ман ҳадди аққал принсипи кори онро фаҳмидам. Табиист, ки ман сохтори қуттиро хеле содда тасаввур мекардам - чизе монанди қуттии редуктор дар велосипед.
Ҳама чиз хуб буд, ба истиснои як чиз - дар роҳбандӣ. Чунин ба назар мерасад, ки шумо нишастаед ва ҳеҷ кор намекунед, аммо шумо ҳамеша фишангҳоро иваз мекунед, муфта, газ, тормозро пахш мекунед - ин шуморо дар ҳақиқат хаста мекунад. Мушкилоти роҳбандӣ кисман ҳал шуд, ки оила соҳиби мошини автоматӣ шуд. Ҳангоми ронандагӣ ман вақт доштам, ки дар бораи чизе фикр кунам ва як китоби аудиоиро гӯш кунам.
Дар ҳаёти ман боз як асроре пайдо шуд, зеро ман намефаҳмидам, ки чӣ тавр мошини ман кор мекунад. Мошини муосир як дастгоҳи мураккаб аст. Мошин дар як вақт ба даҳҳо параметрҳои гуногун мутобиқ мешавад: пахш кардани газ, тормоз, услуби ронандагӣ, сифати роҳ. Ман дигар намефаҳмам, ки он чӣ гуна кор мекунад.
Вақте ки ман ба кор дар абри Амазонка шурӯъ кардам, ин барои ман низ як сирре буд. Танҳо ин сирри бузургтар аст, зеро дар мошин як ронанда ҳаст ва дар AWS миллионҳо онҳо ҳастанд. Ҳама корбарон ҳамзамон мошинро идора мекунанд, газро пахш мекунанд ва тормозро пахш мекунанд. Аҷиб аст, ки онҳо ба ҷое, ки мехоҳанд, мераванд - ин барои ман мӯъҷиза аст! Система ба ҳар як корбар ба таври худкор мутобиқ, миқёс ва чандирӣ мутобиқ мешавад, то ба назараш ӯ дар ин олам танҳо бошад.
Вақте ки ман баъдтар ба ҳайси меъмор дар Амазонка ба кор омадам, ҷодугарӣ каме хомӯш шуд. Ман дидам, ки мо бо кадом мушкилот рӯ ба рӯ мешавем, мо онҳоро чӣ гуна ҳал мекунем ва чӣ гуна хидматҳоро инкишоф медиҳем. Бо афзоиши фаҳмиши он, ки система чӣ гуна кор мекунад, эътимоди бештар ба хидмат пайдо мешавад. Аз ин рӯ, ман мехоҳам тасвири он чизеро, ки дар зери сарпӯши абри AWS аст, мубодила кунам.
Мо дар бораи чӣ сӯҳбат кунем
Ман як равиши диверсификатсияро интихоб кардам - ман 4 хидмати ҷолибро интихоб кардам, ки дар бораи онҳо сӯҳбат кардан лозим аст.
Оптимизатсияи сервер. Абрҳои эфемерӣ бо таҷассуми ҷисмонӣ: марказҳои додаҳои физикӣ, ки дар он серверҳои физикӣ мавҷуданд, ки бо чароғҳо садо медиҳанд, гарм мекунанд ва чашмак мезанад.
Функсияҳои бе сервер (Lambda) эҳтимолан хидмати миқёспазиртарин дар абр аст.
Миқёси пойгоҳи додаҳо. Ман ба шумо дар бораи он мегӯям, ки чӣ гуна мо базаҳои миқёспазири худро эҷод мекунем.
Миқёси шабака. Қисми охирине, ки дар он ман дастгоҳи шабакаи моро мекушоям. Ин як чизи аҷиб аст - ҳар як корбари абр боварӣ дорад, ки ӯ дар абр танҳо аст ва иҷорагирони дигарро умуман намебинад.
Шарҳ. Ин мақола оптимизатсияи сервер ва миқёси пойгоҳи додаҳоро баррасӣ хоҳад кард. Мо миқёси шабакаро дар мақолаи навбатӣ баррасӣ хоҳем кард. Функсияҳои бе сервер куҷоянд? Дар бораи онҳо стенограммаи алоҳида нашр шуд "" Он дар бораи якчанд усулҳои гуногуни миқёс сухан меравад ва ҳалли Firecracker - симбиози беҳтарин сифатҳои мошини виртуалӣ ва контейнерҳоро муфассал баррасӣ мекунад.
Серверҳо
Абр эфемерӣ аст. Аммо ин фаврӣ то ҳол таҷассуми ҷисмонӣ - серверҳо дорад. Дар аввал меъмории онҳо классикӣ буд. Чипсети стандартии x86, кортҳои шабакавӣ, Linux, гипервизори Xen, ки дар онҳо мошинҳои виртуалӣ кор мекарданд.
Дар соли 2012 ин меъморӣ аз ӯҳдаи вазифаҳои худ хеле хуб баромад. Xen як гипервизори олӣ аст, аммо он як камбудии ҷиддӣ дорад. Ӯ кофӣ дорад хароҷоти баланд барои тақлид кардани дастгоҳ. Вақте ки кортҳои шабакавии нав, тезтар ё дискҳои SSD дастрас мешаванд, ин хароҷот хеле баланд мешавад. Бо ин мушкилот чӣ гуна бояд мубориза бурд? Мо тасмим гирифтем, ки якбора дар ду самт кор кунем - ҳам сахтафзор ва ҳам гипервизорро оптимизатсия кунед. Вазифа хеле чиддй аст.
Оптимизатсияи сахтафзор ва гипервизор
Ҳама чизро якбора ва хуб иҷро кардан кор намекунад. Кадом «хуб» низ дар аввал норавшан буд.
Мо тасмим гирифтем, ки муносибати эволюциониро пеш гирем - як унсури муҳими меъмориро тағир дода, онро ба истеҳсолот меандозем.
Мо ба хар раке кадам мезанем, арзу шикоятро мешунаем. Сипас, мо ҷузъи дигарро иваз мекунем. Ҳамин тавр, бо афзоиши хурд, мо тамоми меъмориро дар асоси фикру мулоҳизаҳои корбарон ва дастгирӣ ба куллӣ тағир медиҳем.
Трансформатсия дар соли 2013 бо чизи мураккабтарин - шабака оғоз ёфт. ДАР S3 Дар мавридҳо, ба корти шабакавии стандартӣ як корти махсуси Шабакаи Accelerator илова карда шуд. Он аслан бо сими кӯтоҳи бозгашт дар панели пеши пайваст карда шуд. Ин зебо нест, аммо дар абр намоён нест. Аммо ҳамкории мустақим бо сахтафзор ҷиттер ва интиқоли шабакаро ба таври куллӣ беҳтар кард.
Баъдан мо тасмим гирифтем, ки дастрасиро ба блоки нигаҳдории додаҳои EBS - Elastic Block Storage беҳтар кунем. Ин маҷмӯи шабака ва нигоҳдорӣ мебошад. Мушкилот дар он аст, ки дар ҳоле ки кортҳои Network Accelerator дар бозор вуҷуд доштанд, имкони хариди сахтафзори Storage Accelerator вуҷуд надошт. Ҳамин тавр, мо ба як стартап муроҷиат кардем Лабораторияҳои Аннапурна, ки барои мо микросхемаҳои махсуси ASIC таҳия кардаанд. Онҳо иҷозат доданд, ки ҳаҷми дурдасти EBS ҳамчун дастгоҳҳои NVMe насб карда шаванд.
Дар мавридхое C4 ду масъаларо хал кардем. Якум ин аст, ки мо барои ояндаи ояндадор, вале навтарин технологияи NVMe-ро татбиқ кардем. Дуюм, мо тавассути интиқоли коркарди дархостҳо ба EBS ба корти нав протсессори марказиро ба таври назаррас холӣ кардем. Ин хуб шуд, бинобар ин ҳоло Labs Annapurna як қисми Amazon мебошад.
То ноябри соли 2017 мо фаҳмидем, ки вақти он расидааст, ки гипервизорро тағир диҳем.
Гипервизори нав дар асоси модулҳои тағирёфтаи ядрои KVM таҳия шудааст.
Он имкон дод, ки хароҷоти эмулятсияи дастгоҳро ба таври куллӣ коҳиш дода, мустақиман бо ASIC-ҳои нав кор кунем. Ҳолатҳо S5 аввалин мошинҳои виртуалӣ бо гипервизори наве буданд, ки дар зери сарпӯш кор мекунанд. Мо ӯро ном бурдем Нитро.
Эволютсияи мисолҳо дар ҷадвали вақт.
Ҳама намудҳои нави мошинҳои виртуалӣ, ки аз моҳи ноябри соли 2017 пайдо шудаанд, дар ин гипервизор кор мекунанд. Намунаҳои Bare Metal гипервизор надоранд, аммо онҳо инчунин Nitro номида мешаванд, зеро онҳо кортҳои махсуси Nitro истифода мебаранд.
Дар давоми ду соли оянда шумораи навъҳои Nitro аз якчанд даҳҳо зиёд шуд: A1, C5, M5, T3 ва дигарон.
Намудҳои мисол.
Мошинҳои муосири Nitro чӣ гуна кор мекунанд
Онҳо се ҷузъи асосӣ доранд: гипервизори Nitro (дар боло муҳокима карда шуд), чипи амниятӣ ва кортҳои Nitro.
Чипи амниятӣ бевосита ба motherboard муттаҳид. Он бисёр вазифаҳои муҳимро идора мекунад, ба монанди назорати боркунии ОС-и мизбон.
Кортҳои Nitro - Чор намуди онҳо вуҷуд доранд. Ҳамаи онҳо аз ҷониби Annapurna Labs таҳия шудаанд ва ба ASIC-ҳои умумӣ асос ёфтаанд. Баъзе аз нармафзори онҳо низ маъмуланд.
Чор намуди кортҳои Nitro.
Яке аз кортҳо барои кор бо он тарҳрезӣ шудааст шабакаVPC. Ин аст он чизе ки дар мошинҳои виртуалӣ ҳамчун корти шабака намоён аст ENA - адаптери шабакаи эластикӣ. Он инчунин трафикро ҳангоми интиқоли он тавассути шабакаи ҷисмонӣ фаро мегирад (мо дар ин бора дар қисми дуюми мақола сӯҳбат хоҳем кард), брандмауэри Гурӯҳҳои Амниятро назорат мекунад ва барои масир ва дигар чизҳои шабака масъул аст.
Кортҳои интихобшуда бо нигаҳдории блок кор мекунанд EBS ва дискҳое, ки дар сервер сохта шудаанд. Онҳо ба мошини виртуалии меҳмон ҳамчун Адаптерҳои NVMe. Онҳо инчунин барои рамзгузории маълумот ва мониторинги диск масъуланд.
Системаи кортҳои Nitro, гипервизор ва чипи амниятӣ ба шабакаи SDN ё Шабакаи муайяншудаи нармафзор. Масъул барои идоракунии ин шабака (Ҳавопаймои идоракунӣ) корти назораткунанда.
Албатта, мо таҳияи ASIC-ҳои навро идома медиҳем. Масалан, дар охири соли 2018 онҳо чипи Inferentia-ро бароварданд, ки ба шумо имкон медиҳад, ки бо вазифаҳои омӯзиши мошин самараноктар кор кунед.
Чипи протсессори омӯзиши мошинҳои Inferentia.
Пойгоҳи маълумоти миқёспазир
Махзани маълумотҳои анъанавӣ дорои сохтори қабатӣ мебошад. Барои хеле содда кардан, сатҳҳои зерин фарқ мекунанд.
- SQL — диспетчерхои мизочон ва дархост дар болои он кор мекунанд.
- Муқаррарот муомилот - Дар ин ҷо ҳама чиз равшан аст, ACID ва ҳама чиз.
- кэш, ки аз ҷониби ҳавзҳои буферӣ таъмин карда мешавад.
- Бақайдгирӣ — корро бо логхои такрорй таъмин менамояд. Дар MySQL онҳо Bin Logs номида мешаванд, дар PosgreSQL - Write Ahead Logs (WAL).
- Нигоҳдорӣ - сабти мустақим ба диск.
Сохтори қабати пойгоҳи додаҳо.
Роҳҳои гуногуни миқёси пойгоҳи додаҳо мавҷуданд: sharding, меъмории Shared Nothing, дискҳои муштарак.
Аммо, ҳамаи ин усулҳо як сохтори монолитии пойгоҳи додаҳоро нигоҳ медоранд. Ин миқёсро ба таври назаррас маҳдуд мекунад. Барои ҳалли ин мушкилот мо базаи шахсии худро таҳия кардем Амазонки Аврора. Он бо MySQL ва PostgreSQL мувофиқ аст.
Амазонки Аврора
Идеяи асосии меъморӣ ҷудо кардани сатҳи нигоҳдорӣ ва сабти маълумот аз базаи асосӣ мебошад.
Ба пеш нигоҳ карда, ман мегӯям, ки мо сатҳи кэшро низ мустақил кардем. Меъморӣ монолит буданро қатъ мекунад ва мо дар миқёси блокҳои инфиродӣ дараҷаҳои иловагии озодиро ба даст меорем.
Сатҳи сабт ва нигоҳдорӣ аз пойгоҳи додаҳо ҷудо аст.
DBMS анъанавӣ маълумотро ба системаи нигоҳдорӣ дар шакли блокҳо менависад. Дар Amazon Aurora, мо анбори интеллектуалӣ сохтем, ки бо забон ҳарф мезанад редо-логхо. Дар дохили он, нигоҳдорӣ журналҳоро ба блокҳои додаҳо табдил медиҳад, тамомияти онҳоро назорат мекунад ва ба таври худкор нусхабардорӣ мекунад.
Ин равиш ба шумо имкон медиҳад, ки чунин чизҳои ҷолибро амалӣ кунед клон кардан. Он ба таври куллӣ тезтар ва аз ҷиҳати иқтисодӣ бештар кор мекунад, зеро он эҷоди нусхаи пурраи ҳама маълумотҳоро талаб намекунад.
Қабати нигоҳдорӣ ҳамчун системаи тақсимшуда амалӣ карда мешавад. Он аз шумораи хеле зиёди серверҳои физикӣ иборат аст. Ҳар як сабти такрорӣ ҳамзамон коркард ва захира карда мешавад шаш гиреҳ. Ин ҳифзи маълумот ва мувозинати сарбориро таъмин мекунад.
Миқёси хонишро бо истифода аз репликаҳои мувофиқ ба даст овардан мумкин аст. Нигоҳдории тақсимшуда эҳтиёҷоти синхронизатсияро байни мисоли асосии пойгоҳи додаҳо, ки тавассути он мо маълумот менависем ва репликаҳои боқимондаро аз байн мебарад. Кафолат дода мешавад, ки маълумоти нав ба ҳама нусхаҳо дастрас аст.
Ягона мушкилӣ кэшкунии маълумоти кӯҳна дар репликаҳои хондашуда мебошад. Аммо ин масъала хал шуда истодааст интиқоли ҳама гузоришҳои такрорӣ ба нусхабардорӣ тавассути шабакаи дохилӣ. Агар гузориш дар кэш бошад, он ҳамчун нодуруст қайд карда мешавад ва аз нав навишта шудааст. Агар он дар кэш набошад, он танҳо партофта мешавад.
Мо анборро ҷудо кардем.
Чӣ тавр миқёси сатҳҳои DBMS
Дар ин ҷо миқёси уфуқӣ хеле мушкилтар аст. Пас, биёед бо роҳи латукӯб биравем миқёси амудии классикӣ.
Фарз мекунем, ки мо барномае дорем, ки бо DBMS тавассути гиреҳи асосӣ муошират мекунад.
Ҳангоми миқёси амудӣ, мо як гиреҳи нав ҷудо мекунем, ки протсессорҳо ва хотираи бештар доранд.
Баъдан, мо барномаро аз гиреҳи кӯҳнаи асосӣ ба нав мегузарем. Проблемахо ба миён меоянд.
- Ин бекористии назарраси барномаро талаб мекунад.
- Гиреҳи нави усто кэши сард дорад. Фаъолияти пойгоҳи додаҳо танҳо пас аз гарм шудани кэш ҳадди аксар хоҳад буд.
Вазъиятро чӣ тавр беҳтар кардан мумкин аст? Дар байни барнома ва гиреҳи асосӣ прокси насб кунед.
Ин ба мо чӣ медиҳад? Акнун ба ҳама барномаҳо лозим нест, ки дастӣ ба гиреҳи нав равона карда шаванд. Гузаришро дар зери прокси анҷом додан мумкин аст ва ба таври куллӣ тезтар аст.
Чунин ба назар мерасад, ки мушкилот ҳал шудааст. Аммо не, мо хануз аз зарурати гарм кардани кэш азоб мекашем. Илова бар ин, мушкилоти нав пайдо шуд - ҳоло прокси нуқтаи эҳтимолии нокомӣ мебошад.
Ҳалли ниҳоӣ бо Amazon Aurora бе сервер
Мо ин мушкилотро чӣ гуна ҳал кардем?
Проксиро тарк кард. Ин як мисоли алоҳида нест, балки як парки тақсимшудаи прокси мебошад, ки тавассути он барномаҳо ба пойгоҳи додаҳо пайваст мешаванд. Дар сурати нокомӣ, ҳама гуна гиреҳҳоро қариб фавран иваз кардан мумкин аст.
Як ҳавзи гиреҳҳои гарми андозаҳои гуногун илова карда шуд. Аз ин рӯ, агар лозим бошад, ки гиреҳи нави андозаи калонтар ё хурдтар ҷудо карда шавад, он фавран дастрас аст. Барои бор кардани он интизор шудан лозим нест.
Тамоми раванди миқёс тавассути системаи махсуси мониторинг назорат карда мешавад. Мониторинг ҳолати гиреҳи ҷорӣро доимо назорат мекунад. Агар он, масалан, муайян кунад, ки сарбории протсессор ба арзиши критикӣ расидааст, он ҳавзи мисолҳои гармро дар бораи зарурати ҷудо кардани гиреҳи нав огоҳ мекунад.
Проксиҳои тақсимшуда, мисолҳои гарм ва мониторинг.
Як гиреҳ бо қувваи зарурӣ мавҷуд аст. Ҳавзҳои буферӣ ба он нусхабардорӣ карда мешаванд ва система барои гузаштан лаҳзаи бехатарро интизор мешавад.
Одатан, лаҳзаи гузариш хеле зуд меояд. Сипас иртибот байни прокси ва гиреҳи кӯҳна боздошта мешавад, ҳама сессияҳо ба гиреҳи нав мегузаранд.
Кор бо давомнокии базаи маълумот.
График нишон медиҳад, ки таваққуф воқеан хеле кӯтоҳ аст. Графикаи кабуд сарбориро нишон медиҳад ва қадамҳои сурх лаҳзаҳои миқёсро нишон медиҳанд. Сатҳи кӯтоҳмуддат дар графики кабуд маҳз ҳамон таъхири кӯтоҳ аст.
Дар омади гап, Amazon Aurora ба шумо имкон медиҳад, ки пулро пурра сарфа кунед ва пойгоҳи додаҳоро ҳангоми истифоданашуда, масалан, дар рӯзҳои истироҳат хомӯш кунед. Пас аз боздоштани сарборӣ МБ қувваи худро тадриҷан кам карда, муддате хомӯш мешавад. Вақте ки бор бармегардад, он боз ҳамвор баланд мешавад.
Дар қисми навбатии ҳикоя дар бораи дастгоҳи Amazon, мо дар бораи миқёси шабака сӯҳбат хоҳем кард. Обуна шавед ва бохабар бошед, то мақоларо аз даст надиҳед.
Дар бораи он Василий Пантюхин маъруза мекунад»." Кадом намунаҳои тарроҳии системаҳои тақсимшуда аз ҷониби таҳиягарони Амазонка истифода мешаванд, сабабҳои нокомии хидмат чист, меъмории ба ҳуҷайра асосёфта, кори доимӣ, Shuffle Sharding - ин ҷолиб хоҳад буд. То конфронс камтар аз як моҳ монд - . 24 октябрь баландшавии нихоии нарх.
Манбаъ: will.com