Pîvana tora Karûbarên Webê ya Amazon 69 herêm li çaraliyê cîhanê li 22 herêman e: DY, Ewropa, Asya, Afrîka û Avusturalya. Her herêm heya 8 navendên daneyê hene - Navendên Pêvajoya Daneyê. Her navendek daneyê bi hezaran an bi sed hezaran server hene. Tora bi vî rengî hatî sêwirandin ku hemî senaryoyên qutbûnê yên ne mimkûn têne hesibandin. Mînakî, hemî herêm ji hevûdu veqetandî ne, û deverên gihîştinê ji çend kîlometre dûr ve têne veqetandin. Tewra ku hûn kabloyê qut bikin, pergal dê veguhezîne kanalên paşvekişandinê, û windabûna agahdarî dê bibe çend pakêtên daneyê. Vasily Pantyukhin dê li ser kîjan prensîbên din ên torê li ser ava kirin û ew çawa ava kirin biaxive.
Vasily Pantyukhin Di pargîdaniyên .ru de wekî rêveberê Unix-ê dest pê kir, 6 salan li ser hardware ya mezin a Sun Microsystem xebitî, û 11 salan li EMC mizgîniya cîhanek data-navendî da. Ew bi xwezayî di nav ewrên taybet de pêşve çû, dûv re derbasî yên gelemperî bû. Naha, wekî mîmarek Karûbarên Webê ya Amazon, ew şîreta teknîkî peyda dike da ku bibe alîkar ku di ewrê AWS de bijî û pêşve bibe.
Di beşa paşîn a trilojiya AWS de, Vasily di sêwirana serverên laşî û pîvandina databasê de kûr bû. Kartên nitro, hypervisor-based KVM-ya xwerû, databasa Amazon Aurora - li ser van hemî di materyalê de "" Ji bo çarçoveyê bixwînin an temaşe bikin axaftinên.
Ev beş dê balê bikişîne ser pîvana torê, yek ji pergalên herî tevlihev ên AWS. Pêşveçûna ji torgilokek darûz berbi Cloudek Taybet a Virtual û sêwirana wê, karûbarên hundurîn ên Blackfoot û HyperPlane, pirsgirêka cîranek bi deng, û di dawiyê de - pîvana torê, kabloyên pişt û laşî. Li ser van hemûyan di bin birîn.
Daxuyaniyê: her tiştê jêrîn nerîna kesane ya Vasily ye û dibe ku bi pozîsyona Karûbarên Web Amazon-ê re hevûdu neke.
Pîvana torê
Ewr AWS di 2006 de hate destpêkirin. Tora wî pir prîmîtîv bû - bi avahiyek rût. Rêjeya navnîşanên taybet ji hemî kirêdarên ewr re hevpar bû. Dema ku hûn makîneyek virtual ya nû dest pê dikin, we bi xeletî navnîşek IP-ya berdest ji vê rêzê wergirt.
Ev nêzîkatî ji bo pêkanîna hêsan bû, lê di bingeh de karanîna ewr sînordar kir. Bi taybetî, pir dijwar bû ku çareseriyên hîbrîd ên ku torên taybet ên li ser erdê û di AWS-ê de tevlihev bikin. Pirsgirêka herî gelemperî lihevhatina rêzikên navnîşana IP-yê bû.
Ewrê Taybet ê Rastîn
Ewr di daxwazê de derket. Dem hatiye ku em li ser mezinbûn û îhtîmala karanîna wê ji hêla deh mîlyon kirêdar ve bifikirin. Tora daîreyê bûye astengiyek mezin. Ji ber vê yekê, me fikirîn ka meriv çawa bikarhêneran di asta torê de ji hev veqetînin da ku ew bi rengek serbixwe rêzikên IP-ê hilbijêrin.
Gava ku hûn li ser veqetandina torê difikirin yekem tiştê ku tê bîra we çi ye? Bicî VLANs и VRF - Rêvekirin û Pêşkêşkirina Virtual.
Mixabin, ew kar nekir. Nasnameya VLAN tenê 12 bit e, ku tenê 4096 beşên veqetandî dide me. Tewra guheztinên herî mezin dikarin herî zêde 1-2 hezar VRF bikar bînin. Bikaranîna VRF û VLAN bi hev re tenê çend mîlyon subnetan dide me. Ev bê guman ji bo bi deh mîlyon kirêdaran ne bes e, ku her yek ji wan pêdivî ye ku bikaribe gelek jêrtoran bikar bîne.
Di heman demê de em bi hêsanî nikarin bikirin ku ji Cisco an Juniper hejmareke pêwîst qutiyên mezin bikirin. Du sedem hene: ew dîn biha ye, û em naxwazin bikevin ber dilovaniya xwe ya pêşdebirin û polîtîkayên paçkirinê.
Tenê encamek heye - çareseriya xwe bi xwe çêbikin.
Di sala 2009 de me ragihand VPC - Ewrê Taybet ê Rastîn. Nav sekinî û naha gelek pêşkêşkerên ewr jî wê bikar tînin.
VPC torgilokek virtual e SDN (Tora Nermalava Diyarkirî). Me biryar da ku em di astên L2 û L3 de protokolên taybetî îcad nekin. Tora li ser Ethernet û IP-ya standard dimeşîne. Ji bo veguheztina li ser torê, seyrûsefera makîneya virtual di pêça protokola meya xwe de tête girtin. Ew nasnameya ku girêdayî VPC-ya kirêdar e destnîşan dike.
Deng sade. Lêbelê, gelek dijwariyên teknîkî yên cidî hene ku divê werin derbas kirin. Mînakî, li ku û çawa daneyên li ser nexşeya navnîşanên MAC / IP yên virtual, ID VPC û MAC / IP-ya laşî ya têkildar hilînin. Li ser pîvana AWS, ev tabloyek mezin e ku divê bi dereng gihîştina hindiktirîn re bixebite. Berpirsiyarê vê yekê ye karûbarê nexşeyê, ku li seranserê torê di qatek zirav de belav dibe.
Di makîneyên nifşê nû de, encapsulation di asta hardware de ji hêla kartên Nitro ve têne kirin. Di rewşên kevn de, encapsulation û decapsulation-based nermalavê ne.
Ka em fêr bibin ka ew bi gelemperî çawa dixebite. Ka em bi asta L2 dest pê bikin. Ka em bihesibînin ku me makîneyek virtual ya bi IP 10.0.0.2 li ser serverek fîzîkî 192.168.0.3 heye. Ew daneyan dişîne makîneya virtual 10.0.0.3, ku li ser 192.168.1.4 dijî. Daxwazek ARP tête çêkirin û ji qerta Nitro ya torê re tê şandin. Ji bo sadebûnê, em texmîn dikin ku her du makîneyên virtual di heman VPC-ya "şîn" de dijîn.
Nexşe navnîşana çavkaniyê bi ya xwe diguhezîne û çarçoweya ARP-ê dişîne karûbarê nexşeyê.
Karûbarê nexşeyê agahdariya ku ji bo veguheztina li ser tora laşî ya L2 hewce ye vedigerîne.
Karta Nitro di bersiva ARP de MAC-a li ser tora laşî bi navnîşek di VPC-ê de diguhezîne.
Dema ku daneyan vediguhezînin, em MAC û IP-ya mentiqî di pêça VPC de dipêçin. Em van hemî li ser tora laşî bi karanîna kartên IP-yê Nitro-ya çavkanî û mebestê veguhezînin.
Makîneya fizîkî ya ku pakêt tê de ye kontrolê dike. Ev ji bo pêşîlêgirtina îhtîmala xapandina navnîşan hewce ye. Makîne daxwaznameyek taybetî ji karûbarê nexşeyê re dişîne û dipirse: "Ji makîneya fizîkî 192.168.0.3 min pakêtek ku ji bo 10.0.0.3 di VPC-ya şîn de hatî armanc kirin wergirt. Ma ew rewa ye?
Karûbarê nexşeyê tabloya veqetandina çavkaniyê kontrol dike û destûr dide an jî red dike ku pakêt jê re derbas bibe. Di hemî rewşên nû de, erêkirina zêde di qertên Nitro de tête bicîh kirin. Ji aliyê teorîk ve jî ne mimkûn e ku mirov vê yekê derbas bike. Ji ber vê yekê, xapandina çavkaniyên di VPC-ya din de dê nexebite.
Dûv re, dane ji makîneya virtual ya ku ji bo wê hatî armanc kirin têne şandin.
Karûbarê nexşeyê di heman demê de ji bo veguheztina daneyan di navbera makîneyên virtual de di jêrtorên cûda de wekî rêwerek mentiqî jî dixebite. Her tişt ji hêla têgînî ve hêsan e, ez ê neçim hûrguliyê.
Derket holê ku dema ku her pakêtê vediguhezîne, server berê xwe didin karûbarê nexşeyê. Meriv çawa bi derengiyên neçar re mijûl dibe? Caching, bê guman.
Bedew ev e ku hûn ne hewce ne ku tevahiya tabloya mezin veşêrin. Pêşkêşkarek fîzîkî makîneyên virtual ji hejmareke hindik a VPC-yan digire. Hûn tenê hewce ne ku agahdariya li ser van VPC-an cache bikin. Veguheztina daneyan ji VPCyên din re di veavakirina "default" de hîn jî ne rewa ye. Ger fonksiyonek wekî VPC-peering were bikar anîn, wê hingê agahdariya di derbarê VPC-yên têkildar de jî di cache de tê barkirin.
Me veguheztina daneyan ji VPC-ê re rêz kir.
Blackfoot
Di rewşên ku pêdivî ye ku seyrûsefera li derve were veguheztin, mînakî Înternetê an bi riya VPN-ê ji erdê re çi bikin? Li vir alîkariya me dike Blackfoot - Karûbarê navxweyî ya AWS. Ew ji hêla tîmê meya Afrîkaya Başûr ve hatî pêşve xistin. Ji ber vê yekê ev xizmetê bi navê pinguinek ku li Afrîkaya Başûr dijî, hatiye dayîn.
Blackfoot trafîkê dekapsûl dike û tiştê ku hewce dike bi wê re dike. Daneyên ji Înternetê re wekî ku têne şandin.
Dema ku VPN bikar bînin, dane têne dekapsul kirin û ji nû ve di IPsec-ê de têne pêçan.
Dema ku Direct Connect bikar bînin, seyrûsefer tê nîşankirin û ji VLAN-a guncan re tê şandin.
HyperPlane
Ev karûbarek kontrolkirina herikîna navxweyî ye. Gelek karûbarên torê çavdêriyê hewce dike dewletên herikîna daneyan. Mînakî, dema ku NAT bikar tînin, divê kontrolkirina herikînê piştrast bike ku her cotek porta IP: mebest xwedî portek derketinek bêhempa ye. Di rewşa balansek NLB - Balansa barkirina torê, divê herikîna daneyê her gav ber bi heman makîneya virtual ya armancê ve were rêve kirin. Grûpên Ewlekariyê dîwarê agirek dewletdar e. Ew seyrûsefera hatinê dişopîne û ji bo herikîna pakêtê ya derketinê benderan vedike.
Di ewrê AWS de, hewcedariyên derengiya ragihandinê pir zêde ne. Li rê da HyperPlane ji bo performansa tevahiya torê krîtîk.
Hyperplane li ser makîneyên virtual EC2 hatî çêkirin. Li vir sêrbaz tune, tenê hîlebazî ye. Xefet ev e ku ev makîneyên virtual bi RAM-a mezin in. Operasyon danûstendinê ne û bi taybetî di bîranînê de têne kirin. Ev dihêle hûn tenê bi dehan mîkroçirkeyan dereng bigihîjin. Karkirina bi dîskê dê hemî hilberînê bikuje.
Hyperplane pergalek belavkirî ya hejmareke mezin ji makîneyên weha EC2 ye. Her makîneyek virtual xwedan bandfirehiya 5 GB / s e. Li seranserê tevaya tora herêmî, ev terabîtên bandê yên bêbawer peyda dike û destûrê dide pêvajoyê bi milyonan girêdan per second.
HyperPlane tenê bi çeman re dixebite. Veguheztina pakêta VPC ji bo wê bi tevahî zelal e. Di vê karûbarê navxweyî de qelsiyek potansiyel dê hîn jî pêşî li şikandina îzolasyona VPC bigire. Asta jêrîn ji ewlehiyê berpirsiyar in.
cîranê deng
Dîsa pirsgirêkek heye cîranê deng - cîranê deng. Ka em bihesibînin ku 8 girêkên me hene. Van nod herikîna hemî bikarhênerên ewr pêvajoyê dikin. Her tişt baş xuya dike û pêdivî ye ku bar li ser hemî girêkan bi rengek wekhev were belav kirin. Nod pir bi hêz in û barkirina wan dijwar e.
Lê em mîmariya xwe li ser senaryoyên ne muhtemel jî ava dikin.
Îhtîmala kêm nayê wateya ne mumkin.
Em dikarin rewşek xeyal bikin ku tê de yek an çend bikarhêner dê barek pir zêde çêbikin. Hemî girêkên HyperPlane di hilberandina vê barkirinê de beşdar in û bikarhênerên din bi potansiyel dikarin celebek performansê biceribînin. Ev têgeha ewr dişikîne, ku tê de îmkana kirêdaran tune ku bandorê li hev bikin.
Meriv çawa pirsgirêka cîranek dengdar çareser dike? Yekem tişta ku tê hişê şirîn e. 8 girêkên me bi awayekî mentiqî li 4 perçeyên 2 girêkan têne dabeş kirin. Naha cîranek bi deng dê tenê çaryeka hemî bikarhêneran aciz bike, lê ew ê wan pir aciz bike.
Werin em tiştan cuda bikin. Em ê ji her bikarhênerek re tenê 3 nod veqetînin.
Xefet ev e ku meriv bi rasthatinî girêkan ji bikarhênerên cûda re veqetîne. Di wêneya jêrîn de, bikarhênerê şîn girêkan bi yek ji her du bikarhênerên din re - kesk û porteqalî - diqetîne.
Bi 8 girêk û 3 bikarhêneran re, îhtîmala ku cîranek dengbêj bi yek ji bikarhêneran re têkeve 54%. Bi vê îhtîmalê ye ku bikarhênerek şîn dê bandorê li kirêdarên din bike. Di heman demê de, tenê beşek ji barê wê. Di mînaka me de, ev bandor dê bi kêmanî ne ji her kesî re, lê ji sêyeka hemî bikarhêneran re bi rengek berbiçav be. Jixwe ev encamek baş e.
Hejmara bikarhênerên ku dê bi hev veqetin
Îhtîmala ji sedî
0
18%
1
54%
2
26%
3
2%
Werin em rewşê nêzîkê rastiyê bikin - werin em 100 nod û 5 bikarhêner li ser 5 girêkan bigirin. Di vê rewşê de, yek ji girêkan dê bi îhtîmalek 77% bi hev venebe.
Hejmara bikarhênerên ku dê bi hev veqetin
Îhtîmala ji sedî
0
77%
1
21%
2
1,8%
3
0,06%
4
0,0006%
5
0,00000013%
Di rewşek rastîn de, digel hejmareke mezin ji nod û bikarhêneran HyperPlane, bandora potansiyela cîranek bi deng li ser bikarhênerên din hindik e. Ev rêbaz tê gotin tevlîhevkirina parvekirinê - sharding shuffle. Ew bandora neyînî ya têkçûna nodê kêm dike.
Gelek karûbar li ser bingeha HyperPlane têne çêkirin: Balansa barkirina torê, NAT Gateway, Amazon EFS, AWS PrivateLink, AWS Transit Gateway.
Pîvana torê
Naha em li ser pîvana torê bixwe biaxivin. Ji bo Cotmeha 2019 AWS karûbarên xwe pêşkêşî dike 22 herêm, û 9 yên din jî têne plan kirin.
- Her herêm çend Herêmên Berdestiyê vedihewîne. Li seranserê cîhanê 69 ji wan hene.
- Her AZ ji Navendên Pêvajoya Daneyê pêk tê. Bi tevahî 8 ji wan zêdetir nîn in.
- Navenda daneyê hejmareke mezin ji pêşkêşkeran vedihewîne, hin bi 300.
Naha em van hemîyan navînî bikin, zêde bikin û jimareyek berbiçav a ku nîşan dide bistînin Pîvana ewrê Amazon.
Di navbera Herêmên Berdest û navenda daneyê de gelek girêdanên optîkî hene. Li yek ji herêmên me yên herî mezin, 388 kanal tenê ji bo ragihandina AZ di navbera hev û navendên danûstendinê yên bi herêmên din re (Navenda Transit) hatine danîn. Bi tevahî ev yek dînbûnê dide 5000 Tbit.
Backbone AWS bi taybetî ji bo ewr hatî çêkirin û xweşbîn kirin. Em wê li ser kanalan ava dikin 100 GB / s. Em wan bi tevahî kontrol dikin, ji bilî herêmên li Chinaînê. Trafîk bi barên pargîdaniyên din re nayê parve kirin.
Bê guman, em ne tenê dabînkerê ewr in ku xwedan torgilokek pişta taybet e. Zêdetir şirketên mezin vê rêyê dişopînin. Ev ji hêla lêkolînerên serbixwe ve tête pejirandin, ji bo nimûne ji .
Graf nîşan dide ku para pêşkêşkerên naverokê û pêşkêşkerên ewr zêde dibe. Ji ber vê yekê, para seyrûsefera Înternetê ya pêşkêşkerên piştê her ku diçe kêm dibe.
Ez ê rave bikim ka çima ev diqewime. Berê, piraniya karûbarên malperê rasterast ji Înternetê dihatin gihîştin û vexwarin. Naha, bêtir û bêtir server di nav ewr de cih digirin û bi wan ve têne gihîştin CDN - Tora Belavkirina Naverokê. Ji bo ku bigihîje çavkaniyek, bikarhêner tenê bi Înternetê ve diçe CDN PoP-a herî nêzîk - Point of Presence. Pir caran ew li cihekî nêzîk e. Dûv re ew ji Înterneta giştî derdikeve û ji bo nimûne, di nav piştek taybetî de li seranserê Atlantîkê difire, û rasterast digihîje çavkaniyê.
Ez meraq dikim ger ev meyl berdewam bike dê di nav 10 salan de Înternet çawa biguhere?
Kanalên fizîkî
Zanyaran hîna fêhm nekiriye ka meriv çawa leza ronahiyê li Gerdûnê zêde dike, lê wan di rêbazên veguheztina wê bi fîbera optîkî de pêşkeftinek mezin bi dest xistiye. Em niha 6912 kabloyên fiber bikar tînin. Ev dibe alîkar ku meriv lêçûna sazkirina wan bi girîngî xweşbîn bike.
Li hin herêman divê em kabloyên taybet bikar bînin. Mînakî, li herêma Sydney em kabloyên bi paldanka taybetî li dijî termîtan bikar tînin.
Kes ji tengasiyan bêpar nîne û carinan kanalên me xera dibin. Wêneyê li rastê kabloyên optîkî yên li yek ji herêmên Amerîkî yên ku ji hêla karkerên înşaetê ve hatine çirandin nîşan dide. Di encama qezayê de tenê 13 pakêtên daneyê winda bûne, ev jî sosret e. Careke din - tenê 13! Pergal bi rastî tavilê veguherî kanalên hilanînê - pîvan dixebite.
Me di nav hin karûbar û teknolojiyên cloudê yên Amazonê de galop kir. Ez hêvî dikim ku hûn bi kêmanî ramanek li ser pîvana karên ku endezyarên me neçar in çareser bikin hene. Bi kesane, ez vê yekê pir balkêş dibînim.
Ev beşa paşîn a trilojiya Vasily Pantyukhin di derbarê cîhaza AWS de ye. LI beş xweşbîniya server û pîvana databasê vedibêje, û tê de - fonksiyonên bê server û Firecracker.
li ser di Mijdarê de Vasily Pantyukhin dê hûrguliyên nû yên cîhaza Amazonê parve bike. Ew li ser sedemên têkçûn û sêwirana pergalên belavkirî li Amazon. 24ê Cotmehê hê jî mimkûn e bilêtê bi bihayek baş, û paşê bidin. Em li HighLoad++ li benda we ne, werin em sohbet bikin!
Source: www.habr.com