Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Nettverksalt av Amazon Web Services bestÄr av 69 soner verden over i 22 regioner: USA, Europa, Asia, Afrika og Australia. Hver sone har opptil 8 datasentre. I hvert datasenter finnes det tusenvis eller hundretusener av servere. Nettverket er bygget slik at alle lite sannsynlige driftsavbrudd er tatt i betraktning. For eksempel er alle regioner isolert fra hverandre, og tilgjengelighetssoner er spredt over flere kilometer. Selv om en kabel klippes, vil systemet gÄ over til reservekanaler, og datatapet vil vÊre pÄ nivÄ med enkeltpakker. Om hvilke andre prinsipper nettverket er bygget pÄ og hvordan det er konstruert, forteller Vasilij Pantuƥin.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Vasilij Pantjuchin begynte som Unix-administrator i .ru selskaper, jobbet i 6 Är med store maskiner fra Sun Microsystem, i 11 Är forkynte datacenter-fokuset i EMC. Han har naturlig utviklet seg til private skyer, deretter beveget han seg mot offentlige skyer. NÄ, som arkitekt i Amazon Web Services, gir han tekniske rÄd for Ä leve og utvikle seg i AWS-skyen.

I den forrige delen av trilogien om strukturen til AWS dykket Vasilij inn i hvordan fysiske servere fungerer og skalering av databaser. Nitro-kort, en spesialtilpasset hypervisor basert pĂ„ KVM, databasen Amazon Aurora — alt dette i artikkelen «Hvordan AWS "koker" sine elastiske tjenester. Skalerer servere og databaser». Les for Ă„ dykke inn i konteksten, eller se pĂ„ videoopptak presentasjoner.

I denne delen vil vi ta for oss nettverks skalering — et av de mest kompliserte systemene i AWS. Evolusjonen fra et flatt nettverk til Virtual Private Cloud og hvordan det er strukturert, interne tjenester som Blackfoot og HyperPlane, problemet med «stĂžyende naboer», og til slutt — nettverksstĂžrrelser, backbone og fysiske kabler. Alt dette finner du i artikkelen.

Ansvarsfraskrivelse: alt nedenfor er Vasilijs personlige mening, og den kan avvike fra synspunktene til Amazon Web Services.

Nettverksskalerings

AWS-skyen ble lansert i 2006. Nettverket var ganske primitivt — med en flat struktur. OmrĂ„det med private adresser var felles for alle tenantene i skyen. NĂ„r en ny virtuell maskin ble startet, fikk du tilfeldig en tilgjengelig IP-adresse fra dette omrĂ„det.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Denne tilnÊrmingen var enkel Ä implementere, men begrenset bruken av skyen pÄ prinsippalt vis. Spesielt var det ganske vanskelig Ä utvikle hybridlÞsninger som kombinerte private nettverk bÄde lokalt og i AWS. Det mest utbredte problemet var i skjÊringspunktet mellom IP-adresseomrÄder.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Virtual Private Cloud

Skyen har blitt etterspurt. Det er pÄ tide Ä tenke pÄ skalerbarheten og muligheten for at den kan brukes av titalls millioner leietakere. Det flate nettverket har blitt det stÞrste hindret. Derfor begynte vi Ä vurdere hvordan vi kan isolere brukerne fra hverandre pÄ nettverksnivÄ slik at de selv kan velge IP-omrÄder.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Hva er det fĂžrste som kommer til tankene nĂ„r du tenker pĂ„ nettverksisolasjon? SelvfĂžlgelig VLAN og VRF – Virtual Routing and Forwarding.

Dessverre fungerte ikke dette. VLAN ID er bare 12 biter, hvilket gir oss bare 4096 isolerte segmenter. Selv i de stÞrste svitsjene kan man maksimalt bruke 1-2 tusen VRF-er. Samtidig bruk av VRF og VLAN gir oss bare noen fÄ millioner undernett. Dette er absolutt ikke nok for titalls millioner leietakere, som hver bÞr ha mulighet til Ä bruke flere undernett.

Vi kan ogsÄ rett og slett ikke tillate oss Ä kjÞpe det nÞdvendige antallet store bokser, for eksempel fra Cisco eller Juniper. Det er to grunner: det er vanvittig dyrt, og vi Þnsker ikke Ä bli avhengige av deres utviklings- og oppdateringspolitikk.

Én konklusjon – lage vĂ„r egen lĂžsning.

I 2009 annonserte vi VPC — Virtual Private Cloud. Navnet har festet seg, og nĂ„ bruker mange skytilbydere det ogsĂ„.

VPC er et virtuelt nettverk SDN (Software Defined Network). Vi bestemte oss for ikke Ä oppfinne spesielle protokoller pÄ L2 og L3-nivÄene. Nettverket fungerer pÄ standard Ethernet og IP. For Ä overfÞre trafikk fra virtuelle maskiner blir den innkapslet i omslaget av vÄr egen protokoll. Den angir en ID som tilhÞrer leietakers VPC.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Det hÞres enkelt ut. Men det mÄ lÞses flere alvorlige tekniske utfordringer. For eksempel, hvor og hvordan lagre data om kartlegging av virtuelle MAC/IP-adresser, VPC-ID og tilsvarende fysiske MAC/IP. I omfanget av AWS er dette en enorm tabell som mÄ fungere med minimal forsinkelse ved forespÞrsel. Dette ansvaret ligger pÄ kartleggingstjenesten, som er spredt tynt over hele nettverket.

I nye generasjons maskiner skjer innkapslingen gjennom Nitro-kort pÄ maskinvare nivÄ. I eldre instanser er innkapslingen og dekapslingen programvarebasert. 

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

La oss forstÄ hvordan dette fungerer i grove trekk. Vi begynner med L2-nivÄet. La oss si at vi har en virtuell maskin med IP 10.0.0.2 pÄ en fysisk server 192.168.0.3. Den sender data til den virtuelle maskinen 10.0.0.3, som befinner seg pÄ 192.168.1.4. Det dannes en ARP-forespÞrsel som sendes til Nitro-nettverkskortet. For enkelhets skyld antar vi at begge de virtuelle maskinene befinner seg i samme "blÄ" VPC.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Nettverkskortet erstatter kildeadressen med sin egen og videresender ARP-rammen til mappertjenesten.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Mappertjenesten returnerer informasjonen som er nĂždvendig for overfĂžring over det fysiske L2-nettet.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Nitro-nettverkskortet erstatter MAC-adressen i det fysiske nettverket med adressen i VPC i ARP-svaret.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

NÄr data sendes, pakker vi de logiske MAC- og IP-adressene i en VPC-innpakning. Alt dette sendes over det fysiske nettverket ved hjelp av de respektive IP-adressene til Nitro-kortene for kilde og destinasjon.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Den fysiske maskinen som pakke er ment for utfÞrer en sjekk. Dette er nÞdvendig for Ä forhindre muligheten for adresseforfalskning. Maskinen sender en spesialforespÞrsel til mappertjenesten og spÞr: "Fra den fysiske maskinen 192.168.0.3 har jeg mottatt en pakke som er ment for 10.0.0.3 i den "blÄ" VPC. Er den legitim?" 

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Mappertjenesten sammenligner med sin ressursplasseringstabell og tillater eller forhindrer viderefÞring av pakken. I alle nye instanser er ekstra validering implementert i Nitro-kortene. Den kan ikke omgÄs, selv teoretisk. Derfor vil spoofing av ressurser i en annen VPC ikke fungere.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Deretter sendes dataene til den virtuelle maskinen de er ment for. 

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Mappertjenesten fungerer ogsÄ som en logisk ruter for Ä overfÞre data mellom virtuelle maskiner i ulike subnett. Der er konseptet enkelt, jeg vil ikke gÄ i detalj.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Det viser seg at ved overfÞring av hver pakke henvender serverne seg til mappertjenesten. Hvordan kan vi hÄndtere de uunngÄelige forsinkelsene? Ved hurtigbufring, selvsagt.

Hele poenget er at det ikke er nÞdvendig Ä hurtigbufre hele den enorme tabellen. PÄ den fysiske serveren er det virtuelle maskiner fra et relativt lite antall VPC-er. Informasjonen trenger bare Ä hurtigbufres om disse VPC-ene. DataoverfÞring til andre VPC-er i "standard" konfigurasjon er fortsatt ikke legitim. Hvis funksjonalitet som VPC-peering benyttes, lastes informasjon om de relevante VPC-ene ogsÄ inn i hurtigbufferen. 

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Vi har forstÄtt dataoverfÞring i VPC.

Blackfoot

Hva skal man gjĂžre nĂ„r man mĂ„ sende trafikk ut, for eksempel til Internett eller via VPN til bakken? Her kommer Blackfoot — vĂ„r interne AWS-tjeneste til unnsetning. Den er utviklet av vĂ„rt team i SĂžr-Afrika. Derfor er tjenesten oppkalt etter pingvinen som lever i SĂžr-Afrika.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Blackfoot dekapsulerer trafikken og behandler den som nĂždvendig. Dataene sendes til Internett som de er.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Dataene dekapsuleres og pakkes inn i en IPsec-innpakning ved bruk av VPN.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Ved bruk av Direct Connect blir trafikken merket og sendt til riktig VLAN.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

HyperPlane

Dette er vĂ„r interne tjeneste for strĂžmkontroll. Mange nettverkstjenester krever kontroll av datatrafikktilstanden. For eksempel, ved bruk av NAT, mĂ„ trafikkontrollen sikre at hver «IP: destinasjonsport»-par har en unik utgĂ„ende port. I tilfelle av lastbalanserer NLB — Network Load Balancer, mĂ„ datatrafikken alltid sendes til den samme mĂ„lvirtualmaskinen. Sikkerhetsgrupper er en tilstandsholdende brannmur. Den overvĂ„ker innkommende trafikk og Ă„pner implisitt porter for utgĂ„ende pakkestrĂžm.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

I AWS-skyen er kravene til overfĂžringsevne ekstremt hĂžye. Derfor HyperPlane er kritisk for nettverkets funksjonalitet.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Hyperplane er bygget pĂ„ EC2-virtualmaskiner. Det er ingen magi her, bare list. Listen er at dette er virtualmaskiner med mye RAM. Transaksjonsoperasjoner utfĂžres utelukkende i minnet. Dette muliggjĂžr latens pĂ„ bare tiendeler av mikrosekunder. Å jobbe med disk ville Ăždelagt all ytelse. 

Hyperplane er et distribuert system av et stort antall slike EC2-maskiner. Hver virtualmaskin har en bÄndbredde pÄ 5 GB/s. PÄ tvers av hele det regionale nettverket gir dette enorme terabiter med bÄndbredde og tillater behandling av millioner av tilkoblinger per sekund.

HyperPlane fungerer kun med strÞmmer. VPC-inkapslingen av pakker er helt transparent for den. Potensielle sÄrbarheter i denne interne tjenesten vil fortsatt ikke tillate Ä bryte VPC-isolasjonen. Sikkerheten ivaretas av nivÄene under.

Noisy neighbor

Det finnes ogsĂ„ et problem med den stĂžyende naboen — noisy neighborLa oss anta at vi har 8 noder. Disse nodene hĂ„ndterer strĂžmmene fra alle brukerne i skyen. Alt virker bra, og belastningen skal fordeles jevnt over alle nodene. Nodene er svĂŠrt kraftige, og det er vanskelig Ă„ overbelaste dem.

Men vi bygger arkitekturen vÄr med tanke pÄ selv de mest usannsynlige scenariene. 

Lav sannsynlighet betyr ikke umulighet.

Vi kan forestille oss en situasjon der en eller flere brukere genererer for mye belastning. Alle nodene i HyperPlane er involvert i hÄndtering av denne belastningen, og andre brukere kan potensielt oppleve en reduksjon i ytelsen. Dette undergraver konseptet med skyen, der leietakerne ikke har mulighet til Ä pÄvirke hverandre.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Hvordan kan vi lÞse problemet med den brÄkete naboen? Det fÞrste som kommer i tankene er sharding. VÄre 8 noder deles logisk inn i 4 shards med 2 noder i hver. NÄ vil den brÄkete naboen bare pÄvirke en fjerdedel av alle brukerne, men effektivt.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

La oss gjÞre det annerledes. Hver bruker tildeles bare 3 noder. 

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Trikset er Ä tildele noder til forskjellige brukere tilfeldig. I bildet nedenfor krysser den blÄ brukeren noder med en av de to andre brukerne - den grÞnne og den oransje.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Med 8 noder og 3 brukere er sannsynligheten for kryssing av den brÄkete naboen med en annen bruker 54%. Det er med denne sannsynligheten at den blÄ brukeren vil pÄvirke de andre leietakerne, og kun som en del av sin belastning. I vÄrt eksempel vil denne innflytelsen ikke bli merkbar for alle, men bare for en tredjedel av alle brukerne. Det er allerede et svÊrt godt resultat.

Antall brukere som vil krysse hverandre

Sannsynlighet i prosent

0

18%

1

54%

2

26%

3

2%

La oss nÊrme oss situasjonen som er realistisk - vi tar 100 noder og 5 brukere pÄ 5 noder. I dette tilfellet vil ingen av nodene krysse hverandre med en sannsynlighet pÄ 77%. 

Antall brukere som vil krysse hverandre

Sannsynlighet i prosent

0

77%

1

21%

2

1,8%

3

0,06%

4

0,0006%

5

0,00000013%

I en reell situasjon med et stort antall HyperPlane-noder og brukere er den potensielle pĂ„virkningen fra den brĂ„kete naboen pĂ„ andre brukere minimal. Denne metoden kalles shuffle sharding — . Den minimerer den negative effekten av at noder gĂ„r ned.Ved hjelp av HyperPlane er det bygget mange tjenester: Network Load Balancer, NAT Gateway, Amazon EFS, AWS PrivateLink, AWS Transit Gateway.

NettverksstĂžrrelse

NettverksstĂžrrelse

La oss nÄ snakke om omfanget av selve nettverket. I oktober 2019 tilbyr AWS sine tjenester i 22 regioner, med ytterligere 9 planlagt.

  • Hver region inneholder flere tilgjengelighetssoner — Availability Zones. Totalt finnes det 69 av dem i verden.
  • Hver AZ bestĂ„r av datasentre. Totalt finnes det ikke mer enn 8.
  • I datasentrene finnes det et enormt antall servere, i noen tilfeller opp til 300 000.

La oss nÄ gjennomsnittliggjÞre alt dette, multiplisere det, og vi fÄr et imponerende tall som viser omfanget av Amazon Cloud.

Det er lagt mange optiske kanaler mellom tilgjengelighetssonene og datasentrene. I én av vÄre stÞrste regioner er det lagt 388 kanaler kun for Ä forbinde AZ med hverandre og med kommunikasjonssentrene i andre regioner (Transit Centers). Samlet gir dette en vanvittig 5000 Tbps.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

AWS backbone er bygget spesifikt for skyen og er optimalisert for Ä fungere med den. Vi bygger det pÄ kanaler 100 Gbps. Vi kontrollerer dem fullstendig, unntatt i regionene i Kina. Trafikken deles ikke med belastningen fra andre selskaper.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

SelvfĂžlgelig er vi ikke den eneste skyleverandĂžren med et privat backbone-nettverk. Flere og flere store selskaper fĂžlger denne veien. Dette bekreftes av uavhengige forskere, for eksempel fra Telegeography.

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Grafikken viser at andelen innholdsleverandĂžrer og skyleverandĂžrer Ăžker. Som et resultat synker andelen av Internett-trafikken fra backbone-leverandĂžrer stadig.

La meg forklare hvorfor dette skjer. Tidligere var de fleste webtjenester tilgjengelige og ble forbrukt direkte fra Internett. NĂ„ er flere og flere servere plassert i skyen og er tilgjengelige gjennom CDN — Content Distribution Network. For Ă„ fĂ„ tilgang til ressursen gĂ„r brukeren gjennom Internett bare til nĂŠrmeste CDN PoP — Point of Presence. Ofte er dette ganske nĂŠr. Deretter forlater han det offentlige Internett og reiser gjennom en privat backbone over Atlanterhavet, for eksempel, og kommer direkte til ressursen.

Det er interessant Ä se hvordan Internett vil endre seg om 10 Är hvis denne trenden fortsetter.

Fysiske kanaler

Forskere har fortsatt ikke funnet ut hvordan man kan Ăžke lysfarten i universet, men de har gjort store fremskritt i metodene for overfĂžring gjennom fiberoptikk. NĂ„ bruker vi kabler med 6912 fibre. Dette bidrar til Ă„ betydelig optimalisere kostnadene ved legging av dem.

I noen regioner mÄ vi bruke spesielle kabler. For eksempel i Sydney-regionen bruker vi kabler med spesialbelegg mot termitter. 

Hvordan AWS 'koker' sine elastiske tjenester. Nettverks skalering

Ingen er immune mot problemer, og noen ganger blir kanalene vĂ„re skadet. PĂ„ bildet til hĂžyre er optiske kabler i en av de amerikanske regionene, som ble kuttet av bygningsarbeidere. Som et resultat av uhellet mistet vi bare 13 datapakker, noe som er utrolig. Igjen – bare 13! Systemet skiftet bokstavelig talt Ăžyeblikkelig til reservekanaler – skalaen fungerer.

Vi har gitt en rask oversikt over noen av tjenestene og teknologiene i Amazon Cloud. Jeg hÄper du nÄ har fÄtt en viss forstÄelse av omfanget av oppgavene som vÄre ingeniÞrer mÄ lÞse. Personlig synes jeg dette er veldig spennende. 

Dette er den avsluttende delen av trilogien av Vasily Pantyukhin om oppbyggingen av AWS. I fþrste delen beskrives optimalisering av servere og skalering av databaser, og i den andre – serverless-funksjoner og Firecracker.

PĂ„ HighLoad++ I november vil Vasily Pantyukhin dele nye detaljer om oppbyggingen av Amazon. Han fortelle vil snakke om Ă„rsakene til nedetid og design av distribuerte systemer i Amazon. Den 24. oktober er det fortsatt mulig Ă„ reservere fĂ„ billett til en god pris, og betale senere. Vi venter pĂ„ deg pĂ„ HighLoad++, kom innom – sĂ„ skal vi prate!

Kilde: habr.com

KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere đŸ”„ KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere | ProHoster