Scala retis Amazonicae interretiales est 69 zonae in circuitu terrarum in 22 regionibus: USA, Europa, Asia, Africa et Australia. Quaelibet regio continet usque ad 8 centra data - Processus Data Centra. Quisque Mauris interdum milia vel centena milia servo habet. Reticulum ita ordinatur ut omnes missiones eulogium abhorret ratio habeatur. Exempli causa, regiones omnes inter se distantes sunt, et zonae facilibilitas per distantias plurium chiliometrorum separatae sunt. Etiam si funem incisas, ratio ad venas tergum transibit, et iactura notitiarum ad paucas notitias facis. Vasaly Pantyukhin loquetur de quibus aliis principiis retis aedificatur et quomodo structus est.
Vasly Pantyukhin incepit ut administrator Unix in societatibus ru, in magna sol Microsystematis ferramentis laboravit per 6 annos, et mundum centricum per 11 annos EMC praedicavit. Naturaliter in nubes privatas evolvit, deinde ad publicas tendit. Nunc, ut architectus interretialis Services interretialis, consilium technicum praebet ut vivant et crescant in nube AWS.
In priore AWS trilogiae parte, Vasily in consilium ministrantium physicarum et scalarum datorum incidit. Nitro chartarum, consuetudo KVM hypervisoris substructio, Aurora datorum Amazonum - de his omnibus in materia "" Read in context vel vigilia orationes.
Haec pars in scalas retis focus erit, una systemata multiplicissima in AWS. Evolutio a reticulo plano ad Cloudem Virtualem Secretum et eius designationem, officia interna Blackfoot et HyperPlane, problema tumultuantis vicini, et in fine - scala retis, spinarum et retinacula corporis. De his omnibus sub sectis.
Disclaimer: omnia infra sunt propria Vasily opinio nec congruere cum positione Services Web Amazonicae.
Retis scaling
Nubes AWS anno 2006 deductae sunt. Retis eius satis primitiva erat - cum plana structura. Circumscriptio privatarum inscriptionum erat communis omnibus nubes tenentibus. Cum novam machinam virtualem incipis, accidens IP inscriptionem promptam ab hoc iugi loco accepisti.
Accessus hic facilis ad efficiendum erat, sed nebulae usum fundamentaliter circumscriptum. Praesertim difficile erat solutiones hybridarum evolvere quae retiacula privata in terra et in AWS componebant. Communissima quaestio erat imbricatis electronicarum iugis IP.
Cloud Rectum Secretum
Nubes esse postulant. Tempus venit ad cogitandum de scalabilitate et usu possibilitatis suae per decem milia tenentum. Retis plana impedimentum maius facta est. Ideo cogitavimus quomodo utentes ab invicem secludant in gradu retis ut libere IP septa eligere possint.
Quid primum in mentem venit cum de network solitudo cogitas? Certe VLANs и VRF - Rectum Routing et Transmissio.
Donec non est. VLAN ID solum 12 frusta est, quae tantum 4096 segmenta solitaria nobis tribuit. Etiam maximae virgae maximo 1-2 milium VRFs uti possunt. Usura VRF et VLAN simul pauca nobis decies centena milia dat. Hoc certum non est satis decem decies centena milia colonorum, quorum quilibet multiplex subnets uti poterit.
Etiam simpliciter non possumus emere numerum quaesitum magnarum cippi, exempli gratia, e Cisco vel Junipero. Duae sunt rationes: insanus carus est, nec in misericordia progressionis suae et inaequationis rationes esse volumus.
Una tantum conclusio est - solutionem tuam fac.
In MMIX denuntiavimus Pellentesque McQueen, - Cloud Rectum Secretum. Nomen haesit et nunc multae nubes aliqua etiam utuntur.
VPC est virtualis network SDN (Software Network definita). Protocolla specialia in L2 et L3 gradus invenire decrevimus. Retis in vexillum Aer et IP fugit. Transmissio per reticulum, virtualis machinae negotiationis involucro in nostro protocollo encapsulatur. ID indicat quod pertinet ad VPC tenentis.
Simplex sonat. Sed multae sunt graves provocationes technicae quae superandae sunt. Exempli gratia, ubi et quomodo notitias condere in destinatis inscriptionibus virtualis MAC/IP, VPC ID et corporis MAC/IP respondens. In scala AWS, haec mensa ingens est quae minimis moras accedere debet. Responsible for this mapping ministeriumqui in tenui iacu per ornatum diffunditur.
In novis machinis generationis, encapsulatio a chartis Nitroensibus in gradu ferramentis conficitur. In vetustioribus exemplis, encapsulation et decapsulatio programmata sunt.
Sit figura quomodo generaliter operatur. L2 gradu cum sit amet. Ponamus nos habere machinam virtualem cum IP 10.0.0.2 in servo corporis 192.168.0.3. Data ad machinam virtualem 10.0.0.3 mittit, quae in 192.168.1.4. Petitio ARP generatur et ad retiaculum Nitro card mittitur. Pro simplicitate, ponimus ambas virtuales machinas in eodem "hyacinthino" VPC vivere.
Tabula geographica reponit fontem inscriptionis cum suis propriis ac tabulis ARP ad munus destinata.
Tabula geographica servitii informationes reddit quae ad transmittendam per network physicam L2 necessaria sunt.
Card Nitro in ARP responsionis MAC in retis corporis cum inscriptione in VPC reponit.
Cum notitias transferentes, logicam MAC et IP in involucro VPC involvimus. Haec omnia per retis physicam adhibentes proprio fonte ac destinatione IP Nitro schedulas transmittimus.
Machina corporalis ad quam sarcina destinata est perscriptio peragit. Hoc necessarium est ne possibilitas inscriptionis spoofing. Machina specialem petitionem mittit ad munus destinata et rogat: “Ex machina physica 192.168.0.3 fasciculum accepi, quod destinatum est 10.0.0.3 in caeruleo VPC. Estne legitimus?
Tabula geographica ministerium suum destinatio mensae subsidiorum coercet et fasciculum transire permittit vel negat. In omnibus novis instantiis, adiectis sanatio in scheda Nitro infixa est. Impossibile est eam etiam speculatione praeterire. Ergo spoofing ad opes in alio VPC non laborabit.
Deinde mittitur notitia ad virtualem machinam ad quam destinatur.
Officium destinata etiam opus facit ut iter logicum ad notitias transferendas inter machinas virtuales in diversis subnets. Omnia ratione simplicia sunt, singillatim non pergam.
Evenit ut cum singulis fasciculis transmittendis ministris destinata opera convertantur. Quid moras inevitabiles agere? Cachingscilicet.
Pulchritudo est quam non opus est totam mensam ingentem condire. Physica server exercituum machinis virtualis ex comparatione pauci VPCs. Tantum opus est ut informationes de his VPCs cache. Notitia transferendi ad alias VPCs in configuratione "default" adhuc non legitima est. Si functiones sicut VPC-perantes adhibentur, informationes de correspondentibus VPCs superadditas in cella onusta sunt.
Translatio notitiarum ad VPC digesta sumus.
Blackfoot
Quid faciendum in casibus in quibus negotiatio extra transmitti debet, exempli gratia ad Interreti aut per VPN ad terram? Hic nos adiuvat Blackfoot — AWS servitium internum. Societas Africae Australis nostris amplificata est. Quam ob rem servitus nominatur a penguin qui in Africa Australi vivit.
Blackfoot decapsulat mercaturam et facit quod opus est cum eo. Mauris in lorem ut est.
Notitia decapsulatur et in IPsec rursus involvitur, cum VPN usus est.
Cum Direct Connect utens, negotiatio tagged et mittitur ad VLAN congrua.
HyperPlane
Hoc imperium internus fluit ministerium. Multa officia network magna eget notitia fluxus civitatibus. Exempli gratia, cum usus NAT, imperium fluere debet curare ut unumquodque IP: destinationi portum singularem portum exitum habeat. In aequilibrio NLB - Network Lond Balancer, notitia fluere debet semper ad idem scopum virtualis apparatus. Securitas Groups est status firewall. Monitores mercaturae ineuntis et implicite portus aperit ad tramitem exitu.
In nube AWS, transmissio latency requisita sunt altissima. Ille est cur HyperPlane critica ad observantiam totius ornatum.
Hyperplane in machinis virtualibus EC2 aedificatur. Non est hic magia, sed calliditas. Dolum est quod hae sunt machinae virtuales cum magnis RAM. Operationes sunt transactionales et solum in memoria operatae. Hoc tibi permittit ut decem tantum microseconds moras consequi. Orbis laborans productivity interficeret.
Hyperplane systema ingentem numerum talium EC2 machinarum distributum est. Quisque virtualis apparatus band latitudinem 5 GB/s habet. Per reticulum totum regionale, hoc incredibile est band longitudinis terabitum praebet et processus permittit decies iunctio secundo.
HyperPlane solum operatur cum rivis. VPC fasciculus encapsulation plane perspicuus est. Potentia vulnerabilitas in hoc servitio interno impediret ne VPC solitudo frangeretur. Gradus infra securitatem responsales sunt.
Tumultum vicinus
Non est tamen quaestio aes proximo - aes proximo. Sumamus sumamus VIII nodos. Hi nodi processus profluvia omnium nubium utentium. Omnia subtilia videntur, et onus per omnes nodos aequaliter distribui debent. Nodi sunt valde potentes et difficile est eos onerare.
Sed aedificamus architecturae nostrae missionibus vel verisimiliter fundatae.
Humilis probabilitas non est impossibile.
Opinari possumus condicionem in qua unus vel plures utentes nimium onus generarent. Omnes HyperPlane nodi implicantur in hoc onere dispensando et aliis usoribus utentes potentialiter experiri aliquod genus effectus hit. Hic conceptus nubis erumpit, in qua tenentes nullam vim habent ad invicem.
Quomodo quaestionem proximi turbantis solvere? Primum illud quod occurrit, est sharding. Nostri 8 nodi logice dividuntur in 4 schedas 2 nodi singulas. Vicinus autem tumultuosus tantum quartam omnium utentium perturbabit, sed eos vehementer perturbabit.
Aliter faciamus. Solos 3 nodos usorum ad unumquemque collocabimus.
Dolum est nodos diversis utentibus passim assignare. In pictura infra, usor caeruleus intersecat nodos cum uno e duobus utentibus duobus - viridi et aurantiaco.
Cum 8 nodis et 3 utentibus, probabilitas proximi tumultuantis intersecantes cum uno usorum 54% est. Hoc probabilius est quod caeruleus usor alios colonos movebit. Eodem tempore pars oneris tantum. In nostro exemplo, haec influxus saltem aliquo modo notabilis erit, non ad omnes, sed ad tertiam tantum omnium utentium. Hoc iam bonum est.
Numerus users qui secent
Probabilitas in percent
0
18%
1
54%
2
26%
3
2%
Rem propius ad rem adducamus - sumamus 100 nodos et 5 usores in 5 nodis. In hoc casu, nulla nodi probabilitate 77% secet.
Numerus users qui secent
Probabilitas in percent
0
77%
1
21%
2
1,8%
3
0,06%
4
0,0006%
5
0,00000013%
In reali condicione, cum ingentem numerum HyperPlane nodis et utentibus, impulsum potentiae tumultuantis in aliis utentibus minimus est. Hoc modo dicitur miscentes sharding - shuffle sharding. Effectus negativus nodi regit defectum.
Multa officia ex HyperPlane aedificata sunt: Onus Network Balancer, NAT Gateway, Amazon EFS, AWS PrivateLink, AWS Transit Gateway.
Retis scalae
Nunc fama de scala ipsum retis. Pro October MMXIX AWS officia sua praebet in 22 regionesac IX plura ordinantur.
- Quaelibet regio plures zonas disponibilitate continet. Sunt 69 earum circa mundum.
- Quodlibet AZ ex Centris Processing Data. Nullae ex eis in summa plusquam VIII.
- Centri notitiae ingentem numerum servorum domorum, quidam usque ad 300.
Nunc omnia haec mediocris sit, multiplica et figuram impressivam quae reflectit Amazon nube scale.
Plures sunt nexus optici inter Zonas Availability et Mauris interdum. In una nostrarum maximarum regionum, 388 canales modo positae sunt pro AZ communicatione inter se et centra communicationis cum aliis regionibus (Transit Centra). Totum hoc insanus 5000 Tbit.
Backbone AWS constituitur speciatim pro et optimized pro nube. Nos aedificare in canalibus 100 GB / s. Eos omnino regemus, praeter regiones in Sinis. Negotiatio cum aliis societatibus oneribus non communicatur.
Scilicet, non solum nubes provisor cum retis privatis narum. Plures et plures turmae hanc viam sequuntur. Hoc confirmatur per inquisitores independens, e.g .
Aliquam lacinia purus ostendit participationem contenti provisoribus et provisoribus nubem crescere. Propter hoc, participatio commercii interretialis provisorum spinarum semper decrescit.
Explicabo cur hoc fiat. Antea, plurima officia interretialia directe e Interrete pervia et consumpta erant. Hodie, magis ac magis servientes in nube sita sunt et pervia sunt £ - Contentus Distributio Network. Ut subsidio accedere, user per Internet tantum proximis CDN PoP - Punctum Praesentiae. Saepissime alicubi est prope. Deinde interreti publici relinquit et per narum privatam trans Atlanticum volat, exempli gratia, et directe ad subsidia accipit.
Miror quomodo Internet mutabitur in 10 annis si haec inclinatio pergit?
Canales corporis
Nondum docti figuraverunt quomodo celeritas lucis in universo augeretur, sed magnum progressum fecerunt in methodis tradendi per fibra optica. Nos hodie utimur retinacula fibrarum 6912. Hoc adiuvat signanter optimize sumptus institutionis suae.
In quibusdam regionibus funibus specialibus utendum est. Exempli gratia, in regione Sydney funibus utimur cum speciali anti-termitis vestitu.
Nemo a molestiis immunis est, et venae nostrae interdum laeduntur. Photo in dextra ostendit funes opticos in una regiones Americanorum quae operarum constructione dilaceratae sunt. Ex casu, tantum XIII notitiae amissae sunt, quod mirum est. Iterum - modo XIII! Ratio proprie switched ad canales tergum - scala laborat.
Per quaedam officia et technologias Amazonicae nubes incurrimus. Spero te habere aliquam saltem ideam de libra negotiorum, quod fabrum nostrum solvendum est. Personale, ipsum inuenio blandit.
Haec est ultima pars trilogiae a Vasily Pantyukhin circa AWS fabrica. IN' partes describe servo optimizationis et database scalis et in — munerum cultor et Firecracker.
In mense Novembri Vasily Pantyukhin novas singulas machinae Amazonicae communicabit. He de causis lapsorum et consilio systemata Amazonium distributorum. 24 Octobris adhuc fieri potest tessera pretio magno et postea redde. Te exspectamus apud HighLoad++, veni et chat!
Source: www.habr.com