Nubes sunt sicut arca magica - quaeris quid tibi opus sit, et opes ex nusquam apparent sicut sunt. Machinae virtuales, databases, retis - haec omnia ad te solum pertinent. Sunt aliae nubes tenentes, sed tu solus in universo rectore. Certus es te semper opes debitas recipere, aliquem rationem habere non debes, et quid retiarii simile erit, separatim decernes. Quomodo hoc opus magicum quod nubes elastice collocant facultates facit et tenentes penitus ab invicem segregant?
Nubes AWS est systema mega-super complexum quod ab 2006 evolutione evolutionis fuit. Pars huius progressionis facta est Vasly Pantyukhin - Amazon interretialem Architect. Ut architectus, intus inspicit, non solum ad finem, sed etiam ad provocationes AWS superat. Quanto maior est intellectus, quanto ratio operatur, eo maior fiducia. Ideo Vasly secreta AWS nubem muneris communicabit. Infra consilium AWS physicae ministrantium, scalabilitatis datorum elasticarum, consuetudo datorum Amazonum et methodorum ad augendas machinis virtualis faciendis, dum simul eorum pretium minuit. Scientia accessuum architecturae Amazonum adiuvabit ut efficacius operas AWS utaris et novas notiones tibi praebeat ad solutiones tuas aedificandas.
De oratore: Vasiukhin () ut Unix admin in turmas ru incepit, in magna Microsystem ferraria sol per 6 annos laboravit, et mundum centricum EMC per 11 annos praedicavit. Nata illa in nubes privatas evolvit, et anno 2017 ad publicas transfertur. Nunc technica consilia praebet ut vivant et crescant in nube AWS.
Disclaimer: omnia infra sunt propria Vasily opinio nec congruere cum positione Services Web Amazonicae. Renuntiatio qua articulum innititur, in nostro YouTube alveo praesto est.
Quid loquor de Amazonibus fabrica?
Meus primus currus tradendo manualem habuit. Magna erat propter affectum quem raedam depellere possem et in eo summam potestatem habere. Placuit etiam quod principium operationis eius saltem duriter intellexi. Putavi profecto structuram cistae satis primitivam esse - aliquid simile machinae in birota.
Omnia magna erant, praeter unum - haeret in traffic jams. Simile videtur quod sedisti et nihil agis, sed anniculos mutans constanter, pressa lacessit, gas fregit - fessos te facit. Negotiatio impedita problema partim solvitur cum familia autocinetum latis obtinuit. Dum agitans, tempus habui de re aliqua cogitandi et audi librum audio.
Aliud mysterium in vita mea apparuit, quia intelligere omnino desii quomodo currus opera mea. A moderni currus fabrica implicata est. Raeda simul adaptat justos diversorum parametri: urget gas, fregit, stilum impellit, viam qualitatis. Non intelligo quomodo amplius operatur.
Cum opus in Amazonibus nubem facere coepi, etiam mihi mysterium fuit. Tantum hoc mysterium est ordo magnitudinis maior, quia unus est auriga in curru, et in AWS decies centena milia eorum sunt. Omnes utentes eodem tempore gubernant, gas press et frangunt. Mirum est quod eant quo volunt - est mihi miraculum! Systema automatice adcommodat, squamae et elastically unicuique usori accommodat, ut ei videatur solus in hoc universo.
Magica aliquantulum gerebat cum postea ad opus faciendum accessit apud Amazonem architectum. Vidi quae problemata opponimus, quomodo solvemus, et quomodo officia explicamus. Crescente intellectu quomodo systema operatur, fiducia in servitio magis apparet. Itaque picturam communicare cupio quid sit sub nube AWS cucullo.
Quid dicemus?
Aditus varias delegi - delegi 4 operas interesting quae dignae sunt de loquendo.
Servo ipsum. Nubes ephemerales cum corpore materiali: centra physica ubi sunt ministri corporis qui humant, calefaciunt et palpant cum luminibus.
Serverless munera (Lambda) verisimile est officium scalabile maxime in nube.
Database scaling. Dicam tibi quomodo scalabiles databases nostras aedificamus.
Retis scaling. Ultima pars in qua machinam retis nostrae aperiam. Hoc mirabile est - omnis nubis usor credit quod solus in nube est et non videt alios colonos.
Nota. Articulus hic de servo optimae et datorum scalis disseret. Retis scalis in proximo articulo considerabimus. Ubi sunt munera servilia? Reparatum transcriptum de illis editum est "" De pluribus diversis scalis modis loquitur, et solutionem Firecracker singillatim discutit - symbiosis optimarum qualitatum virtualis machinae et continentia.
Servers
Nubes fluxa est. Sed haec ephemeralitas adhuc corpoream formam - ministrantium habet. Initio eorum architectura classica fuit. Vexillum x86 chipset, chartae retis, Linux, Xen hypervisor in quibus machinis virtualis currebatur.
Anno 2012 , haec architectura cum suis muneribus satis bene implevit. Xen hypervisor magnus est, sed unum maiorem incommodum habet. Ipse suus 'got satis princeps caput pro fabrica aemulatio. Ut nova, citius cinematographica retis vel SSD agit, praesto fiunt, hoc caput nimis fit altum. Quomodo cum hoc problemate agat? Constituimus operari in duas frontes simul - optimize et hardware et hypervisor. Negotium gravissimum est.
Optimizing hardware et hypervisor
Omnia simul facere et bene facere non operaberis. Quid "bonum" significaverit, etiam initio obscurum est.
Actionem evolutionis accipere decrevimus - unum elementum magni momenti architecturae mutamus eamque in productionem mittemus.
Ingrediamur omnes rastros, audi querelas et suggestiones. Deinde alia componentia mutamus. Itaque, in parvis incrementis, totam architecturam funditus mutamus secundum opiniones ab usoribus et auxilio.
Mutatio coepit in 2013 cum re implicatissima - ornatum. IN' S3 instantiae, speciales Accelerator Network card addita est ad vexillum card retiacula. Coniuncta erat literam cum fune brevi loopback in tabula anteriori. Non belle est, sed in nube non apparet. Sed directa commercium cum hardware fundamentaliter jitter et reticulum perput melioris.
Deinceps decrevimus emendare aditum ad notitias repositionis repositionis EBS - Elasticae Repono. Est compositum ex retis et repono. Difficultas est quia dum Network Accelerator in foro exstabat, optio nulla erat ut odio justo acceleratori emeret. Itaque conversi sumus ad startup Annapurna Labsqui speciales asiculas astulas pro nobis. Volumina remota EBS conscendi permiserunt ut NVMe strophas.
In casibus C4 solvimus duas difficultates. Prima est, quod fundamentum in futurum promittendi, sed novum eo tempore, NVMe technologiam implevit. Secundo, processum centralem insigniter exoneramus transferendo processus petitionum ad EBS ad novum card. Contigit, ita nunc Annapurna Labs Amazonum pars est.
Mense Novembri 2017 intelleximus tempus ipsum hypervisorem mutare.
Novus hypervisor amplificatus est secundum modulorum nuclei modulorum modulorum KVM mutatio.
Id efficere potuit ut caput machinationis aemulationis et operandi directe cum novis ASICs fundamentaliter reduceret. Instantiae S5 Primae machinae virtuales erant cum novo hypervisore sub cucullo currente. Nos eum nominavimus Nitro.
Evolutionis instantiarum in tempore visitationis.
Omnes novae species machinarum virtualium quae post Novembrem 2017 apparuerunt de hoc hypervisore currunt. Exempla nuda metalla non habent hypervisoremsed etiam Nitro dicuntur, quoniam schedulis Nitro specialibus utuntur.
Numerus instantiarum Nitroensium super proximum biennium duorum duodenarum generum superabat: A1, C5, M5, T3 et cetera.
Genera instantia.
Quomodo moderni Nitro machinarum operantur
Tria principalia elementa habent: hypervisoris Nitro (supra disputatum), chip securitatis et chartarum Nitroarum.
Securitas chip integrated directe in motherboard. Multas et magnas functiones imperat, ut onerationem exercitus OS moderans.
Nitro cards — Quatuor sunt genera eorum. Earum omnes ab Annapurna Labs evolutae sunt et in communi ASICs fundatae sunt. Quaedam firmware eorum est etiam commune.
Quattuor genera chartarum Nitro.
Una pecto est ad opus networkPellentesque McQueen,. Hoc est quod visibilis est in virtualis machinis quasi retis card ENA - Network Elastica Adaptor. Etiam mercaturam encapsulat, cum per reticulum physicum illud transmittens (de hoc in secunda parte articuli loquemur), in muro Securitatis Societates moderatur et ad excitandas res et alia retiacula responsabilis est.
Lego pecto opus cum obstructionum repono GLORIA et disci, quae in servo struuntur. Apparatus virtualis hospitis apparent sicut NVMe adaptors. Etiam responsabiles sunt pro notitia encryptionis et orbis magna.
Systema schedulae Nitroriae, hypervisoris et chippis securitatis integratur in retis SDN or . Software defined Network. Reus administrandi hoc network (Control Plane) controller card.
Utique nova ASICs evolvere pergimus. Exempli gratia, in fine anni MMXVIII Inferentiam chip Inferentiam dimiserunt, quod permittit te efficacius operari cum machina discendi operibus.
Inferentia Apparatus Doctrinae Processus chip.
Scalable Database
Traditum database habet structuram nunc. Ad simplicem admodum, gradus sequentes distinguuntur.
- SQL — clientelam petentibus litteris operam navant.
- Annona transactions — Patet hic omnia, ACID et omnia quae.
- cachingqui providetur per quiddam stagnorum.
- Logging - Cum redo ligna opus praebet. In MySQL vocantur Bin Logs, in PosgreSQL - Ante Log (WAL).
- storage - Recta memoria in disco.
Stratum database structura.
Differunt modi scandendi databases: sharding, Communes Architectura, orbis communis.
Sed omnes hi modi structuram datorum monolithicam eandem conservant. Hoc signanter fines erigi. Ad hanc solvendam quaestionem, propria database elaboravimus Amazon Aurorae. Compatitur cum MySQL et PostgreSQL.
Amazon Aurorae
Praecipua idea architecturae est ad repono et colligationem gradus a database principali separare.
Prospiciens, dicam nos etiam graduum independentium cachinni fecisse. Architectura cessat monolithus esse, et additos libertatis gradus consequimur in singulis caudicis scandendis.
Logging and storage levels are separate from database.
Tradita DBMS scribit data ad systema repositionis in forma caudices. Ad Auroram Amazonam, captiosam repositionem creavimus quae lingua loqui potest redo-omnia. Intus, repositione tigna in notitias caudices vertit, monitores suae integritatis et automatice recedunt.
Aditus sino vos ad effectum deducendi talia interesting res ut exquisitis. Fundamentaliter velocius et oeconomice laborat ob hoc quod non requirit integrum exemplar omnium notitiarum creandi.
Tabularium repono impletur ut ratio distributa. Constat ex plurimis corporis ministris. Quisque redo stipes discursum est et servata eodem tempore sex nodis. Hoc data tutelae et oneris libratio praestat.
Legere scalas fieri potest utens congruis replicationibus. Distributa repositionis necessitatem synchronisationi intercedit inter principale datorum instantias, per quas scribimus notitias et reliquas replicationes. Usque ad diem data praestatur ut omnibus replicas praesto sit.
Sola problema est antiqua notitia in replicas legere. Sed haec quaestio solvitur omnia transferre omnia recto ad replicas super network internum. Si truncus in cella est, notatur ut incorrecta et overscripta. Si in cella non est, simpliciter abicitur.
Repono nobis digestus est.
Quam scandere DBMS versus
Hic scala horizontalis multo difficilior est. Eamus igitur in viam vapulem classic vertical scandere ".
Demus applicationem habere nos communicantem cum DBMS per nodo magistri.
Cum verticaliter scandunt, novam nodi collocamus quae plures processus et memoriam habebit.
Deinde applicationem magistri veteris nodi ad novam commutamus. Problemata oriuntur.
- Hoc application downtime significantem requiret.
- Novus dominus nodi thesaurum frigidum habebit. Faciendi Database maximum erit solum postquam cella revexit.
Quomodo rem emendare? Procuratorem constitue inter applicationem et magistrum nodi.
Quid hoc nobis dabit? Nunc omnes applicationes ad novam nodi redirectionem manualem non indigent. Transitus sub procuratore fieri potest et fundamentaliter velocius est.
Videtur quod quaestio soluta sit. Sed nulla, adhuc de necessitate latibulum fovere patimur. Praeterea problema novum apparuit - nunc procurator est punctum potentiale defectionis.
Final solution cum Amazon Aurora serverless
Quomodo has difficultates solvimus?
Relicto ineundo. Instantia haec non est separata, sed tota classis procuratorum distributa per quam applicationes ad datorum conectuntur. In casu defectio, quaelibet nodi fere statim reponi potest.
Addidit piscinam nodis tepidis variae magnitudinis. Si igitur necesse est novam nodi maioris vel minoris magnitudinem collocare, statim praesto est. Nullam eget dictum turpis.
Tota processus scalis peculiari vigilantia ratio regitur. Adipiscing sedulo monitores status nodi hodiernae magistri. Si detegit, exempli gratia, processus oneris ad valorem criticum pervenerit, notificat piscinam instantiarum calidarum de necessitate novam nodi collocandi.
Procuratores distribuerunt, instantiae calidae et vigilantiae.
Node cum potentia inquisita praesto est. Quiddam piscinae ei transcribendae sunt et ratio incipit exspectare momentum tutum commutandi.
Solet momentum mutandi satis cito. Tunc communicatio inter procuratorem et dominum nodi veterem suspenditur, omnes sessiones ad novam nodi permutantur.
Cum database opus repetere.
Aliquam lacinia purus ostendit suspensionem valde brevem esse. Graphium caeruleum onus ostendit, et vestigia rubra momenta scalis ostendunt. Breve tempus in grapho caeruleo immergitur praecise illa brevis mora.
In via, Amazon Aurora sinit te pecuniam omnino servare et datorum averte cum non est in usu, exempli gratia, in weekends. Postquam onere reprimitur, DB paulatim suam potentiam minuit et aliquandiu recedit. Cum redit onus, blande resurget.
In altera parte fabulae de fabrica Amazonium, de scala retiacula loquemur. Subscribe et mane modulatum sic articulum non fallunt.
In Vasiukhin Pantyukhin relationem dabit "" Quo consilio exemplaria ad systemata distributa ab Amazonibus tincidunt adhibentur, quaenam sint causae defectuum serviendi, quid architectura Cell-substructa, Constant Opus, Shuffle Sharding - interesting erit. Minus quam mensem usque ad colloquium - . Novissima pretium auget 24 Octobris.
Source: www.habr.com