{"id":39302,"date":"2019-10-31T22:29:40","date_gmt":"2019-10-31T19:29:40","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh\/"},"modified":"2019-10-31T22:29:40","modified_gmt":"2019-10-31T19:29:40","slug":"kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh","title":{"rendered":"Kuidas AWS \u00abkeedab\u00bb oma elastseid teenuseid. Serverite ja andmebaaside skaleerimine","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Pilved on nagu maagiline karp - sa m\u00e4\u00e4ratled, mida vajad, ja ressursid lihtsalt ilmuvad nagu mingist t\u00fchi kohast. Virtuaalmasinad, andmebaasid, v\u00f5rk - k\u00f5ik see kuulub ainult sinule. On olemas ka teisi pilve\u00fc\u00fcrnike, kuid oma universumis oled sa ainus valitseja. Sa v\u00f5id olla kindel, et saad alati vajalikke ressursse, ei pea kellegagi arvestama ja m\u00e4\u00e4rad ise, milline on v\u00f5rk. Kuidas see ilu t\u00f6\u00f6tab, mis paneb pilve paindlikult ressursse jaotama ja t\u00e4ielikult isoleerib \u00fc\u00fcrnikud \u00fcksteisest?<\/p>\n

\"Kuidas
\n
\nAWS pilv on megasuperkeeruline s\u00fcsteem, mis on evolutsiooniliselt arenenud aastast 2006. Osa sellest arengust on n\u00e4inud Vassili Pantiuhin<\/strong> \u2014 Amazon Web Services'i arhitekt. Arhitektina n\u00e4eb ta seest mitte ainult l\u00f5pptulemust, vaid ka keerukusi, millega AWS silmitsi seisab. Mida rohkem m\u00f5istad s\u00fcsteemi t\u00f6\u00f6d, seda rohkem usaldust. Seet\u00f5ttu jagab Vassili AWS-i pilveteenuste saladusi. Allpool on \u00fclevaade AWS-i f\u00fc\u00fcsiliste serverite seadistusest, paindlikust andmebaasi skaleerimisest, Amazonis kohandatud andmebaasist ja meetoditest virtuaalmasinate j\u00f5udluse parandamiseks, samal ajal nende hinda v\u00e4hendades. Amazon architectural approach\u2019id aitavad t\u00f5husamalt kasutada AWS-i teenuseid ja v\u00f5ivad isegi anda uusi ideid oma lahenduste loomiseks.
\n<\/a><\/noindex>
\nEsinejast: Vassili Pantiuhin (Hen<\/a><\/noindex>) alustas Unix-adminnina .ru ettev\u00f5tetes, kuus aastat tegeles suure rauaga Sun Microsystem'is, 11 aastat propageeris andmekeskuse keskset maailma EMC-s. Loomulikult arenes ta privaatsetest pilvedest avalikesse 2017. aastal. Praegu aitab ta tehniliste n\u00f5uannetega, et AWS-is elada ja areneda.<\/p>\n

Ebaselgus: k\u00f5ik, mis on allpool, on Vassili isiklik arvamus ja see ei pruugi kattuda Amazon Web Services'i seisukohaga. Videoklipp<\/a><\/noindex> ettekandest, mille p\u00f5hjal see artikkel on loodud, on saadaval meie YouTube'i kanalis.<\/i><\/p>\n

Miks ma r\u00e4\u00e4gin Amazoniga seadistamisest<\/h2>\n

\nMinu esimene auto oli \"k\u00e4tega\" - manuaalk\u00e4igukastiga. See oli suurep\u00e4rane, sest tundsin, et suudan autot juhtida ja t\u00e4ielikult seda kontrollida. Mulle meeldis ka, et ma v\u00e4hemalt enam-v\u00e4hem m\u00f5istsin, kuidas see t\u00f6\u00f6tab. Loomulikult kujutasin ma kasti \u00fclesehitust piisavalt primitiivselt - umbes nagu jalgratta k\u00e4igukast.<\/p>\n

\"Kuidas
\n
\nK\u00f5ik oli suurep\u00e4rane, v\u00e4lja arvatud \u00fcks asi \u2014 ummikud. N\u00e4iliselt istud ja ei tee midagi, aga pidevalt vahetad k\u00e4ike, t\u00f5stad clutchi, ja vajutad gaasi ning pidurit \u2014 sellest v\u00e4sid t\u00f5eliselt. Uute autode automatiseerimine lahendas osaliselt ummikute probleemi, kui meie peres ilmus automaatk\u00e4igukastiga auto. Roolis olles on mul aega m\u00f5elda, kuulata audiokogusid.<\/p>\n

Minu elus tekkis veel \u00fcks m\u00f5istatus, kuna ma ei m\u00f5istnud enam, kuidas minu auto t\u00f6\u00f6tab. Kaasaegne auto on keeruline seade. Auto kohandub samaaegselt k\u00fcmnete erinevate parameetritega: gaasi vajutamine, pidur, s\u00f5idustiil, tee kvaliteet. Ma ei saa enam aru, kuidas see t\u00f6\u00f6tab.<\/p>\n

Kui ma hakkasin tegelema Amazon Cloudiga, oli see minu jaoks samuti saladus. Kuid see saladus on kordades suurem, sest autos on ainult \u00fcks juht, kuid AWS-is on neid miljoneid. K\u00f5ik kasutajad s\u00f5idavad samal ajal, vajutavad gaasi ja pidurit. Huvitav on see, et nad j\u00f5uavad sinna, kuhu soovivad \u2014 see on minu jaoks ime! S\u00fcsteem kohandub automaatselt, skaleerub ja paindlikult kohandub iga kasutaja jaoks, nii et talle tundub, et ta on selles Universumit \u00fcksi.<\/p>\n

Maagia hajus veidi, kui tulin hiljem Amazonisse arhitektina t\u00f6\u00f6tama. N\u00e4gin, milliste probleemidega me kokku puutume, kuidas me neid lahendame ja kuidas arendame teenuseid. S\u00fcsteemi t\u00f6\u00f6 m\u00f5istmine suurendab usaldust teenuse vastu. Seet\u00f5ttu tahan jagada pilti sellest, mis on AWS-i pilve all.<\/p>\n

Millest r\u00e4\u00e4gime<\/h2>\n

\nOlen valinud mitmekesise l\u00e4henemise \u2014 valisin neli huvitavat teenust, millest tasub r\u00e4\u00e4kida.<\/p>\n

Serverite optimeerimine<\/strong>. Efemeersed pilved f\u00fc\u00fcsilise kehaga: f\u00fc\u00fcsilised andmekeskused, kus seisavad f\u00fc\u00fcsilised serverid, mis sumisevad, soojenevad ja vilguvad tuled.<\/p>\n

Serverless funktsioonid <\/strong>(Lambda) \u2014 t\u00f5en\u00e4oliselt k\u00f5ige skaleeritavam teenus pilves.<\/p>\n

Andmebaasi skaleerimine<\/strong>. R\u00e4\u00e4gin sellest, kuidas me ehitame oma skaleeritavad andmebaasid.<\/p>\n

V\u00f5rgu skaleerimine<\/strong>. Viimane osa, kus avandan meie v\u00f5rgu \u00fclesehitust. See on imeline asi \u2014 iga pilve kasutaja arvab, et ta on pilves \u00fcksi ja ei n\u00e4e teisi tenant\u2019e.<\/p>\n

M\u00e4rkus. K\u00e4esolevas artiklis k\u00e4sitleme serverite optimeerimist ja andmebaaside skaleerimist. V\u00f5rgu skaleerimist arutame j\u00e4rgmises artiklis. Kuhu j\u00e4\u00e4vad serverless-funktsioonid? Nendest on ilmunud eraldi t\u00f5lgendus \u00abV\u00e4ike, aga vinge. Firecracker'i mikrov\u00f5rgu avamine<\/a><\/noindex>\u00bb. Selles on r\u00e4\u00e4kida mitmest erinevast skaleerimisviisist ning \u00fcksikasjalikult on k\u00e4sitletud Firecracker'i lahendust \u2014 parimate virtuaalmasina ja konteinerite omaduste s\u00fcmbioos.<\/i><\/p><\/blockquote>\n

<\/p>\n

Serverid<\/h2>\n

\nPilv on efemeerne. Kuid sellel efemeersusel on siiski f\u00fc\u00fcsiline kehastus \u2014 serverid. Alguses oli nende arhitektuur klassikaline. Tavaline x86 kiibistik, v\u00f5rgukaardid, Linux, h\u00fcperviisor Xen, millel k\u00e4itusid virtuaalmasinad.<\/p>\n

\"Kuidas
\n
\n2012. aastal t\u00e4itis selline arhitektuur oma \u00fclesandeid kenasti. Xen on suurep\u00e4rane h\u00fcperviisor, kuid \u00fche t\u00f5sise puudusega. Sel on piisavalt suured seadme emuleerimise kulud<\/strong>. Kui turule ilmusid uued kiiremad v\u00f5rgukaardid v\u00f5i SSD-d, muutusid need kulud liiga k\u00f5rgeks. Kuidas sellega toime tulla? Otsustasime t\u00f6\u00f6tada kohe kahes suunas \u2014 optimeerida nii riistvara kui ka h\u00fcperviisorit<\/strong>. \u00dclesanne on v\u00e4ga t\u00f5sine.<\/p>\n

Riistvara ja h\u00fcperviisori optimeerimine<\/h3>\n

\nK\u00f5ike korraga ja h\u00e4sti ei \u00f5nnestu. Mis on \u00abh\u00e4sti\u00bb, alguses ei olnud ka selge.<\/p>\n

Otsustasime rakendada evolutsioonilist l\u00e4henemist \u2014 muutma \u00fchte olulist arhitektuuri elementi ja viima selle produtsendile.<\/p><\/blockquote>\n

Astume k\u00f5igile takistustele, kuulame kaebusi ja ettepanekuid. Siis muutame teist komponenti. Nii, v\u00e4ikeste sammudega, muudame kogu arhitektuuri radikaalselt vastavalt kasutajate ja toe tagasisidele.<\/p>\n

Muudatused algasid 2013. aastal k\u00f5ige keerulisemast \u2014 v\u00f5rgust. C3 instantsidesse lisati standardse v\u00f5rgukaardi juurde spetsiaalne Network Accelerator kaart. See \u00fchendati lihtsalt l\u00fchikese loopback kaabliga esipaneelil. Ehkki see n\u00e4gi v\u00e4lja inetu, ei olnud see pilves n\u00e4ha. Kuid otsene suhtlemine riistvaraga parandas p\u00f5him\u00f5tteliselt jitterit ja v\u00f5rgu l\u00e4bilaskev\u00f5imet.<\/strong> Edasi otsustasime tegeleda EBS \u2014 Elastic Block Storage andmete plokkide s\u00e4ilitamise v\u00f5rgu juurdep\u00e4\u00e4su parandamisega. See on v\u00f5rgu ja ladustamise kombinatsioon. Probleem seisneb selles, et kui turul olid olemas Network Accelerator kaardid, siis ei olnud v\u00f5imalust lihtsalt osta Storage Accelerator riistvara. Seet\u00f5ttu p\u00f6\u00f6rdusime startup'i poole<\/p>\n

Annapurna Labs Annapurna Labs<\/strong>, mis valmistati meile spetsiaalsed ASIC-kiibid. Need v\u00f5imaldasid \u00fchendada kaugseid EBS-mahte NVMe-seadmetena.<\/p>\n

Instantsides C4<\/strong> lahendasime kaks \u00fclesannet. Esiteks - loobusime tuleviku suunaga perspektiivikast, kuid tol ajal veel uudsest NVMe-tehnoloogiast. Teiseks - oluliselt leevendasime keskprotsessori koormust, viies EBS-i p\u00e4ringute t\u00f6\u00f6tlemise uuele kaardile. See \u00f5nnestus, seet\u00f5ttu on Annapurna Labs n\u00fc\u00fcd osa Amazonist.<\/p>\n

November 2017. aastaks olime aru saanud, et on aeg muuta ka h\u00fcperviisorit.<\/p>\n

Uus h\u00fcperviisor arendati v\u00e4lja t\u00e4iustatud KVM-i tuumamoodulite p\u00f5hjal.<\/p><\/blockquote>\n

See v\u00f5imaldas oluliselt v\u00e4hendada seadmete emulatsiooniga seotud kulu ja t\u00f6\u00f6tada otse uute ASIC-idega. Instantsid C5<\/strong> olid esimesed virtuaalmasinad, mille all on uus h\u00fcperviisor. Nimeks saime selle Nitro<\/strong>.<\/p>\n

\"KuidasInstantside evolutsioon ajajoone j\u00e4rgi.<\/em><\/p>\n

K\u00f5ik uued virtuaalmasinate t\u00fc\u00fcbid, mis ilmusid novembris 2017, t\u00f6\u00f6tavad selle h\u00fcperviisori peal. Raudse Bare Metal instantsidel ei ole h\u00fcperviisorit<\/strong>, kuid neid nimetatakse samuti Nitroks, kuna nad kasutavad spetsialiseeritud Nitro-kaarte.<\/p>\n

J\u00e4rgnevate kahe aasta jooksul \u00fcletas Nitro-instantside t\u00fc\u00fcpide arv paarik\u00fcmne: A1, C5, M5, T3 ja teised.<\/p>\n

\"Kuidas
\nInstantside t\u00fc\u00fcbid.<\/em><\/p>\n

Kuidas modernsed Nitro-masinad on \u00fcles ehitatud<\/h3>\n

\nNeil on kolm peamist komponenti: Nitro-h\u00fcperviisor (millest r\u00e4\u00e4giti varem), turvakiip ja Nitro-kaardid.<\/p>\n

Turvakiip<\/strong> on integreeritud otse emaplaadi. See kontrollib mitmeid olulisi funktsioone, n\u00e4iteks hosti operatsioonis\u00fcsteemi laadimise kontrolli.<\/p>\n

Nitro-kaardid<\/strong> \u2013 neid on neli t\u00fc\u00fcpi. K\u00f5ik need on v\u00e4lja t\u00f6\u00f6tatud Annapurna Labs'i poolt ja p\u00f5hinevad \u00fcldistel ASIC-idel. Osa nende p\u00fcsivara on samuti \u00fchine.<\/p>\n

\"Kuidas
\nNeli t\u00fc\u00fcpi Nitro-kaarte.<\/em><\/p>\n

\u00dcks kaart on ette n\u00e4htud t\u00f6\u00f6ks v\u00f5rguga<\/strong>VPC<\/strong>. Just see on virtuaalmasinates n\u00e4htav kui v\u00f5rgukaart ENA \u2014 Elastic Network Adaptor<\/strong>. Samuti kapseldab see andmeid, kui need edastatakse f\u00fc\u00fcsilise v\u00f5rgu kaudu (sellest r\u00e4\u00e4gime artikli teises osas), kontrollib Security Groupi tulem\u00fc\u00fcri, vastutab marsruutimise ja teiste v\u00f5rguasjade eest.<\/p>\n

Erilised kaardid t\u00f6\u00f6tavad plokkhoidla EBS<\/strong> ja serverisse integreeritud ketastega. K\u00fclastavale virtuaalmasinale esitatakse need kui NVMe-adapterid<\/strong>. Samuti vastutavad nad andmete kr\u00fcpteerimise ja ketaste j\u00e4lgimise eest.<\/p>\n

Nitro-kaartide, h\u00fcperviisori ja turvakiibi s\u00fcsteem on \u00fchendatud SDN-v\u00f5rku ehk Software Defined Network<\/strong>Selle v\u00f5rgu (Control Plane) haldamise eest vastutab kaardikontroller<\/strong>.<\/p>\n

Muidugi j\u00e4tkame uute ASIC-ide arendamist. N\u00e4iteks 2018. aasta l\u00f5pus t\u00f5ime turule Inferentia kiibi, mis v\u00f5imaldab t\u00f6\u00f6tada masin\u00f5ppe \u00fclesannetega efektiivsemalt.<\/p>\n

\"Kuidas
\nInferentia masin\u00f5ppe protsessor.<\/em><\/p>\n

Mastaabilehe andmebaas<\/h2>\n

\nTraditsiooniline andmebaas on kihiline struktuur. Kui v\u00e4ga lihtsustatult \u00f6elda, siis eristatakse j\u00e4rgmisi tasandeid.<\/p>\n