{"id":39302,"date":"2019-10-31T22:29:40","date_gmt":"2019-10-31T19:29:40","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh\/"},"modified":"2019-10-31T22:29:40","modified_gmt":"2019-10-31T19:29:40","slug":"kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh","title":{"rendered":"Kuidas AWS oma elastseid teenuseid \"keedab\". Serverite ja andmebaaside skaleerimine","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Pilved on nagu maagiline karp \u2014 \u00fctled, mida vajad, ja ressursid ilmuvad lihtsalt t\u00fchjusest. Virtuaalmasinad, andmebaasid, v\u00f5rk \u2014 k\u00f5ik need kuuluvad ainult sulle. On ka teisi pilvekaaslasi, kuid oma Universumis oled sa ainus valitseja. Sa oled kindel, et saad alati vajalikud ressursid, ei pea kellegagi arvestama ja m\u00e4\u00e4rad ise, milline sinu v\u00f5rk on. Kuidas toimub see maagia, mis sunnib pilve paindlikult ressursse jaotama ning t\u00e4ielikult eraldama kaaslasi \u00fcksteisest?<\/p>\n

\"Kuidas
\n
\nAWS pilv on superkeeruline s\u00fcsteem, mis on arenemas alates 2006. aastast. Osa sellest arengust tabas Vasili Pantjuhin<\/strong> \u2014 Amazon Web Servicesi arhitekt. Arhitektina n\u00e4eb ta mitte ainult l\u00f5pptulemust, vaid ka keerulisi k\u00fcsimusi, mida AWS \u00fcletab. Mida rohkem ta s\u00fcsteemi t\u00f6\u00f6p\u00f5him\u00f5tteid m\u00f5istab, seda rohkem usaldust see tekitab. Seet\u00f5ttu jagab Vasili AWS-i pilveteenuste saladusi. Allpool on arutletud AWS-i f\u00fc\u00fcsiliste serverite \u00fclesehitust, paindlikku andmebaasi skaleeritavust, kohandatud Amazon-i andmebaasi ja meetodeid virtuaalmasinate j\u00f5udluse t\u00f5stmiseks ning samal ajal nende hindade alandamiseks. Amazon-i arhitektuuri p\u00f5him\u00f5tete tundmine aitab AWS-i teenuseid efektiivsemalt kasutada ja v\u00f5ib-olla pakub uusi ideid oma lahenduste loomisel.
\n<\/a><\/noindex>
\nEsinejast: Vasili Pantjuhin (Hen<\/a><\/noindex>) alustas Unix-administraatorina .ru ettev\u00f5tetes, t\u00f6\u00f6tas 6 aastat suurte Sun Microsystemi masinatega ning 11 aastat propageeris andmekeskuse keskset l\u00e4henemist EMC-s. Loomulikul teel on ta arenenud privaatsete pilvede suunas ning 2017. aastal kolis avalikesse pilvedesse. Praegu aitab ta tehniliste n\u00f5uannetega elada ja areneda AWS-i keskkonnas.<\/p>\n

Eritingimus: k\u00f5ik, mis j\u00e4rgneb, on isiklik arvamus Vasili poolt ja ei pruugi kattuda Amazon Web Servicesi seisukohtadega. Videoklipp<\/a><\/noindex> ettekandest, mille p\u00f5hjal see artikkel loodud, on saadaval meie YouTube'i kanalil.<\/i><\/p>\n

Miks ma r\u00e4\u00e4gin Amazonist?<\/h2>\n

\nMinu esimene auto oli manuaalk\u00e4igukastiga. See oli suurep\u00e4rane tunne, et saan autot juhtida ja seda t\u00e4ielikult kontrollida. Mulle meeldis ka see, et ma v\u00e4hemalt suurusj\u00e4rgus m\u00f5istsin, kuidas see t\u00f6\u00f6tab. Loomulikult kujutasin ma k\u00e4igukasti seadet \u00fcsna primitiivselt \u2014 umbes nagu jalgratta k\u00e4igukast.<\/p>\n

\"Kuidas
\n
\nK\u00f5ik oli suurep\u00e4rane, v\u00e4lja arvatud \u00fcks asi \u2014 ummikutes seismine. Tundub, et istud ja ei tee midagi, kuid pidevalt l\u00fclitad k\u00e4ike, vajutad sidurit, gaasi ja pidurit \u2014 sellest v\u00e4sib p\u00e4riselt \u00e4ra. Probleem ummikutes osaliselt kadus, kui peresse tuli automaatk\u00e4igukastiga auto. Rohul on n\u00fc\u00fcd aega millegi \u00fcle m\u00f5elda ja kuulata audioraamatuid.<\/p>\n

Veel tuli mu ellu m\u00f5istatus, sest ma ei saanud enam \u00fcldse aru, kuidas mu auto t\u00f6\u00f6tab. Kaasaegne auto on keeruline seade. Auto kohandub korraga k\u00fcmnete erinevate parameetritega: gaasi, piduri vajutamine, s\u00f5idustiil, tee kvaliteet. Ma ei saa enam aru, kuidas see t\u00f6\u00f6tab.<\/p>\n

Kui ma esmakordselt Amazon Cloudiga tegelema hakkasin, oli see ka minu jaoks m\u00f5istatus. Ainult et see m\u00fcsteerium on omamoodi k\u00f5rgema taseme, sest masinas on \u00fcks juht, aga AWS-is on neid miljoneid. K\u00f5ik kasutajad juhivad samaaegselt, vajutavad gaasile ja pidurile. Imeline, et nad j\u00f5uavad sinna, kuhu soovivad \u2014 see on minu jaoks imetabane! S\u00fcsteem kohandub automaatselt, skaleerub ja paindlikult kohandub igale kasutajale nii, et tal tundub, et ta on \u00fcksi selles universumis.<\/p>\n

Magi hakkas veidi hajuma, kui ma hiljem Amazonis arhitektina t\u00f6\u00f6le asusin. N\u00e4gin, milliste probleemidega me silmitsi seisame, kuidas me neid lahendame ja kuidas teenuseid arendame. Kui arusaamine s\u00fcsteemi toimimisest suureneb, suureneb ka usaldus teenuse vastu. Seet\u00f5ttu tahan jagada pilti sellest, mis AWS-i pilve all toimub.<\/p>\n

Millest r\u00e4\u00e4gime<\/h2>\n

\nValisin mitmekesise l\u00e4henemise \u2014 valisin 4 huvitavat teenust, millest tasub r\u00e4\u00e4kida.<\/p>\n

Serverite optimeerimine<\/strong>. Efemeersed pilved f\u00fc\u00fcsilise kujundusega: f\u00fc\u00fcsilised andmekeskused, kus asuvad f\u00fc\u00fcsilised serverid, mis humisevad, kuumenevad ja vilguvad tuledega.<\/p>\n

Serverless-funktsioonid <\/strong>(Lambda) \u2014 ilmselt k\u00f5ige skaleeritavam teenus pilves.<\/p>\n

Andmebaasi skaleerimine<\/strong>. R\u00e4\u00e4gin, kuidas me oma skaleeritavaid andmebaase ehitame.<\/p>\n

V\u00f5rgu skaleerimine<\/strong>. Viimane osa, kus avan meie v\u00f5rgu seadistust. See on imeline asi \u2014 iga pilvekasutaja arvab, et ta on \u00fcksi pilves ja ei n\u00e4e teisi kliente.<\/p>\n

M\u00e4rkus. Selles artiklis k\u00e4sitletakse serverite optimeerimist ja andmebaaside skaleerimist. V\u00f5rgu skaleerimist arutame j\u00e4rgmises artiklis. Kus on serverivabad funktsioonid? Nende kohta ilmus eraldi selgitus \u00abV\u00e4ike, aga vinge. Firecrackeri mikrovirtuaalmasina avamine<\/a><\/noindex>\u00bb. Selles r\u00e4\u00e4gitakse mitmest erinevast skaleerimisviisist ning p\u00f5hjalikult anal\u00fc\u00fcsitakse Firecrackeri lahendust \u2014 parimate virtuaalmasina ja konteinerite omaduste s\u00fcmbioos.<\/i><\/p><\/blockquote>\n

<\/p>\n

Serverid<\/h2>\n

\nPilv on efemeerne. Kuid selle efemeersusel on siiski f\u00fc\u00fcsiline kehastus \u2014 serverid. Alguses oli nende arhitektuur klassikaline. Tavaline x86 kiibistik, v\u00f5rkaartid, Linux, h\u00fcpervisor Xen, millel k\u00e4ivitatud virtuaalmasinad.<\/p>\n

\"Kuidas
\n
\n2012. aastal t\u00e4itis selline arhitektuur t\u00e4iesti oma \u00fclesandeid. Xen on suurep\u00e4rane h\u00fcpervisor, kuid \u00fche t\u00f5sise puudusega. Tal on piisavalt k\u00f5rged seadmete emuleerimise kulud<\/strong>. Uute kiiremate v\u00f5rgukaartide v\u00f5i SSD-diskide ilmumisega muutuvad need kulud liiga k\u00f5rgeks. Kuidas selle probleemiga toime tulla? Otsustasime t\u00f6\u00f6tada korraga kahel rindel \u2014 optiimimine nii riistvarale kui ka h\u00fcperviisorile<\/strong>. \u00dclesanne on v\u00e4ga t\u00f5sine.<\/p>\n

Riistvara ja h\u00fcperviisori optimeerimine<\/h3>\n

\nK\u00f5iki asju korraga h\u00e4sti teha ei \u00f5nnestu. Mis on 'h\u00e4sti', ei olnud alguses samuti selge.<\/p>\n

Otsustasime kasutada evolutsioonilist l\u00e4henemist \u2014 muudame \u00fche olulise arhitektuuri elemendi ja viime selle tootmisse.<\/p><\/blockquote>\n

Astume k\u00f5ikidele komistuskividele, kuulame kaebusi ja ettepanekuid. Seej\u00e4rel muudame teist komponenti. Nii, v\u00e4ikeste sammudega, muudame kogu arhitektuuri, tuginedes kasutajate ja toe tagasisidele.<\/p>\n

Muudatused algasid 2013. aastal k\u00f5ige keerulisemast \u2014 v\u00f5rgust. C3 instantsidesse lisati tavalisest v\u00f5rguadapterist eraldi kaart Network Accelerator. See \u00fchendati s\u00f5na otseses m\u00f5ttes l\u00fchikese loopback-kaabliga seadme esipaneelil. Kole, aga pilves ei ole seda n\u00e4ha. K\u00fcll aga parandas otsene kapcsolat riistvaraga oluliselt jitterit ja v\u00f5rgu l\u00e4bilaskev\u00f5imet.<\/strong> standarda v\u00f5rkaartide instantsidesse on lisatud spetsiaalne kaardimoodul Network Accelerator. See oli \u00fchendatud l\u00fchikese loopback-kaabliga esiarmatuuri. \u00dckski ei tundu ilus, aga pilves ei ole seda n\u00e4ha. Otsene suhtlemine riistvaraga on p\u00f5him\u00f5tteliselt parandanud jitter'i ja v\u00f5rgu l\u00e4bilaskev\u00f5imet.<\/p>\n

Edasi liikusime EBS-i (Elastic Block Storage) andmesalvestuse parendamise nimel. See on v\u00f5rgu ja salvestuse kombinatsioon. Probleemiks oli, et turul olid olemas Network Accelerator'i kaardid, kuid Storage Accelerator'i riistvara ostmiseks v\u00f5imalusi polnud. Seet\u00f5ttu p\u00f6\u00f6rdusime idufirma Annapurna Labs<\/strong>, mis arendas meile spetsiaalsed ASIC kiibid. Need v\u00f5imaldasid kaugtehnoloogiate EBS-i \u00fchendamist NVMe seadmetena.<\/p>\n

Instance'ides C4<\/strong> lahendasime kaks \u00fclesannet. Esiteks - valmistusime \u00e4ra tulevikuks NVMe lubava, kuid toona uue tehnoloogia jaoks. Teiseks - vabastasime oluliselt keskprotsessori koormust, suunates EBS-i p\u00e4ringute t\u00f6\u00f6tlemise uuele kaardile. See \u00f5nnestus, mist\u00f5ttu on Annapurna Labs n\u00fc\u00fcd Amazon'i osa.<\/p>\n

Novembri 2017. aastaks m\u00f5istsime, et on aeg vahetada ka h\u00fcperviisor.<\/p>\n

Uus h\u00fcperviisor loodi KVM-i (Kernel-based Virtual Machine) t\u00e4iustatud moodulite p\u00f5hjal.<\/p><\/blockquote>\n

See v\u00f5imaldas oluliselt v\u00e4hendada seadmete emulatsioonikulutusi ja t\u00f6\u00f6tada otse uute ASIC-idega. Instantsid C5<\/strong> olid esimesed virtuaalmasinad, mille all t\u00f6\u00f6tas uus h\u00fcperviisor. Nimeks panime selle Nitro<\/strong>.<\/p>\n

\"KuidasInstantside evolutsioon ajaskaalal.<\/em><\/p>\n

K\u00f5ik uued virtuaalmasinate t\u00fc\u00fcbid, mis ilmusid novembris 2017, t\u00f6\u00f6tavad selle h\u00fcperviisori peal. Raudse Bare Metal instantsidel ei ole h\u00fcperviisorit,<\/strong>kuid neid nimetatakse samuti Nitroks, kuna nad kasutavad spetsialiseeritud Nitro-kaarte.<\/p>\n

J\u00e4rgmisel kahel aastal \u00fcletas Nitro-instantside t\u00fc\u00fcpide arv paari tosinat: A1, C5, M5, T3 ja teised.<\/p>\n

\"Kuidas
\nInstantside t\u00fc\u00fcbid.<\/em><\/p>\n

Kuidas on t\u00e4nap\u00e4eva Nitro-masinad \u00fcles ehitatud<\/h3>\n

\nNendel on kolm p\u00f5hikomponenti: Nitro-h\u00fcperviisor (millest r\u00e4\u00e4kisime varem), turvakiip ja Nitro-kaardid.<\/p>\n

Turvakiip<\/strong> on integreeritud otse emaplaati. See kontrollib paljusid olulisi funktsioone, n\u00e4iteks host-OS-i k\u00e4ivitamise kontrolli.<\/p>\n

Nitro-kaardid<\/strong> \u2014 neid on neli t\u00fc\u00fcpi. K\u00f5ik on v\u00e4lja t\u00f6\u00f6tanud Annapurna Labs ja p\u00f5hinevad \u00fchistel ASIC-idel. Osaliselt on nende p\u00fcsivara samuti \u00fchine.<\/p>\n

\"Kuidas
\nNeli t\u00fc\u00fcpi Nitro-kaarti.<\/em><\/p>\n

\u00dcks kaart on ette n\u00e4htud t\u00f6\u00f6tamiseks v\u00f5rguga<\/strong>VPC.<\/strong>Just seda n\u00e4hakse virtuaalmasinates kui v\u00f5rguadapterit. ENA \u2014 Elastic Network Adaptor.<\/strong>Samuti kapseldab see liiklust, kui see edastatakse f\u00fc\u00fcsilise v\u00f5rgu kaudu (sellest r\u00e4\u00e4gime artikli teises osas), kontrollib Security Groups tulem\u00fc\u00fcre, vastutab marsruutimise ja teiste v\u00f5rguasjade eest.<\/p>\n

\u00dcksikud kaardid t\u00f6\u00f6tavad plokkhoidla s\u00fcsteemiga EBS<\/strong> ja ketastega, mis on serverisse integreeritud. K\u00fclalisvirtuaalmasinas esitatakse need kui NVMe-adapterid<\/strong>. Need vastutavad ka andmete kr\u00fcpteerimise ja ketaste j\u00e4lgimise eest.<\/p>\n

Nitro-kaartide s\u00fcsteem, h\u00fcperviisor ja turvakiip on \u00fchendatud SDN v\u00f5i Software Defined Network<\/strong>. Selle v\u00f5rgu (Control Plane) haldamise eest vastutab kontrollerkaart<\/strong>.<\/p>\n

Loomulikult j\u00e4tkame uute ASIC-ide arendamist. N\u00e4iteks 2018. aasta l\u00f5pus esitlesime Inferentia kiipi, mis v\u00f5imaldab t\u00f5husamalt tegeleda masin\u00f5ppe \u00fclesannetega.<\/p>\n

\"Kuidas
\nInferentia masin\u00f5ppeprotsessor.<\/em><\/p>\n

Skaleeritav andmebaas<\/h2>\n

\nTraditsiooniline andmebaas omab kihilist struktuuri. Kui v\u00e4ga lihtsustada, siis eristuvad j\u00e4rgmised tasemed.<\/p>\n