{"id":39302,"date":"2019-10-31T22:29:40","date_gmt":"2019-10-31T19:29:40","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh\/"},"modified":"2019-10-31T22:29:40","modified_gmt":"2019-10-31T19:29:40","slug":"kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/administrirovanie\/kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh","title":{"rendered":"Cum \u201eg\u0103te\u0219te\u201d AWS serviciile sale elastice. Scalarea serverelor \u0219i bazelor de date","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Norii sunt asemenea unei cutii magice - \u00eendici ce ai nevoie, iar resursele apar din neant. Ma\u0219ini virtuale, baze de date, re\u021bea - toate acestea \u00ee\u021bi apar\u021bin \u00een totalitate. Exist\u0103 \u0219i al\u021bi utilizatori \u00een cloud, dar \u00een universul t\u0103u e\u0219ti singurul conduc\u0103tor. E\u0219ti sigur c\u0103 vei ob\u021bine \u00eentotdeauna resursele necesare, f\u0103r\u0103 s\u0103 te consulti cu al\u021bii \u0219i stabile\u0219ti singur cum va ar\u0103ta re\u021beaua. Cum func\u021bioneaz\u0103 aceast\u0103 magie care permite cloud-ului s\u0103 aloce resurse \u00een mod elastic \u0219i s\u0103 izoleze complet utilizatorii unii de al\u021bii?<\/p>\n

\"Cum
\n
\nCloud-ul AWS este un sistem mega-complex, care s-a dezvoltat evolutiv din 2006. O parte din aceast\u0103 evolu\u021bie a fost martor Vasili Pantyuhin<\/strong> \u2014 arhitectul Amazon Web Services. Ca arhitect, el vede nu doar rezultatul final, ci \u0219i provoc\u0103rile pe care le dep\u0103\u0219e\u0219te AWS. Cu c\u00e2t \u00een\u021belegi mai bine cum func\u021bioneaz\u0103 sistemul, cu at\u00e2t devine mai mare \u00eencrederea. De aceea, Vasilii va \u00eemp\u0103rt\u0103\u0219i secretele serviciilor cloud AWS. \u00cen acest articol, vei descoperi structura serverelor fizice AWS, scalabilitatea elastic\u0103 a bazelor de date, baza de date personalizat\u0103 Amazon \u0219i metodele de cre\u0219tere a performan\u021bei ma\u0219inilor virtuale, \u00een timp ce le reduci costurile. Cunoa\u0219terea abord\u0103rilor arhitecturale Amazon te va ajuta s\u0103 folose\u0219ti mai eficient serviciile AWS \u0219i, poate, \u00ee\u021bi va oferi idei noi pentru dezvoltarea propriilor solu\u021bii.
\n<\/a><\/noindex>
\nDespre speaker: Vasilii Pantyuhin (Hen<\/a><\/noindex>) a \u00eenceput ca administrator Unix \u00een companiile .ru, a petrecut 6 ani lucr\u00e2nd cu echipamente mari Sun Microsystems, \u0219i 11 ani promov\u00e2nd centrismul datelor \u00een EMC. A evoluat natural spre cloud-uri private, iar \u00een 2017 a trecut la cele publice. Acum ofer\u0103 sfaturi tehnice pentru a ajuta s\u0103 tr\u0103iasc\u0103 \u0219i s\u0103 se dezvolte \u00een cloud-ul AWS.<\/p>\n

Declinarea: tot ce urmeaz\u0103 este p\u0103rerea personal\u0103 a lui Vasilii \u0219i poate s\u0103 nu corespund\u0103 pozi\u021biei Amazon Web Services. \u00cenregistrarea video<\/a><\/noindex> a prezent\u0103rii, pe baza c\u0103reia a fost creat articolul, este disponibil\u0103 pe canalul nostru de YouTube.<\/i><\/p>\n

De ce vorbesc despre structura Amazon<\/h2>\n

\nMa\u0219ina mea prima avea o \u201em\u00e2ner\u201d - cu cutie de viteze mecanic\u0103. A fost minunat datorit\u0103 senza\u021biei de a putea controla ma\u0219ina \u0219i de a o gestiona complet. \u00cemi pl\u0103cea, de asemenea, c\u0103 m\u0103 \u00een\u021belegeam, m\u0103car vag, cu principiul ei de func\u021bionare. \u00cen mod natural, imagina\u021bia mea despre structura cutiei era destul de simplist\u0103 - cam ca o cutie de viteze pe biciclet\u0103.<\/p>\n

\"Cum
\n
\nTotul a fost minunat, cu o singur\u0103 excep\u021bie \u2014 statul \u00een trafic. Te sim\u021bi ca \u0219i cum nu faci nimic, dar constant schimbi vitezele, ape\u0219i pe ambreiaj, accelerezi, fr\u00e2nezi \u2014 din cauza asta, \u00eentr-adev\u0103r, obose\u0219ti. Problema traficelor s-a rezolvat par\u021bial c\u00e2nd familia a cump\u0103rat o ma\u0219in\u0103 cu transmisie automat\u0103. La volan, a ap\u0103rut timpul s\u0103 m\u0103 g\u00e2ndesc la ceva, s\u0103 ascult o carte audio.<\/p>\n

De asemenea, \u00een via\u021ba mea a ap\u0103rut o enigm\u0103, deoarece am \u00eencetat complet s\u0103 \u00een\u021beleg cum func\u021bioneaz\u0103 ma\u0219ina mea. O ma\u0219in\u0103 modern\u0103 este un dispozitiv complex. Aceasta se adapteaz\u0103 simultan la zeci de parametri diferi\u021bi: ap\u0103sarea pedalei de accelera\u021bie, fr\u00e2na, stilul de condus, calitatea drumului. Nu mai \u00een\u021beleg cum func\u021bioneaz\u0103.<\/p>\n

C\u00e2nd am \u00eenceput s\u0103 m\u0103 ocup de cloud-ul Amazon, pentru mine a fost, de asemenea, un mister. Doar c\u0103 acest mister este cu un ordin mai ridicat, pentru c\u0103 \u00een ma\u0219in\u0103 este un singur \u0219ofer, iar \u00een AWS sunt milioane. To\u021bi utilizatorii conduc simultan, accelereaz\u0103 \u0219i fr\u00e2neaz\u0103. Este uimitor cum ajung acolo unde \u00ee\u0219i doresc \u2014 pentru mine, aceasta este o minune! Sistemul se adapteaz\u0103 automat, se scaleaz\u0103 \u0219i se ajusteaz\u0103 elastic pentru fiecare utilizator, astfel c\u0103 acesta simte c\u0103 este singur \u00een acest Univers.<\/p>\n

Magia s-a risipit pu\u021bin c\u00e2nd, mai t\u00e2rziu, am venit s\u0103 lucrez ca arhitect la Amazon. Am v\u0103zut cu ce probleme ne confrunt\u0103m, cum le rezolv\u0103m, cum dezvolt\u0103m serviciile. Pe m\u0103sur\u0103 ce \u00een\u021belegerea sistemului cre\u0219te, apare mai mult\u0103 \u00eencredere \u00een serviciu. De aceea vreau s\u0103 \u00eemp\u0103rt\u0103\u0219esc imaginea a ceea ce se afl\u0103 sub capota cloud-ului AWS.<\/p>\n

Despre ce vom discuta<\/h2>\n

\nAm ales o abordare diversificat\u0103 \u2014 am selectat 4 servicii interesante despre care merit\u0103 s\u0103 vorbim.<\/p>\n

Optimizarea serverelor<\/strong>. Clouds efemere cu o \u00eentrupare fizic\u0103: centre de date fizice, unde se afl\u0103 servere fizice, care vibreaz\u0103, se \u00eenc\u0103lzesc \u0219i lumineaz\u0103 becurile.<\/p>\n

Func\u021bii serverless <\/strong>(Lambda) \u2014 probabil, cel mai scalabil serviciu din cloud.<\/p>\n

Scalarea bazelor de date<\/strong>. Voi povesti despre cum construim bazele noastre de date scalabile.<\/p>\n

Scalarea re\u021belei<\/strong>. Ultima parte, \u00een care voi deschide structura re\u021belei noastre. Este o minune \u2014 fiecare utilizator al cloud-ului crede c\u0103 este singur \u00een cloud \u0219i nu vede deloc ceilal\u021bi chiria\u0219i.<\/p>\n

Not\u0103. \u00cen acest articol se va discuta despre optimizarea serverelor \u0219i scalarea bazei de date. Scalarea re\u021belei va fi discutat\u0103 \u00een articolul urm\u0103tor. Unde sunt func\u021biile serverless? Despre acestea a fost publicat\u0103 o explicare separat\u0103 \u00abMic, dar puternic. Unboxing-ul microvirtualiz\u0103rii Firecracker<\/a><\/noindex>\u00bb. \u00cen aceasta se discut\u0103 despre mai multe metode diferite de scalare, \u0219i solu\u021bia Firecracker este explicat\u0103 \u00een detaliu \u2014 un simbioz\u0103 a celor mai bune calit\u0103\u021bi ale ma\u0219inilor virtuale \u0219i containerelor.<\/i><\/p><\/blockquote>\n

<\/p>\n

Servere<\/h2>\n

\nCloud-ul este efemer. Dar aceast\u0103 efemeritate are totu\u0219i o \u00eentruchipare fizic\u0103 \u2014 serverele. Ini\u021bial, arhitectura lor a fost clasic\u0103. Un chipset standard x86, pl\u0103ci de re\u021bea, Linux, hipervizor Xen, pe care au fost rulate ma\u0219inile virtuale.<\/p>\n

\"Cum
\n
\n\u00cen 2012, o astfel de arhitectur\u0103 f\u0103cea fa\u021b\u0103 cerin\u021belor sale. Xen este un hipervizor excelent, dar are un dezavantaj serios. Acesta are costuri de suprasarcin\u0103 destul de mari pentru emularea dispozitivelor<\/strong>. Odat\u0103 cu apari\u021bia unor pl\u0103ci de re\u021bea mai rapide sau a discurilor SSD, aceste costuri de suprasarcin\u0103 devin prea mari. Cum putem face fa\u021b\u0103 acestei probleme? Am decis s\u0103 lucr\u0103m pe dou\u0103 fronturi \u2014 s\u0103 optimiz\u0103m at\u00e2t hardware-ul, c\u00e2t \u0219i hipervizorul<\/strong>. Sarcina este foarte serioas\u0103.<\/p>\n

Optimizarea hardware-ului \u0219i a hipervizorului<\/h3>\n

\nNu vom reu\u0219i s\u0103 facem totul dintr-o dat\u0103 \u0219i bine. Ce \u00eenseamn\u0103 \u00abbine\u00bb, ini\u021bial nu era clar.<\/p>\n

Am decis s\u0103 aplic\u0103m o abordare evolutiv\u0103 \u2014 schimb\u0103m un element important al arhitecturii \u0219i \u00eel lans\u0103m \u00een produc\u021bie.<\/p><\/blockquote>\n

Incepem s\u0103 c\u0103lc\u0103m pe toate greblele, ascult\u0103m pl\u00e2ngerile \u0219i sugestiile. Apoi schimb\u0103m alt component. A\u0219a, prin mici incermente, schimb\u0103m radical \u00eentreaga arhitectur\u0103 baz\u00e2ndu-ne pe feedback-ul utilizatorilor \u0219i al echipei de suport.<\/p>\n

Transform\u0103rile au \u00eenceput \u00een 2013 cu cea mai complicat\u0103 \u2014 re\u021beaua. \u00cen C3<\/strong> instan\u021bele standard au fost ad\u0103ugate o plac\u0103 special\u0103 Network Accelerator. Aceasta era conectat\u0103 printr-un scurt cablu loopback pe panoul frontal. Inestetic, dar \u00een cloud nu se vede. Totu\u0219i, interac\u021biunea direct\u0103 cu hardware-ul a \u00eembun\u0103t\u0103\u021bit semnificativ jitter-ul \u0219i capacitatea de transmisie a re\u021belei.<\/p>\n

Apoi, am decis s\u0103 ne ocup\u0103m de \u00eembun\u0103t\u0103\u021birea accesului la stocarea blocului de date EBS \u2014 Elastic Block Storage. Aceasta este o combina\u021bie \u00eentre re\u021bea \u0219i stocare. Complexitatea const\u0103 \u00een faptul c\u0103, de\u0219i pe pia\u021b\u0103 existau pl\u0103ci Network Accelerator, nu existau op\u021biuni de a cump\u0103ra hardware pentru Storage Accelerator. A\u0219a c\u0103 ne-am adresat startup-ului Annapurna Labs<\/strong>, care a dezvoltat pentru noi cipuri speciale ASIC. Acestea au permis conectarea volumelor EBS de la distan\u021b\u0103 ca unit\u0103\u021bi NVMe.<\/p>\n

\u00cen instan\u021be C4<\/strong> am rezolvat dou\u0103 probleme. Prima - am realizat o preg\u0103tire pentru tehnologia NVMe, care era promi\u021b\u0103toare, dar nou\u0103 la acel moment. A doua - am desc\u0103rcat semnificativ procesorul central prin mutarea proces\u0103rii cererilor c\u0103tre EBS pe o nou\u0103 plac\u0103. A ie\u0219it foarte bine, a\u0219a c\u0103 acum Annapurna Labs face parte din Amazon.<\/p>\n

P\u00e2n\u0103 \u00een noiembrie 2017, ne-am dat seama c\u0103 a sosit timpul s\u0103 schimb\u0103m \u0219i hipervizorul \u00een sine.<\/p>\n

Noul hipervizor a fost dezvoltat pe baza modulelor Kernel KVM \u00eembun\u0103t\u0103\u021bite.<\/p><\/blockquote>\n

Acesta a permis reducerea semnificativ\u0103 a cheltuielilor pentru emularea dispozitivelor \u0219i a lucrat direct cu noile cipuri ASIC. Instan\u021bele C5<\/strong> au fost primele ma\u0219ini virtuale care au folosit noul hipervizor. L-am numit Nitro<\/strong>.<\/p>\n

\"CumEvolu\u021bia instan\u021belor pe o linie temporal\u0103.<\/em><\/p>\n

Toate noile tipuri de ma\u0219ini virtuale care au ap\u0103rut din noiembrie 2017 func\u021bioneaz\u0103 pe acest hipervizor. Instan\u021bele Bare Metal nu au hipervizor,<\/strong>, dar sunt, de asemenea, numite Nitro, deoarece folosesc pl\u0103ci specializate Nitro.<\/p>\n

\u00cen urm\u0103torii doi ani, num\u0103rul tipurilor de instan\u021be Nitro a dep\u0103\u0219it c\u00e2teva zeci: A1, C5, M5, T3 \u0219i altele.<\/p>\n

\"Cum
\nTipuri de instan\u021be.<\/em><\/p>\n

Cum sunt construite ma\u0219inile Nitro moderne<\/h3>\n

\nAcestea au trei componente principale: hipervizor Nitro (despre care s-a vorbit mai sus), cip de securitate \u0219i pl\u0103ci Nitro.<\/p>\n

Cipul de securitate<\/strong> este integrat direct \u00een placa de baz\u0103. Acesta controleaz\u0103 numeroase func\u021bii importante, de exemplu, controlul \u00eenc\u0103rc\u0103rii sistemului de operare gazd\u0103.<\/p>\n

Pl\u0103cile Nitro<\/strong> exist\u0103 \u00een patru tipuri. Toate au fost dezvoltate de Annapurna Labs \u0219i se bazeaz\u0103 pe ASIC-uri comune. O parte din firmware-ul lor, de asemenea, este comun.<\/p>\n

\"Cum
\nCele patru tipuri de pl\u0103ci Nitro.<\/em><\/p>\n

Una dintre pl\u0103ci este destinat\u0103 lucrului cu re\u021beaua<\/strong>VPC<\/strong>. Aceasta este vizibil\u0103 \u00een ma\u0219inile virtuale ca plac\u0103 de re\u021bea ENA \u2014 Elastic Network Adaptor<\/strong>. De asemenea, aceasta encapsuleaz\u0103 traficul atunci c\u00e2nd este transmis prin re\u021beaua fizic\u0103 (despre care vom vorbi \u00een a doua parte a articolului), controleaz\u0103 firewall-ul Security Groups, se ocup\u0103 de rutare \u0219i alte aspecte re\u021bea.<\/p>\n

Pl\u0103cile separate lucreaz\u0103 cu stocarea blocurilor EBS<\/strong> \u0219i cu discurile integrate \u00een server. Acestea sunt prezentate pentru ma\u0219ina virtual\u0103 ca adaptori NVMe<\/strong>. De asemenea, se ocup\u0103 de criptarea datelor \u0219i monitorizarea discurilor.<\/p>\n

Sistemul de pl\u0103ci Nitro, hipervizorul \u0219i cipul de securitate sunt unite \u00eentr-o re\u021bea SDN sau Software Defined Network<\/strong>. Controlul acestei re\u021bele (Control Plane) este responsabil controler de hart\u0103<\/strong>.<\/p>\n

Desigur, continu\u0103m dezvoltarea de noi ASIC. De exemplu, la sf\u00e2r\u0219itul anului 2018 am lansat cipul Inferentia, care permite o gestionare mai eficient\u0103 a sarcinilor de \u00eenv\u0103\u021bare automat\u0103.<\/p>\n

\"Cum
\nCipul Inferentia Processor pentru \u00cenv\u0103\u021bare Automat\u0103.<\/em><\/p>\n

Baz\u0103 de date scalabil\u0103<\/h2>\n

\nO baz\u0103 de date tradi\u021bional\u0103 are o structur\u0103 stratificat\u0103. Dac\u0103 simplific\u0103m foarte mult, se pot identifica urm\u0103toarele niveluri.<\/p>\n