{"id":39302,"date":"2019-10-31T22:29:40","date_gmt":"2019-10-31T19:29:40","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh\/"},"modified":"2019-10-31T22:29:40","modified_gmt":"2019-10-31T19:29:40","slug":"kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-aws-varit-svoi-elastichnye-servisy-masshtabirovanie-serverov-i-bazy-dannyh","title":{"rendered":"Jak AWS 'gotuje' swoje elastyczne us\u0142ugi. Skalowanie serwer\u00f3w i baz danych","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Chmury przypominaj\u0105 magiczny kuferek \u2014 wystarczy, \u017ce powiesz, czego potrzebujesz, a zasoby pojawiaj\u0105 si\u0119 znik\u0105d. Wirtualne maszyny, bazy danych, sie\u0107 \u2014 to wszystko nale\u017cy tylko do ciebie. Istniej\u0105 tak\u017ce inne tenanty chmury, ale w swojej w\u0142asnej rzeczywisto\u015bci jeste\u015b jedynym w\u0142adc\u0105. Jeste\u015b pewien, \u017ce zawsze otrzymasz potrzebne zasoby, nie musisz si\u0119 z nikim liczy\u0107 i samodzielnie okre\u015blasz, jak b\u0119dzie wygl\u0105da\u0107 sie\u0107. Jak dzia\u0142a ta magia, kt\u00f3ra sprawia, \u017ce chmura elastycznie przydziela zasoby i ca\u0142kowicie izoluje tenanty od siebie?<\/p>\n

\"Jak
\n
\nChmura AWS to mega super skomplikowany system, kt\u00f3ry ewolucyjnie rozwija si\u0119 od 2006 roku. Cz\u0119\u015b\u0107 tego rozwoju zauwa\u017cy\u0142 Wasilij Pantyuchin<\/strong> \u2014 architekt Amazon Web Services. Jako architekt widzi on nie tylko ko\u0144cowy rezultat, ale tak\u017ce trudno\u015bci, kt\u00f3re pokonuje AWS. Im wi\u0119ksze zrozumienie dzia\u0142ania systemu, tym wi\u0119ksze zaufanie. Dlatego Wasilij podzieli si\u0119 sekretami chmurowych us\u0142ug AWS. Pod zdj\u0119ciem przedstawione s\u0105 architektura fizycznych serwer\u00f3w AWS, elastyczna skalowalno\u015b\u0107 baz danych, dostosowana baza danych Amazon i metody zwi\u0119kszania wydajno\u015bci wirtualnych maszyn przy jednoczesnym obni\u017caniu ich ceny. Znajomo\u015b\u0107 architektonicznych podej\u015b\u0107 Amazon pomo\u017ce efektywniej korzysta\u0107 z us\u0142ug AWS i by\u0107 mo\u017ce zainspiruje do stworzenia w\u0142asnych rozwi\u0105za\u0144.
\n<\/a><\/noindex>
\nO prelegencie: Wasilij Pantiuchin (Hen<\/a><\/noindex>) zaczyna\u0142 jako administrator Unix w rosyjskich firmach, przez 6 lat zajmowa\u0142 si\u0119 du\u017cymi maszynami Sun Microsystem, przez 11 lat promowa\u0142 podej\u015bcie zwi\u0105zane z danymi w EMC. Naturalnie ewoluowa\u0142 w kierunku prywatnych chmur, a w 2017 roku przeszed\u0142 do chmur publicznych. Obecnie udziela technicznych wskaz\u00f3wek, kt\u00f3re pomagaj\u0105 \u017cy\u0107 i rozwija\u0107 si\u0119 w chmurze AWS.<\/p>\n

Zastrze\u017cenie: wszystko, co poni\u017cej, to osobista opinia Wasilija i mo\u017ce nie zgadza\u0107 si\u0119 z stanowiskiem Amazon Web Services. Nagranie wideo<\/a><\/noindex> wyst\u0105pienia, na podstawie kt\u00f3rego powsta\u0142 artyku\u0142, jest dost\u0119pne na naszym kanale YouTube.<\/i><\/p>\n

Dlaczego m\u00f3wi\u0119 o dzia\u0142aniu Amazon<\/h2>\n

\nMoj\u0105 pierwsz\u0105 maszyn\u0105 by\u0142a \u201er\u0119czna\u201d \u2014 na mechanicznym skrzyni bieg\u00f3w. To by\u0142o wspania\u0142e uczucie, \u017ce mog\u0142em prowadzi\u0107 samoch\u00f3d i w pe\u0142ni go kontrolowa\u0107. Lubi\u0142em te\u017c to, \u017ce przynajmniej mniej wi\u0119cej rozumia\u0142em zasady jego dzia\u0142ania. Oczywi\u015bcie wyobra\u017ca\u0142em sobie dzia\u0142anie skrzyni bieg\u00f3w do\u015b\u0107 prymitywnie \u2014 mniej wi\u0119cej jak w rowerze.<\/p>\n

\"Jak
\n
\nWszystko by\u0142o wspania\u0142e, z wyj\u0105tkiem jednego \u2014 stania w korkach. Wydaje si\u0119, \u017ce siedzisz i nic nie robisz, ale ca\u0142y czas zmieniasz biegi, wciskasz sprz\u0119g\u0142o, gaz, hamulec \u2014 od tego naprawd\u0119 si\u0119 m\u0119czysz. Problem kork\u00f3w cz\u0119\u015bciowo znikn\u0105\u0142, gdy w rodzinie pojawi\u0142 si\u0119 samoch\u00f3d z automatem. Za kierownic\u0105 mia\u0142em czas, aby o czym\u015b my\u015ble\u0107, pos\u0142ucha\u0107 audiobooka.<\/p>\n

W moim \u017cyciu pojawi\u0142a si\u0119 zagadka, poniewa\u017c ca\u0142kowicie przesta\u0142em rozumie\u0107, jak dzia\u0142a m\u00f3j samoch\u00f3d. Nowoczesny samoch\u00f3d to skomplikowane urz\u0105dzenie. Samoch\u00f3d dostosowuje si\u0119 jednocze\u015bnie do dziesi\u0105tek r\u00f3\u017cnych parametr\u00f3w: wci\u015bni\u0119cia gazu, hamulca, stylu jazdy, jako\u015bci drogi. Ju\u017c nie rozumiem, jak to dzia\u0142a.<\/p>\n

Kiedy zacz\u0105\u0142em zajmowa\u0107 si\u0119 chmur\u0105 Amazon, dla mnie to te\u017c by\u0142a tajemnica. Tylko ta tajemnica jest na wy\u017cszym poziomie, poniewa\u017c w samochodzie jest jeden kierowca, a w AWS ich miliony. Wszyscy u\u017cytkownicy jednocze\u015bnie kieruj\u0105, naciskaj\u0105 gaz i hamulec. Dziwne, \u017ce wszyscy jad\u0105 tam, gdzie chc\u0105 \u2014 to dla mnie cud! System automatycznie dostosowuje si\u0119, skaluj\u0105c i elastycznie dopasowuj\u0105c do ka\u017cdego u\u017cytkownika, tak \u017ce wydaje mu si\u0119, \u017ce jest jedynym w tym wszech\u015bwiecie.<\/p>\n

Magia nieco os\u0142ab\u0142a, gdy p\u00f3\u017aniej zacz\u0105\u0142em pracowa\u0107 jako architekt w Amazon. Zobaczy\u0142em, z jakimi problemami si\u0119 borykamy, jak je rozwi\u0105zujemy, jak rozwijamy us\u0142ugi. Wraz ze wzrostem zrozumienia dzia\u0142ania systemu pojawia si\u0119 wi\u0119ksze zaufanie do us\u0142ugi. Dlatego chc\u0119 podzieli\u0107 si\u0119 wizj\u0105 tego, co kryje si\u0119 pod mask\u0105 chmury AWS.<\/p>\n

O czym porozmawiamy<\/h2>\n

\nWybra\u0142em zr\u00f3\u017cnicowane podej\u015bcie \u2014 wybra\u0142em 4 interesuj\u0105ce us\u0142ugi, o kt\u00f3rych warto porozmawia\u0107.<\/p>\n

Optymalizacja serwer\u00f3w<\/strong>. Efemeryczne chmury z fizycznym uciele\u015bnieniem: fizyczne centra danych, w kt\u00f3rych stoj\u0105 fizyczne serwery, kt\u00f3re warcz\u0105, nagrzewaj\u0105 si\u0119 i migocz\u0105 lampkami.<\/p>\n

Funkcje serverless <\/strong>(Lambda) \u2014 prawdopodobnie najbardziej skalowalna us\u0142uga w chmurze.<\/p>\n

Skalowanie bazy danych<\/strong>. Opowiem, jak budujemy nasze w\u0142asne skalowalne bazy danych.<\/p>\n

Skalowanie sieci<\/strong>. Ostatnia cz\u0119\u015b\u0107, w kt\u00f3rej odkryj\u0119 struktur\u0119 naszej sieci. To wspania\u0142a rzecz \u2014 ka\u017cdy u\u017cytkownik chmury uwa\u017ca, \u017ce jest w chmurze sam i w og\u00f3le nie widzi innych najemc\u00f3w.<\/p>\n

Uwaga. W tym artykule skupimy si\u0119 na optymalizacji serwer\u00f3w i skalowaniu baz danych. Skalowanie sieci zostanie om\u00f3wione w nast\u0119pnym artykule. Gdzie s\u0105 funkcje serverless? O tym pojawi\u0142a si\u0119 oddzielna analiza.Ma\u0142y, ale mocny. Unboxing mikrowirtualizacji Firecracker<\/a><\/noindex>. Zawiera ona opis kilku r\u00f3\u017cnych sposob\u00f3w skalowania oraz szczeg\u00f3\u0142ow\u0105 analiz\u0119 rozwi\u0105zania Firecracker \u2014 symbioza najlepszych cech maszyn wirtualnych i kontener\u00f3w.<\/i><\/p><\/blockquote>\n

<\/p>\n

Serwery<\/h2>\n

\nChmura jest efemeryczna. Ale ta efemeryczno\u015b\u0107 ma swoje fizyczne przedstawienie \u2014 serwery. Ich architektura pocz\u0105tkowo by\u0142a klasyczna. Standardowy chipset x86, karty sieciowe, Linux, hipernadzorca Xen, na kt\u00f3rym uruchamiano maszyny wirtualne.<\/p>\n

\"Jak
\n
\nW 2012 roku taka architektura w pe\u0142ni spe\u0142nia\u0142a swoje zadania. Xen to doskona\u0142y hipernadzorca, ale ma jedn\u0105 powa\u017cn\u0105 wad\u0119. Ma stosunkowo wysokie koszty narzutu zwi\u0105zane z emulacj\u0105 urz\u0105dze\u0144.<\/strong>Wraz z pojawieniem si\u0119 nowych, szybszych kart sieciowych lub dysk\u00f3w SSD te koszty staj\u0105 si\u0119 zbyt wysokie. Jak poradzi\u0107 sobie z tym problemem? Postanowiono dzia\u0142a\u0107 na dw\u00f3ch frontach \u2014 optymalizowa\u0107 zar\u00f3wno sprz\u0119t, jak i hipernadzorc\u0119.<\/strong>Zadanie jest bardzo powa\u017cne.<\/p>\n

Optymalizacja sprz\u0119tu i hipernadzorc\u00f3w<\/h3>\n

\nNie da si\u0119 zrobi\u0107 wszystkiego naraz i dobrze. Co to znaczy \u00abdobrze\u00bb, r\u00f3wnie\u017c na pocz\u0105tku nie by\u0142o jasne.<\/p>\n

Postanowiono zastosowa\u0107 podej\u015bcie ewolucyjne \u2014 zmieniaj\u0105c jeden wa\u017cny element architektury, wprowadzamy go do produkcji.<\/p><\/blockquote>\n

Natrafiamy na wszystkie pu\u0142apki, wys\u0142uchujemy skarg i propozycji. Potem zmieniamy inn\u0105 komponent\u0119. W ten spos\u00f3b, ma\u0142ymi krokami, radykalnie zmieniamy ca\u0142\u0105 architektur\u0119 na podstawie opinii u\u017cytkownik\u00f3w i wsparcia.<\/p>\n

Przemiany rozpocz\u0119\u0142y si\u0119 w 2013 roku od najtrudniejszego \u2014 sieci. W C3<\/strong> instancjach standardow\u0105 kart\u0119 sieciow\u0105 uzupe\u0142nili\u015bmy o specjaln\u0105 kart\u0119 Network Accelerator. Pod\u0142\u0105czano j\u0105 dos\u0142ownie kr\u00f3tkim kablem loopback z przodu. Nieestetyczne, ale w chmurze tego nie wida\u0107. Jednak bezpo\u015brednia interakcja ze sprz\u0119tem zasadniczo poprawi\u0142a jitter i przepustowo\u015b\u0107 sieci.<\/p>\n

Potem postanowiono zaj\u0105\u0107 si\u0119 popraw\u0105 dost\u0119pu do blokowego przechowywania danych EBS \u2014 Elastic Block Storage. To kombinacja sieci i pami\u0119ci. Problem w tym, \u017ce cho\u0107 na rynku istnia\u0142y karty Network Accelerator, mo\u017cliwo\u015b\u0107 zakupienia sprz\u0119tu Storage Accelerator by\u0142a nieosi\u0105galna. Dlatego zwr\u00f3cili\u015bmy si\u0119 do startupu Annapurna Labs<\/strong>, kt\u00f3ry opracowa\u0142 dla nas specjalne chipy ASIC. Umo\u017cliwi\u0142y one pod\u0142\u0105czanie zdalnych wolumen\u00f3w EBS jako urz\u0105dze\u0144 NVMe.<\/p>\n

W instancjach C4<\/strong> rozwi\u0105zali\u015bmy dwa problemy. Pierwszy \u2014 zrealizowali\u015bmy przysz\u0142o\u015bciowe przygotowanie dla nowej w\u00f3wczas technologii NVMe. Drugi \u2014 znacznie odci\u0105\u017cali\u015bmy procesor centralny, przenosz\u0105c przetwarzanie zapyta\u0144 do EBS na now\u0105 kart\u0119. Uda\u0142o si\u0119 to osi\u0105gn\u0105\u0107, dlatego teraz Annapurna Labs jest cz\u0119\u015bci\u0105 Amazon.<\/p>\n

Do listopada 2017 roku zrozumieli\u015bmy, \u017ce nadszed\u0142 czas na zmian\u0119 samego hypervisora.<\/p>\n

Nowy hypervisor zosta\u0142 opracowany na podstawie zmodyfikowanych modu\u0142\u00f3w j\u0105dra KVM.<\/p><\/blockquote>\n

Pozwoli\u0142 on zasadniczo zmniejszy\u0107 koszty emulacji urz\u0105dze\u0144 i pracowa\u0107 bezpo\u015brednio z nowymi chipami ASIC. Instancje C5<\/strong> by\u0142y pierwszymi wirtualkami, pod mask\u0105 kt\u00f3rych dzia\u0142a nowy hypervisor. Nazwali\u015bmy go Nitro<\/strong>.<\/p>\n

\"JakEwolucja instancji na osi czasu.<\/em><\/p>\n

Wszystkie nowe typy maszyn wirtualnych, kt\u00f3re pojawi\u0142y si\u0119 od listopada 2017, dzia\u0142aj\u0105 na tym hypervisorze. Instancje Bare Metal nie maj\u0105 hypervisora<\/strong>, ale te\u017c nazywa si\u0119 je Nitro, poniewa\u017c wykorzystuj\u0105 wyspecjalizowane karty Nitro.<\/p>\n

W ci\u0105gu nast\u0119pnych dw\u00f3ch lat liczba typ\u00f3w instancji Nitro przekroczy\u0142a kilka tuzin\u00f3w: A1, C5, M5, T3 i inne.<\/p>\n

\"Jak
\nTypy instancji.<\/em><\/p>\n

Jak dzia\u0142aj\u0105 nowoczesne maszyny Nitro<\/h3>\n

\nMaj\u0105 trzy g\u0142\u00f3wne komponenty: hypervisor Nitro (o kt\u00f3rym wspomniano wcze\u015bniej), chip bezpiecze\u0144stwa i karty Nitro.<\/p>\n

Chip bezpiecze\u0144stwa<\/strong> jest zintegrowany bezpo\u015brednio z p\u0142yt\u0105 g\u0142\u00f3wn\u0105. Kontroluje wiele wa\u017cnych funkcji, takich jak kontrola \u0142adowania systemu operacyjnego hosta.<\/p>\n

Karty Nitro<\/strong> \u2014 jest ich cztery typy. Wszystkie zosta\u0142y opracowane przez Annapurna Labs i bazuj\u0105 na wsp\u00f3lnych chipach ASIC. Cz\u0119\u015b\u0107 ich oprogramowania r\u00f3wnie\u017c jest wsp\u00f3lna.<\/p>\n

\"Jak
\nCztery typy kart Nitro.<\/em><\/p>\n

Jedna z kart jest przeznaczona do pracy z sieci\u0105<\/strong>VPC<\/strong>. W\u0142a\u015bnie ona jest widoczna w wirtualkach jako karta sieciowa ENA \u2014 Elastic Network Adaptor<\/strong>. Ponadto kapsu\u0142kuje ruch podczas jego przesy\u0142ania przez sie\u0107 fizyczn\u0105 (o tym porozmawiamy w drugiej cz\u0119\u015bci artyku\u0142u), kontroluje zapory sieciowe Security Groups, odpowiada za routing oraz inne kwestie sieciowe.<\/p>\n

Oddzielne karty pracuj\u0105 z blokowym przechowywaniem EBS<\/strong> i dyskami, kt\u00f3re s\u0105 wbudowane w serwer. Gospodarce wirtualnej s\u0105 one przedstawiane jako adaptery NVMe<\/strong>. Ponadto odpowiadaj\u0105 za szyfrowanie danych i monitorowanie dysk\u00f3w.<\/p>\n

System kart Nitro, hypervisora i chipa bezpiecze\u0144stwa jest zintegrowany w sieci SDN lub Software Defined Network<\/strong>. Zarz\u0105dzanie t\u0105 sieci\u0105 (Control Plane) zapewnia kontroler mapy<\/strong>.<\/p>\n

Oczywi\u015bcie, kontynuujemy rozw\u00f3j nowych ASIC. Na przyk\u0142ad, pod koniec 2018 roku wprowadzili\u015bmy chip Inferentia, kt\u00f3ry umo\u017cliwia bardziej efektywne wykonywanie zada\u0144 zwi\u0105zanych z uczeniem maszynowym.<\/p>\n

\"Jak
\nChip Inferentia Processor do Uczenia Maszynowego.<\/em><\/p>\n

Skalowalna baza danych<\/h2>\n

\nTradycyjna baza danych ma warstwow\u0105 struktur\u0119. Je\u015bli bardzo upro\u015bci\u0107, wyr\u00f3\u017cnia si\u0119 nast\u0119puj\u0105ce poziomy.<\/p>\n