![\"Jak](\"\/wp-content\/uploads\/2020\/02\/62b3d222c1911fb28a345defdd81135c.jpeg\")
<\/p>\nCze\u015b\u0107, nazywam si\u0119 Kostya Kramli\u0445, jestem g\u0142\u00f3wnym programist\u0105 dzia\u0142u Virtual Private Cloud w Yandex.Cloud. Zajmuj\u0119 si\u0119 wirtualn\u0105 sieci\u0105 i, jak mo\u017cna si\u0119 domy\u015bli\u0107, w tym artykule opowiem o budowie Virtual Private Cloud (VPC) w og\u00f3le i wirtualnej sieci w szczeg\u00f3lno\u015bci. Dowiesz si\u0119 te\u017c, dlaczego my, programi\u015bci tego serwisu, cenimy opini\u0119 naszych u\u017cytkownik\u00f3w. Ale po kolei.<\/p>\n
<\/p>\n
<\/a><\/p>\n W dzisiejszych czasach istnieje wiele mo\u017cliwo\u015bci uruchamiania us\u0142ug. Jestem pewien, \u017ce niekt\u00f3rzy wci\u0105\u017c trzymaj\u0105 serwer pod biurkiem administratora, chocia\u017c mam nadziej\u0119, \u017ce takich historii jest coraz mniej.<\/p>\n Obecnie us\u0142ugi staraj\u0105 si\u0119 przenie\u015b\u0107 do chmur publicznych, a tutaj w\u0142a\u015bnie stykaj\u0105 si\u0119 z VPC. VPC to cz\u0119\u015b\u0107 chmury publicznej, kt\u00f3ra \u0142\u0105czy zasoby u\u017cytkownik\u00f3w, infrastruktury, platform i inne w ca\u0142o\u015b\u0107, niezale\u017cnie od ich lokalizacji, w naszej Chmurze lub poza ni\u0105. VPC pozwala nie wystawia\u0107 tych zasob\u00f3w do internetu bez potrzeby, pozostaj\u0105 one w ramach twojej izolowanej sieci.<\/p>\n Pod VPC rozumiemy przede wszystkim sie\u0107 nadbudowan\u0105 i us\u0142ugi sieciowe, takie jak VPNaaS, NATaas, LBaas itp. Wszystko to dzia\u0142a na niezawodnej infrastrukturze sieciowej, o kt\u00f3rej ju\u017c by\u0142a mowa \u015bwietny artyku\u0142<\/a> tutaj, na Habrze.<\/p>\n Przyjrzyjmy si\u0119 dok\u0142adniej wirtualnej sieci i jej budowie.<\/p>\n Rozwa\u017cmy dwie strefy dost\u0119pno\u015bci. Oferujemy wirtualn\u0105 sie\u0107 \u2013 to, co nazwali\u015bmy VPC. W rzeczywisto\u015bci definiuje ona przestrze\u0144 wyj\u0105tkowo\u015bci twoich \"szarych\" adres\u00f3w. W ramach ka\u017cdej wirtualnej sieci masz pe\u0142n\u0105 kontrol\u0119 nad przestrzeni\u0105 adres\u00f3w, kt\u00f3re mo\u017cesz przypisa\u0107 zasobom obliczeniowym.<\/p>\n Sie\u0107 jest globalna. Przez to jest projekcj\u0105 ka\u017cdej ze stref dost\u0119pno\u015bci w postaci jednostki zwanej Subnet. Dla ka\u017cdej Subnet przypisujesz pewn\u0105 wielko\u015b\u0107 CIDR, wynosz\u0105c\u0105 16 lub mniej. W ka\u017cdej strefie dost\u0119pno\u015bci mo\u017ce by\u0107 wi\u0119cej ni\u017c jedna taka jednostka, z zawsze przejrzystym routingiem mi\u0119dzy nimi. Oznacza to, \u017ce wszystkie twoje zasoby w ramach jednej VPC mog\u0105 \"komunikowa\u0107 si\u0119\" ze sob\u0105, nawet je\u015bli znajduj\u0105 si\u0119 w r\u00f3\u017cnych strefach dost\u0119pno\u015bci. \"Komunikowa\u0107 si\u0119\" bez wyj\u015bcia do internetu, po naszych wewn\u0119trznych kana\u0142ach, \"my\u015bl\u0105c\", \u017ce znajduj\u0105 si\u0119 w jednej prywatnej sieci.<\/p>\n Na powy\u017cszym schemacie przedstawiona jest typowa sytuacja: dwie VPC, kt\u00f3re gdzie\u015b pokrywaj\u0105 si\u0119 adresami. Obie mog\u0105 nale\u017ce\u0107 do Ciebie. Na przyk\u0142ad, jedna z nich jest przeznaczona do rozwoju, a druga \u2013 do testowania. Mog\u0105 by\u0107 te\u017c po prostu r\u00f3\u017cni u\u017cytkownicy \u2013 w tym przypadku to nie ma znaczenia. A w ka\u017cdej VPC zainstalowana jest jedna maszyna wirtualna.<\/p>\n Utrudnijmy schemat. Mo\u017cna zrealizowa\u0107 tak, \u017ceby jedna maszyna wirtualna by\u0142a pod\u0142\u0105czona jednocze\u015bnie do kilku Subnet. I to nie byle jak, a w r\u00f3\u017cnych wirtualnych sieciach.<\/p>\n Je\u015bli jednak musisz wystawi\u0107 maszyny do internetu, mo\u017cesz to zrobi\u0107 za pomoc\u0105 API lub UI. W tym celu konieczne jest skonfigurowanie translacji NAT z Twojego \u201eszarego\u201d, wewn\u0119trznego adresu na \u201ebia\u0142y\u201d \u2013 publiczny. Nie mo\u017cesz wybra\u0107 \u201ebia\u0142ego\u201d adresu, jest on przydzielany losowo z naszego puli adres\u00f3w. Gdy przestajesz korzysta\u0107 z zewn\u0119trznego IP, wraca on do puli. P\u0142acisz tylko za czas korzystania z \u201ebia\u0142ego\u201d adresu.<\/p>\n Istnieje r\u00f3wnie\u017c mo\u017cliwo\u015b\u0107 nadania maszynie dost\u0119pu do internetu za pomoc\u0105 instancji NAT. Mo\u017cna kierowa\u0107 ruch przez t\u0119 instancj\u0119 za pomoc\u0105 statycznej tablicy routingu. Przewidzieli\u015bmy taki przypadek, poniewa\u017c jest on potrzebny u\u017cytkownikom, i wiemy o tym. W zwi\u0105zku z tym w naszym katalogu obraz\u00f3w znajduje si\u0119 specjalnie skonfigurowany obraz NAT.<\/p>\n Jednak nawet gdy jest gotowy obraz NAT, konfiguracja mo\u017ce by\u0107 skomplikowana. Rozumieli\u015bmy, \u017ce dla niekt\u00f3rych u\u017cytkownik\u00f3w to nie jest najwygodniejsza opcja, dlatego w ko\u0144cu wprowadzili\u015bmy mo\u017cliwo\u015b\u0107 w\u0142\u0105czenia NAT dla wybranej Subnet jednym klikni\u0119ciem. Ta funkcja jest jeszcze w ramach zamkni\u0119tego dost\u0119pu preview, gdzie testowana jest przez uczestnik\u00f3w spo\u0142eczno\u015bci.<\/p>\n Jak u\u017cytkownik wchodzi w interakcj\u0119 z wirtualn\u0105 sieci\u0105? Sie\u0107 patrzy na zewn\u0105trz swoimi API. U\u017cytkownik przychodzi do API i pracuje nad stanem docelowym. Poprzez API u\u017cytkownik widzi, jak wszystko powinno by\u0107 zorganizowane i skonfigurowane, widz\u0105c jednocze\u015bnie status tego, jak aktualny stan r\u00f3\u017cni si\u0119 od oczekiwanego. To obraz u\u017cytkownika. A co dzieje si\u0119 w \u015brodku?<\/p>\n Rejestrujemy po\u017c\u0105dany stan w Yandex Database i przechodzimy do konfiguracji r\u00f3\u017cnych cz\u0119\u015bci naszej VPC. Sie\u0107 nak\u0142adkowa w Yandex.Cloud jest zbudowana na wybranych komponentach OpenContrail, kt\u00f3ry od niedawna nosi nazw\u0119 Tungsten Fabric. Us\u0142ugi sieciowe s\u0105 realizowane na jednej platformie CloudGate. W CloudGate r\u00f3wnie\u017c wykorzystali\u015bmy kilka komponent\u00f3w open source: GoBGP \u2013 do przetwarzania informacji kontrolnej, a tak\u017ce VPP \u2013 do realizacji oprogramowanego routera, dzia\u0142aj\u0105cego na DPDK dla \u015bcie\u017cki danych.<\/p>\n Tungsten Fabric komunikuje si\u0119 z CloudGate przez GoBGP. Informuje o tym, co dzieje si\u0119 w sieci nak\u0142adkowej. CloudGate z kolei \u0142\u0105czy sieci nak\u0142adkowe ze sob\u0105 oraz z internetem.<\/p>\n Teraz przyjrzyjmy si\u0119, jak wirtualna sie\u0107 rozwi\u0105zuje problemy z skalowalno\u015bci\u0105 i dost\u0119pno\u015bci\u0105. Rozwa\u017cmy prosty przypadek. Mamy jedn\u0105 stref\u0119 dost\u0119pno\u015bci i zosta\u0142y w niej utworzone dwie VPC. Roz\u0142o\u017cyli\u015bmy jedn\u0105 instancj\u0119 Tungsten Fabric, kt\u00f3ra obs\u0142uguje kilka dziesi\u0119ciu tysi\u0119cy sieci. Sieci s\u0105 po\u0142\u0105czone z CloudGate. CloudGate, jak ju\u017c m\u00f3wili\u015bmy, zapewnia po\u0142\u0105czenie mi\u0119dzy nimi a internetem.<\/p>\n Za\u0142\u00f3\u017cmy, \u017ce dodana zostaje druga strefa dost\u0119pno\u015bci. Powinna dzia\u0142a\u0107 ca\u0142kowicie niezale\u017cnie od pierwszej. Dlatego w drugiej strefie dost\u0119pno\u015bci musimy postawi\u0107 oddzieln\u0105 instancj\u0119 Tungsten Fabric. B\u0119dzie to oddzielny system, kt\u00f3ry zajmuje si\u0119 nak\u0142adk\u0105 i niewiele wie o pierwszym systemie. A widoczno\u015b\u0107, \u017ce nasza wirtualna sie\u0107 jest globalna, w\u0142a\u015bciwie tworzy nasz API VPC. To jest jego zadanie.<\/p>\n VPC1 jest projektowana w strefie dost\u0119pno\u015bci B, je\u015bli w strefie dost\u0119pno\u015bci B s\u0105 zasoby, kt\u00f3re s\u0105 wpinane do VPC1. Je\u015bli zasob\u00f3w z VPC2 w strefie dost\u0119pno\u015bci B nie ma, VPC2 w tej strefie nie materializujemy. Z drugiej strony, poniewa\u017c zasoby z VPC3 istniej\u0105 tylko w strefie B, VPC3 nie ma w strefie A. Wszystko jest proste i logiczne.<\/p>\n Przyjrzyjmy si\u0119 troch\u0119 g\u0142\u0119biej, jak jest zbudowany konkretny hosting w Yandex.Cloud. Najwa\u017cniejsze, co nale\u017cy zauwa\u017cy\u0107 \u2013 wszystkie hosty s\u0105 zbudowane identycznie. Robimy tak, aby tylko niezb\u0119dne us\u0142ugi dzia\u0142a\u0142y na \u201esprz\u0119cie\u201d, a pozosta\u0142e dzia\u0142aj\u0105 na maszynach wirtualnych<\/a>. Budujemy us\u0142ugi wy\u017cszego rz\u0119du na bazie podstawowych us\u0142ug infrastrukturalnych, a tak\u017ce wykorzystujemy Cloud do rozwi\u0105zywania niekt\u00f3rych zada\u0144 in\u017cynieryjnych, na przyk\u0142ad w ramach Continuous Integration.<\/p>\n Je\u015bli przyjrzymy si\u0119 konkretnemu ho\u015bcie, zobaczymy, \u017ce w systemie operacyjnym hosta dzia\u0142aj\u0105 trzy komponenty:<\/p>\n Opr\u00f3cz tego w maszynach wirtualnych<\/a> dzia\u0142aj\u0105 us\u0142ugi: us\u0142ugi infrastrukturalne Chmury, us\u0142ugi platformowe i moc obliczeniowa klient\u00f3w. Moce obliczeniowe klient\u00f3w i us\u0142ugi platformowe zawsze przechodz\u0105 przez overlay za pomoc\u0105 VRouter.<\/p>\n Us\u0142ugi infrastrukturalne mog\u0105 by\u0107 pod\u0142\u0105czone do overlay, ale g\u0142\u00f3wnie chc\u0105 dzia\u0142a\u0107 w underlay. W underlay s\u0105 pod\u0142\u0105czane za pomoc\u0105 SR-IOV. Faktycznie, dzielimy kart\u0119 na wirtualne karty sieciowe (wirtualne funkcje) i wk\u0142adamy je do wirtualnych maszyn infrastrukturalnych, aby nie traci\u0107 wydajno\u015bci. Na przyk\u0142ad, ten sam CloudGate uruchamiany jest jako jedna z takich wirtualnych maszyn infrastrukturalnych.<\/p>\n Teraz, gdy opisali\u015bmy globalne zadania wirtualnej sieci i budow\u0119 podstawowych komponent\u00f3w chmury, przyjrzyjmy si\u0119, jak r\u00f3\u017cne cz\u0119\u015bci wirtualnej sieci wsp\u00f3\u0142dzia\u0142aj\u0105 ze sob\u0105.<\/p>\n W naszej systemie wyr\u00f3\u017cniamy trzy warstwy:<\/p>\n Jak ju\u017c wspomnia\u0142em powy\u017cej, wszystko zaczyna si\u0119 od tego, \u017ce u\u017cytkownik lub wewn\u0119trzna us\u0142uga platformowa przychodzi do API i opisuje okre\u015blony docelowy stan.<\/p>\n Ten stan natychmiast zapisywany jest w Yandex Database, zwraca przez API identyfikator asynchronicznej operacji i uruchamia nasz\u0105 wewn\u0119trzn\u0105 machin\u0119, aby wyda\u0107 stan, kt\u00f3rego chcia\u0142 u\u017cytkownik. Zadania konfiguracyjne trafiaj\u0105 do kontrolera SDN i informuj\u0105 Tungsten Fabric, co nale\u017cy zrobi\u0107 w overlay. Na przyk\u0142ad rezerwuj\u0105 porty, wirtualne sieci i tym podobne.<\/p>\n Config Plane w Tungsten Fabric przekazuje do Control Plane wymagany stan. To przez nie Config Plane komunikuje si\u0119 z hostami, informuj\u0105c, co dok\u0142adnie b\u0119dzie wkr\u00f3tce uruchomione.<\/p>\n Teraz przyjrzyjmy si\u0119, jak wygl\u0105da system na hostach. W maszynie wirtualnej<\/a> Istnieje pewien adapter sieciowy, pod\u0142\u0105czony do VRouter. VRouter to rdzeniowy modu\u0142 Tungsten Fabric, kt\u00f3ry analizuje pakiety. Je\u015bli dla danego pakietu istnieje ju\u017c flow, modu\u0142 go przetwarza. Je\u015bli flow nie ma, modu\u0142 wykonuje tzw. punting, czyli wysy\u0142a pakiet do procesu w trybie u\u017cytkownika. Proces analizuje pakiet i albo odpowiada na niego samodzielnie, jak w przypadku DHCP i DNS, albo m\u00f3wi VRouterowi, co z nim zrobi\u0107. Po tym VRouter mo\u017ce przetwarza\u0107 pakiet.<\/p>\n Dalej ruch mi\u0119dzy maszynami wirtualnymi w obr\u0119bie jednej sieci wirtualnej odbywa si\u0119 przejrzy\u015bcie, nie jest kierowany do CloudGate. Hosty, na kt\u00f3rych dzia\u0142aj\u0105 maszyny wirtualne, komunikuj\u0105 si\u0119 bezpo\u015brednio ze sob\u0105. Tuneluj\u0105 ruch i przekazuj\u0105 go sobie nawzajem przez underlay.<\/p>\n Control Plane komunikuje si\u0119 ze sob\u0105 w r\u00f3\u017cnych strefach dost\u0119pno\u015bci przez BGP, jak z innym routerem. Informuj\u0105 si\u0119 nawzajem, jakie maszyny s\u0105 gdzie uruchomione, aby maszyny wirtualne w jednej strefie mog\u0142y bezpo\u015brednio komunikowa\u0107 si\u0119 z innymi maszynami wirtualnymi.<\/p>\n Control Plane komunikuje si\u0119 r\u00f3wnie\u017c z CloudGate. R\u00f3wnie\u017c przekazuje, gdzie i jakie maszyny wirtualne s\u0105 uruchomione, jakie maj\u0105 adresy. Umo\u017cliwia to kierowanie ruchu zewn\u0119trznego oraz ruchu od balancer\u00f3w do tych maszyn.<\/p>\n Ruch, kt\u00f3ry wychodzi z VPC, dociera do CloudGate, w \u015bcie\u017cce danych, gdzie szybko przetwarzany jest przez VPP z naszymi wtyczkami. Nast\u0119pnie ruch jest kierowany albo do innych VPC, albo na zewn\u0105trz, do router\u00f3w brzegowych, kt\u00f3re s\u0105 konfigurowane przez Control Plane samego CloudGate.<\/p>\n Podsumowuj\u0105c wszystko, co powiedziano powy\u017cej, mo\u017cna stwierdzi\u0107, \u017ce VPC w Yandex.Cloud rozwi\u0105zuje dwie wa\u017cne kwestie:<\/p>\n Aby dobrze realizowa\u0107 te zadania, nale\u017cy zapewni\u0107 skalowalno\u015b\u0107 i odporno\u015b\u0107 na awarie na poziomie wewn\u0119trznej architektury, co VPC w\u0142a\u015bnie robi.<\/p>\n Stopniowo VPC zyskuje nowe funkcje, wprowadzamy nowe mo\u017cliwo\u015bci, staramy si\u0119 poprawia\u0107 aspekty dotycz\u0105ce wygody u\u017cytkownik\u00f3w. Niekt\u00f3re pomys\u0142y s\u0105 zg\u0142aszane i trafiaj\u0105 na list\u0119 priorytet\u00f3w dzi\u0119ki udzia\u0142owi cz\u0142onk\u00f3w naszej spo\u0142eczno\u015bci.<\/p>\n Obecnie mamy mniej wi\u0119cej taki spis plan\u00f3w na najbli\u017csz\u0105 przysz\u0142o\u015b\u0107:<\/p>\n Load balancer oraz mo\u017cliwo\u015b\u0107 prze\u0142\u0105czania adresu IP dla ju\u017c utworzonej maszyny wirtualnej znalaz\u0142y si\u0119 na tej li\u015bcie na pro\u015bb\u0119 u\u017cytkownik\u00f3w. Powiem szczerze, bez wyra\u017anej informacji zwrotnej zaj\u0119liby\u015bmy si\u0119 tymi funkcjami znacznie p\u00f3\u017aniej. Tak wi\u0119c ju\u017c pracujemy nad zadaniem dotycz\u0105cym adres\u00f3w.<\/p>\n Pocz\u0105tkowo \u201ebia\u0142y\u201d adres IP mo\u017cna by\u0142o doda\u0107 tylko podczas tworzenia maszyny. Je\u015bli u\u017cytkownik zapomnia\u0142 o tym, trzeba by\u0142o ponownie tworzy\u0107 maszyn\u0119 wirtualn\u0105. To samo dotyczy\u0142o potrzeby usuni\u0119cia zewn\u0119trznego IP. Wkr\u00f3tce b\u0119dzie mo\u017cna w\u0142\u0105cza\u0107 i wy\u0142\u0105cza\u0107 publiczny adres IP bez ponownego tworzenia maszyny.<\/p>\n Nie wahaj si\u0119 dzieli\u0107 swoimi pomys\u0142ami i wspiera\u0107 propozycje<\/a> innych u\u017cytkownik\u00f3w. Pomagasz nam uczyni\u0107 Chmur\u0119 lepsz\u0105 i szybciej uzyskujesz wa\u017cne i przydatne funkcje!<\/p>\nCo to jest VPC?<\/h2>\n
Jak wirtualna sie\u0107 wygl\u0105da z zewn\u0105trz<\/h2>\n
![\"Jak](\"\/wp-content\/uploads\/2020\/02\/073a0cbac0e733decd8a4e6ffd9570ff.jpeg\")
<\/p>\n![\"Jak](\"\/wp-content\/uploads\/2020\/02\/b1b7a15912f9c7995663ab9943d473f1.jpeg\")
<\/p>\n![\"Jak](\"\/wp-content\/uploads\/2020\/02\/73e872a4f6c3e19576db4e4980d62a45.jpeg\")
<\/p>\n![\"Jak](\"\/wp-content\/uploads\/2020\/02\/cc4ab2c7553d63ef2636924df1575479.jpeg\")
<\/p>\n![\"Jak](\"\/wp-content\/uploads\/2020\/02\/c2375fd6d0fb7b55ca55787adf505229.jpeg\")
<\/p>\n![\"Jak](\"\/wp-content\/uploads\/2020\/02\/744ac3bdd2f388bab2597d6fe1519d76.jpeg\")
<\/p>\nJak wirtualna sie\u0107 jest zbudowana od wewn\u0105trz<\/h2>\n
![\"Jak](\"\/wp-content\/uploads\/2020\/02\/71cab3ae7f067f165a87e30c60559794.jpeg\")
<\/p>\n![\"Jak](\"\/wp-content\/uploads\/2020\/02\/222d68fff4b9577f316c8642e846172e.jpeg\")
<\/p>\n![\"Jak](\"\/wp-content\/uploads\/2020\/02\/4da02ba041dcd886eee212dd8998718c.jpeg\")
<\/p>\n![\"Jak](\"\/wp-content\/uploads\/2020\/02\/4664bd03793ba394ceda1f8214fa2c16.jpeg\")
<\/p>\n\n
\n
![\"Jak](\"\/wp-content\/uploads\/2020\/02\/644cddfa8bce83a501bf4788a21f9588.jpeg\")
<\/p>\n![\"Jak](\"\/wp-content\/uploads\/2020\/02\/c2c6e443c93f8dedc6a63e4bd3fd7042.jpeg\")
<\/p>\n![\"Jak](\"\/wp-content\/uploads\/2020\/02\/2139361a9e1837c7bc7f156e8bc36d38.jpeg\")
<\/p>\n![\"Jak](\"\/wp-content\/uploads\/2020\/02\/1247f20fa2a12f093d7f1d2361d48a02.jpeg\")
<\/p>\n![\"Jak](\"\/wp-content\/uploads\/2020\/02\/f70cd562220c7367e29597d8e8b62f81.jpeg\")
<\/p>\nPlany na najbli\u017csz\u0105 przysz\u0142o\u015b\u0107<\/h2>\n
\n
\n