![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/5e4fece0f5039f0fb1af5ead9e0e0089.jpg\")
<\/p>\n
<\/a><\/p>\n Skonfigurowanie frontu dla jednej strony, nawet bardzo du\u017cej, jest proste. Bierzemy nginx lub haproxy lub lighttpd, konfigurujemy zgodnie z przewodnikami i zapominamy. Je\u015bli trzeba co\u015b zmieni\u0107 \u2014 robimy reload i znowu zapominamy.<\/p>\n Wszystko zmienia si\u0119, gdy na bie\u017c\u0105co przetwarzasz du\u017ce ilo\u015bci ruchu, oceniasz legitymacj\u0119 zapyta\u0144, kompresujesz i buforujesz tre\u015bci u\u017cytkownik\u00f3w, a jednocze\u015bnie zmieniasz parametry kilka razy na sekund\u0119. U\u017cytkownik chce widzie\u0107 wyniki na wszystkich zewn\u0119trznych w\u0119z\u0142ach natychmiast po tym, jak zmieni\u0142 ustawienia w panelu sterowania. A ponadto u\u017cytkownik mo\u017ce przes\u0142a\u0107 przez API kilka tysi\u0119cy (a czasem nawet dziesi\u0105tki tysi\u0119cy) domen z indywidualnymi parametrami przetwarzania ruchu. Wszystko to r\u00f3wnie\u017c musi dzia\u0142a\u0107 natychmiast, zar\u00f3wno w Ameryce, w Europie, jak i w Azji \u2014 zadanie nie jest proste, maj\u0105c na uwadze, \u017ce w samej Moskwie jest kilka fizycznie rozproszonych w\u0119z\u0142\u00f3w filtracyjnych.<\/p>\n Konfiguracje us\u0142ug musz\u0105 jak najszybciej (idealnie natychmiast) rozprzestrzenia\u0107 si\u0119 na wszystkich frontowych w\u0119z\u0142ach. Nie mo\u017cna po prostu edytowa\u0107 plik\u00f3w konfiguracyjnych i restartowa\u0107 demon\u00f3w przy ka\u017cdej zmianie \u2014 nginx utrzymuje dzia\u0142aj\u0105ce procesy (worker shutting down) przez jeszcze kilka minut (a czasem i godzin, je\u015bli s\u0105 d\u0142ugie sesje websocket).<\/p>\n Podczas restartu konfiguracji nginx cz\u0119sto wygl\u0105da to nast\u0119puj\u0105co:<\/p>\n W zakresie wykorzystania pami\u0119ci:<\/p>\n Stare workery zu\u017cywaj\u0105 pami\u0119\u0107, kt\u00f3ra nie jest liniowo zale\u017cna od liczby po\u0142\u0105cze\u0144 \u2014 to normalne. Po zamkni\u0119ciu po\u0142\u0105cze\u0144 klient\u00f3w ta pami\u0119\u0107 zostanie uwolniona.<\/p>\n Dlaczego to nie by\u0142o problemem, gdy nginx dopiero zaczyna\u0142 si\u0119 rozwija\u0107? Nie by\u0142o ani HTTP\/2, ani WebSocket, ani masowych d\u0142ugich po\u0142\u0105cze\u0144 keep-alive. 70% naszego ruchu internetowego to HTTP\/2, a wi\u0119c s\u0105 to bardzo d\u0142ugie po\u0142\u0105czenia.<\/p>\n Rozwi\u0105zanie jest proste \u2014 nie u\u017cywa\u0107 nginx, nie zarz\u0105dza\u0107 frontami na podstawie plik\u00f3w tekstowych, a tym bardziej nie przesy\u0142a\u0107 spakowanych plik\u00f3w konfiguracyjnych przez transoceaniczne \u0142\u0105cza. Kana\u0142y s\u0105 wprawdzie gwarantowane i zarezerwowane, ale nie zmienia to ich transkontynentalnego charakteru.<\/p>\n Mamy w\u0142asny serwer frontowy-balonuj\u0105c, o wn\u0119trzach kt\u00f3rego opowiem w kolejnych artyku\u0142ach. Najwa\u017cniejsze, co potrafi \u2014 stosowa\u0107 tysi\u0105ce zmian konfiguracji na sekund\u0119 w trybie on-the-fly, bez restart\u00f3w, prze\u0142adowa\u0144, skokowego wzrostu zu\u017cycia pami\u0119ci i tym podobnych. To bardzo przypomina Hot Code Reload, na przyk\u0142ad w Erlang. Dane s\u0105 przechowywane w geodystrybucyjnej bazie key-value i odczytywane od razu przez wykonawcze mechanizmy frontowe. Tzn. za\u0142adowa\u0142e\u015b certyfikat SSL za pomoc\u0105 interfejsu webowego lub API w Moskwie, a po kilku sekundach ju\u017c jest gotowy do pracy w naszym centrum czyszczenia w Los Angeles. Je\u015bli nagle wybuch\u0142aby wojna \u015bwiatowa i Internet znikn\u0105\u0142by na ca\u0142ym \u015bwiecie, nasze w\u0119z\u0142y b\u0119d\u0105 dzia\u0142a\u0107 autonomicznie i naprawi\u0105 problem split-brain, gdy tylko jeden z wydzielonych kana\u0142\u00f3w Los Angeles-Amsterdam-Moskwa, Moskwa-Amsterdam-Hongkong-Los Angeles lub chocia\u017c jeden z rezerwowych kana\u0142\u00f3w GRE stanie si\u0119 dost\u0119pny.<\/p>\n Ten sam mechanizm pozwala nam natychmiast wydawa\u0107 i przed\u0142u\u017ca\u0107 certyfikaty Let’s Encrypt.<\/a> Bardzo uproszczony spos\u00f3b dzia\u0142ania wygl\u0105da tak:<\/p>\n W tej chwili w czasie rzeczywistym rotujemy 350k certyfikat\u00f3w ca\u0142kowicie przejrzysto dla u\u017cytkownik\u00f3w.<\/p>\n W kolejnych artyku\u0142ach cyklu opowiem o innych szczeg\u00f3\u0142ach przetwarzania du\u017cego ruchu webowego w czasie rzeczywistym \u2014 na przyk\u0142ad o analizie RTT na podstawie niepe\u0142nych danych w celu poprawy jako\u015bci us\u0142ug klient\u00f3w tranzytowych oraz og\u00f3lnie o ochronie ruchu tranzytowego przed atakami terabitowymi, o dostarczaniu i agregacji informacji o ruchu, o WAF, prawie nieograniczonym CDN i licznych mechanizmach optymalizacji dostarczania tre\u015bci.<\/p>\n Tylko zarejestrowani u\u017cytkownicy mog\u0105 bra\u0107 udzia\u0142 w ankiecie. Zaloguj si\u0119<\/a>, prosz\u0119.<\/p>\nDlaczego potrzeba wielu du\u017cych, niezawodnych w\u0119z\u0142\u00f3w na ca\u0142ym \u015bwiecie?<\/h3>\n
\n
Jak tym zarz\u0105dza\u0107?<\/h3>\n
![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/6a1ffc01ad9bac1e51d46c3130ea2a37.jpg\")
<\/p>\n![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/d356134b0866b8c92a3d5f7a3a8df208.jpg\")
<\/p>\n\n
![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/20830ee7c4ea57ec1d0833f0bc25412d.jpg\")
<\/li>\n![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/1c8b295065f27c1b69c810ff74ce4018.jpg\")
<\/li>\n![\"Web-HighLoad](\"\/wp-content\/uploads\/2020\/04\/e4fc349089fbf7cbe7824ea539865daf.jpg\")
<\/li>\nO czym chcieliby\u015bcie si\u0119 dowiedzie\u0107 w pierwszej kolejno\u015bci?<\/h2>\n