{"id":96515,"date":"2020-10-12T19:43:02","date_gmt":"2020-10-12T17:43:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/odyssey-roadmap-chto-eshhyo-my-hotim-ot-pulera-soedinenij-andrej-borodin-2019"},"modified":"2020-10-12T19:43:02","modified_gmt":"2020-10-12T17:43:02","slug":"odyssey-roadmap-chto-eshhyo-my-hotim-ot-pulera-soedinenij-andrej-borodin-2019","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/odyssey-roadmap-chto-eshhyo-my-hotim-ot-pulera-soedinenij-andrej-borodin-2019","title":{"rendered":"Odyssey roadmap: czego jeszcze oczekujemy od \u0142\u0105cznika po\u0142\u0105cze\u0144. Andriej Borodin (2019)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Odyssey<\/p>\n

<\/p>\n

W raporcie Andriej Borodin opowie, jak uwzgl\u0119dnili do\u015bwiadczenie skalowania PgBouncer podczas projektowania puli po\u0142\u0105cze\u0144 Odyssey<\/a><\/noindex>, jak wdra\u017cali go w produkcji. Ponadto om\u00f3wimy, jakie funkcje puli chcieliby\u015bmy zobaczy\u0107 w nowych wersjach: wa\u017cne jest dla nas nie tylko zaspokojenie naszych potrzeb, ale tak\u017ce rozwijanie spo\u0142eczno\u015bci u\u017cytkownik\u00f3w Odysseja<\/a><\/noindex>.<\/p>\n

<\/a><\/noindex><\/p>\n

Wideo:<\/p>\n

\n

\r\n \"Odtwarzaj\r\n
<\/div>\r\n <\/div><\/center><\/p>\n

\"Odyssey<\/p>\n

<\/p>\n

Cze\u015b\u0107 wszystkim! Nazywam si\u0119 Andriej. <\/p>\n

<\/p>\n

\"Odyssey<\/p>\n

<\/p>\n

W Yandex zajmuj\u0119 si\u0119 rozwojem open source baz danych. I dzi\u015b naszym tematem jest pula po\u0142\u0105cze\u0144. <\/p>\n

<\/p>\n

\"Odyssey<\/p>\n

<\/p>\n

Je\u015bli wiecie, jak nazwa\u0107 pul\u0119 po\u0142\u0105cze\u0144 po rosyjsku, to mi powiedzcie. Bardzo chc\u0119 znale\u017a\u0107 dobry termin techniczny, kt\u00f3ry powinien si\u0119 ugruntowa\u0107 w literaturze technicznej. <\/p>\n

<\/p>\n

Temat jest do\u015b\u0107 skomplikowany, poniewa\u017c w wielu bazach danych pula po\u0142\u0105cze\u0144 jest wbudowana i nawet nie trzeba o niej wiedzie\u0107. Oczywi\u015bcie w ka\u017cdym z nich s\u0105 jakie\u015b ustawienia, ale w Postgresie nie da si\u0119 tak po prostu. R\u00f3wnocze\u015bnie (na HighLoad++ 2019) odbywa si\u0119 wyk\u0142ad Niko\u0142aja Samochwa\u0142owa o konfiguracji zapyta\u0144 w Postgresie. Rozumiem, \u017ce przyszli tu ludzie, kt\u00f3rzy ju\u017c idealnie skonfigurowali zapytania, i to s\u0105 ludzie, kt\u00f3rzy napotykaj\u0105 bardziej rzadkie problemy systemowe zwi\u0105zane z sieci\u0105, wykorzystaniem zasob\u00f3w. I miejscami mo\u017ce to by\u0107 do\u015b\u0107 skomplikowane, poniewa\u017c problemy nie s\u0105 oczywiste.<\/p>\n

<\/p>\n

\"Odyssey<\/p>\n

<\/p>\n

W Yandex mamy Postgres. W Yandex.Cloud mieszka wiele us\u0142ug Yandexu. I mamy kilka petabajt\u00f3w danych, kt\u00f3re generuj\u0105 nie mniej ni\u017c milion zapyta\u0144 na sekund\u0119 w Postgresie. <\/p>\n

<\/p>\n

\"Odyssey<\/p>\n

<\/p>\n

I zapewniamy do\u015b\u0107 standardowy klaster dla wszystkich us\u0142ug \u2013 to g\u0142\u00f3wny w\u0119ze\u0142 primary, zwykle dwie repliki (synchroniczna i asynchroniczna), kopie zapasowe, skalowanie zapyta\u0144 odczytowych na replikach. <\/p>\n

<\/p>\n

\"Odyssey<\/p>\n

<\/p>\n

Ka\u017cdy w\u0119ze\u0142 klastra to Postgres, w kt\u00f3rym opr\u00f3cz Postgresa i monitorowania systemu jeszcze zainstalowany jest pooler po\u0142\u0105cze\u0144. Pooler po\u0142\u0105cze\u0144 jest u\u017cywany do fencing i w swoim podstawowym przeznaczeniu. <\/p>\n

<\/p>\n

\"Odyssey<\/p>\n

<\/p>\n

Czym jest podstawowe przeznaczenie poolera po\u0142\u0105cze\u0144? <\/p>\n

<\/p>\n

\"Odyssey<\/p>\n

<\/p>\n

W Postgres przyj\u0119to model procesowy podczas pracy z baz\u0105 danych. Oznacza to, \u017ce jedno po\u0142\u0105czenie to jeden proces, jeden backend Postgresa. A w tym backendzie jest wiele r\u00f3\u017cnych cache\u2019y, kt\u00f3re s\u0105 do\u015b\u0107 kosztowne, gdy s\u0105 zrobione r\u00f3\u017cnie dla r\u00f3\u017cnych po\u0142\u0105cze\u0144. <\/p>\n

<\/p>\n

\"Odyssey<\/p>\n

<\/p>\n

Ponadto w kodzie Postgres znajduje si\u0119 tablica o nazwie procArray. Zawiera ona podstawowe informacje o po\u0142\u0105czeniach sieciowych. A niemal wszystkie algorytmy przetwarzania procArray maj\u0105 liniow\u0105 z\u0142o\u017cono\u015b\u0107, przeszukuj\u0105 ca\u0142\u0105 tablic\u0119 po\u0142\u0105cze\u0144 sieciowych. To do\u015b\u0107 szybka p\u0119tla, ale przy du\u017cej liczbie przychodz\u0105cych po\u0142\u0105cze\u0144 sieciowych staje si\u0119 to nieco dro\u017csze. A gdy wszystko staje si\u0119 troch\u0119 dro\u017csze, w rezultacie mo\u017cna zap\u0142aci\u0107 bardzo wysok\u0105 cen\u0119 za du\u017c\u0105 liczb\u0119 po\u0142\u0105cze\u0144 sieciowych. <\/p>\n

<\/p>\n

\"Odyssey<\/p>\n

<\/p>\n

Istniej\u0105 3 mo\u017cliwe podej\u015bcia:<\/p>\n

<\/p>\n