{"id":36706,"date":"2019-10-31T22:13:15","date_gmt":"2019-10-31T19:13:15","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-prioritety-podov-v-kubernetes-stali-prichinoj-prostoya-v-grafana-labs\/"},"modified":"2019-10-31T22:13:15","modified_gmt":"2019-10-31T19:13:15","slug":"kak-prioritety-podov-v-kubernetes-stali-prichinoj-prostoya-v-grafana-labs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sk\/blog\/administrirovanie\/kak-prioritety-podov-v-kubernetes-stali-prichinoj-prostoya-v-grafana-labs","title":{"rendered":"Ako priority podov v Kubernetes sp\u00f4sobili v\u00fdpadok v Grafana Labs","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Pozn. prekl.<\/b>: Predstavujeme v\u00e1m technick\u00e9 podrobnosti o pr\u00ed\u010din\u00e1ch ned\u00e1vneho v\u00fdpadku v prev\u00e1dzke cloudovej slu\u017eby spravovanej tvorcami Grafana. Je to klasick\u00fd pr\u00edklad toho, ako nov\u00e1 a, zdalo by sa, mimoriadne u\u017eito\u010dn\u00e1 funkcia, ktor\u00e1 m\u00e1 zlep\u0161i\u0165 kvalitu infra\u0161trukt\u00fary\u2026 m\u00f4\u017ee u\u0161kodi\u0165, ak sa nezoh\u013eadnia mnoh\u00e9 nuansy jej pou\u017eitia v re\u00e1lnych podmienkach v\u00fdroby. Je \u00fa\u017easn\u00e9, ke\u010f sa objavuj\u00fa tak\u00e9to materi\u00e1ly, ktor\u00e9 umo\u017e\u0148uj\u00fa u\u010di\u0165 sa nielen na vlastn\u00fdch chyb\u00e1ch. Podrobnosti n\u00e1jdete v preklade tohto textu od viceprezidenta pre produkt z Grafana Labs.<\/i><\/p>\n

\"Pozn.
\n
\nV piatok, 19. j\u00fala, slu\u017eba Hosted Prometheus v Grafana Cloud prestala fungova\u0165 pribli\u017ene na 30 min\u00fat. Ospravedl\u0148ujem sa v\u0161etk\u00fdm z\u00e1kazn\u00edkom, ktor\u00ed boli postihnut\u00ed t\u00fdmto v\u00fdpadkom. Na\u0161ou \u00falohou je poskytova\u0165 potrebn\u00e9 n\u00e1stroje na monitorovanie a ch\u00e1peme, \u017ee ich nedostupnos\u0165 komplikuje v\u00e1\u0161 \u017eivot. T\u00fato udalos\u0165 berieme ve\u013emi v\u00e1\u017ene. V tejto pozn\u00e1mke vysvetl\u00edme, \u010do sa stalo, ako sme na to reagovali a \u010do rob\u00edme, aby sa nie\u010do podobn\u00e9 u\u017e neopakovalo.<\/a><\/noindex><\/p>\n

Pozadie<\/h2>\n

\nSlu\u017eba Grafana Cloud Hosted Prometheus je zalo\u017een\u00e1 na Cortex<\/a><\/noindex> \u2014 projekte CNCF na vytvorenie horizont\u00e1lne \u0161k\u00e1lovate\u013en\u00e9ho, vysoko dostupn\u00e9ho, multitenantn\u00e9ho (multi-tenant) servisu Prometheus. Architekt\u00fara Cortex sa sklad\u00e1 z nieko\u013ek\u00fdch samostatn\u00fdch mikroslu\u017eieb, z ktor\u00fdch ka\u017ed\u00e1 vykon\u00e1va svoju funkciu: replik\u00e1ciu, ukladanie, dopyty at\u010f. Cortex sa akt\u00edvne vyv\u00edja, neust\u00e1le sa objavuj\u00fa nov\u00e9 funkcie a zvy\u0161uje sa v\u00fdkonnos\u0165. Pravidelne nasadzujeme nov\u00e9 verzie Cortex do klastrov, aby z\u00e1kazn\u00edci mohli vyu\u017ei\u0165 tieto vylep\u0161enia \u2014 na \u0161\u0165astie, Cortex zvl\u00e1da aktualiz\u00e1cie bez v\u00fdpadkov.<\/p>\n

Na bezprobl\u00e9mov\u00e9 aktualiz\u00e1cie servis Ingester Cortex vy\u017eaduje \u010fal\u0161iu replik\u00e1ciu Ingester po\u010das procesu aktualiz\u00e1cie. (Pozn. prekl.<\/b>: Ingester<\/a><\/noindex> \u2014 z\u00e1kladn\u00e1 s\u00fa\u010das\u0165 Cortex. Jeho \u00falohou je zhroma\u017e\u010fova\u0165 nepretr\u017eit\u00fd pr\u00fad vzoriek, skupinova\u0165 ich do tzv. chunks pre Prometheus a uklada\u0165 ich do datab\u00e1zy ako DynamoDB, BigTable alebo Cassandra.<\/i> To umo\u017e\u0148uje star\u00fdm Ingesterom pren\u00e1\u0161a\u0165 aktu\u00e1lne d\u00e1ta nov\u00fdm Ingesterom. Je potrebn\u00e9 zd\u00f4razni\u0165, \u017ee Ingesteri s\u00fa n\u00e1ro\u010dn\u00ed na zdroje. Na ich prev\u00e1dzku je potrebn\u00e9 ma\u0165 4 jadr\u00e1 a 15 GB pam\u00e4te na pod, t.j. 25 % v\u00fdkonu procesora a pam\u00e4te z\u00e1kladn\u00e9ho stroja v pr\u00edpade na\u0161ich Kubernetes klastrov. Vo v\u0161eobecnosti m\u00e1me zvy\u010dajne ove\u013ea viac nepou\u017eit\u00fdch zdrojov v klastre, ne\u017e len 4 jadr\u00e1 a 15 GB pam\u00e4te, tak\u017ee m\u00f4\u017eeme bez probl\u00e9mov sp\u00fa\u0161\u0165a\u0165 tieto \u010fal\u0161ie Ingester po\u010das aktualiz\u00e1ci\u00ed.<\/p>\n

Av\u0161ak \u010dasto sa st\u00e1va, \u017ee po\u010das norm\u00e1lnej prev\u00e1dzky nie na jednom z po\u010d\u00edta\u010dov nie s\u00fa t\u00fdchto 25 % nevyu\u017eit\u00fdch zdrojov. A ani nesna\u017e\u00edme: CPU a pam\u00e4\u0165 s\u00fa v\u017edy potrebn\u00e9 pre in\u00e9 procesy. Na vyrie\u0161enie tohto probl\u00e9mu sme sa rozhodli vyu\u017ei\u0165 prioritiz\u00e1ciu podov v Kubernetes<\/a><\/noindex>. My\u0161lienka spo\u010d\u00edva v tom, aby sme Ingesterom pridelili vy\u0161\u0161iu prioritu ako ostatn\u00fdm (stateless) mikroslu\u017eb\u00e1m. Ke\u010f potrebujeme spusti\u0165 \u010fal\u0161\u00ed (N+1) Ingester, do\u010dasne vytla\u010d\u00edme in\u00e9 men\u0161ie pod-y. Tieto pod-y s\u00fa presunut\u00e9 na vo\u013en\u00e9 zdroje na in\u00fdch strojoch, pri\u010dom zost\u00e1va dostato\u010dne ve\u013ek\u00e1 \"diera\" na spustenie \u010fal\u0161ieho Ingester.<\/p>\n

Vo \u0161tvrtok, 18. j\u00fala, sme nasadili \u0161tyri nov\u00e9 \u00farovne prior\u00edt vo svojich klastroch: kritick\u00e1<\/b>, vysok\u00fa<\/b>, stredn\u00e1<\/b> a n\u00edzka<\/b>. Testovali sa na internom klastri bez klientsk\u00e9ho prev\u00e1dzky pribli\u017ene jeden t\u00fd\u017ede\u0148. Predvolene pod-y bez ur\u010den\u00e9ho prior\u00edtu dost\u00e1vali stredn\u00e1<\/b> prioritu, pre Ingester bol nastaven\u00fd trieda s vysokou<\/b> prioritou. Kritick\u00e1<\/b> bola rezervovan\u00e1 pre monitorovanie (Prometheus, Alertmanager, node-exporter, kube-state-metrics at\u010f.). Na\u0161a konfigur\u00e1cia je otvoren\u00e1 a pozrie\u0165 si PR je mo\u017en\u00e9 tu<\/a><\/noindex>.<\/p>\n

Nehoda<\/h2>\n

\nV piatok 19. j\u00fala jeden z in\u017einierov spustil nov\u00fd vyhraden\u00fd klaster Cortex pre ve\u013ek\u00e9ho klienta. Konfigur\u00e1cia tohto klastra nezah\u0155\u0148ala nov\u00e9 priority pod-ov, a preto v\u0161etk\u00fdm nov\u00fdm pod-om bola priraden\u00e1 predvolen\u00e1 priorita \u2014 stredn\u00e1<\/b>.<\/p>\n

V klastre Kubernetes neboli dostato\u010dn\u00e9 zdroje na nov\u00fd klaster Cortex a existuj\u00faci produk\u010dn\u00fd klaster Cortex nebol aktualizovan\u00fd (Ingesteri zostali bez vysokej<\/b> prior\u00edt). Ke\u010f\u017ee Ingesteri nov\u00e9ho klastra mali predvolene nastaven\u00e9 stredn\u00e1<\/b> prioritu, a existuj\u00face pod-y v produkcii pracovali bez prior\u00edt, Ingesteri nov\u00e9ho klastra vytla\u010dili Ingester z existuj\u00faceho produk\u010dn\u00e9ho klastra Cortex.<\/p>\n

ReplicaSet pre vytla\u010den\u00e9ho Ingester-a v produk\u010dnom klastri na\u0161iel vytla\u010den\u00fd pod a vytvoril nov\u00fd, aby udr\u017eal po\u017eadovan\u00fd po\u010det k\u00f3pi\u00ed. Nov\u00e9mu pod-u bola predvolene priraden\u00e1 stredn\u00e1<\/b> priorita, a \u010fal\u0161\u00ed \u201estar\u00fd\u201c Ingester v produkcii pri\u0161iel o zdroje. V\u00fdsledkom bol lav\u00ednov\u00fd proces<\/b>, \u010do viedlo k vytla\u010deniu v\u0161etk\u00fdch pod-ov s Ingester pre produk\u010dn\u00e9 klastre Cortex.<\/p>\n

Ingesteri udr\u017eiavaj\u00fa stav (stateful) a ukladaj\u00fa d\u00e1ta za posledn\u00fdch 12 hod\u00edn. To n\u00e1m umo\u017e\u0148uje efekt\u00edvnej\u0161ie ich komprimova\u0165 pred z\u00e1pisom do dlhodob\u00e9ho \u00falo\u017eiska. Na tento \u00fa\u010del Cortex vykon\u00e1va shardovanie d\u00e1t pod\u013ea s\u00e9ri\u00ed, pri\u010dom pou\u017e\u00edva distribuovan\u00fa ha\u0161ovaciu tabu\u013eku (Distributed Hash Table, DHT), a replikuj\u00fa ka\u017ed\u00fa s\u00e9riu na tri Ingesteri pomocou kv\u00f3rumovej konzistencie v \u0161t\u00fdle Dynamo. Cortex nezapisuje d\u00e1ta do Ingesterov, ktor\u00e9 s\u00fa vypnut\u00e9. Preto, ke\u010f ve\u013ek\u00e9 mno\u017estvo Ingesterov op\u00fa\u0161\u0165a DHT, Cortex nedok\u00e1\u017ee zabezpe\u010di\u0165 dostato\u010dn\u00fa replik\u00e1ciu z\u00e1znamov a tie \"padn\u00fa\".<\/p>\n

Zistenie a odstr\u00e1nenie<\/h2>\n

\nNov\u00e9 upozornenia Prometheus na z\u00e1klade \u201erozpo\u010dtu ch\u00fdb\u201c (error-budget-based<\/i> \u2014 podrobnosti sa objavia v bud\u00facej \u010dl\u00e1nku) za\u010dali hl\u00e1si\u0165 alarm po 4 min\u00fatach od za\u010diatku v\u00fdpadku. Po\u010das nasleduj\u00facich pribli\u017ene piatich min\u00fat sme vykonali diagnostiku a nav\u00fd\u0161ili spodn\u00fd cluster Kubernetes na umiestnenie nov\u00fdch aj existuj\u00facich production klastrov.<\/p>\n

O p\u00e4\u0165 min\u00fat nesk\u00f4r star\u00e9 Ingesteri \u00faspe\u0161ne zap\u00edsali svoje d\u00e1ta a nov\u00e9 sa spustili, a klastre Cortex op\u00e4\u0165 spr\u00edstupnili.<\/p>\n

\u010eal\u0161\u00edch 10 min\u00fat bolo venovan\u00fdch diagnostike a oprave ch\u00fdb out-of-memory (OOM) od reverzn\u00fdch proxy serverov autentifik\u00e1cie umiestnen\u00fdch pred Cortexom. OOM chyby boli sp\u00f4soben\u00e9 desiatkami n\u00e1sobn\u00fdm n\u00e1rastom QPS (\u010do predpoklad\u00e1me, \u017ee bolo sp\u00f4soben\u00e9 pr\u00edli\u0161 agres\u00edvnymi po\u017eiadavkami zo serverov Prometheus klienta).<\/p>\n

D\u00f4sledky<\/h2>\n

\nCelkov\u00fd \u010das v\u00fdpadku bol 26 min\u00fat. D\u00e1ta neboli straten\u00e9. Ingesteri \u00faspe\u0161ne nahrali v\u0161etky in-memory d\u00e1ta do dlhodob\u00e9ho \u00falo\u017eiska. Po\u010das v\u00fdpadku servery Prometheus klientov ukladaj\u00fa do vyrovn\u00e1vacej pam\u00e4te vzdialen\u00e9 (remote)<\/i> z\u00e1znamy pomocou nov\u00e9ho API remote_write<\/a><\/noindex> na z\u00e1klade WAL (pod\u013ea autorstva Callum Styan<\/a><\/noindex> z Grafana Labs) a zopakovali ne\u00faspe\u0161n\u00e9 z\u00e1znamy po poruche.<\/p>\n

\"Pozn.
\nOper\u00e1cie z\u00e1pisu produk\u010dn\u00e9ho klastra<\/i><\/p>\n

Zhrnutie<\/h2>\n

\nJe d\u00f4le\u017eit\u00e9 pou\u010di\u0165 sa z tohto incidentu a prija\u0165 potrebn\u00e9 opatrenia, aby sa zabr\u00e1nilo jeho opakovaniu.<\/p>\n

Pri poh\u013eade sp\u00e4\u0165 mus\u00edme uzna\u0165, \u017ee sme nemali nastavova\u0165 predvolen\u00e9 stredn\u00e1<\/b> priorita, k\u00fdm v\u0161etci Ingesteri v produkcii nedostali vysok\u00fa<\/b> prioritu. Navy\u0161e, mali sme sa vopred postara\u0165 o ich vysok\u00fa<\/b> prioritu. Teraz je v\u0161etko opraven\u00e9. D\u00fafame, \u017ee na\u0161e sk\u00fasenosti pom\u00f4\u017eu aj in\u00fdm organiz\u00e1ci\u00e1m, ktor\u00e9 zva\u017euj\u00fa vyu\u017eitie prior\u00edt podov v Kubernetes.<\/p>\n

Prid\u00e1me \u010fal\u0161iu \u00farove\u0148 kontroly nad nasaden\u00edm ak\u00fdchko\u013evek \u010fal\u0161\u00edch objektov, ktor\u00fdch konfigur\u00e1cie s\u00fa glob\u00e1lne pre klaster. Odteraz bud\u00fa tak\u00e9to zmeny hodnoten\u00e9 v\u00e4\u010d\u0161\u00edm po\u010dtom \u013eud\u00ed. Okrem toho, modifik\u00e1cia, ktor\u00e1 sp\u00f4sobila zlyhanie, bola pova\u017eovan\u00e1 za pr\u00edli\u0161 nepodstatn\u00fa na samostatn\u00fd projektov\u00fd dokument \u2014 diskutovalo sa o nej len v GitHub issue. Odteraz bud\u00fa v\u0161etky tak\u00e9to zmeny konfigur\u00e1cie sprev\u00e1dzan\u00e9 pr\u00edslu\u0161nou projektovou dokument\u00e1ciou.o<\/i>Nakoniec automatizujeme zmenu ve\u013ekosti reverzn\u00e9ho proxy servera autentifik\u00e1cie, aby sme predi\u0161li OOM pri pre\u0165a\u017een\u00ed, na \u010do sme sa stali svedkami, a analyzujeme predvolen\u00e9 parametre Prometheus s\u00favisiace s n\u00e1vratom a \u0161k\u00e1lovan\u00edm, aby sme predi\u0161li podobn\u00fdm probl\u00e9mom v bud\u00facnosti.<\/p>\n

Pre\u017eit\u00e9 zlyhanie malo aj niektor\u00e9 pozit\u00edvne n\u00e1sledky: z\u00edskan\u00edm potrebn\u00fdch zdrojov sa Cortex automaticky obnovil bez \u010fal\u0161ieho z\u00e1sahu. Z\u00edskali sme tie\u017e cenn\u00e9 sk\u00fasenosti s<\/p>\n

\u2014 na\u0161\u00edm nov\u00fdm syst\u00e9mom agreg\u00e1cie logov, \u2014 ktor\u00fd pomohol zabezpe\u010di\u0165, \u017ee v\u0161etky Ingester-y sa spr\u00e1vne spr\u00e1vali po\u010das a po zlyhan\u00ed. Grafana Loki<\/a><\/noindex> \u2014 na\u0161\u00edm nov\u00fdm syst\u00e9mom agreg\u00e1cie logov, \u2014 ktor\u00fd pomohol zabezpe\u010di\u0165, \u017ee v\u0161etci Ingesteri sa po\u010das a po poruche spr\u00e1vali spr\u00e1vne.<\/p>\n

P.S. od prekladate\u013ea<\/h2>\n

\nPre\u010d\u00edtajte si tie\u017e na na\u0161om blogu:<\/p>\n