{"id":91199,"date":"2020-08-10T01:42:03","date_gmt":"2020-08-09T23:42:03","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov"},"modified":"2020-08-10T01:42:03","modified_gmt":"2020-08-09T23:42:03","slug":"kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov","title":{"rendered":"Kubernetes Domklik'is: kuidas rahulikult magada, hallates 1000 mikroteenuse klastrit","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Minu nimi on Viktor Jagofarov ja olen Domklik'i Kubernetes platvormi arenduse tehniline juht Ops meeskonnas. Soovin r\u00e4\u00e4kida meie Dev <-> Ops protsesside korraldusest, Venemaa \u00fche suurima k8s-klastri haldamise erip\u00e4radest ning DevOps\/SRE praktikatest, mida meie meeskond rakendab.<\/p>\n

\"Kubernetes
\n<\/a><\/noindex><\/p>\n

Ops meeskond<\/h4>\n

\nOps meeskonnas t\u00f6\u00f6tab hetkel 15 inimest. Kolm neist vastutavad b\u00fcroo eest, kaks t\u00f6\u00f6tavad teises ajav\u00f6\u00f6ndis ning on saadaval, sealhulgas \u00f6\u00f6siti. Nii on alati keegi Ops'ist monitori taga, valmis reageerima igasuguste \u00f5nnetuste korral. \u00d6\u00f6siti valveid meil ei ole, mis kaitseb meie vaimu ja annab v\u00f5imaluse k\u00f5igile korralikult magada ja nautida vaba aega mitte ainult arvuti taga.<\/p>\n

\"Kubernetes
\n
\nKompetentsid on k\u00f5ikidel erinevad: v\u00f5rguinsenerid, DBA-d, ELK-i virna spetsialistid, Kubernetes-i administraatorid\/aruandjad, j\u00e4lgimise, virtualiseerimise ja riistvara spetsialistid jne. \u00dchendab k\u00f5iki \u00fcks asi \u2014 iga\u00fcks v\u00f5ib mingil m\u00e4\u00e4ral asendada teist: n\u00e4iteks lisada uusi s\u00f5lme k8s klastri, v\u00e4rskendada PostgreSQL, kirjutada CI\/CD pipeline'i + Ansible, automatiseerida midagi Pythonis\/Bashis\/Go-s, \u00fchendada riistvara andmekeskusesse. Tugevad kompetentsid mingis valdkonnas ei takista suunda muuta ja alustada \u00f5ppimist m\u00f5nes teises valdkonnas. N\u00e4iteks, t\u00f6\u00f6tasin algselt ettev\u00f5ttes PostgreSQL spetsialistina, kuid n\u00fc\u00fcd on minu peamine vastutusvaldkond Kubernetes klastri juhtimine. Meeskonnas on iga areng alati teretulnud ja \u00fchtekuuluvustunne on v\u00e4ga tugevalt v\u00e4ljendatud.<\/p>\n

Muide, me otsime uut talenti. Kandidaatidelt ootused on \u00fcsna standardsed. Minu jaoks on oluline, et inimene sobituks meeskonda, oleks konfliktivaba, kuid oskaks ka oma seisukohti kaitsta, sooviks areneda ja ei kardaks uut proovida ning tooks oma ideid lauale. Samuti on vajalikud programmimise oskused skriptikeeltes, teadmised Linuxi p\u00f5hialustest ja inglise keel. Inglise keel on vajalik, et inimene saaks probleemide lahendamiseks kiiresti internetti otsida, mitte ei raiskaks sellele 10 minutit. S\u00fcgavate Linuxi teadmisteta spetsialiste on hetkel v\u00e4ga keeruline leida: naljakas, aga kaks kandidaati kolmest ei oska vastata k\u00fcsimusele \u201eMis on Load Average? Millest see koosneb?\u201d, ja k\u00fcsimust \u201eKuidas koguda core dump C-programmist\u201d peavad nad millegiks \u00fcleinimlikuks\u2026 v\u00f5i dinosauruste maailmast. Selle olukorraga tuleb leppida, kuna enamasti on inimestel teised oskused tugevalt arenenud, ning \u201eliinukse\u201d \u00f5petame me \u00e4ra. Vastus k\u00fcsimusele \u201emiks seda k\u00f5ike peaks DevOps-insener t\u00e4nap\u00e4eva pilveteenustes teadma\u201d peab j\u00e4\u00e4ma artikli raames arutlemiseks, kuid kolme s\u00f5naga: see on k\u00f5ik vajalik.<\/p>\n

T\u00f6\u00f6riistade meeskond<\/h4>\n

\nAutomatiseerimises m\u00e4ngib olulist rolli Tools'i meeskond. Nende peamine \u00fclesanne on luua arendajatele mugavaid graafilisi ja CLI-t\u00f6\u00f6riistu. N\u00e4iteks v\u00f5imaldab meie sisearendus Confer m\u00f5ne hiirekl\u00f5psuga rakendust Kubernetesesse v\u00e4lja lasta, seadistada selle ressursid, v\u00f5tmed vaultist jne. Varasemalt oli kasutusel Jenkins + Helm 2, kuid pidime arendama oma t\u00f6\u00f6riista, et v\u00e4listada kopeerimise ja kleepimise vajadus ning tuua tarkvaraarendusse \u00fchtsust.<\/p>\n

Ops'i meeskond ei kirjuta arendajate jaoks pipeline'e, kuid nad saavad anda n\u00f5u k\u00f5igis k\u00fcsimustes nende kirjutamise osas (m\u00f5nel on veel Helm 3).<\/p>\n

DevOps<\/h4>\n

\nMis puutub DevOps'i, siis n\u00e4eme seda sellisena:<\/p>\n

Dev meeskonnad kirjutavad koodi, deployivad seda l\u00e4bi Confer dev -> qa\/stage -> prod. Vastutus selle eest, et kood ei tarduks ega viskaks vigu, lasub Dev ja Ops tiimidel. P\u00e4evasel ajal peab probleemide korral reageerima oma rakendusele esmaj\u00e4rjekorras Opsi de\u017euurija ja \u00f5htuti ning \u00f6\u00f6sel peab de\u017euuradmin (Ops) \u00e4ratama de\u017euurarendaja, kui ta on kindel, et probleem ei ole infrastruktuuris. K\u00f5ik m\u00f5\u00f5dikud ja alertid monitoris tekivad automaatselt v\u00f5i poolautomaatsetena.<\/p>\n

Opsi vastutus algab hetkest, kui rakendus saadetakse tootmisse, kuid Devi vastutus ei l\u00f5pe sellega \u2014 me teeme \u00fchte asja ja oleme \u00fches paadis.<\/p>\n

Arendajad konsulteerivad adminne, kui vajavad abi adminni mikroteenuse kirjutamisel (n\u00e4iteks Go backend + HTML5), ning adminnid konsulteerivad arendajaid mis tahes infrastruktuuri v\u00f5i k8s-i seotud k\u00fcsimustes.<\/p>\n

Muide, meil ei ole \u00fcldse monoliiti, ainult mikroteenused. Nende arv on hetkel tootmis-k8s klastris vahemikus 900 kuni 1000, kui m\u00f5\u00f5ta arvu j\u00e4rgi. deployments<\/i>. Poodide arv varieerub 1700 ja 2000 vahel. Prod-klastris on hetkel umbes 2000 poodi.<\/p>\n

Konkreetseid numbreid ma \u00f6elda ei saa, kuna j\u00e4lgime tarbetuks osutunud mikroteenuseid ja eemaldame neid poolautomaatse re\u017eiimi abil. Tarbetute \u00fcksuste j\u00e4lgimisel k8s aitab meid useless-operator<\/a><\/noindex>, mis s\u00e4\u00e4stab suurel m\u00e4\u00e4ral ressursse ja raha.<\/p>\n

Ressursside haldamine <\/h2>\n

<\/p>\n

J\u00e4lgimine <\/h4>\n

\nSuure klastrihalduse nurgakiviks on \u00f5igesti \u00fcles ehitatud ja informatiivne j\u00e4lgimine. Me ei ole veel leidnud universaalset lahendust, mis kataks 100% meie j\u00e4lgimise soovidest, seega loome aeg-ajalt erinevaid kohandatud lahendusi selles keskkonnas.<\/p>\n