{"id":91199,"date":"2020-08-10T01:42:03","date_gmt":"2020-08-09T23:42:03","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov"},"modified":"2020-08-10T01:42:03","modified_gmt":"2020-08-09T23:42:03","slug":"kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov","title":{"rendered":"Kubernetes p\u00e5 DomClick: hur man sover lugnt medan man hanterar en kluster med 1000 mikrotj\u00e4nster","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Jag heter Viktor Yagofarov och jag arbetar med utvecklingen av Kubernetes-plattformen p\u00e5 f\u00f6retaget DomClick som teknisk utvecklingsledare inom Ops-teamet (drift). Jag skulle vilja ber\u00e4tta om hur v\u00e5ra Dev Ops-processer fungerar, om de unika egenskaperna hos en av de st\u00f6rsta k8s-klustrarna i Ryssland, samt om DevOps\/SRE-praktiker som v\u00e5rt team till\u00e4mpar.<\/p>\n

\"Kubernetes
\n<\/a><\/noindex><\/p>\n

Ops-teamet<\/h4>\n

\nI Ops-teamet arbetar f\u00f6r n\u00e4rvarande 15 personer. Tre av dem ansvarar f\u00f6r kontoret, tv\u00e5 arbetar i en annan tidszon och \u00e4r tillg\u00e4ngliga, \u00e4ven p\u00e5 natten. P\u00e5 s\u00e5 s\u00e4tt finns det alltid n\u00e5gon fr\u00e5n Ops vid sk\u00e4rmen och \u00e4r redo att reagera p\u00e5 incidenter av alla sv\u00e5righetsgrader. Vi har inga nattpass, vilket skyddar v\u00e5r mentala h\u00e4lsa och ger alla m\u00f6jlighet att f\u00e5 tillr\u00e4ckligt med s\u00f6mn och tillbringa fritiden inte bara framf\u00f6r datorn.<\/p>\n

\"Kubernetes
\n
\nKompetenserna \u00e4r varierande: n\u00e4tverksspecialister, DBA, experter p\u00e5 ELK-stack, Kubernetes-administrat\u00f6rer\/utvecklare, \u00f6vervakningsexperter, virtualisering, h\u00e5rdvara osv. Det som f\u00f6renar oss \u00e4r att var och en av oss kan ers\u00e4tta den andra till viss del: till exempel, l\u00e4gga till nya noder i k8s-klustret, uppdatera PostgreSQL, skriva CI\/CD-pipelines + Ansible, automatisera n\u00e5got i Python\/Bash\/Go, koppla ihop h\u00e5rdvara i datacentret. Starka kompetenser inom ett omr\u00e5de hindrar inte att man byter inriktning och b\u00f6rjar utvecklas inom ett annat omr\u00e5de. Till exempel b\u00f6rjade jag p\u00e5 f\u00f6retaget som PostgreSQL-specialist, och nu \u00e4r mitt huvudansvarsomr\u00e5de Kubernetes-kluster. I teamet uppskattas all tillv\u00e4xt och k\u00e4nslan av st\u00f6d \u00e4r v\u00e4ldigt stark.<\/p>\n

F\u00f6r \u00f6vrigt rekryterar vi. Kraven p\u00e5 kandidater \u00e4r ganska standardiserade. Personligen tycker jag att det \u00e4r viktigt att personen passar in i teamet, \u00e4r konfliktsk\u00f6r men ocks\u00e5 kan st\u00e5 upp f\u00f6r sin \u00e5sikt, vill utvecklas och inte \u00e4r r\u00e4dd f\u00f6r att g\u00f6ra n\u00e5got nytt, samt att de ger sina egna id\u00e9er. Det \u00e4r ocks\u00e5 obligatoriskt med programmeringskunskaper i skriptspr\u00e5k, f\u00f6rst\u00e5else f\u00f6r grunderna i Linux och engelska. Engelska beh\u00f6vs helt enkelt s\u00e5 att personen, vid en eventuell n\u00f6dsituation, kan googla l\u00f6sningen p\u00e5 problemet p\u00e5 10 sekunder ist\u00e4llet f\u00f6r 10 minuter. Det \u00e4r nu mycket sv\u00e5rt att hitta specialister med djup kunskap om Linux: det \u00e4r l\u00f6jligt, men tv\u00e5 av tre kandidater kan inte svara p\u00e5 fr\u00e5gan \"Vad \u00e4r Load Average? Vad best\u00e5r det av?\", och fr\u00e5gan \"Hur samlar man en core dump fr\u00e5n ett C-program\" betraktas som n\u00e5got fr\u00e5n en superm\u00e4nniska... eller dinosaurier. Man f\u00e5r acceptera detta, eftersom m\u00e4nniskor vanligtvis har starka kompetenser p\u00e5 andra omr\u00e5den, och vi kan l\u00e4ra dem \"Linux\". Svaret p\u00e5 fr\u00e5gan \"varf\u00f6r detta \u00e4r viktigt f\u00f6r en DevOps-ingenj\u00f6r i dagens molnv\u00e4rld\" f\u00e5r jag l\u00e4mna utanf\u00f6r artikeln, men om jag ska sammanfatta det med tre ord: allt detta \u00e4r n\u00f6dv\u00e4ndigt.<\/p>\n

Verktygsteamet<\/h4>\n

\nVerktygsteamet spelar en stor roll i automatiseringen. Deras huvuduppgift \u00e4r att skapa anv\u00e4ndarv\u00e4nliga grafiska och CLI-verktyg f\u00f6r utvecklare. Till exempel till\u00e5ter v\u00e5r interna utveckling Confer att man bokstavligen kan rulla ut en applikation i Kubernetes med bara n\u00e5gra musklick, st\u00e4lla in resurser, nycklar fr\u00e5n vault etc. Tidigare anv\u00e4nde vi Jenkins + Helm 2, men vi var tvungna att utveckla v\u00e5rt eget verktyg f\u00f6r att utesluta copy-paste och inf\u00f6ra enhetlighet i programvarans livscykel.<\/p>\n

Ops-teamet skriver inte pipelines f\u00f6r utvecklarna, men kan ge r\u00e5d i alla fr\u00e5gor ang\u00e5ende deras skrivande (n\u00e5gra har fortfarande Helm 3).<\/p>\n

DevOps<\/h4>\n

\nN\u00e4r det kommer till DevOps ser vi det som f\u00f6ljer:<\/p>\n

Utvecklarteam skriver kod och rullar ut den genom Confer fr\u00e5n dev -> qa\/stage -> prod. Ansvarigheten f\u00f6r att koden inte saktas ner eller ger fel ligger p\u00e5 utvecklar- och ops-team. Under dagtid ska den jourhavande fr\u00e5n Ops-teamet reagera p\u00e5 incidenter med sin applikation, medan under kv\u00e4lls- och nattetid b\u00f6r den jourhavande administrat\u00f6ren (Ops) v\u00e4cka den jourhavande utvecklaren om han \u00e4r s\u00e4ker p\u00e5 att problemet inte ligger i infrastrukturen. Alla metrik och larm i \u00f6vervakningen upptr\u00e4der automatiskt eller halvautomatiskt.<\/p>\n

Ops ansvaromr\u00e5de b\u00f6rjar fr\u00e5n det \u00f6gonblick applikationen g\u00e5r live, men \u00e4ven Dev:s ansvar tar inte slut d\u00e4r \u2013 vi arbetar med samma saker och \u00e4r i samma b\u00e5t.<\/p>\n

Utvecklarna konsulterar administrat\u00f6rer om hj\u00e4lp med att skriva administrativa mikrotj\u00e4nster (t.ex. Go backend + HTML5), och administrat\u00f6rer konsulterar utvecklarna om infrastrukturella fr\u00e5gor eller fr\u00e5gor relaterade till k8s.<\/p>\n

F\u00f6r \u00f6vrigt har vi \u00f6verhuvudtaget ingen monolit, bara mikrotj\u00e4nster. Antalet ligger f\u00f6r n\u00e4rvarande mellan 900 och 1000 i prod k8s-klustret, om man m\u00e4ter p\u00e5 antal deployment<\/i>. Antalet pods varierar mellan 1700 och 2000. Det finns f\u00f6r n\u00e4rvarande cirka 2000 pods i prod-klustret.<\/p>\n

Jag kan inte ge exakta siffror, eftersom vi \u00f6vervakar on\u00f6diga mikrotj\u00e4nster och tar bort dem i ett semi-automatiskt l\u00e4ge. Att \u00f6vervaka on\u00f6diga enheter i k8s hj\u00e4lper oss useless-operator<\/a><\/noindex>, vilket sparar resurser och pengar.<\/p>\n

Resurshantering <\/h2>\n

<\/p>\n

\u00d6vervakning <\/h4>\n

\nDen grundl\u00e4ggande best\u00e5ndsdelen i driften av ett stort kluster blir en v\u00e4lbyggd och informativ \u00f6vervakning. Vi har \u00e4nnu inte funnit en universell l\u00f6sning som t\u00e4cker 100 % av alla \u00f6nskem\u00e5l kring \u00f6vervakning, s\u00e5 vi skapar periodvis olika skr\u00e4ddarsydda l\u00f6sningar inom detta omr\u00e5de.<\/p>\n