Stvorio sam Kube Eagle — Prometheus izvoznik. Ispostavilo se da je to odličan alat koji pomaže bolje razumjeti resurse malih i srednjih klastera. Na kraju sam uštedio više stotina dolara, jer sam birajući prave tipove mašina i postavljajući ograničenja resursa aplikacija prema radnim opterećenjima.
Pričaću o prednostima , ali prvo ću objasniti zbog čega je došlo do problema i zašto je potrebna kvalitetna analitika.
Upravljao sam nekoliko klastera sa 4–50 nodova. U svakom klasteru — do 200 mikroservisa i aplikacija. Da bismo efikasnije koristili dostupni hardver, većina deploy-a je bila postavljena sa burstable RAM-om i CPU resursima. Tako podovi mogu uzeti dostupne resurse kad je potrebno i ne ometaju druge aplikacije na toj nodi. Pa, zar to nije sjajno?
Iako je klaster relativno malo trošio CPU (8%) i RAM (40%), stalno smo imali problema sa izbacivanjem podova kada su pokušavali da alociraju više memorije nego što je dostupno na nodi. Tada smo imali samo jedan panel za praćenje resursa Kubernetes-a. Ovako je izgledao:
Grafana panel samo sa cAdvisor metrikama
Sa ovakvim panelom, nodovi koji troše puno memorije i CPU-a nisu problem za uočiti. Problem je shvatiti uzrok. Da bi podovi ostali na mestu, moglo bi se, naravno, postaviti garantovane resurse za sve podove (zatraženi resursi su jednaki limitu). No, to nije najsmislenije korišćenje hardvera. U klasteru je bilo nekoliko stotina gigabajta memorije, a neki nodovi su bili u oskudici, dok su drugi imali po 4–10 GB viška.
Ispostavilo se da je Kubernetes planer nepravedno raspoređivao radna opterećenja po dostupnim resursima. Kubernetes planer uzima u obzir različite konfiguracije: pravila affinity, taints i tolerations, selektore nodova koji mogu ograničiti dostupne nodove. No, u mom slučaju nije bilo ničega takvog i podovi su se planirali na osnovu zatraženih resursa na svakoj nodi.
Za pod se birala noda koja ima najviše slobodnih resursa i koja ispunjava uslove zahteva. Ispalo je da zatraženi resursi na nodama ne odgovaraju stvarnoj potrošnji, i ovde je Kube Eagle došao u pomoć sa svojim mogućnostima praćenja resursa.
U mojim klasterima Kubernetes skoro svi resursi se prate samo sa i . Node Exporter pruža statistiku o ulazu-izlazu i korištenju diska, CPU i RAM-a, dok Kube State Metrics prikazuje metrike objekata Kubernetes, kao što su zahtjevi i ograničenja za resurse CPU i memoriju.
Moramo spojiti metrike korištenja s metrima zahtjeva i ograničenja u Grafana, i tada ćemo dobiti sve informacije o problemu. Izgleda jednostavno, ali u tim dvjema alatima oznake su različito nazvane, a neke metrike uopće nemaju oznake metapodataka. Kube Eagle sve radi automatski, a panel izgleda ovako:
Uspjeli smo riješiti mnoge probleme s resursima i uštedjeti opremu:
- Neki programeri nisu znali koliko resursa su potrebni mikroservisima (ili se jednostavno nisu brinuli). Nismo imali načina da pronađemo nepravilne zahtjeve za resursima — za to je potrebno znati potrošnju uz zahtjeve i ograničenja. Sada vide metrike Prometheus, prate stvarnu upotrebu i prilagođavaju zahtjeve i ograničenja.
- JVM aplikacije uzimaju onoliko RAM-a koliko mogu. Sakupljač smeća oslobađa memoriju samo ako je iskorišteno više od 75%. A s obzirom na to da je većina usluga burstable, JVM je uvijek zauzimao RAM. Stoga su sve te Java usluge trošile mnogo više RAM-a nego što se očekivalo.
- Neke aplikacije su tražile previše RAM-a, a Kubernetes scheduler nije davao te nodove ostalim aplikacijama, iako su zapravo bile slobodnije od drugih nodova. Jedan programer je slučajno dodao dodatnu cifru u zahtjevu i zauzeo veliki dio RAM-a: 20 GB umjesto 2. Nitko to nije primijetio. Aplikacija je imala 3 replikacije, tako da su i 3 nodova stradala.
- Postavili smo ograničenja resursa, preplanirali podove s pravilnim zahtjevima i dobili savršenu ravnotežu korištenja opreme po svim nodovima. Par nodova se moglo potpuno zatvoriti. A onda smo primijetili da imamo pogrešne mašine (orijentisane na CPU, a ne na memoriju). Promijenili smo tip i uklonili još nekoliko nodova.
Zaključci
S burstable resursima u klasteru učinkovitije koristite dostupne resurse, ali Kubernetes scheduler planira podove na temelju zahtjeva za resursima, što može biti problematično. Da bismo riješili dva problema: izbjegli neugodnosti i maksimalno iskoristili resurse, potrebna je dobra provjera. Zato će to biti korisno. (izvoznik Prometheus i kontrolna tabla Grafana).
Izvor: habr.com
