Ogow. turjumi: Waxaan kuu soo bandhigeynaa dareenkaaga faahfaahinta farsamada ee ku saabsan sababaha hoos u dhaca dhawaanahan ee adeegga daruuriga ee ay hayaan hal-abuurayaasha Grafana. Tani waa tusaale caadi ah oo ku saabsan sida muuqaal cusub oo u muuqda mid aad u faa'iido leh oo loogu talagalay in lagu wanaajiyo tayada kaabayaasha ... waxay sababi kartaa waxyeelo haddii aadan bixin noocyada badan ee codsigeeda dhabta ah ee wax soo saarka. Aad bay u fiicantahay marka walxahan oo kale ay muuqdaan kuwaas oo kuu ogolaanaya inaad wax ka barato oo kaliya maaha khaladaadkaaga. Faahfaahinta waxay ku jirtaa tarjumaada qoraalkan ee ka yimid madaxweyne ku xigeenka badeecada ee Grafana Labs.
Jimcihii, Luuliyo 19, adeegga Prometheus ee lagu martiqaaday ee Grafana Cloud ayaa joojiyay shaqayntiisa ilaa 30 daqiiqo. Waxaan ka raali galinayaa dhamaan macaamiishii ay saamaysay shaqa joojinta. Shaqadeenu waa inaan bixino agabka la socodka ee aad u baahan tahay, waxaanan fahamsanahay in la'aanta iyaga ay noloshaada ka dhigi karto mid adag. Dhacdadan waxaan u qaadanaa si dhab ah. Qoraalkani waxa uu sharxayaa wixii dhacay, sida aanu uga jawaabnay, iyo waxa aanu samaynayno si aanu u hubino in aanay mar kale dhicin.
prehistory
Adeegga Prometheus ee Grafana Cloud Hosted wuxuu ku salaysan yahay - Mashruuc CNCF si loo abuuro si toosan oo la miisaami karo, aadka loo heli karo, kirayste badan oo adeega Prometheus ah. Nashqada Cortex-ku waxa ay ka kooban tahay adeeg-yar oo gaar ah, mid walbana waxa uu qabtaa shaqadiisa: ku celcelinta, kaydinta, weydiimaha, iwm. Cortex wuxuu ku socdaa horumar firfircoon wuxuuna si joogto ah ugu darayaa astaamo cusub wuxuuna hagaajinayaa waxqabadka. Waxaan si joogto ah u daynnaa Cortex-ka cusub si ay macaamiishu uga faa'iidaystaan ββsifooyinkan -nasiib wanaag, Cortex waa la cusboonaysiin karaa iyada oo aan wakhti la dhimin.
Cusbooneysiinta aan kala go'a lahayn, adeegga Ingester Cortex wuxuu u baahan yahay nuqul Ingester dheeraad ah inta lagu jiro habka cusboonaysiinta. (Ogow. turjumi: - qaybta aasaasiga ah ee Cortex. Shaqadeedu waa in ay ururiso muunado joogto ah, iyaga oo u kala qaybiya qaybaha Prometheus oo ku kaydi kaydinta xogta sida DynamoDB, BigTable ama Cassandra.) Tani waxay u oggolaanaysaa Ingesters duugga ah inay u gudbiyaan xogta hadda jirta kuwa cusub. Waxaa xusid mudan in Ingesters ay yihiin kuwo kheyraad dalbanaya. Si ay u shaqeeyaan, waxaad u baahan tahay inaad haysato 4 cores iyo 15 GB ee xusuusta boodhkiiba, i.e. 25% awoodda wax-qabadka iyo xusuusta mashiinka saldhigga ah ee kutladayada Kubernetes. Guud ahaan, waxaan sida caadiga ah haysanaa ilo aad u badan oo aan la isticmaalin oo ku jira kutlada in ka badan 4 cores iyo 15 GB ee xusuusta, si aan si fudud u miiqsan karno kuwan dheeraadka ah ee wax-ka-qabashada inta lagu jiro casriyeynta.
Si kastaba ha ahaatee, inta badan waxay dhacdaa in inta lagu jiro hawlgalka caadiga ah midna mashiinada aan haysan tan 25% ee kheyraadka aan la isticmaalin. Haa, xitaa kuma dadaalno: CPU iyo xusuusta ayaa had iyo jeer faa'iido u leh hababka kale. Si loo xaliyo dhibaatadan, waxaan go'aansanay inaan isticmaalno . Fikradda ayaa ah in la siiyo Ingesters mudnaan sare marka loo eego adeegyada yaryar ee kale (dal la'aanta). Marka aan u baahanahay in aan wadno wax dheeraad ah (N+1) Ingester, waxaan si ku meel gaar ah u rarinaa kuwa kale oo yaryar. Caleemahaan waxaa lagu wareejiyaa agab bilaash ah oo mashiinada kale ah, taasoo ka tagaysa "dalool" weyn oo ku filan oo lagu socodsiiyo Ingester dheeraad ah.
Khamiista, Luuliyo 18, waxaanu soo bandhignay afar heerar oo mudnaaneed oo cusub kooxahayada: muhiim ah, sareeya, celcelis ahaan ΠΈ hoose. Waxaa lagu tijaabiyay koox gudaha ah oo aan lahayn taraafikada macmiilka ilaa hal usbuuc. Sida caadiga ah, galalka aan lahayn mudnaan cayiman ayaa la helay celcelis ahaan mudnaanta, fasalka waxaa loo dejiyay Ingesters leh sare mudnaanta. Halis ah waxaa loo habeeyay la socodka (Prometheus, Alertmanager, node-outporter, kube-state-metrics, iwm.). Habaynkayagu wuu furan yahay, oo waxaad arki kartaa PR .
Shil
Jimcihii, Luulyo 19, mid ka mid ah injineerada ayaa soo saaray koox cusub oo Cortex u go'an macmiil weyn. Habaynta kooxdan kuma jiraan mudnaantii boodhka cusub, sidaa awgeed dhammaan boodhadhka cusub waxa loo qoondeeyey mudnaanta koowaad - celcelis ahaan.
Kooxda Kubernetes may haysan ilo ku filan kooxda Cortex cusub, iyo kooxda wax soo saarka ee Cortex lama cusboonaysiin (Ingesters waa laga tagay iyada oo aan la helin). sare mudnaanta). Maaddaama Ingesters-ka kooxda cusub ay si caadi ah u lahaayeen celcelis ahaan mudnaantii, iyo guntiyadii jiray ee wax soo saarku waxay shaqeeyeen bilaa mudnaan haba yaraatee, Ingesters-ka kooxda cusub waxay bedeleen Ingesters-ka kooxda wax soo saarka Cortex ee jira.
ReplicaSet oo loogu talagalay Ingester-ka laga saaray kooxda wax soo saarku waxay ogaatay boodhka la saaray oo waxay abuurtay mid cusub si loo ilaaliyo tirada koobiyada ee la cayimay. Boodhka cusub waxaa loo qoondeeyay si caadi ah celcelis ahaan mudnaantii, iyo mid kale oo "duq" ah oo wax soo saarka ku jira ayaa lumisay kheyraadkeedii. Natiijadu waxay noqotay geedi socodka baraf, taas oo keentay in dhammaan baloogyadii laga barakiciyey Ingester ee kooxaha wax soo saarka Cortex.
Liidiyeyaasha waa kuwo xaalad leh oo kaydiya xogta 12-kii saacadood ee la soo dhaafay. Tani waxay noo ogolaanaysaa inaan si hufan u cadaadiyo ka hor inta aan u qorin kaydinta muddada dheer. Si taas loo gaaro, Cortex wuxuu jeexjeexaa xogta taxanaha iyadoo la adeegsanayo Jadwalka Hash La Qaybiyay (DHT) wuxuuna ku celceliyaa taxane kasta oo dhex mara saddexda Ingesters iyadoo la adeegsanayo joogtaynta kooramka qaabka Dynamo-style. Cortex uma qorto xogta Ingesters kuwa naafada ah. Sidaa darteed, marka tiro badan oo Ingesters ah ay ka baxaan DHT, Cortex ma bixin karo ku celcelin ku filan galitaanka, wayna shilmaan.
Ogaanshaha iyo Dib-u-habaynta
Ogeysiinta cusub ee Prometheus ee ku salaysan "miisaaniyadda khaladka" (khalad ku salaysan miisaaniyad - Faahfaahinta waxay ka soo bixi doontaa maqaal mustaqbalka) waxay bilaabeen qaylo-dhaanta 4 daqiiqo ka dib bilawga xidhitaanka. Shantii daqiiqo ee xigtay ama wax ka badan, waxaan wadnay baaritaanno qaar waxaanan kor u qaadnay kutlada Kubernetes ee hoose si aan u martigelinno kooxaha wax soo saarka cusub iyo kuwa hadda jira.
Shan daqiiqo oo kale ka dib, Ingesters-yadii hore waxay si guul leh u qoreen xogtooda, kuwa cusubna waa ay bilowdeen, kooxihii Cortexna mar kale ayay noqdeen.
10 daqiiqo oo kale ayaa la qaatay ogaanshaha iyo hagaajinta khaladaadka xusuusta kabaxsan (OOM) ee ka yimid wakiillada xaqiijinta ee ku yaal Cortex hortiisa. Khaladaadka OOM waxaa sababay koror toban laab ah oo QPS ah (waxaan aaminsanahay codsiyo xad dhaaf ah oo gardarro ah oo ka yimid adeegayaasha Prometheus macmiilka awgeed).
Cawaaqibta
Wadarta wakhtiga dhimashadu waxay ahayd 26 daqiiqo. Xog la waayay Ingesters waxay si guul leh ugu shubeen dhammaan xogta xusuusta gudaha kaydinta muddada dheer. Inta lagu jiro xidhitaanka, adeegayaasha Prometheus macmiilku waa la tirtiray (meel fog) cajalado isticmaalaya ku salaysan WAL (waxaa qoray ka Grafana Labs) oo ku celceliyay qoraallada fashilmay shilka ka dib.
Kooxda wax soo saarka waxay qortaa hawlgallada
natiijooyinka
Waxaa muhiim ah in wax laga barto dhacdadan oo la qaado tallaabooyinka lagama maarmaanka ah si looga fogaado soo noqoshada.
Marka dib loo eego, may ahayn in aanu dejinno khaladka celcelis ahaan mudnaanta ilaa dhammaan Ingesters ee wax soo saarka la helo sareeya mudnaanta. Intaa waxaa dheer, waxay ahayd lagama maarmaan in hore loo daryeelo sare mudnaanta. Wax walba hadda waa la hagaajiyay. Waxaan rajeyneynaa in waayo-aragnimadeena ay caawin doonto ururada kale ee tixgelinaya isticmaalka mudnaansiinta Kubernetes.
Waxaan ku dari doonaa xakameyn dheeraad ah oo ku saabsan geynta shay kasta oo dheeraad ah oo qaabeyntoodu ay tahay mid caalami ah kooxda. Hadda wixii ka dambeeya, isbeddellada noocaas ah waa la qiimeyn doonaa bΠΎdad badan. Intaa waxaa dheer, wax ka beddelka sababay shilka waxaa loo tixgeliyey inuu aad u yar yahay dukumeenti mashruuc gaar ah - waxaa kaliya looga hadlay arrinta GitHub. Hadda wixii ka dambeeya, dhammaan isbeddellada noocaas ah ee habaynta waxa la socon doona dukumeenti mashruuc oo habboon.
Ugu dambayntii, waxaanu si otomaatig ah u samayn doonaa dib-u-habaynta wakiilnimada xaqiijinta si aanu uga hortagno culayska badan ee OOM aanu aragnay, waxaanu dib-u-eegis ku samayn doonaa habaynta Prometheus ee la xidhiidha dib u dhaca iyo miisaanka si looga hortago arrimaha la midka ah mustaqbalka.
Guuldarradu waxay sidoo kale lahayd qaar ka mid ah cawaaqibka wanaagsan: ka dib markii la helay agabkii lagama maarmaanka ahaa, Cortex si toos ah ayuu u soo kabtay iyada oo aan faragelin dheeraad ah la helin. Waxaan sidoo kale ka helnay waayo-aragnimo qiimo leh la shaqeynta - Nidaamkeena cusub ee isu geynta log - kaas oo gacan ka geystay in la hubiyo in dhammaan kuwa wax la geliyo u dhaqmeen si sax ah inta lagu jiro iyo ka dib guuldarada.
PS ka turjumaan
Sidoo kale ka akhri boggayaga:
- Β«";
- Β«";
- Β«";
- Β«".
Source: www.habr.com