Ko Anton Baderin toku ingoa. Ka mahi ahau i te Whare Hangarau Teitei me te whakahaere punaha. He marama ki muri, ka mutu ta matou huihuinga umanga, i reira i tohatoha ai o maatau wheako ki te hapori IT o to taone. I korero ahau mo te aroturuki i nga tono tukutuku. Ko nga rauemi i hangaia mo te taumata teina, waenga ranei, kaore i hanga i tenei mahi mai i te wahanga.
Ko te kohatu kokonga kei raro i tetahi punaha aroturuki ko te whakaoti rapanga pakihi. Ko te aro turuki mo te aro turuki kaore he painga ki tetahi. He aha te hiahia o te pakihi? Kia tere nga mahi katoa me te kore he. Ko nga pakihi e hiahia ana kia kaha, kia kitea e tatou nga raru i roto i te ratonga me te whakatika tere. Ko enei, ko nga raru i whakaotihia e au i tera tau katoa mo tetahi kaupapa mo tetahi o o maatau kaihoko.
Mō te kaupapa
Ko te kaupapa nei tetahi o nga kaupapa piripono nui rawa atu o te motu. Ka awhina matou i nga mekameka hokohoko kia piki ake te maha o nga hoko ma nga momo taputapu hokohoko penei i nga kaari putea. I te katoa, kei roto i te kaupapa nga tono 14 e whakahaere ana i runga i nga kaitoro tekau.
I te wa o te uiuinga, i kite ahau i nga wa katoa kaore nga kaiwhakahaere e aro tika ki te aro turuki i nga tono paetukutuku: he maha tonu te aro ki nga inenga punaha whakahaere me te aro turuki i nga ratonga i etahi wa.
I taku keehi, ko te punaha aroturuki a te kaihoko i mua i runga i a Icinga. Kaore i whakaotihia nga raruraru i runga ake nei i tetahi huarahi. I te nuinga o nga wa ka korero mai te kaihoko ki a matou mo nga raruraru, me te nuinga o nga wa, kaore i te nui o matou raraunga kia tae ki raro o te take.
I tua atu, i marama te maarama ki te horihori o tona whanaketanga ake. Ki taku whakaaro ka mohio te hunga e mohio ana ki a Icinga. Na, i whakatau matou ki te hoahoa ano i te punaha aroturuki tono tukutuku mo te kaupapa.
Prometheus
I tohua e matou a Prometheus i runga i nga tohu matua e toru:
- He maha nga inenga e waatea ana. I roto i to maatau he 60 mano o ratou. Ko te tikanga, he mea tika kia mohio kaore matou e whakamahi i te nuinga o ratou (te 95%) pea. I tetahi atu ringa, he iti noa te utu. Ki a maatau, koinei te mea tino nui atu ki te Icinga i whakamahia i mua. I roto, ko te taapiri i nga inenga he tino mamae: he utu nui nga mea o mua (tirohia te waehere puna o tetahi mono). Ko tetahi mono he tuhinga i roto i te Bash, i te Python ranei, he utu nui te whakarewatanga i runga i nga rauemi i pau.
- He iti noa nga rauemi e pau ana i tenei punaha. 600 MB RAM, 15% o te matua kotahi me te rua tekau ma rua IOPS e ranea ana mo o taatau inenga katoa. Ae ra, me whakahaere koe i nga kaihoko inenga, engari kua tuhia katoatia ki roto i te Haere, kaore hoki i te tino hiakai mana. Kaore ahau e whakaaro i roto i nga ahuatanga hou he raruraru tenei.
- Ka whakarato i te kaha ki te heke ki Kubernetes. Ma te whakaaro ki nga mahere a te kaihoko, ka kitea te whiringa.
ELK
I mua, kaore matou i kohi, i te whakahaere i nga raarangi. E marama ana nga ngoikoretanga ki te katoa. I whiriwhiria e matou te ELK na te mea kua mohio matou ki tenei punaha. Ka penapena noa matou i nga raarangi tono ki reira. Ko nga paearu whiriwhiri matua ko te rapu kupu-katoa me tona tere.
Сlickhouse
I te timatanga, i taka te whiringa ki runga InfluxDB. I mohio matou ki te kohikohi i nga raarangi Nginx, nga tatauranga mai i nga pg_stat_statements, me te penapena i nga raraunga o mua a Prometheus. Kare matou i pai ki te Influx na te mea ka tiimata te pau i te maha o nga mahara ka pakaru. I tua atu, i hiahia ahau ki te whakarōpū i nga patai ma te remote_addr, engari ko te whakarōpū i tenei DBMS ma nga tohu anake. He utu nui nga tohu (maumahara), he iti noa to raatau nama.
I timata ano ta matou rapu. Ko te mea e hiahiatia ana ko te putunga raraunga tātari me te iti rawa o te kohi rauemi, he pai ake me te taapiri raraunga ki runga i te kōpae.
Ka tutuki a Clickhouse i enei paearu katoa, kaore ano matou i pouri ki ta maatau whiriwhiri. Karekau matou e tuhi i te nui o nga raraunga ki roto (ko te maha o nga whakaurunga ko te rima mano noa ia meneti).
NewRelic
Ko NewRelic i mua i a maatau na te mea na te kaihoko. Ka whakamahia e matou hei APM.
Zabbix
Ka whakamahia e matou a Zabbix ki te aro turuki i te Pouaka Pango o nga momo API.
Te Tautuhi i te huarahi Aroturuki
I pirangi matou ki te wetewete i te mahi me te whakarite i te huarahi ki te aroturuki.
Ki te mahi i tenei, ka wehea e ahau to maatau punaha ki nga taumata e whai ake nei:
- taputapu me te VMS;
- pūnaha whakahaere;
- ratonga pūnaha, tāpae pūmanawa;
- tono;
- arorau pakihi.
He aha te mea he pai tenei huarahi:
- e mohio ana matou ko wai te kawenga mo nga mahi o ia taumata, a, i runga i tenei, ka taea e matou te tuku matohi;
- Ka taea e tatou te whakamahi i te hanganga ina pehi ana i nga matohi - he mea ke ki te tuku matohi mo te koretake o te papaunga raraunga ina kore e waatea te miihini mariko katoa.
I te mea ko ta matou mahi ko te tautuhi i nga takahi i roto i te whakahaeretanga o te punaha, me whakaatu i ia taumata etahi huinga inenga e tika ana kia aro ki te tuhi i nga ture whakatupato. I muri mai, me haere ma nga taumata "VMS", "Punaha whakahaere" me "Ratonga punaha, raupaparorohiko".
Nga miihini mariko
Ka tohatohahia e te manaaki he tukatuka, kōpae, mahara me te whatunga. A i raru matou ki nga mea tuatahi e rua. Na, ko nga inenga:
I tahaetia te wa PTM - ka hoko koe i tetahi miihini mariko i runga i Amazon (t2.micro, hei tauira), me maarama koe kaore koe i te tohatoha i te punaha tukatuka katoa, engari he waahi noa o tona waa. A, ka pau i a koe, ka tangohia te tukatuka i a koe.
Ma tenei ine ka taea e koe te whai i nga waa penei me te whakatau whakatau. Hei tauira, he mea tika ki te tango i te utu momona, ki te tohatoha ranei i te tukatuka o nga mahi papamuri me nga tono API ki nga kaitoro rereke?
IOPS + CPU iowait time - mo etahi take, he maha nga manaaki kapua i hara na te kore e whakarato i te IOPS nui. Ano, ko te raarangi me te iti o te IOPS ehara i te tautohetohe mo ratou. Na reira, he pai ki te kohi CPU iowait. Ma enei kauwhata takirua - he iti te IOPS me te tatari I/O teitei - kua taea e koe te korero ki te manaaki me te whakaoti rapanga.
pūnaha whakahaere
Inenga pūnaha whakahaere:
- te nui o te mahara e waatea ana i roto i te %;
- mahi whakahuri: vmstat swapin, swapout;
- te maha o nga inodes e waatea ana me te mokowhiti i runga i te punaha konae i roto i te %
- kawenga toharite;
- te maha o nga hononga i roto i te ahua tw;
- ki tonu te tepu hono;
- Ka taea te aro turuki i te kounga o te whatunga ma te whakamahi i te ss whaipainga, te kete iproute2 - tiki tohu mo nga hononga RTT mai i tana whakaputanga ka whakarōpūhia ma te tauranga o mua.
I te taumata o te punaha whakahaere kei a matou he hinonga penei i nga tukanga. He mea nui ki te tautuhi i roto i te punaha he huinga tukanga e whai waahi nui ana i roto i tana mahi. Mena, hei tauira, he maha nga pgpools, me kohikohi korero mo ia o ratou.
Ko te huinga inenga e whai ake nei:
- PTM;
- mahara ko te tuatahi noho;
- IO - he pai ki te IOPS;
- FileFd - tuwhera me te rohe;
- nga rahunga wharangi nui - ma tenei ka mohio koe he aha te tukanga e whakawhitia ana.
Ka tohatohahia e matou nga aroturuki katoa ki Docker, ka whakamahi matou i te Kaitohutohu ki te kohikohi raraunga inenga. I runga i etahi atu miihini ka whakamahia e matou te mahi-kaikawe.
Ratonga Pūnaha, tāpae pūmanawa
Kei ia tono ana ake korero, he uaua ki te wehe i tetahi huinga inenga.
Ko te huinga ao ko:
- utu tono;
- te maha o nga hapa;
- tohenga;
- taunga.
Ko a maatau tauira tino whakamiharo o te aro turuki i tenei taumata ko Nginx me PostgreSQL.
Ko te ratonga tino utaina i roto i ta maatau punaha ko te putunga korero. I nga wa o mua, he maha nga wa i raru ai matou ki te mohio he aha te mahi a te papaarangi.
I kite matou i te kawenga nui i runga i nga kopae, engari ko nga rakau puhoi kaore i tino whakaatu tetahi mea. I whakatauhia e matou tenei raru ma te whakamahi i nga pg_stat_statements, he tirohanga e kohi tatauranga uiui.
Koira noa te hiahia o te kaiwhakahaere.
Ka hangaia e matou he kauwhata mo te mahi panui me te tuhi tono:
He maamaa, he maamaa nga mea katoa, kei ia tono tona ake tae.
He tauira tino whakamiharo ko nga raarangi Nginx. Ehara i te mea miharo he tokoiti nga tangata e whakamaarama ana, e whakahua ana ranei i roto i te rarangi o nga mea me whai. Ko te whakatakotoranga paerewa kaore i te tino korero me te hiahia kia whakawhānuihia.
Ko ahau ake, i taapirihia e au te wa_ tono, te wa_whakautua_whakautu, te_paita_te_tuku, te roa_tono, te tono_ira. Ka whakatakotohia e matou te wa whakautu me te maha o nga hapa:
Ka hangaia e matou he kauwhata mo te wa whakautu me te maha o nga hapa. Kia mahara? I korero ahau mo nga whaainga pakihi? Kia tere me te kore he? Kua hipokina e matou enei take ki nga tūtohi e rua. A ka taea e koe te waea atu ki nga kaiwhakahaere e mahi ana ma te whakamahi i a raatau.
Engari tetahi atu raruraru kei te noho tonu - kia tere te whakakore i nga take o te raru.
Whakatau aitua
Ko te tukanga katoa mai i te tautuhi ki te whakaoti rapanga ka taea te wehewehe ki etahi waahanga:
- te tautuhi i te raruraru;
- whakamōhiotanga ki te kaiwhakahaere mahi;
- whakautu ki tetahi aitua;
- te whakakore i nga take.
He mea nui kia tere te mahi i tenei. Mena i nga waahanga o te tautuhi i te raru me te tuku panui kaore e taea e taatau te wa roa - ka pau nga meneti e rua ki a raatau i roto i tetahi keehi, na ko nga mea e whai ake nei he waahi kore noa hei whakapai ake.
Me whakaaro noa kua tangi te waea a te apiha mahi. Ka aha ia? Rapua nga whakautu ki nga patai - he aha te mea i pakaru, i pakaru i hea, me pehea te mahi? Anei me pehea te whakautu i enei patai:
Ka whakauru noa matou i enei korero katoa ki roto i te tuhinga o te panui, hoatu he hononga ki tetahi wharangi wiki e whakaatu ana me pehea te whakautu ki tenei raruraru, me pehea te whakatau me te whakanui ake.
Kaore ano au i korero mo te paparanga tono me te arorau pakihi. Kia aroha mai, kaore ano a maatau tono i te whakatinana i nga kohinga inenga. Ko te puna korero mai i enei taumata ko nga raarangi anake.
He rua nga tohu.
Tuatahi, tuhia nga rarangi hanganga. Kaore he take ki te whakauru i te horopaki ki te tuhinga o te karere. Na tenei ka uaua ki te whakarōpū me te tātari. He wa roa te Logstash ki te whakarite i enei mea katoa.
Tuarua, kia tika te whakamahi i nga taumata taumaha. Kei ia reo tona ake paerewa. Ko ahau ake, ka wehewehe ahau i nga taumata e wha:
- kahore he hapa;
- hapa taha kiritaki;
- ko te he kei to tatou taha, kaore tatou e ngaro moni, kaore tatou e mau ki nga raruraru;
- Ko te he kei to tatou taha, ka ngaro te moni.
Kia whakapoto ahau. Me ngana koe ki te hanga i te aroturuki i runga i te arorau pakihi. Me ngana ki te aro turuki i te tono ake me te mahi me nga inenga penei i te maha o nga hoko, te maha o nga rehitatanga kaiwhakamahi hou, te maha o nga kaiwhakamahi kaha i tenei wa, me era atu.
Mena ko to pakihi katoa he paatene kotahi i roto i te tirotiro, me aro turuki koe mena ka paato me te mahi tika. Ko nga toenga katoa kaore he mea.
Mena kaore koe i tenei, ka taea e koe te ngana ki te hopu i roto i nga raarangi tono, nga raarangi Nginx, me etahi atu, penei i a maatau. Me noho tata koe ki te tono ka taea.
He mea nui nga inenga punaha whakahaere, engari kaore nga pakihi e aro ki a raatau, kaore matou e utu mo ratou.
Source: will.com