HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Ko te huihuinga HighLoad++ e whai ake nei ka tu hei te 6 me te 7 o Aperira 2020 i St. Petersburg Nga korero me nga tikiti hono. HighLoad++ Moscow 2018. Hall "Moscow". Noema 9, 15:00. Tuhinga me whakaaturanga.

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

* Aroturuki - ipurangi me te tātari.
* Nga here taketake o te papaaho ZABBIX.
* He otinga mo te whakamaarama i te rokiroki tātaritanga.
* Te arotautanga o te tūmau ZABBIX.
* UI arotautanga.
* He wheako ki te whakahaere i te punaha i raro i nga kawenga neke atu i te 40k NVPS.
* Nga whakatau poto.

Mikhail Makurov (i muri nei – MM): - Kia ora katoa!

Maxim Chernetsov (i muri nei - MCH): - Kia pai te ahiahi!

MM: – Kia whakamōhio ahau Maxim. He tohunga miihini a Max, ko te kaitoi whatunga pai e mohio ana ahau. Kei te whai waahi a Maxim ki nga whatunga me nga ratonga, to raatau whanaketanga me te mahi.

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

MCH: - A ka hiahia ahau ki te korero ki a koe mo Mikhail. Ko Mikhail he kaiwhakawhanake C. I tuhia e ia etahi otinga tukatuka waka utu nui mo to taatau kamupene. Kei te noho matou me te mahi i nga Urals, i te taone o nga tangata uaua Chelyabinsk, i roto i te kamupene Intersvyaz. Ko ta matou kamupene he kaiwhakarato ratonga Ipurangi me te pouaka whakaata taura mo te kotahi miriona taangata i roto i nga taone 16.

MM: - A he pai ki te kii ko Intersvyaz he nui noa atu i te kaiwhakarato, he kamupene IT. Ko te nuinga o a maatau otinga na to maatau tari IT.

A: mai i nga kaitoro e tukatuka ana i nga waka ki te pokapu waea me te tono pūkoro. Ko te tari IT inaianei kua tata ki te 80 nga taangata he tino, tino kanorau nga pukenga.

Mo Zabbix me tona hoahoanga

MCH: - Na inaianei ka ngana ahau ki te whakatakoto i tetahi rekoata whaiaro me te kii i roto i te meneti he aha a Zabbix ​​(i muri nei ka kiia ko "Zabbix").

Ko Zabbix te tuunga i a ia ano hei punaha aroturuki-waho-te-pouaka taumata hinonga. He maha nga ahuatanga e ngawari ake ai te oranga: nga ture piki ake, API mo te whakauru, te whakarōpū me te rapu-aunoa o nga kaihautu me nga inenga. Kei a Zabbix nga mea e kiia ana ko nga taputapu tauine - he takawaenga. Ko Zabbix he punaha puna tuwhera.

He poto mo te hoahoanga. Ka taea e tatou te kii e toru nga waahanga:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

  • Tūmau. I tuhia ki C. Ma te tukatuka uaua me te whakawhiti korero i waenga i nga miro. Ka mahia nga mahi katoa ki roto: mai i te whiwhinga ki te penapena ki te paataka raraunga.
  • Ko nga raraunga katoa kei te rongoa i roto i te papaarangi. Ka tautoko a Zabbix i a MySQL, PostreSQL me Oracle.
  • Kua tuhia te atanga tukutuku ki te PHP. I te nuinga o nga punaha ka tae mai me te tūmau Apache, engari he pai ake te mahi me te nginx + php.

I tenei ra e hiahia ana matou ki te korero i tetahi korero mai i te oranga o ta matou kamupene e pa ana ki a Zabbix...

He korero mai i te oranga o te kamupene Intersvyaz. He aha nga mea kei a tatou me nga mea e hiahiatia ana e tatou?

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi
5 ranei 6 marama ki muri. Kotahi ra i muri i te mahi...

MCH: - Misha, kia ora! Kei te koa ahau i taea e au te hopu i a koe - he korerorero. I raru ano matou ki te aroturuki. I te wa o tetahi aitua nui, he puhoi nga mea katoa, kaore he korero mo te ahua o te whatunga. Kia aroha mai, ehara tenei i te wa tuatahi kua pa mai tenei. Kei te hiahia ahau ki to awhina. Kia mahi to tatou aroturuki i raro i nga ahuatanga katoa!

MM: - Engari me tukutahi i te tuatahi. Kaore au i titiro ki reira i roto i nga tau e rua. Ki taku mahara, i whakarerea e matou a Nagios ka huri ki Zabbix mo te 8 tau ki muri. Inaianei kei te 6 nga kaitoro kaha me te kotahi tekau ma rua nga kaitautoko. Kei te raruraru ahau i tetahi mea?

MCH: - Tata. 15 nga tūmau, ko etahi he miihini mariko. Ko te mea nui ko te kore e whakaora ia tatou i te wa e tino hiahia ana tatou. Ka rite ki te aitua - ka puhoi nga kaitoro ka kore koe e kite i tetahi mea. I ngana matou ki te arotau i te whirihoranga, engari kaore tenei i whakarato i te pikinga mahi tino pai.

MM: - He marama. I titiro koe ki tetahi mea, kua keri kee koe i tetahi mea mai i nga tātaritanga?

MCH: – Ko te mea tuatahi hei mahi maau ko te paataka raraunga. Ka utaina a MySQL i nga wa katoa, ka penapena i nga inenga hou, a ka tiimata ana a Zabbix ki te whakaputa i nga huihuinga, ka uru te paataka korero mo etahi haora. Kua korero atu ahau ki a koe mo te whakapai ake i te whirihoranga, engari i tenei tau kua whakahouhia e raatau nga taputapu: neke atu i te kotahi rau gigabytes o te mahara me nga raupapa kōpae i runga i nga SSD RAIDs - kaore he take ki te whakatipu i te raarangi mo te wa roa. Ka aha tatou?

MM: - He marama. I te nuinga o te waa, ko MySQL he papaunga raraunga LTP. Te ahua nei, kua kore e pai mo te penapena i tetahi puranga inenga o to tatou rahi. Kia mohio tatou.

MCH: - Kia tatou!

Ko te whakauru o Zabbix me Clickhouse hei hua o te hackathon

Whai muri i etahi wa ka whiwhi matou i nga korero whakamere:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Ko te nuinga o nga waahi kei roto i ta maatau papaa raraunga i nohohia e te kohinga inenga me te iti iho i te 1% i whakamahia mo te whirihoranga, nga tauira me nga tautuhinga. I taua wa, kua whakahaerehia e matou te otinga raraunga nui i runga i te Clickhouse mo te neke atu i te kotahi tau. I kitea te ahunga o te neke ki a matou. I to maatau puna Hackathon, i tuhia e ahau te whakauru o Zabbix me Clickhouse mo te tūmau me te mua. I taua wa, kua whai tautoko a Zabbix mo ElasticSearch, a ka whakatau matou ki te whakataurite i a raatau.

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Whakatauritenga o Clickhouse me Elasticsearch

MM: – Hei whakatairite, i mahia e matou he kawenga rite ki ta te tūmau Zabbix e whakarato ana, ka titiro ki te ahua o nga punaha. I tuhia e matou nga raraunga i roto i nga roopu o nga raina 1000, ma te whakamahi i te CURL. I whakaaro matou i mua ka pai ake a Clickhouse mo te kotaha kawenga e mahia ana e Zabbix. Ko nga hua i nui atu i o maatau tumanako:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

I raro i nga tikanga whakamatautau ano, ka tuhia e Clickhouse nga korero e toru nga wa. I te wa ano, he tino pai te pau o nga punaha e rua (he iti noa nga rauemi) i te panui raraunga. Engari ka hiahiatia e Elastics te nui o te tukatuka i te wa e tuhi ana:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

I roto i te katoa, he tino pai ake a Clickhouse ki a Elastix i runga i nga tikanga o te kai tukatuka me te tere. I taua wa ano, na te kopeketanga o nga raraunga, 11 nga wa iti ake te whakamahi a Clickhouse i runga i te puku pakeke me te 30 nga wa iti ake te mahi o nga mahi kōpae:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

MCH: - Ae, ko te mahi a Clickhouse me te punaha iti o te kōpae he tino pai te whakatinana. Ka taea e koe te whakamahi i nga kopae SATA nui mo nga papaa raraunga me te tere tuhi i nga rau mano o nga raina ia hekona. Ko te punaha o waho o te pouaka e tautoko ana i te tohatoha, te tukurua, me te tino ngawari ki te whirihora. He nui ake ta matou makona ki tona whakamahinga puta noa i te tau.

Ki te arotau i nga rauemi, ka taea e koe te whakauru i te Clickhouse ki te taha o te papaaarangi matua o naianei, na reira ka penapena i te waa CPU me nga mahi kōpae. Kua nukuhia e matou te puranga inenga ki nga tautau Clickhouse inaianei:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

I whakamaaramatia e matou te papaunga raraunga MySQL matua ka taea e matou te whakakotahi ki runga i te miihini kotahi me te tūmau Zabbix me te whakarere i te tūmau i whakatapua mo MySQL.

Me pehea te mahi pooti i Zabbix?

4 marama i mua

MM: – Ae, ka wareware tatou ki nga raru o te turanga?

MCH: - He pono tera! Ko tetahi atu raruraru me whakaoti e matou ko te kohikohi raraunga puhoi. Inaianei kua taumaha katoa a maatau tuunga takawaenga 15 ki te SNMP me nga tikanga pooti. A kaore he huarahi engari ki te whakauru i nga kaitoro hou me te hou.

MM: - Nui. Engari tuatahi, korero mai me pehea te mahi pooti i Zabbix?

MCH: – Hei poto, e 20 nga momo inenga me nga huarahi tekau ma rua ki te whiwhi. Ka taea e Zabbix te kohi raraunga i roto i te aratau "tono-whakautu", tatari ranei mo nga raraunga hou ma te "Atanga Trapper".

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

He mea pai kia mohio kei roto i te Zabbix taketake ko tenei tikanga (Trapper) te tere.

He tūmau takawaenga mō te tohatoha uta:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Ka taea e nga Kaiwawao te mahi i nga mahi kohinga rite ki te tūmau Zabbix, ka whiwhi mahi mai i a ia me te tuku i nga inenga kua kohia ma te atanga Trapper. Koinei te huarahi e tika ana kia tohatohahia te kawenga. Ka whai hua ano nga takawaenga mo te aro turuki i nga hanganga mamao e mahi ana ma te NAT, he hongere puhoi ranei:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

MM: – He maamaa nga mea katoa me te hoahoanga. Me titiro tatou ki nga puna...

E rua nga ra i muri mai

Ko te korero mo te wikitoria o te nmap fping

MM: "Ki taku whakaaro i keri ahau i tetahi mea."

MCH: - Korero mai ki ahau!

MM: – I kitea e au i te wa e tirohia ana te waatea, ka tirohia e Zabbix te 128 nga kaihautu i te wa kotahi. I ngana ahau ki te whakanui ake i tenei nama ki te 500 me te tango i te waahi waenga-packet i roto i a raatau ping (ping) - na tenei i ruarua te mahi. Engari e hiahia ana ahau kia nui ake nga nama.

MCH: – I roto i aku mahi, i etahi wa ka tirohia e au te waatea o nga mano o nga kaihautu, a kaore au i kite i tetahi mea tere atu i te nmap mo tenei. E mohio ana ahau koinei te huarahi tere. Kia tamata tatou! Me tino whakanui ake te maha o nga kaihautu mo ia whitiwhitinga.

MM: – Tirohia neke atu i te rima rau? 600?

MCH: - I te iti rawa i te mano tokorua.

MM: - Pai. Ko te mea nui i hiahia ahau ki te kii ko te mea kua kitea e au ko te nuinga o nga pooti i Zabbix ka mahia i te wa kotahi. Me huri ki te aratau tukutahi. Na ka taea e tatou te whakanui i te maha o nga inenga ka kohia e nga kaipooti, ​​ina koa ka whakanuia e tatou te maha o nga ine mo ia whitiwhitinga.

MCH: - Rawe! A ahea?

MM: – Ka rite ki o mua, inanahi.

MCH: – I whakaritea e matou nga putanga e rua o te fping me te nmap:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

I runga i te maha o nga kaihautu, ko te whakaaro kia rima nga wa ka nui ake te whai hua o te nmap. I te mea ko te nmap anake te tirotiro i te waatea me te wa whakautu, i nekehia e matou te tataunga o nga ngaronga ki nga kaipatu me te tino whakaiti i nga waahi tirotiro i te waatea. I kitea e matou te tau tino pai o nga kaihautu mo te nmap kia tata ki te 4 mano mo ia whitiwhitinga. I whakaaetia e Nmap ki te whakaheke i te utu PTM mo nga arowhai waatea ma te toru nga wa me te whakaheke i te waahi mai i te 120 hēkona ki te 10.

Te arotautanga pooti

MM: "Na ka timata matou ki te mahi pollers. I tino hiahia matou ki te kimi SNMP me nga kaihoko. I roto i te Zabbix, ka mahia nga pooti i te wa kotahi, a kua mahia nga tikanga motuhake hei whakanui ake i te kaha o te punaha. I roto i te aratau tukutahi, ko te kore wateatanga o te kaihautu ka tino paheke nga pooti. He punaha katoa o nga kawanatanga, he mahinga motuhake - ko nga kaipooti e kiia nei ko te kore e taea te toro atu, ka mahi anake me nga kaihautu kore e taea te toro atu:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

He korero tenei e whakaatu ana i te matrix o te kawanatanga, nga uaua katoa o te punaha whakawhiti e hiahiatia ana kia whai hua tonu te punaha. I tua atu, he puhoi te pooti tukutahi ano:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Koia te take i kore ai e taea e nga mano tini o nga rerenga pooti i runga i te maha o nga takawaenga te kohi i nga raraunga e hiahiatia ana ma matou. Ko te whakatinanatanga koretake i whakatau i nga raru me te maha o nga miro, engari i tino whakangwarihia te punaha kawanatanga o nga kaihautu kore e waatea ana, na te mea mo nga nama kua tirohia i roto i te huringa pooti kotahi, ko te wa tatari morahi ko te 1 te waahi:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

I tua atu, i whakarereke me te whakapai ake i te punaha pooti mo nga tono SNMP. Ko te meka ko te nuinga o nga tangata kaore e taea te whakautu ki nga tono SNMP maha i te wa kotahi. Na reira, i hanga e matou he aratau ranu, i te wa e mahia ana te pooti SNMP o te ope kotahi:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Ka mahia tenei mo te kohinga katoa o nga kaihautu. Ko tenei aratau karekau he puhoi ake i te tino tukutahi, na te mea ko te pooti mo te kotahi me te haurua rau uara SNMP he tere ake i te 1 te waahi.

I whakaatuhia e o maatau whakamatautau ko te nuinga o nga tono i roto i te waa kotahi he 8 mano me te pooti SNMP. I te katoa, na te whakawhiti ki te aratau tukutahi ka taea e matou te tere ake i nga mahi pooti ma te 200 nga wa, e hia rau nga wa.

MCH: – Ko te hua o nga arotautanga pooti e whakaatu ana ehara i te mea ka taea e matou te whakakore noa i nga kaiwawao katoa, engari ka whakaitihia ano hoki nga waahi mo te maha o nga arowhai, a ka kore e hiahiatia nga kaitautoko hei huarahi ki te tiri i te kawenga.

Tata ki te toru marama ki muri

Hurihia te hoahoanga - whakanuia te uta!

MM: - Ae, Max, kua tae ki te wa ki te whai hua? Kei te hiahia ahau ki tetahi kaitoro kaha me tetahi miihini pai.

MCH: - Ka pai, kia whakamahere tatou. Kua tae ki te waa ki te neke mai i te waahi mate o te 5 mano mita mo ia hekona.

I te ata i muri i te whakahoutanga

MCH: - Misha, i whakahou matou i a matou ano, engari i te ata ka hoki matou ki muri ... Whakaarohia he aha te tere i taea e matou?

MM: – 20 mano teitei.

MCH: - Ae, 25! Kia aroha mai, kei te tika tatou ki te wahi i timata ai.

MM: - He aha? I whakahaerehia e koe etahi tātaritanga?

MCH: - Ae, tino! Anei, hei tauira, he tihi whakamere:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

MM: - Kia mataara tatou. Ki taku titiro kua whakamatauria e matou te maha o nga miro pooti:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Engari i te wa ano kaore e taea e raatau te hangarua i te punaha ahakoa te haurua:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

A he iti noa te mahinga katoa, tata ki te 4 mano mita mo ia hekona:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

He aha atu ano?

MCH: – Ae, te waahanga o tetahi o nga kaipooti:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

MM: – I konei ka tino kite koe kei te tatari te mahi pooti mo nga "semaphore". Ko nga raka enei:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

MCH: - Kare i marama.

MM: – Titiro, he rite tenei ki tetahi ahuatanga e ngana ana te tini miro ki te mahi me nga rauemi ka taea e te kotahi anake te mahi i te waa. Na ka taea e ratou anake te tiri i tenei rauemi i roto i te waa:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

A ko te katoa o nga mahi o te mahi me taua rauemi he iti te tere o te matua kotahi:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

E rua nga huarahi hei whakaoti i tenei raruraru.

Whakapai ake i nga taputapu o te miihini, huri ki nga matua tere ake:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Hurihia ranei te hoahoanga me te wa ano ka huri i te kawenga:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

MCH: - Ma te ara, i runga i te miihini whakamatautau ka whakamahia e matou he iti ake nga waahanga i runga i te pakanga kotahi, engari he 1,5 nga wa tere ake i te auau mo ia matua!

MM: - Maama? Me titiro koe ki te waehere tūmau.

Ara raraunga i roto i te tūmau Zabbix

MCH: – Kia mohio ai, ka tiimata taatau ki te tarai me pehea te whakawhiti raraunga ki roto i te tūmau Zabbix:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

He pikitia pai, tika? Me haere tatou i roto i te taahiraa i te taahiraa kia marama ake, iti ake ranei. He miro me nga ratonga te kawenga mo te kohi raraunga:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Ka tukuna e ratou nga inenga kua kohia ma te turanga ki te kaiwhakahaere Preprocessor, ka tiakina ki roto i te rarangi:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Ka tukuna e te "kaiwhakahaere mua" nga raraunga ki ana kaimahi, e whakahaere ana i nga tohutohu tukatuka o mua ka whakahoki mai i roto i te turanga kotahi:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

I muri i tenei, ka penapenahia e te kaiwhakahaere o mua i roto i te keteroki hitori:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Mai i reira ka haria e nga kaikorero hitori, he maha nga mahi: hei tauira, te tarai i nga keu, te whakakii i te keteroki uara me te mea nui, te penapena inenga i roto i te rokiroki hitori. I te nuinga o te waa, he uaua te tukanga, he tino raruraru.

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

MM: – Ko te mea tuatahi i kite matou ko te nuinga o nga miro e whakataetae ana mo te "keteroki whirihoranga" e kiia nei (ko te waahi mahara kei te rongoa nga whirihoranga tūmau katoa). Ko nga miro hei kohi raraunga he maha nga aukati:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

...i te mea ko nga toa whirihoranga ehara i te ine anake me o raatau tawhā, engari ano hoki nga rarangi e tango ai nga kaipooti korero mo nga mahi ka whai ake. Ina he maha nga kaipooti me tetahi ka aukati i te whirihoranga, ka tatari etahi mo nga tono:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Kaua nga kaipooti e taupatupatu

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

No reira, ko te mea tuatahi i mahia e matou ko te wehewehe i te rarangi kia 4 nga wahanga ka tuku i nga kaipooti ki te aukati i enei rarangi, enei waahanga i te wa kotahi, i raro i nga tikanga haumaru:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

I tangohia tenei whakataetae mo te keteroki whirihoranga, a ka tino piki te tere o nga kaipooti. Engari ka tutaki matou i te meka i timata te kaiwhakahaere o mua ki te whakaemi i nga rarangi mahi:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Me taea e te kaiwhakahaere o mua te tukatuka ki te whakatakoto kaupapa matua

I puta tenei i nga keehi kaore ia i te mahi. Ko nga mea katoa i taea e ia ko te kohi tono mai i nga tukanga kohinga raraunga me te taapiri i o raatau papaa tae noa ki te pau katoa o te mahara ka hinga:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Hei whakaoti i tenei raru, ka taapirihia e matou he turanga tuarua i whakatapua ki nga kaimahi:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

No reira, i whai waahi te kaiwhakahaere o mua ki te whakarite i ana mahi, a, ki te tipu te kaitapa, ko te mahi ko te whakaroa i te tangohanga, ka whai waahi nga kaimahi ki te tango i tenei parepare:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Katahi ka kitea e matou ko tetahi o nga take o te puhoitanga ko nga kaimahi ake, i te mea e whakataetae ana ratou mo tetahi rauemi kore rawa mo a raatau mahi. I tuhia e matou tenei raru hei whakatika i nga pepeha, a kua whakatauhia i roto i nga waahanga hou o Zabbix:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Ka piki ake te maha o nga turanga - ka whiwhi tatou i te hua

I tua atu, ko te kaiwhakahaere o mua i te tukapapa i noho hei kohungahunga, na te mea he miro kotahi. I okioki i runga i te tere matua, e hoatu ana te tere morahi tata ki te 70 mano mita mo ia hekona:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Na reira, i hanga e matou e wha, me nga huinga turanga e wha, nga kaimahi:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Na tenei ka taea e maatau te whakanui ake i te tere ki te tata ki te 130 mano mita:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Ko te kore-raina o te tipu ka whakamaramahia e te mea kua puta mai te whakataetae mo te keteroki hitori. E 4 nga kaiwhakahaere o mua i te tukatuka me nga kaipatu hitori i whakataetae mo taua mea. I tenei wa, tata ki te 130 mano nga mita mo ia hekona i runga i te miihini whakamatautau, ma te whakamahi i te 95% o te tukatuka:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Tata ki te 2,5 marama ki muri

Ko te whakakore mai i te snmp-hapori i piki ake nga NVP ma te kotahi me te hawhe wa

MM: – Max, Kei te hiahia au i tetahi motuka whakamatautau hou! Kua kore matou e uru ki roto i te waa o naianei.

MCH: - He aha kei a koe inaianei?

MM: – Inaianei – 130k NVPs me te tukatuka kua reri-papa.

MCH: - Aue! Matahau! Taihoa, e rua aku patai. E ai ki aku tatauranga, tata ki te 15-20 mano mita mo ia hekona to matou hiahia. He aha tatou e hiahia nui atu ai?

MM: "Kei te hiahia ahau ki te whakaoti i te mahi." Kei te pirangi ahau ki te kite i te nui o ta tatou e pehia mai i tenei punaha.

MCH: - Engari…

MM: "Engari he horihori mo te pakihi."

MCH: - He marama. A ko te patai tuarua: ka taea e tatou te tautoko i nga mea kei a tatou inaianei, kaore he awhina a te kaiwhakawhanake?

MM: - Kaore ahau e whakaaro. Ko te whakarereke i te mahi o te keteroki whirihoranga he raru. Ka pa ki nga huringa i roto i te nuinga o nga miro me te tino uaua ki te pupuri. Te nuinga pea, ka tino uaua ki te pupuri.

MCH: "Katahi ka hiahia taatau ki etahi momo rereke."

MM: - He kōwhiringa pera. Ka taea e tatou te huri ki nga matua tere, me te whakarere i te punaha maukati hou. Ka whiwhi tonu tatou i te mahinga o te 60-80 mano mita. I te wa ano, ka taea e tatou te waiho i te toenga o te waehere. Ka mahi te Clickhouse me te pooti tukutahi. A ka ngawari te tiaki.

MCH: - Mīharo! Ko taku whakaaro kia mutu i konei.

Whai muri i te arotau i te taha tūmau, i te mutunga ka taea e matou te whakarewa i te waehere hou ki te hanga. I whakarerea e matou etahi o nga huringa e pai ana ki te huri ki te miihini tere tere me te whakaiti i te maha o nga huringa waehere. Kua whakangwarihia ano e matou te whirihoranga me te whakakore i nga tonotono i roto i nga taonga raraunga ka taea, i a raatau e whakauru ana i etahi atu maukati.

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Hei tauira, ko te whakarere i te tonotono snmp-hapori, ka kitea i roto i nga tuhinga me nga tauira, i roto i ta maatau keehi ka taea te tere ake i nga NVP mo te 1,5 wa.

I muri i nga ra e rua i roto i te hanga

Te tango i nga pahū-ake hītori maiki

MCH: - Misha, e rua nga ra e whakamahi ana matou i te punaha, a ka mahi nga mea katoa. Engari ka mahi nga mea katoa! I whakamaherehia e matou te mahi me te whakawhiti i tetahi waahanga nui o te whatunga, a ka tirotirohia e matou o matou ringa nga mea i piki ake me nga mea kaore.

MM: - Kaore e taea! I tirotirohia e matou nga mea katoa 10 nga wa. Ka taea e te tūmau te whakaoti i te korenga o te whatunga i te wa tonu.

MCH: - Ae, kei te mohio ahau ki nga mea katoa: te tūmau, te papaa raraunga, te tihi, te austat, te rakau - he tere nga mea katoa ... Engari ka titiro tatou ki te atanga tukutuku, kei reira he tukatuka "i roto i te papa" i runga i te tūmau me tenei:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

MM: - He marama. Kia mataara tatou i te ipurangi. I kitea e matou i roto i tetahi ahuatanga he maha nga aitua kaha, ka timata te nuinga o nga widget ora ki te mahi tino puhoi:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Ko te take o tenei ko te reanga o nga pahū-ake hitori maiki ka hangaia mo ia mea kei te rarangi. Na reira, i whakarerea e matou te whakatipuranga o enei matapihi (i korero i nga rarangi e 5 i roto i te waehere), a na tenei i whakaoti o matou raruraru.

Ko te wa uta mo nga widget, ahakoa kaore i te waatea, kua whakahekehia mai i etahi meneti ki te 10-15 hēkona e manakohia ana mo tatou, a ka taea tonu te tiro i te hitori ma te paatene i te waa:

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

I muri i te mahi. 2 marama ki muri

MCH: - Misha, kei te haere koe? Me korero tatou.

MM: - Kaore au i whakaaro. He mea ano ki a Zabbix?

MCH: - Kao, whakataa! I hiahia noa ahau ki te kii: ka pai nga mea katoa, ka mihi! He pia taku.

He whai hua a Zabbix

Ko te Zabbix he punaha me nga mahi tino ao me te whai taonga. Ka taea te whakamahi mo nga whakaurunga iti i waho o te pouaka, engari ka tipu haere nga hiahia, me arotau. Hei rokiroki i tetahi putunga nui o nga inenga, whakamahia he rokiroki tika:

  • ka taea e koe te whakamahi i nga taputapu hanga-i roto i te ahua o te whakauru ki a Elasticsearch, te tuku ranei i nga hitori ki nga konae tuhinga (e waatea ana mai i te putanga XNUMX);
  • Ka taea e koe te whakamahi i to maatau wheako me te whakauru ki a Clickhouse.

Hei whakanui ake i te tere o te kohi inenga, kohia ma te whakamahi i nga tikanga tukutahi me te tuku ma te atanga mahanga ki te tūmau Zabbix; ka taea ranei e koe te whakamahi i te papaki kia kore te tukutahi a Zabbix pollers.

Kua tuhia a Zabbix ki C a he tino pai. Ko te whakaoti i nga momo pounamu hangahanga ka taea e koe te whakanui ake i ana mahi, a, i roto i o maatau wheako, neke atu i te 100 mano nga inenga i runga i te miihini tukatuka kotahi.

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Ko te papaki Zabbix ano

MM: – E hiahia ana ahau ki te taapiri i etahi tohu e rua. Ko te ripoata katoa o naianei, nga whakamatautau katoa, nga nama ka tukuna mo te whirihoranga e whakamahia ana e matou. Inaianei kei te tango tatou i te 20 mano mita mo ia hekona. Mena kei te ngana koe ki te mohio mena ka pai tenei ki a koe, ka taea e koe te whakataurite. Ko nga mea i korerohia i tenei ra ka tukuna ki runga GitHub i te ahua o te papaki: github.com/miklert/zabbix

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

Kei roto i te papanga:

  • te whakauru katoa ki a Clickhouse (te tūmau Zabbix me te waahi o mua);
  • te whakaoti rapanga me te kaiwhakahaere o mua tukatuka;
  • pōti tukutahi.

He hototahi te papaki ki te putanga 4 katoa, tae atu ki te lts. Ko te nuinga, me nga huringa iti ka mahi i runga i te putanga 3.4.

Mauruuru koe mo tou whakarongo.

Au uiui

Patai a te hunga whakarongo (i muri nei – A): – Kia ora! Tena koa korero mai ki a au, kei a koe he mahere mo te taunekeneke kaha ki te roopu Zabbix, ki a raatau ranei ki a koe, na ehara tenei i te papaki, engari ko te whanonga noa a Zabbix?

MM: – Ae, ka mahia e matou etahi o nga huringa. Ka tupu tetahi mea, ka noho tonu tetahi mea ki te papaki.

A: – Ka nui te mihi ki a koe mo te purongo pai! Tena koa korero mai ki ahau, i muri i te tono i te papaki, ka noho tonu te tautoko a Zabbix me pehea te whakahou tonu ki nga putanga teitei ake? Ka taea te whakahou i a Zabbix i muri i to papaki ki te 4.2, 5.0?

MM: - Kaore e taea e au te korero mo te tautoko. Mena ko ahau te tautoko hangarau a Zabbix, ka kii pea au kaore, no te mea he tohu tenei na tetahi atu. Mo te 4.2 codebase, ko ta matou tuunga ko: "Ka neke matou me te wa, ka whakahou ake matou i a matou ano mo te waahanga e whai ake nei." Na reira, mo etahi wa ka tukuna e matou he papaki mo nga putanga whakahou. Kua korero ahau i roto i te ripoata: he iti tonu te maha o nga huringa me nga putanga. Ki taku whakaaro ko te whakawhiti mai i te 3.4 ki te 4 i mau i a matou mo nga meneti 15. I rereke tetahi mea i reira, engari ehara i te mea tino nui.

A: - Na kei te whakamahere koe ki te tautoko i to papaki ka taea e koe te whakauru marie ki te whakaputa me te whiwhi whakahōutanga i etahi wa kei te heke mai?

MM: – Ka tino tūtohu matou. Ma tenei ka whakatau i nga raru maha mo tatou.

MCH: – Ano ano, e hiahia ana ahau ki te aro ki te meka ko nga huringa karekau e pa ana ki te hoahoanga me te kore e pa ki te aukati, ki te tutira ranei, he rerekee, kei roto i nga waahanga motuhake. Ahakoa nga huringa iti ka taea e koe te pupuri ngawari.

MM: - Mena kei te pirangi koe ki nga korero, ka whakamahia e "Clickhouse" te whare pukapuka hitori e kiia nei. Kua wetekina - he kape o te tautoko Elastics, ara, ka taea te whirihora. Ka huri noa te pooti i nga kaipooti. E whakapono ana matou ka mahi tenei mo te wa roa.

A: - Nga mihi nui. Korero mai ki ahau, he tuhinga mo nga huringa i mahia?

HighLoad++, Mikhail Makurov, Maxim Chernetsov (Intersvyaz): Zabbix, 100kNVPS i runga i te tūmau kotahi

MM: – He papaki te tuhinga. Ma te mohio, me te whakaurunga o Clickhouse, me te whakaurunga o nga momo kaipooti hou, ka ara ake nga whiringa whirihoranga hou. Ko te hononga mai i te kiriata whakamutunga he korero poto mo te whakamahi.

Mo te whakakapi i te fping ki te nmap

A: – I pehea koe i te mutunga o te whakatinana i tenei? Ka taea e koe te whakaatu tauira motuhake: kei a koe nga whitiki me te tuhinga o waho? He aha te mutunga ka tere te tirotiro i te tini o nga kaihautu? Me pehea koe maina i enei kaihautu? Me whangai tatou ki te nmap i tetahi huarahi, tikina mai i tetahi waahi, tuu ki roto, whakahaere i tetahi mea?..

MM: - Matahau. He patai tino tika! Ko te take ko tenei. I whakarereketia e matou te whare pukapuka (ICMP ping, he waahanga o Zabbix) mo nga arowhai ICMP, e tohu ana i te maha o nga paatete - kotahi (1), ka ngana te waehere ki te whakamahi i te nmap. Arā, koinei te mahi o roto o Zabbix, kua noho hei mahi o roto o te pinger. No reira, karekau he tukutahi me te whakamahi i te mahanga. I mahia marietia kia noho tonu te punaha me te kore e pa ki te tukutahitanga o nga punaha papaaarangi e rua: he aha te tirotiro, te tuku ma te kaipooti, ​​ka pakaru to maatau tuku?.. He maamaa ake tenei.

A: – E mahi ana mo nga takawaenga?

MM: - Ae, engari kaore matou i tirotiro. He rite tonu te waehere pooti i roto i te Zabbix me te tūmau. Me mahi. Me whakanui ano ahau: ko te mahinga o te punaha kaore e hiahiatia he takawaenga.

MCH: – Ko te whakautu tika ki te patai ko: "He aha koe e hiahia ai ki te takawaenga me tenei punaha?" Na te NAT anake, ma te tirotiro ranei ma etahi momo hongere puhoi...

A: – A ka whakamahia e koe a Zabbix hei kaiwhakataki, mena ka tika taku mohio. Kua nukuhia ranei o whakairoiro (kei hea te paparanga purongo) ki tetahi atu punaha, penei i a Grafana? Kaore ranei koe e whakamahi ana i tenei mahi?

MM: – Ka whakanui ano ahau: kua tutuki i a maatau te whakakotahitanga. Kei te ringihia e matou nga hitori ki Clickhouse, engari i te wa ano kua hurihia e matou te php frontend. Ko te pitomua Php ka haere ki Clickhouse me te mahi i nga whakairoiro katoa mai i reira. I te wa ano, kia pono, kei a matou tetahi waahanga e hanga ana i nga raraunga ki etahi atu punaha whakaatu whakairoiro mai i te Clickhouse kotahi, mai i nga raraunga Zabbix ano.

MCH: – I roto i te "Grafan" hoki.

I pehea te whakatau mo te tohatoha rauemi?

A: – Tuhia he iti o to kihini o roto. I pehea te whakatau e tika ana ki te tohatoha rauemi mo te tukatuka nui o te hua? Ko enei, i te nuinga o te waa, etahi raru. Tena koa korero mai ki a au, i roto i te ahuatanga o te meka ka tautoko koe i nga putanga hou: me pehea e tika ai tenei whakatau mai i te tirohanga whakahaere?

MM: - Ko te ahua, kaore i tino pai te korero i te whakaari o te hitori. I kitea e matou i roto i tetahi ahuatanga me mahi, a ka haere matou me nga roopu whakarara e rua:

  • Ko tetahi i whakarewa i te punaha aroturuki ma te whakamahi i nga tikanga hou: te aroturuki hei ratonga, he huinga paerewa o nga otinga puna tuwhera ka whakakotahihia e matou ka ngana ki te whakarereke i te tukanga pakihi kia pai ai te mahi me te punaha aroturuki hou.
  • I taua wa ano, he kaikorero hikaka ta matou e mahi ana i tenei (mo ia ano). Koia ano ka toa ia.

A: – He aha te rahi o te kapa?

MCH: - Kei mua ia i a koe.

A: – Na, i nga wa katoa, e hiahia ana koe i te ngakau nui?

MM: – Kare au e mohio he aha te kaingākau.

A: - I roto i tenei take, te ahua, ko koe. Ka nui te mihi, he rawe koe.

MM: - Mauruuru koe.

Mo nga papanga mo Zabbix

A: – Mo tetahi punaha e whakamahi ana i nga takawaenga (hei tauira, i etahi punaha tohatoha), ka taea te urutau me te papaki, penei i nga kaipooti, ​​i nga kaiwawao me tetahi waahanga o te kaiwhakatikatika o Zabbix ake; me o raatau taunekeneke? Ka taea te arotau i nga whanaketanga o naianei mo te punaha me nga takawaenga maha?

MM: – E mohio ana ahau kei te huihui te tūmau Zabbix ma te whakamahi i te takawaenga (kua whakahiatohia te waehere ka whiwhi). Kaore ano matou i whakamatau i tenei i roto i te hanga. Kaore au i te tino mohio mo tenei, engari ki taku whakaaro kaore i whakamahia te kaiwhakahaere o mua i roto i te takawaenga. Ko te mahi a te takawaenga ko te tango i te huinga inenga mai i a Zabbix, ka hanumi (kei te tuhi ano hoki i te whirihoranga, te papaaarangi o te rohe) ka whakahokia ki te tūmau Zabbix. Ka mahia e te kaimau tonu te tukatuka i te wa e whiwhi ai ia.

Ka marama te hiahia ki nga takawaenga. Ka tirohia e matou. He kaupapa whakamere tenei.

A: – Ko te whakaaro ko tenei: mena ka taea e koe te papaki i nga kaipooti, ​​ka taea e koe te papaki i runga i te takawaenga me te papaki i te taunekeneke ki te tūmau, me te urutau i te kaitukatuka mo enei kaupapa anake i runga i te tūmau.

MM: – Ki taku whakaaro he maamaa ake. Ka tango koe i te waehere, ka tono i te papaki, ka whirihorahia kia rite ki taau e hiahia ana - kohia nga tūmau takawaenga (hei tauira, me te ODBC) ka tohatoha i te waehere papaki ki nga punaha. I nga waahi e tika ana - kohia he takawaenga, ina tika - he tūmau.

A: - Ko te mea pea, kaore koe e tarai i te tuku takawaenga ki te tūmau hei taapiri?

MCH: - Kao, he paerewa.

MM: – Inaa, kaore tetahi o nga whakaaro i tangi. I mau tonu matou i te taurite i waenga i te pahūtanga o nga whakaaro me te nui o nga huringa me te ngawari o te tautoko.

Ko etahi panui 🙂

Mauruuru koe mo te noho ki a matou. He pai ki a koe a maatau tuhinga? Kei te hiahia koe ki te kite i etahi atu mea whakamere? Tautokohia matou ma te tuku ota me te tuku korero ki o hoa, kapua VPS mo nga kaihanga mai i te $4.99, he tairitenga ahurei o nga kaitoro taumata-urunga, na matou i hanga mo koe: Ko te pono katoa mo VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps mai i te $19 me pehea ranei te tiri i tetahi tūmau? (e waatea ana me te RAID1 me te RAID10, tae atu ki te 24 matua me te 40GB DDR4).

Dell R730xd 2x iti ake i te pokapū raraunga Equinix Tier IV i Amsterdam? Anei i konei 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV mai i te $199 i roto i te Netherlands! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - mai i te $99! Pānuihia mo Me pehea te hanga hanganga corp. akomanga ki te whakamahi o Dell R730xd E5-2650 v4 tūmau utu 9000 euros mo te pene?

Source: will.com

Tāpiri i te kōrero