E mālama ʻia ka hālāwai HighLoad++ aʻe ma ʻApelila 6 a me 7, 2020 ma St. Petersburg Nā kikoʻī a me nā tiketi. . HighLoad++ Moscow 2018. Hale "Moscow". Nowemapa 9, 15:00. Theses and .
* Mākaʻikaʻi - ma ka pūnaewele a me ka ʻikepili.
* Nā palena kumu o ka kahua ZABBIX.
* Hoʻonā no ka hoʻopaʻa ʻana i ka ʻikepili.
* Ka hoʻonui ʻana i ka server ZABBIX.
* ʻO ka loiloi UI.
* E ʻike i ka hana ʻana i ka ʻōnaehana ma lalo o nā ukana ʻoi aku ma mua o 40k NVPS.
* Nā hopena pōkole.
Mikhail Makurov (ma hope aku - MM): - Aloha kākou!
Maxim Chernetsov (ma hope aku - MCH): - Aloha awakea, Aloha Auinalā!
MM: - E hoʻolauna wau iā Maxim. He loea akamai ʻo Max, ʻo ia ka ʻoihana pūnaewele maikaʻi loa aʻu i ʻike ai. Hoʻokomo ʻo Maxim i nā pūnaewele a me nā lawelawe, kā lākou hoʻomohala a me ka hana.
MCH: - A makemake wau e haʻi iā ʻoe e pili ana iā Mikhail. ʻO Mikhail kahi mea hoʻomohala C. Ua kākau ʻo ia i kekahi mau mea hoʻoponopono kaʻa kaʻa nui no kā mākou hui. Noho mākou a hana ma nā Urals, ma ke kūlanakauhale o nā kānaka paʻakikī Chelyabinsk, ma ka hui Intersvyaz. ʻO kā mākou hui he mea hoʻolako i nā lawelawe kelepona pūnaewele a me ke kelepona no hoʻokahi miliona mau kānaka ma 16 mau kūlanakauhale.
MM: - A he mea pono ke ʻōlelo ʻoi aku ʻo Intersvyaz ma mua o kahi mea hoʻolako, he hui IT. Hana ʻia ka hapa nui o kā mākou hoʻonā e kā mākou ʻoihana IT.
A: mai nā kikowaena e hoʻoponopono i nā kaʻa i kahi kikowaena kelepona a me ka noi kelepona. Aia ka ʻoihana IT i kēia manawa ma kahi o 80 poʻe me nā mākau like ʻole loa.
E pili ana iā Zabbix a me kāna hoʻolālā
MCH: - A i kēia manawa e hoʻāʻo wau e hoʻonohonoho i kahi moʻolelo pilikino a haʻi i loko o hoʻokahi minuke he aha ʻo Zabbix (i kapa ʻia ʻo "Zabbix").
Hoʻonoho ʻo Zabbix iā ia iho ma ke ʻano he ʻōnaehana nānā ʻana i waho o ka pahu. He nui nā hiʻohiʻona e maʻalahi ai ke ola: nā lula escalation kiʻekiʻe, API no ka hoʻohui ʻana, ka hui ʻana a me ka ʻike ʻana i nā pūʻali a me nā ana. Loaʻa iā Zabbix nā mea hana scaling - proxies. ʻO Zabbix kahi ʻōnaehana open source.
ʻO ka pōkole e pili ana i ka hoʻolālā. Hiki iā mākou ke ʻōlelo he ʻekolu mau ʻāpana:
- Server. Kākau ʻia ma C. Me ka hana paʻakikī a me ka hoʻoili ʻana o ka ʻike ma waena o nā pae. Hana ʻia nā hana āpau i loko: mai ka loaʻa ʻana i ka mālama ʻana i ka waihona.
- Mālama ʻia nā ʻikepili a pau i ka waihona. Kākoʻo ʻo Zabbix i MySQL, PostreSQL a me Oracle.
- Ua kākau ʻia ke kikowaena pūnaewele ma PHP. Ma ka hapa nui o nā ʻōnaehana hele mai me kahi kikowaena Apache, akā ʻoi aku ka maikaʻi o ka hana me ka nginx + php.
I kēia lā makemake mākou e haʻi i hoʻokahi moʻolelo mai ke ola o kā mākou hui e pili ana iā Zabbix...
He moʻolelo mai ke ola o ka hui Intersvyaz. He aha kā mākou a he aha kā mākou e pono ai?
5 a 6 mahina aku nei. I kekahi lā ma hope o ka hana ...
MCH: - Misha, aloha! Hauʻoli wau i ka hopu ʻana iā ʻoe - aia kahi kamaʻilio. Ua pilikia hou mākou i ka nānā ʻana. I ka wā o kahi pōpilikia nui, ua lohi nā mea a pau a ʻaʻohe ʻike e pili ana i ke kūlana o ka pūnaewele. ʻO ka mea pōʻino, ʻaʻole kēia ka manawa mua i hana ʻia kēia. Makemake au i kāu kōkua. E hana mākou i kā mākou nānā ʻana ma lalo o nā kūlana!
MM: - Akā, e hoʻonohonoho mua kāua. ʻAʻole au i nānā i laila i kekahi mau makahiki. I koʻu hoʻomanaʻo ʻana, haʻalele mākou iā Nagios a hoʻololi iā Zabbix ma kahi o 8 mau makahiki i hala. A i kēia manawa, loaʻa iā mākou he 6 mau kikowaena ikaika a ma kahi o hoʻokahi haneli proxies. Ke huikau nei au i kekahi mea?
MCH: - Kokoke. 15 mau kikowaena, kekahi o ia mau mīkini virtual. ʻO ka mea nui, ʻaʻole ia e hoʻopakele iā mākou i ka manawa e pono ai mākou. E like me kahi ulia - lohi nā kikowaena a ʻaʻole hiki iā ʻoe ke ʻike i kekahi mea. Ua ho'āʻo mākou e hoʻonui i ka hoʻonohonoho, akā ʻaʻole kēia i hāʻawi i ka hoʻonui maikaʻi loa.
MM: - Ua maopopo. Ua nānā ʻoe i kekahi mea, ua ʻeli ʻoe i kahi mea mai ka diagnostics?
MCH: - ʻO ka mea mua āu e hana ai ʻo ia ka waihona. Hoʻouka mau ʻia ʻo MySQL, e mālama ana i nā metric hou, a i ka wā e hoʻomaka ai ʻo Zabbix e hana i kahi pūʻulu o nā hanana, hele ka waihona i ka overdrive no kekahi mau hola. Ua haʻi mua wau iā ʻoe e pili ana i ka hoʻonui ʻana i ka hoʻonohonoho, akā ʻoiaʻiʻo i kēia makahiki ua hōʻano hou lākou i ka ʻenehana: ʻoi aku ka nui o nā kikowaena ma mua o hoʻokahi haneli gigabytes o ka hoʻomanaʻo a me nā disk arrays ma SSD RAIDs - ʻaʻohe kumu o ka ulu ʻana i ka laina laina i ka wā lōʻihi. He aha kā mākou e hana ai?
MM: - Ua maopopo. Ma ka laulā, ʻo MySQL kahi waihona LTP. ʻIke ʻia, ʻaʻole kūpono ia no ka mālama ʻana i kahi waihona o nā metric o kā mākou nui. E noʻonoʻo kākou.
MCH: - E kakou!
Hoʻohui o Zabbix a me Clickhouse ma muli o ka hackathon
Ma hope o kekahi manawa ua loaʻa iā mākou ka ʻikepili hoihoi:
ʻO ka hapa nui o ka nui o kā mākou waihona i noho ʻia e ka waihona metric a emi iho ma mua o 1% i hoʻohana ʻia no ka hoʻonohonoho ʻana, nā mamana a me nā hoʻonohonoho. I kēlā manawa, ua hana mākou i ka hoʻonā ʻikepili Big e pili ana i Clickhouse no hoʻokahi makahiki. Ua maopopo iā mākou ke kuhikuhi o ka neʻe ʻana. Ma kā mākou pūnāwai Hackathon, ua kākau wau i ka hoʻohui ʻana o Zabbix me Clickhouse no ke kikowaena a me ka frontend. I kēlā manawa, ua loaʻa iā Zabbix ke kākoʻo no ElasticSearch, a ua hoʻoholo mākou e hoʻohālikelike iā lākou.
Hoʻohālikelike o Clickhouse a me Elasticsearch
MM: - No ka hoʻohālikelike, hana mākou i ka ukana like e like me ka hāʻawi ʻana o ka server Zabbix a nānā i ke ʻano o nā ʻōnaehana. Ua kākau mākou i ka ʻikepili ma nā pūʻulu o 1000 laina, me ka hoʻohana ʻana iā CURL. Ua manaʻo mākou ma mua e ʻoi aku ka maikaʻi o Clickhouse no ka ʻaoʻao hoʻoili a Zabbix e hana ai. Ua ʻoi aku ka hopena ma mua o ko mākou mau manaʻo:
Ma lalo o nā kūlana hoʻokolohua like, ua kākau ʻo Clickhouse i ʻekolu mau manawa hou aʻe. I ka manawa like, ua hoʻopau maikaʻi nā ʻōnaehana ʻelua (kahi liʻiliʻi o nā kumuwaiwai) i ka heluhelu ʻana i ka ʻikepili. Akā makemake ʻo Elastics i ka nui o ka mea hana i ka wā e hoʻopaʻa ai:
I ka huina, ua ʻoi aku ka maikaʻi o Clickhouse ma mua o Elastix ma ke ʻano o ka hoʻohana ʻana a me ka wikiwiki. Ma ka manawa like, ma muli o ka hoʻopili ʻana i ka ʻikepili, hoʻohana ʻo Clickhouse i 11 mau manawa liʻiliʻi ma ka hard drive a hana ma kahi o 30 mau manawa liʻiliʻi i nā hana disk:
MCH: - ʻAe, ua hoʻokō maikaʻi ʻia ka hana a Clickhouse me ka subsystem disk. Hiki iā ʻoe ke hoʻohana i nā disks SATA nui no ka ʻikepili a loaʻa ka wikiwiki o ke kākau ʻana i nā haneli haneli mau laina i kēlā me kēia kekona. Kākoʻo ka ʻōnaehana waho o ka pahu i ka sharding, replication, a maʻalahi loa e hoʻonohonoho. Ua hauʻoli mākou i ka hoʻohana ʻana a puni ka makahiki.
No ka hoʻonui ʻana i nā kumuwaiwai, hiki iā ʻoe ke hoʻokomo iā Clickhouse ma hope o kāu waihona waihona nui a laila e mālama i ka nui o ka manawa CPU a me nā hana disk. Ua hoʻoneʻe mākou i ka waihona o nā ana i nā pūʻulu Clickhouse i loaʻa:
Ua hoʻomaha mākou i ka waihona MySQL nui i hiki iā mākou ke hoʻohui iā ia ma ka mīkini hoʻokahi me ka server Zabbix a haʻalele i ka kikowaena hoʻolaʻa no MySQL.
Pehea e hana ai ke koho balota ma Zabbix?
4 mau mahina i hala
MM: - ʻAe, hiki iā mākou ke poina i nā pilikia me ke kumu?
MCH: - ʻOiaʻiʻo! ʻO kekahi pilikia e pono ai mākou e hoʻoponopono, ʻo ka hōʻiliʻili ʻikepili lohi. I kēia manawa ua piha kā mākou mau kikowaena proxy 15 me SNMP a me nā kaʻina koho balota. A ʻaʻohe ala ʻē aʻe e hoʻokomo i nā kikowaena hou a hou.
MM: - Nui. Akā ʻo ka mea mua, e haʻi mai iā mākou pehea e hana ai ke koho balota ma Zabbix?
MCH: - I ka pōkole, aia he 20 mau ʻano metric a he ʻumi mau ala e loaʻa ai. Hiki iā Zabbix ke hōʻiliʻili i ka ʻikepili ma ke ʻano "noi-pane", a i ʻole e kali i ka ʻikepili hou ma o ka "Trapper Interface".
He mea pono e hoʻomaopopo i ka Zabbix kumu kēia ʻano (Trapper) ka wikiwiki loa.
Aia nā kikowaena proxy no ka hoʻoili ukana:
Hiki i nā Proxes ke hana i nā hana hōʻiliʻili like e like me ka server Zabbix, e loaʻa ana nā hana mai ia mea a hoʻouna i nā metric i hōʻiliʻili ʻia ma o ka interface Trapper. ʻO kēia ke ala i ʻōlelo ʻia e kahele ʻana i ka ukana. Pono nō hoʻi nā proxies no ka nānā ʻana i nā ʻōnaehana mamao e hana ana ma o NAT a i ʻole kahi ala lohi:
MM: - Ua maopopo nā mea a pau me ka hoʻolālā. Pono mākou e nānā i nā kumu ...
He mau lā ma hope
ʻO ka moʻolelo o ka lanakila ʻana o nmap fping
MM: "Manaʻo wau ua ʻeli wau i kekahi mea."
MCH: - Haʻi mai iʻau!
MM: - Ua ʻike au i ka nānā ʻana i ka loaʻa, nānā ʻo Zabbix i ka nui o 128 mau pūʻali i ka manawa. Ua ho'āʻo wau e hoʻonui i kēia helu i 500 a wehe i ka inter-packet interval i kā lākou ping (ping) - ua pālua kēia i ka hana. Akā makemake au i nā helu nui.
MCH: - I kaʻu hana, pono wau i kekahi manawa e nānā i ka loaʻa ʻana o nā tausani o nā pūʻali, a ʻaʻole wau i ʻike i kekahi mea wikiwiki aʻe ma mua o ka nmap no kēia. ʻIke wau ʻo kēia ke ala wikiwiki loa. E hoao kakou! Pono mākou e hoʻonui nui i ka helu o nā pūʻali i kēlā me kēia ʻike.
MM: – E nānā ma mua o ʻelima haneli? 600?
MCH: - Ma kahi o ʻelua tausani.
MM: - OK. ʻO ka mea nui aʻu i makemake ai e ʻōlelo ʻo ia ua ʻike wau ua hana ʻia ka hapa nui o nā koho balota ma Zabbix. Pono mākou e hoʻololi iā ia i ke ʻano asynchronous. A laila hiki iā mākou ke hoʻonui nui i ka helu o nā metric i hōʻiliʻili ʻia e nā pollers, ʻoi aku ka nui inā mākou e hoʻonui i ka helu o nā metric i kēlā me kēia ʻike.
MCH: - Nui! A i ka manawa hea?
MM: – E like me ka mea mau, i nehinei.
MCH: - Ua hoʻohālikelike mākou i nā mana ʻelua o fping a me nmap:
Ma ka heluna nui o nā pūʻali, ua manaʻo ʻia ʻo nmap e piʻi i ʻelima mau manawa ʻoi aku ka maikaʻi. No ka nānā wale ʻana o nmap i ka loaʻa ʻana a me ka manawa pane, ua hoʻoneʻe mākou i ka helu ʻana o nā poho i nā mea hoʻoulu a hoʻemi nui i nā manawa nānā loaʻa. Ua loaʻa iā mākou ka helu maikaʻi loa o nā pūʻali no ka nmap ma kahi o 4 tausani i kēlā me kēia ʻike. Ua ʻae ʻo Nmap iā mākou e hōʻemi i ke kumukūʻai CPU o nā loiloi loaʻa i ʻekolu manawa a hoʻemi i ka manawa mai 120 kekona a i 10.
Ke koho koho
MM: "A laila hoʻomaka mākou e hana i nā pollers. Ua hoihoi nui mākou i ka ʻike SNMP a me nā ʻelele. Ma Zabbix, hana ʻia nā koho balota a ua lawe ʻia nā hana kūikawā e hoʻonui i ka pono o ka ʻōnaehana. Ma ke ʻano synchronous, hiki i ka loaʻa ʻole o ka mea hoʻokipa ke hoʻohaʻahaʻa i ke koho balota. Aia kahi ʻōnaehana holoʻokoʻa o nā mokuʻāina, aia nā kaʻina hana kūikawā - nā mea i kapa ʻia ʻo unreachable pollers, e hana wale ana me nā pūʻali hiki ʻole.
He ʻōlelo ʻōlelo kēia e hōʻike ana i ka matrix mokuʻāina, nā paʻakikī āpau o ka ʻōnaehana o nā hoʻololi e koi ʻia i mea e hoʻomau ai ka ʻōnaehana. Eia kekahi, ua lohi loa ke koho balota ʻana iho:
ʻO ia ke kumu i hiki ʻole ai i nā kaukani poller streams ma nā kakini o nā proxies ke hōʻiliʻili i ka nui o ka ʻikepili i koi ʻia no mākou. ʻAʻole i hoʻoponopono wale ka hoʻokō asynchronous i nā pilikia me ka helu o nā kaula, akā ua maʻalahi hoʻi i ka ʻōnaehana mokuʻāina o nā pūʻali i loaʻa ʻole, no ka mea, no kēlā me kēia helu i nānā ʻia i hoʻokahi koho balota, ʻo ka manawa kali ka lōʻihi he 1 manawa:
Eia hou, ua hoʻololi a hoʻomaikaʻi mākou i ka ʻōnaehana koho balota no nā noi SNMP. ʻO ka ʻoiaʻiʻo ʻaʻole hiki i ka hapa nui o ka poʻe ke pane i nā noi SNMP he nui i ka manawa like. No laila, ua hana mākou i kahi ʻano hybrid, ke hana ʻia nā koho balota SNMP o ka pūʻali like asynchronously:
Hana ʻia kēia no ka pūʻulu holoʻokoʻa. ʻAʻole ʻoi aku ka lohi o kēia ʻano ma mua o kahi asynchronous, ʻoiai ʻoi aku ka wikiwiki o ke koho balota ʻana i hoʻokahi a me ka hapalua haneli SNMP ma mua o 1 manawa.
Ua hōʻike kā mākou mau hoʻokolohua ʻo ka helu maikaʻi loa o nā noi i hoʻokahi manawa ma kahi o 8 tausani me ke koho balota SNMP. Ma ka huina, ua ʻae ka hoʻololi ʻana i ke ʻano asynchronous iā mākou e wikiwiki i ka hana koho balota e 200 mau manawa, mau haneli mau manawa.
MCH: - Ua hōʻike ʻia nā hopena koho balota ʻaʻole hiki iā mākou ke hoʻopau wale i nā proxies a pau, akā e hōʻemi pū i nā manawa no nā loiloi he nui, a ʻaʻole pono nā proxies i ala e kaʻana like i ka ukana.
Ma kahi o ʻekolu mahina i hala
E hoʻololi i ka hoʻolālā - hoʻonui i ka ukana!
MM: - ʻAe, Max, ʻo ia ka manawa e hoʻohua ai? Makemake au i kahi kikowaena ikaika a me kahi ʻenekinia maikaʻi.
MCH: - ʻAe, e hoʻolālā kāua. ʻO ka manawa kiʻekiʻe e neʻe ai mai kahi make o 5 tausani metric i kekona.
ʻO ke kakahiaka ma hope o ka hoʻonui
MCH: - Misha, ua hōʻano hou mākou iā mākou iho, akā i ke kakahiaka ua ʻōwili mākou i hope ... E noʻonoʻo ʻoe i ka wikiwiki a mākou i hoʻokō ai?
MM: – 20 tausani ka nui.
MCH: - ʻAe, 25! ʻO ka mea pōʻino, aia mākou i kahi i hoʻomaka ai.
MM: - No ke aha mai? Ua holo anei ʻoe i nā diagnostics?
MCH: - ʻAe, maopopo! Eia kekahi laʻana, he kiʻekiʻe hoihoi:
MM: - E nānā kāua. ʻIke wau ua hoʻāʻo mākou i kahi helu nui o nā pae koho balota:
Akā i ka manawa like ʻaʻole hiki iā lākou ke hana hou i ka ʻōnaehana ma ka hapalua:
A he liʻiliʻi loa ka hana holoʻokoʻa, ma kahi o 4 tausani metric i kekona:
Aia kekahi mea ʻē aʻe?
MCH: - ʻAe, ka ʻāpana o kekahi o nā mea koho:
MM: - Maʻaneʻi hiki iāʻoe keʻike maopopo e kali ana ke kaʻina koho no nā "semaphore". ʻO kēia nā laka:
MCH: - ʻAʻole maopopo.
MM: - E nānā, ua like kēia me kahi kūlana kahi e ho'āʻo nei kahi hui o nā kaula e hana me nā kumuwaiwai i hiki i hoʻokahi wale nō ke hana me ka manawa. A laila hiki iā lākou ke hana, e kaʻana like i kēia kumuwaiwai i ka manawa:
A ua kaupalena ʻia ka hana holoʻokoʻa o ka hana ʻana me ia kumuwaiwai e ka wikiwiki o hoʻokahi kumu:
ʻElua ala e hoʻoponopono ai i kēia pilikia.
Hoʻonui i ka lako o ka mīkini, e hoʻololi i nā cores wikiwiki:
A i ʻole e hoʻololi i ka hoʻolālā a i ka manawa like e hoʻololi i ka ukana:
MCH: - Ma ke ala, ma ka mīkini hoʻāʻo e hoʻohana mākou i nā cores liʻiliʻi ma mua o ka hakakā hoʻokahi, akā ʻoi aku ka wikiwiki o 1,5 mau manawa i ke alapine no kēlā me kēia kumu!
MM: - Akaka? Pono ʻoe e nānā i ke code server.
Ke ala ʻikepili ma ke kikowaena Zabbix
MCH: - No ka noʻonoʻo ʻana, hoʻomaka mākou e nānā i ka neʻe ʻana o ka ʻikepili i loko o ka server Zabbix:
Kiʻi ʻoluʻolu, ʻeā? E hele kāua i kēlā me kēia ʻanuʻu e hoʻomaʻamaʻa a ʻoi aʻe paha. Aia nā pae a me nā lawelawe i kuleana no ka ʻohi ʻana i ka ʻikepili:
Hāʻawi lākou i nā metric i hōʻiliʻili ʻia ma o kahi kumu i ka luna Preprocessor, kahi e mālama ʻia ai lākou i kahi pila:
Hoʻouna ka "manakia preprocessor" i ka ʻikepili i kāna mau limahana, nāna e hoʻokō i nā ʻōlelo aʻoaʻo preprocessing a hoʻihoʻi iā lākou ma o ke kumu like:
Ma hope o kēia, mālama ka luna preprocessor iā lākou i loko o ka cache mōʻaukala:
Mai laila mai lawe ʻia lākou e nā mea hoʻoheheʻe mōʻaukala, nāna e hana i nā hana he nui: no ka laʻana, ka helu ʻana i nā mea hoʻomaka, hoʻopiha i ka waihona waiwai a, ʻo ka mea nui loa, mālama i nā metric i ka waihona mōʻaukala. Ma keʻano laulā, paʻakikī ke kaʻina hana a huikau loa.
MM: - ʻO ka mea mua a mākou i ʻike ai, ʻo ka hapa nui o nā milo e hoʻokūkū nei no ka mea i kapa ʻia ʻo "configuration cache" (ka wahi hoʻomanaʻo kahi i mālama ʻia ai nā hoʻonohonoho kikowaena āpau). ʻO nā kaula i kuleana no ka hōʻiliʻili ʻana i ka ʻikepili e hana nui i ka pāpā ʻana:
. Ke nui nā pollers a hoʻokahi poloka i ka hoʻonohonoho, kali nā mea ʻē aʻe i nā noi:
ʻAʻole pono e paio ka poʻe koho
No laila, ʻo ka mea mua a mākou i hana ai, ʻo ka hoʻokaʻawale ʻana i ka pila i 4 mau ʻāpana a ʻae i nā pollers e pale i kēia mau pila, kēia mau ʻāpana i ka manawa like, ma lalo o nā kūlana palekana:
Ua hoʻoneʻe ʻia kēia hoʻokūkū no ka cache hoʻonohonoho, a piʻi nui ka wikiwiki o nā pollers. Akā ua ʻike mākou i ka ʻoiaʻiʻo ua hoʻomaka ka luna preprocessor e hōʻiliʻili i kahi laina o nā hana:
Pono ka luna preprocessor e hoʻokahua
Ua hana kēia i nā hihia i nele ʻo ia i ka hana. A laila hiki iā ia ke hana i ka hōʻiliʻili ʻana i nā noi mai nā kaʻina hōʻiliʻili ʻikepili a hoʻohui i kā lākou buffer a hiki i ka pau ʻana o ka hoʻomanaʻo a hāʻule:
No ka hoʻoponopono ʻana i kēia pilikia, ua hoʻohui mākou i kahi kumu lua i hoʻolaʻa ʻia i nā limahana:
No laila, ua loaʻa i ka luna preprocessor ka manawa e hoʻomaka ai i kāna hana a, inā e ulu ka buffer, ʻo ka hana ke hoʻolōʻihi i ka wehe ʻana, e hāʻawi i nā limahana i ka manawa e lawe i kēia buffer:
A laila, ʻike mākou ʻo kekahi o nā kumu o ka lohi ʻana ʻo ka poʻe hana ponoʻī, ʻoiai lākou e hoʻokūkū nei i kahi waiwai i mea waiwai ʻole no kā lākou hana. Ua kākau mākou i kēia pilikia ma ke ʻano he bug-fix, a ua hoʻoholo ʻia i nā mana hou o Zabbix:
Hoʻonui mākou i ka helu o nā kumu - loaʻa iā mākou ka hopena
Eia kekahi, ua lilo ka mana preprocessor i bottleneck, no ka mea, hoʻokahi pae ia. Ua hoʻomaha ia ma ka wikiwiki nui, e hāʻawi ana i ka wikiwiki kiʻekiʻe ma kahi o 70 tausani metrics i kekona:
No laila, hana mākou i ʻehā, me ʻehā mau kumu kumu, nā mea hana:
A ua ʻae kēia iā mākou e hoʻonui i ka wikiwiki ma kahi o 130 tausani metric:
ʻO ka laina ʻole o ka ulu ʻana ua wehewehe ʻia e ka mea i ʻike ʻia ka hoʻokūkū no ka cache mōʻaukala. Ua hoʻokūkū ʻo 4 mau mana preprocessor a me nā mōʻaukala. I kēia manawa, loaʻa iā mākou ma kahi o 130 tausani metric i kēlā me kēia kekona ma ka mīkini hoʻāʻo, e hoʻohana ana iā ia ma kahi o 95% o ka mea hana:
Ma kahi o 2,5 mahina aku nei
ʻO ka hōʻole ʻana mai snmp-kaiāulu hoʻonui i nā NVP i hoʻokahi manawa a me ka hapa
MM: - Max, makemake au i kaʻa hoʻāʻo hou! ʻAʻole mākou e komo hou i kēia manawa.
MCH: - He aha kāu i kēia manawa?
MM: - I kēia manawa - 130k NVPs a me kahi papa hana mākaukau.
MCH: - Auwe! Anu! E kali, ʻelua aʻu nīnau. Wahi a kaʻu helu ʻana, ʻo kā mākou pono ma kahi o 15-20 tausani metric i kekona. No ke aha mākou e pono ai?
MM: "Makemake au e hoʻopau i ka hana." Makemake au e ʻike i ka nui o kā mākou hiki ke ʻoki mai kēia ʻōnaehana.
MCH: - Akā…
MM: "Akā he mea ʻole ia no ka ʻoihana."
MCH: - Ua maopopo. A ʻo ka nīnau ʻelua: hiki iā mākou ke kākoʻo i nā mea i loaʻa iā mākou i kēia manawa, me ke kōkua ʻole o kahi mea hoʻomohala?
MM: - ʻAʻole oʻu manaʻo. He pilikia ka hoʻololi ʻana i ka hana ʻana o ka cache hoʻonohonoho. Hoʻopili ia i nā loli i ka hapa nui o nā loina a paʻakikī loa ka mālama ʻana. ʻO ka mea nui loa, e paʻakikī loa ka mālama ʻana.
MCH: "A laila pono mākou i kahi ʻano ʻokoʻa."
MM: - Aia kahi koho. Hiki iā mākou ke hoʻololi i nā cores wikiwiki, ʻoiai e haʻalele ana i ka ʻōnaehana laka hou. E loaʻa iā mākou kahi hana o 60-80 tausani metric. I ka manawa like, hiki iā mākou ke waiho i ke koena o ke code. E hana ana ka Clickhouse a me ke koho balota asynchronous. A e maʻalahi ka mālama.
MCH: - Kupaianaha! Manaʻo wau e kū mākou ma ʻaneʻi.
Ma hope o ka loiloi ʻana i ka ʻaoʻao kikowaena, ua hiki iā mākou ke hoʻomaka i ke code hou i ka hana. Ua haʻalele mākou i kekahi o nā hoʻololi no ka hoʻololi ʻana i kahi mīkini me nā cores wikiwiki a hoʻemi i ka helu o nā hoʻololi code. Ua maʻalahi hoʻi mākou i ka hoʻonohonoho ʻana a kāpae i nā macros i nā mea ʻikepili inā hiki, ʻoiai lākou e hoʻokomo i ka laka hou.
No ka laʻana, haʻalele i ka snmp-community macro, i loaʻa pinepine i nā palapala a me nā laʻana, i kā mākou hihia i hiki ke hoʻonui i ka wikiwiki o NVP ma kahi o 1,5 mau manawa.
Ma hope o ʻelua lā i ka hana ʻana
Ke wehe nei i nā pop-up mōʻaukala hanana
MCH: - Misha, ua hoʻohana mākou i ka ʻōnaehana no nā lā ʻelua, a hana nā mea āpau. Akā aia wale nō ke hana nā mea a pau! Ua hoʻolālā mākou i ka hana me ka hoʻololi ʻana i kahi ʻāpana nui o ka pūnaewele, a nānā hou mākou me ko mākou mau lima i ka mea i piʻi a me ka mea ʻole.
MM: - ʻAʻole hiki! Ua nānā mākou i nā mea a pau 10 manawa. Mālama ke kikowaena i ka loaʻa ʻole o ka ʻupena i ka manawa koke.
MCH: - ʻAe, maopopo iaʻu nā mea a pau: server, database, top, austat, logs - wikiwiki nā mea a pau ... Akā ke nānā nei mākou i ka pūnaewele pūnaewele, a aia kahi mea hana "ma ka papa" ma ka server a me kēia:
MM: - Ua maopopo. E nānā kākou i ka pūnaewele. Ua ʻike mākou ma kahi kūlana i nui nā hanana hana, ua hoʻomaka ka hapa nui o nā widget ola e hana mālie:
ʻO ke kumu o kēia ka hoʻokumu ʻana i nā pop-up mōʻaukala hanana i hana ʻia no kēlā me kēia mea i ka papa inoa. No laila, ua haʻalele mākou i ka hanauna o kēia mau puka makani (manaʻo i nā laina 5 i ke code), a ua hoʻoponopono kēia i kā mākou pilikia.
ʻO ka manawa hoʻouka no nā widget, ʻoiai ʻaʻole loaʻa loa, ua hōʻemi ʻia mai kekahi mau minuke i ka 10-15 kekona e ʻae ʻia no mākou, a hiki ke ʻike ʻia ka mōʻaukala ma ke kaomi ʻana i ka manawa:
Ma hope o ka hana. 2 mahina aku nei
MCH: - Misha, e haʻalele ana ʻoe? Pono mākou e kamaʻilio.
MM: - ʻAʻole wau i manaʻo. He mea hou me Zabbix?
MCH: - ʻAʻole, hoʻomaha! Makemake wau e ʻōlelo: hana nā mea a pau, mahalo! He pia ka'u.
Maikaʻi ʻo Zabbix
ʻO Zabbix kahi ʻōnaehana ākea ākea a waiwai a me ka hana. Hiki ke hoʻohana ʻia no nā mea liʻiliʻi ma waho o ka pahu, akā i ka ulu ʻana o nā pono, pono e hoʻonui ʻia. No ka mālama ʻana i kahi waihona nui o nā ana, e hoʻohana i kahi waiho kūpono:
- hiki iā ʻoe ke hoʻohana i nā mea hana i kūkulu ʻia ma ke ʻano o ka hoʻohui ʻana me Elasticsearch a i ʻole ka hoʻouka ʻana i ka mōʻaukala i nā faila kikokikona (loaʻa mai ka mana XNUMX);
- Hiki iā ʻoe ke hoʻohana i kā mākou ʻike a hoʻohui pū me Clickhouse.
No ka hoʻonui nui ʻana i ka wikiwiki o ka ʻohi ʻana i nā metric, e hōʻiliʻili iā lākou me ka hoʻohana ʻana i nā ʻano asynchronous a hoʻouna iā lākou ma o ka trapper interface i ka server Zabbix; a i ʻole hiki iā ʻoe ke hoʻohana i kahi pākuʻi e hana i nā pollers Zabbix asynchronous.
Ua kākau ʻia ʻo Zabbix ma C a maikaʻi loa. ʻO ka hoʻoholo ʻana i kekahi mau bottlenecks hale kūkulu e hiki ai iā ʻoe ke hoʻonui hou i kāna hana a, i kā mākou ʻike, loaʻa ʻoi aku ma mua o 100 tausani metric ma kahi mīkini hoʻokahi.
ʻO ka pāpale Zabbix like
MM: - Makemake au e hoʻohui i ʻelua mau helu. Hāʻawi ʻia ka hōʻike holoʻokoʻa o kēia manawa, nā hoʻokolohua āpau, nā helu no ka hoʻonohonoho ʻana a mākou e hoʻohana ai. Ke lawe nei mākou i kēia manawa ma kahi o 20 tausani metric i kēlā me kēia kekona mai ia mea. Inā ʻoe e hoʻāʻo e hoʻomaopopo inā e hana kēia iā ʻoe, hiki iā ʻoe ke hoʻohālikelike. ʻO ka mea i kūkākūkā ʻia i kēia lā ua kau ʻia ma GitHub ma ke ʻano o kahi patch:
Loaʻa i ka patch:
- hoʻohui piha me Clickhouse (ʻo Zabbix server a me ka frontend);
- hoʻoponopono i nā pilikia me ka luna hoʻoponopono mua;
- koho balota like ʻole.
Ua kūpono ka patch me ka mana 4 a pau, me lts. ʻO ka mea nui, me nā loli liʻiliʻi e hana ia ma ka mana 3.4.
Mahalo oe no kou noonoo.
ʻO kāu mau nīnau
Nīnau mai ke anaina (ma hope aku – A): – Aloha ahiahi! E ʻoluʻolu, e haʻi mai iaʻu, aia paha kāu mau hoʻolālā no ka launa pū ʻana me ka hui Zabbix a i ʻole me lākou me ʻoe, no laila ʻaʻole kēia he patch, akā he ʻano maʻamau o Zabbix?
MM: - ʻAe, e hana maoli mākou i kekahi o nā hoʻololi. E hiki mai ana kekahi mea, e noho ana kekahi mea ma ka pā.
A: - Mahalo nui iā ʻoe no ka hōʻike maikaʻi loa! E ʻoluʻolu e haʻi mai iaʻu, ma hope o ka noi ʻana i ka patch, e mau ke kākoʻo mai Zabbix a pehea e hoʻomau ai i ka hoʻonui ʻana i nā mana kiʻekiʻe? Hiki paha ke hoʻonui iā Zabbix ma hope o kāu pākuʻi i 4.2, 5.0?
MM: - ʻAʻole hiki iaʻu ke ʻōlelo i kekahi mea e pili ana i ke kākoʻo. Inā wau ʻo Zabbix kākoʻo ʻenehana, e ʻōlelo paha wau ʻaʻole, no ka mea, ʻo kēia ke code a kekahi. No ka codebase 4.2, ʻo kā mākou kūlana: "E neʻe mākou me ka manawa, a e hoʻonui mākou iā mākou iho i ka mana aʻe." No laila, no kekahi manawa e hoʻouna aku mākou i kahi patch no nā mana hou. Ua ʻōlelo mua wau ma ka hōʻike: ʻoi aku ka liʻiliʻi o ka nui o nā loli me nā mana. Manaʻo wau ʻo ka hoʻololi ʻana mai ka 3.4 a hiki i ka 4 e lawe iā mākou ma kahi o nā minuke 15. Ua loli kekahi mea ma laila, akā ʻaʻole nui loa.
A: - No laila ke hoʻolālā nei ʻoe e kākoʻo i kāu pākuʻi a hiki iā ʻoe ke hoʻokomo pono iā ia i ka hana ʻana a loaʻa i nā mea hou i kekahi ala i ka wā e hiki mai ana?
MM: – Paipai ikaika mākou. Hoʻoponopono kēia i nā pilikia he nui no mākou.
MCH: - Eia hou, makemake wau e huki i ka nānā ʻana i ka ʻoiaʻiʻo o nā loli i pili ʻole i ka hoʻolālā ʻana a ʻaʻole pili i ka pale ʻana a i ʻole nā queues he modular, aia lākou i nā modula ʻokoʻa. ʻOiai me nā hoʻololi liʻiliʻi hiki iā ʻoe ke mālama maʻalahi iā lākou.
MM: - Inā makemake ʻoe i nā kikoʻī, a laila hoʻohana ʻo "Clickhouse" i ka hale waihona moʻolelo i kapa ʻia. Ua wehe ʻia - he kope ia o ke kākoʻo Elastics, ʻo ia hoʻi, hiki ke hoʻonohonoho ʻia. Hoʻololi wale ke koho balota i nā mea koho. Manaʻo mākou e hana kēia no ka manawa lōʻihi.
A: - Mahalo nui loa. E haʻi mai iaʻu, aia kekahi palapala o nā hoʻololi i hana ʻia?
MM: - ʻO ka palapala he papa. ʻIke loa, me ka hoʻokomo ʻana o Clickhouse, me ka hoʻokomo ʻana i nā ʻano pollers hou, ala mai nā koho hoʻonohonoho hou. ʻO ka loulou mai ka paheʻe hope loa he wehewehe pōkole o ka hoʻohana ʻana.
E pili ana i ka hoʻololi ʻana i ka fping me ka nmap
A: - Pehea ʻoe i hoʻokō hope ai i kēia? Hiki iā ʻoe ke hāʻawi i nā hiʻohiʻona kikoʻī: loaʻa iā ʻoe nā strappers a me kahi palapala waho? He aha ka hopena o ka nānā ʻana i ka nui o nā pūʻali me ka wikiwiki? Pehea ʻoe e mine ai i kēia mau pūʻali? Pono mākou e hānai iā lākou i ka nmap, e kiʻi iā lākou mai kahi, e hoʻokomo iā lākou i loko, e holo i kekahi mea?..
MM: - Anu. He nīnau pololei loa! ʻO kēia ke kumu. Ua hoʻololi mākou i ka waihona (ICMP ping, hapa o Zabbix) no nā loiloi ICMP, e hōʻike ana i ka helu o nā ʻeke - hoʻokahi (1), a hoʻāʻo ke code e hoʻohana i ka nmap. ʻO ia hoʻi, ʻo ia ka hana kūloko a Zabbix, i lilo i hana kūloko o ka pinger. No laila, ʻaʻole pono ka hoʻonohonoho a hoʻohana ʻana i kahi trapper. Ua hana noʻonoʻo kēia i mea e haʻalele ai i ka ʻōnaehana a ʻaʻole pono e hana me ka synchronization o ʻelua ʻōnaehana waihona: he aha ka mea e nānā ai, hoʻouka ma o ka poller, a ua haki kā mākou hoʻouka ʻana? .. He mea maʻalahi kēia.
A: - He hana no nā proxies pū kekahi?
MM: - ʻAe, akā ʻaʻole mākou i nānā. Ua like ka helu koho balota ma Zabbix a me ke kikowaena. Pono e hana. E hōʻike hou aku au: ʻo ka hana o ka ʻōnaehana ʻaʻole pono mākou i kahi koho.
MCH: - ʻO ka pane pololei i ka nīnau: "No ke aha ʻoe e makemake ai i kahi proxy me kahi ʻōnaehana?" Ma muli wale nō o ka NAT a i ʻole ka nānā ʻana ma o kekahi ʻano kaila lohi ...
A: - A hoʻohana ʻoe iā Zabbix ma ke ʻano he allertor, inā maopopo iaʻu. A i ʻole e hoʻoneʻe ʻia kāu mau kiʻi (kahi i waiho ʻia ai ka waihona waihona) i kahi ʻōnaehana ʻē aʻe, e like me Grafana? A i ʻole ʻoe e hoʻohana nei i kēia hana?
MM: - E hoʻoikaika hou wau: ua hoʻokō mākou i ka hoʻohui piha. Ke ninini nei mākou i ka mōʻaukala i Clickhouse, akā i ka manawa like ua hoʻololi mākou i ka php frontend. Hele ka Php frontend i Clickhouse a hana i nā kiʻi āpau mai laila. Ma ka manawa like, e ʻoiaʻiʻo, loaʻa iā mākou kahi ʻāpana e kūkulu i ka ʻikepili i nā ʻōnaehana hōʻike kiʻi ʻē aʻe mai ka Clickhouse like, mai ka ʻikepili Zabbix like.
MCH: - Ma "Grafan" pū kekahi.
Pehea i hoʻoholo ai e pili ana i ka hoʻokaʻawale ʻana i nā kumuwaiwai?
A: – Kaʻana like i kāu lumi kuke i loko. Pehea i hoʻoholo ai he pono e hoʻokaʻawale i nā kumuwaiwai no ka hana koʻikoʻi o ka huahana? ʻO kēia, ma ka laulā, kekahi mau pilikia. A e ʻoluʻolu e haʻi mai iaʻu, ma ke ʻano o ka ʻoiaʻiʻo e kākoʻo ana ʻoe i nā mana hou: pehea e hōʻoia ai kēia hoʻoholo mai kahi manaʻo hoʻokele?
MM: - Me he mea lā, ʻaʻole mākou i haʻi maikaʻi loa i ke keaka o ka mōʻaukala. Ua ʻike mākou iā mākou iho i kahi kūlana e hana ʻia ai kekahi mea, a hele pū mākou me ʻelua mau hui like:
- Hoʻomaka kekahi i kahi ʻōnaehana nānā me ka hoʻohana ʻana i nā ʻano hou: ka nānā ʻana ma ke ʻano he lawelawe, kahi hoʻonohonoho maʻamau o nā haʻina open source a mākou e hui pū ai a laila e hoʻāʻo e hoʻololi i ke kaʻina hana i mea e hana pū ai me ka ʻōnaehana nānā hou.
- I ka manawa like, loaʻa iā mākou kahi mea hoʻolālā hoihoi e hana nei i kēia (e pili ana iā ia iho). Ua lanakila ʻo ia.
A: - A he aha ka nui o ka hui?
MCH: - Aia ʻo ia i mua ou.
A: - No laila, e like me nā manawa a pau, pono ʻoe i kahi makemake?
MM: - ʻAʻole wau i ʻike i ke ʻano o ka makemake.
A: - Ma keia hihia, apparently, oe. Mahalo nui iā ʻoe, maikaʻi ʻoe.
MM: - Mahalo iā ʻoe.
E pili ana i nā ʻāpana no Zabbix
A: - No kahi ʻōnaehana e hoʻohana ana i nā proxies (no ka laʻana, i kekahi mau ʻōnaehana puʻunaue), hiki ke hoʻololi a hoʻopaʻa, e ʻōlelo, pollers, proxies a me kekahi hapa o ka preprocessor o Zabbix ponoʻī; a me kā lākou pilina? Hiki paha ke hoʻonui i nā hoʻomohala e kū nei no kahi ʻōnaehana me nā proxies he nui?
MM: - Ua ʻike wau ua ʻākoakoa ka server Zabbix me ka hoʻohana ʻana i kahi koho (ua hoʻohui ʻia a loaʻa ke code). ʻAʻole mākou i hoʻāʻo i kēia ma ka hana. ʻAʻole maopopo iaʻu e pili ana i kēia, akā manaʻo wau ʻaʻole hoʻohana ʻia ka luna preprocessor i ka proxy. ʻO ka hana a ka mea koho, ʻo ia ka lawe ʻana i kahi hoʻonohonoho o nā metric mai Zabbix, hoʻohui iā lākou (ʻo ia hoʻi e hoʻopaʻa i ka hoʻonohonoho, ka ʻikepili kūloko) a hoʻihoʻi i ka server Zabbix. Na ke kikowaena pono'ī e hana i ka preprocessing ke loaʻa iā ia.
Hoʻomaopopo ʻia ka hoihoi i nā proxies. E nānā mākou. He kumuhana hoihoi kēia.
A: - ʻO kēia ka manaʻo: inā hiki iā ʻoe ke hoʻopaʻa i nā pollers, hiki iā ʻoe ke hoʻopaʻa iā lākou ma ka proxy a hoʻopaʻa i ka pilina me ke kikowaena, a hoʻololi i ka preprocessor no kēia mau kumu wale nō ma ke kikowaena.
MM: - Manaʻo wau ʻoi aku ka maʻalahi. Lawe ʻoe i ke code, hoʻopili i kahi patch, a laila hoʻonohonoho i ke ala āu e pono ai - e hōʻiliʻili i nā kikowaena proxy (no ka laʻana, me ODBC) a puʻunaue i ke code patched ma nā ʻōnaehana. Ma kahi e pono ai - e hōʻiliʻili i kahi koho, inā pono - kahi kikowaena.
A: - ʻO ka mea nui paha, ʻaʻole pono ʻoe e hoʻopili i ka hoʻoili proxy i ke kikowaena pū kekahi?
MCH: - ʻAʻole, he maʻamau.
MM: - ʻOiaʻiʻo, ʻaʻole kani kekahi o nā manaʻo. Ua mālama mau mākou i kahi kaulike ma waena o ka pahū ʻana o nā manaʻo a me ka nui o nā loli a me ka maʻalahi o ke kākoʻo.
Kekahi mau hoʻolaha 🙂
Mahalo no kou noho pū ʻana me mākou. Makemake ʻoe i kā mākou ʻatikala? Makemake ʻoe e ʻike i nā mea hoihoi hou aʻe? E kākoʻo iā mākou ma ke kau ʻana i kahi kauoha a i ʻole ka ʻōlelo ʻana i nā hoaaloha, , he analogue kū hoʻokahi o nā kikowaena hoʻokomo-level, i hana ʻia e mākou no ʻoe: (loaʻa me RAID1 a me RAID10, a hiki i 24 cores a hiki i 40GB DDR4).
ʻO Dell R730xd 2 mau manawa maʻalahi ma Equinix Tier IV kikowaena data ma Amsterdam? Eia wale nō ma Netherlands! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - mai $99! Heluhelu e pili ana
Source: www.habr.com