Thèid an ath cho-labhairt HighLoad ++ a chumail air 6 agus 7 Giblean, 2020 ann an St. . HighLoad++ Moscow 2018. Talla “Moscow”. 9 Samhain, 15:00. tràchdais agus .
* Sgrùdadh - air-loidhne agus anailisean.
* Crìochan bunaiteach an àrd-ùrlar ZABBIX.
* Fuasgladh airson stòradh anailisean sgèile.
* Optimization den t-seirbheisiche ZABBIX.
* Optimization UI.
* Eòlas air obrachadh an t-siostam fo luchdan de chòrr air 40k NVPS.
* Co-dhùnaidhean goirid.
Mikhail Makurov (an-seo - MM): - Hi uile!
Maxim Chernetsov (an-seo - MCH): - Feasgar math!
MM: - Leig dhomh Maxim a thoirt a-steach. Tha Max na innleadair tàlantach, an lìonraiche as fheàrr as aithne dhomh. Tha Maxim an sàs ann an lìonraidhean agus seirbheisean, an leasachadh agus an obrachadh.
MCH: - Agus bu mhath leam innse dhut mu Michael. Tha Mikhail na leasaiche C. Sgrìobh e grunn fhuasglaidhean giollachd trafaic àrd airson a’ chompanaidh againn. Tha sinn a 'fuireach agus ag obair anns na Urals, ann am baile-mòr fir cruaidh Chelyabinsk, anns a' chompanaidh Intersvyaz. Tha a’ chompanaidh againn na sholaraiche de sheirbheisean eadar-lìn agus telebhisean càbaill airson millean neach ann an 16 bailtean-mòra.
MM: - Agus is fhiach a ràdh gu bheil Intersvyaz tòrr a bharrachd na dìreach solaraiche, is e companaidh IT a th’ ann. Tha a’ mhòr-chuid de na fuasglaidhean againn air an dèanamh leis an roinn IT againn.
A: bho luchd-frithealaidh a’ giullachd trafaic gu ionad gairm agus tagradh gluasadach. Tha mu 80 neach aig an roinn IT a-nis le comasan glè eadar-mheasgte.
Mu Zabbix agus an ailtireachd aige
MCH: - Agus a-nis feuchaidh mi ri clàr pearsanta a shuidheachadh agus innse ann an aon mhionaid dè a th’ ann an Zabbix (ris an canar “Zabbix an-seo”).
Tha Zabbix ga shuidheachadh fhèin mar shiostam sgrùdaidh taobh a-muigh a’ bhogsa aig ìre iomairt. Tha mòran fheartan ann a nì beatha nas fhasa: riaghailtean àrdachaidh adhartach, API airson amalachadh, cruinneachadh agus lorg fèin-ghluasadach luchd-aoigheachd agus meatrach. Tha innealan sgèileachaidh ris an canar Zabbix - proxies. Tha Zabbix na shiostam le còd fosgailte.
Beagan mu dheidhinn ailtireachd. Faodaidh sinn a ràdh gu bheil e air a dhèanamh suas de thrì phàirtean:
- Frithealaidh. Air a sgrìobhadh ann an C. Le giullachd caran toinnte agus gluasad fiosrachaidh eadar snàithleanan. Bidh a h-uile giollachd a’ gabhail àite ann: bho bhith a’ faighinn gu sàbhaladh chun stòr-dàta.
- Tha a h-uile dàta air a stòradh san stòr-dàta. Tha Zabbix a’ toirt taic do MySQL, PostreSQL agus Oracle.
- Tha an eadar-aghaidh lìn sgrìobhte ann am PHP. Air a’ mhòr-chuid de shiostaman thig e le frithealaiche Apache, ach bidh e ag obair nas èifeachdaiche còmhla ri nginx + php.
An-diugh bu mhath leinn aon sgeulachd innse bho bheatha ar companaidh co-cheangailte ri Zabbix...
Eachdraidh-beatha a ' chompanaidh Intersvyaz. Dè a th’ againn agus dè a dh’ fheumas sinn?
5 no 6 mìosan air ais. Aon latha às dèidh obair a. .
MCH: - Misha, hello! Tha mi toilichte gun deach agam air do ghlacadh - tha còmhradh ann. Bha duilgheadasan againn a-rithist le sgrùdadh. Rè tubaist mhòr, bha a h-uile dad slaodach agus cha robh fiosrachadh sam bith ann mu staid an lìonraidh. Gu mì-fhortanach, chan e seo a’ chiad uair a tha seo air tachairt. Tha feum agam air do chuideachadh. Bheir sinn air ar sgrùdadh obrachadh ann an suidheachadh sam bith!
MM: - Ach leig dhuinn sioncronaich an toiseach. Chan eil mi air coimhead ann airson bliadhna no dhà. Cho fad ‘s as cuimhne leam, thrèig sinn Nagios agus thionndaidh sinn gu Zabbix mu 8 bliadhna air ais. Agus a-nis tha e coltach gu bheil 6 frithealaichean cumhachdach againn agus timcheall air dusan neach-ionaid. A bheil mi troimh-chèile càil?
MCH: - Cha mhòr. 15 frithealaichean, cuid dhiubh nan innealan brìgheil. Is e an rud as cudromaiche nach sàbhail e sinn an-dràsta nuair a tha feum againn air as motha. Coltach ri tubaist - bidh na frithealaichean a ’slaodadh sìos agus chan fhaic thu dad. Dh'fheuch sinn ris an rèiteachadh as fheàrr a dhèanamh, ach cha tug seo seachad an àrdachadh coileanaidh as fheàrr.
MM: - Tha e soilleir. An do choimhead thu air rudeigin, an do chladhaich thu rudeigin bhon diagnosachd mu thràth?
MCH: - Is e a’ chiad rud a dh’ fheumas tu dèiligeadh ris an stòr-dàta. Tha MySQL an-còmhnaidh air a luchdachadh, a ’stòradh metrics ùra, agus nuair a thòisicheas Zabbix a’ gineadh dòrlach de thachartasan, bidh an stòr-dàta a ’dol a-steach gu overdrive airson gu litearra beagan uairean a thìde. Dh’ innis mi dhut mu thràth mu bhith a’ dèanamh an rèiteachadh as fheàrr, ach gu litearra am-bliadhna dh’ ùraich iad am bathar-cruaidh: tha còrr air ceud gigabytes de chuimhne agus clàran diosc aig na frithealaichean air SSD RAIDs - chan eil feum ann a bhith ga fhàs gu sreathach san fhad-ùine. Dè nì sinn?
MM: - Tha e soilleir. San fharsaingeachd, tha MySQL na stòr-dàta LTP. A rèir choltais, chan eil e iomchaidh tuilleadh airson tasglann de mheatairean den mheud againn a stòradh. Feuch an dèan sinn a-mach e.
MCH: - Leig leinn!
Amalachadh Zabbix agus Clickhouse mar thoradh air an hackathon
Às deidh beagan ùine fhuair sinn dàta inntinneach:
Bha a’ mhòr-chuid den àite san stòr-dàta againn air a ghabhail thairis leis an tasglann metrics agus chaidh nas lugha na 1% a chleachdadh airson rèiteachadh, teamplaidean agus roghainnean. Ron àm sin, bha sinn air a bhith ag obrachadh am fuasgladh dàta Mòr stèidhichte air Clickhouse airson còrr air bliadhna. Bha stiùir a’ ghluasaid follaiseach dhuinn. Aig an earrach Hackathon againn, sgrìobh mi amalachadh Zabbix le Clickhouse airson an fhrithealaiche agus an aghaidh. Aig an àm sin, bha taic aig Zabbix mu thràth airson ElasticSearch, agus chuir sinn romhainn coimeas a dhèanamh eadar iad.
Coimeas eadar Clickhouse agus Elasticsearch
MM: - Airson coimeas a dhèanamh, chruthaich sinn an aon luchd ris an t-seirbheisiche Zabbix a’ toirt seachad agus choimhead sinn air mar a bhiodh na siostaman gan giùlan fhèin. Sgrìobh sinn dàta ann an baidsean de 1000 loidhne, a’ cleachdadh CURL. Ghabh sinn ris ro-làimh gum biodh Clickhouse nas èifeachdaiche airson ìomhaigh luchdan Zabbix. Bha na toraidhean eadhon nas àirde na na bha sinn an dùil:
Fo na h-aon chumhachan deuchainn, sgrìobh Clickhouse trì tursan barrachd dàta. Aig an aon àm, bidh an dà shiostam ag ithe gu fìor èifeachdach (beagan ghoireasan) nuair a bha iad a’ leughadh dàta. Ach bha feum aig Elastics air mòran de phròiseasar nuair a bha iad a’ clàradh:
Gu h-iomlan, bha Clickhouse gu math nas fheàrr na Elastix a thaobh caitheamh pròiseasar agus astar. Aig an aon àm, mar thoradh air teannachadh dàta, bidh Clickhouse a’ cleachdadh 11 uair nas lugha air a’ chlàr chruaidh agus a’ coileanadh timcheall air 30 uair nas lugha de dh’ obair diosc:
MCH: - Tha, tha obair Clickhouse leis an fho-shiostam diosc air a chuir an gnìomh gu fìor èifeachdach. Faodaidh tu diosgan mòra SATA a chleachdadh airson stòran-dàta agus astaran sgrìobhaidh fhaighinn de cheudan de mhìltean de loidhnichean gach diog. Tha an siostam taobh a-muigh a’ bhogsa a’ toirt taic do sharding, ath-riochdachadh, agus tha e gu math furasta a rèiteachadh. Tha sinn nas riaraichte leis an cleachdadh fad na bliadhna.
Gus goireasan a bharrachadh, faodaidh tu Clickhouse a chuir a-steach ri taobh a’ phrìomh stòr-dàta a th’ agad agus mar sin sàbhail tòrr ùine CPU agus gnìomhachd diosc. Tha sinn air tasglann nan meatrach a ghluasad gu cruinneachaidhean Clickhouse a th’ ann mar-thà:
Thug sinn faochadh cho mòr don phrìomh stòr-dàta MySQL is gum b’ urrainn dhuinn a chur còmhla air aon inneal leis an t-seirbheisiche Zabbix agus am frithealaiche sònraichte airson MySQL a thrèigsinn.
Ciamar a tha cunntasan-bheachd ag obair ann an Zabbix?
O chionn 4 mìosan
MM: - Uill, an urrainn dhuinn dìochuimhneachadh mu na duilgheadasan leis a’ bhunait?
MCH: - Tha sin cinnteach! Is e duilgheadas eile a dh’ fheumas sinn fhuasgladh a th’ ann an cruinneachadh dàta slaodach. A-nis tha na frithealaichean proxy 15 againn uile air an luchdachadh le SNMP agus pròiseasan bhòtaidh. Agus chan eil dòigh ann ach frithealaichean ùra is ùra a chuir a-steach.
MM: - Sgoinneil. Ach an toiseach, innis dhuinn mar a tha cunntasan-bheachd ag obair ann an Zabbix?
MCH: - Ann an ùine ghoirid, tha 20 seòrsa de mheatairean ann agus dusan dòigh air am faighinn. Faodaidh Zabbix dàta a chruinneachadh an dàrna cuid sa mhodh “iarrtas-freagairt”, no feitheamh ri dàta ùr tron “Trapper Interface”.
'S fhiach toirt fa-near gu bheil anns a' chiad Zabbix dòigh seo (Trapper) - as luaithe.
Tha frithealaichean progsaidh ann airson cuairteachadh luchdan:
Faodaidh luchd-ionaid na h-aon gnìomhan cruinneachaidh a dhèanamh ri frithealaiche Zabbix, a’ faighinn gnìomhan bhuaithe agus a’ cur na meatrach cruinnichte tro eadar-aghaidh Trapper. Is e seo an dòigh a thathar a’ moladh gu h-oifigeil airson an luchd a sgaoileadh. Tha proxies feumail cuideachd airson sùil a chumail air bun-structar iomallach ag obair tro NAT no sianal slaodach:
MM: - Tha a h-uile dad soilleir le ailtireachd. Feumaidh sinn coimhead air na stòran...
Latha no dhà às deidh sin
An sgeulachd air mar a bhuannaich nmap fping
MM: “Tha mi a’ smaoineachadh gun do chladhaich mi rudeigin. ”
MCH: - Innis dhomh!
MM: - Fhuair mi a-mach, nuair a bhios mi a’ dèanamh sgrùdadh air na tha ri fhaighinn, gum bi Zabbix a ’sgrùdadh 128 aoigheachd aig a’ char as àirde aig aon àm. Dh'fheuch mi ris an àireamh seo àrdachadh gu 500 agus a 'toirt air falbh an eadar-ama eadar-phacaid anns a' ping (ping) aca - dhùblaich seo an coileanadh. Ach bu mhath leam àireamhan nas motha.
MCH: - Anns a’ chleachdadh agam, feumaidh mi uaireannan dèanamh cinnteach gu bheil na mìltean de luchd-aoigheachd rim faighinn, agus chan fhaca mi a-riamh dad nas luaithe na nmap airson seo. Tha mi cinnteach gur e seo an dòigh as luaithe. Feuch sinn e! Feumaidh sinn àrdachadh mòr a thoirt air an àireamh de luchd-aoigheachd gach ath-aithris.
MM: - Thoir sùil air còrr air còig ceud? 600?
MCH: - Co-dhiù mìle no dhà.
MM: - Ceart gu leòr. Is e an rud as cudromaiche a bha mi airson a ràdh gun d’ fhuair mi a-mach gu bheil a’ mhòr-chuid de bhòtadh ann an Zabbix air a dhèanamh gu sioncronaich. Feumaidh sinn gu cinnteach atharrachadh gu modh asyncronach. An uairsin is urrainn dhuinn an àireamh de mheatairean a chruinnich luchd-bhòtaidh àrdachadh gu mòr, gu sònraichte ma mheudaicheas sinn an àireamh de mheatairean gach ath-aithris.
MCH: - Sgoinneil! Agus cuin?
MM: - Mar as àbhaist, an-dè.
MCH: - Rinn sinn coimeas eadar an dà dhreach de fping agus nmap:
Air àireamh mhòr de luchd-aoigheachd, bhathas an dùil gum biodh nmap suas ri còig tursan nas èifeachdaiche. Leis nach dèan nmap ach sgrùdadh air ruigsinneachd agus ùine freagairt, ghluais sinn àireamhachadh call gu luchd-brosnachaidh agus lughdaich sinn gu mòr na h-amannan sgrùdaidh ruigsinneachd. Lorg sinn gu robh an àireamh as fheàrr de luchd-aoigheachd airson nmap timcheall air 4 mìle gach tionndadh. Leig Nmap leinn cosgais sgrùdaidhean ruigsinneachd CPU a lughdachadh trì tursan agus an ùine a lughdachadh bho 120 diogan gu 10.
Optimization bhòtaidh
MM: “An uairsin thòisich sinn a’ dèanamh luchd-bhòtaidh. Bha ùidh againn sa mhòr-chuid ann an lorg SNMP agus àidseantan. Ann an Zabbix, thèid cunntasan-bheachd a dhèanamh gu sioncronaich agus chaidh ceumannan sònraichte a ghabhail gus èifeachdas an t-siostam àrdachadh. Ann am modh sioncronaich, tha dìth aoigheachd ag adhbhrachadh truailleadh bhòtaidh mòr. Tha siostam stàitean slàn ann, tha pròiseasan sònraichte ann - na luchd-bhòtaidh nach gabh faighinn a-mach, a bhios ag obair a-mhàin le luchd-aoigheachd nach gabh faighinn a-mach:
Is e seo aithris a tha a’ nochdadh matrix na stàite, a h-uile iom-fhillteachd san t-siostam gluasaid a tha riatanach gus an siostam a chumail èifeachdach. A bharrachd air an sin, tha bhòtadh sioncronaich fhèin gu math slaodach:
Sin as coireach nach b’ urrainn do mhìltean de shruthan poller air dusanan de luchd-ionaid an ìre de dhàta a bha a dhìth a chruinneachadh dhuinn. Dh’ fhuasgail buileachadh asyncronach chan ann a-mhàin na duilgheadasan leis an àireamh snàithle, ach rinn e cuideachd gu mòr air siostam stàite luchd-aoigheachd nach robh ri fhaighinn, oir airson àireamh sam bith a chaidh a sgrùdadh ann an aon tionndadh bhòtaidh, b’ e ùine feitheimh 1 an ùine feitheimh as àirde:
Cuideachd, dh’atharraich agus leasaich sinn an siostam bhòtaidh airson iarrtasan SNMP. Is e an fhìrinn nach urrainn don mhòr-chuid de dhaoine freagairt a thoirt do dh’ iomadh iarrtas SNMP aig an aon àm. Mar sin, rinn sinn modh tar-chinealach, nuair a thèid cunntas-bheachd SNMP den aon aoigh a dhèanamh gu neo-chinnteach:
Tha seo air a dhèanamh airson a’ phasgan aoigheachd gu lèir. Chan eil am modh seo aig a’ cheann thall nas slaodaiche na fear gu tur asyncronach, leis gu bheil a bhith a’ bhòtadh ceud gu leth de luachan SNMP fhathast fada nas luaithe na ùine 1.
Tha na deuchainnean againn air sealltainn gu bheil an àireamh as fheàrr de dh'iarrtasan ann an aon chuairt timcheall air 8 mìle le cunntas-bheachd SNMP. Gu h-iomlan, leig an gluasad gu modh asyncronach leinn coileanadh bhòtaidh a luathachadh 200 uair, grunn cheudan tursan.
MCH: - Sheall na optimizations bhòtaidh a thàinig às a sin nach urrainn dhuinn a-mhàin faighinn cuidhteas a h-uile neach-ionaid, ach cuideachd na h-amannan airson mòran sgrùdaidhean a lughdachadh, agus cha bhith feum air proxies tuilleadh mar dhòigh air an luchd a cho-roinn.
O chionn timcheall air trì mìosan
Atharraich an ailtireachd - àrdaich an luchd!
MM: - Uill, Max, a bheil an t-àm ann a bhith cinneasach? Tha feum agam air frithealaiche cumhachdach agus innleadair math.
MCH: - Ceart gu leòr, leig dhuinn a phlanadh. Tha an t-àm ann gluasad bhon àite marbh de 5 mìle meatrach gach diog.
Madainn às deidh an ùrachadh
MCH: - Misha, dh'ùraich sinn sinn fhìn, ach sa mhadainn chaidh sinn air ais... Tomhais dè an astar a fhuair sinn air a choileanadh?
MM: - 20 mìle aig a’ char as àirde.
MCH: - Seadh, 25! Gu mì-fhortanach, tha sinn ceart far an do thòisich sinn.
MM: - Carson? An do ruith thu diagnosachd sam bith?
MCH: - Tha, cinnteach! Seo, mar eisimpleir, mullach inntinneach:
MM: — Deanamaid faire. Tha mi a’ faicinn gu bheil sinn air grunn snàithleanan bhòtaidh fheuchainn:
Ach aig an aon àm cha b 'urrainn dhaibh an siostam ath-chuairteachadh eadhon le leth:
Agus tha an coileanadh iomlan gu math beag, timcheall air 4 mìle meatrach gach diog:
A bheil dad eile ann?
MCH: - Tha, rann de aon de na luchd-bhòtaidh:
MM: - An seo chì thu gu soilleir gu bheil am pròiseas bhòtaidh a’ feitheamh ri “semaphores”. Seo na glasan:
MCH: - Neo-shoilleir.
MM: - Seall, tha seo coltach ri suidheachadh far a bheil dòrlach de snàithleanan a’ feuchainn ri bhith ag obair le goireasan nach urrainn ach aon a bhith ag obair leotha aig an aon àm. An uairsin chan urrainn dhaibh ach an goireas seo a cho-roinn thar ùine:
Agus tha coileanadh iomlan a bhith ag obair le leithid de ghoireas air a chuingealachadh le astar aon chridhe:
Tha dà dhòigh air an duilgheadas seo fhuasgladh.
Àrdaich bathar-cruaidh an inneil, gluais gu coraichean nas luaithe:
No atharraich an ailtireachd agus aig an aon àm atharraich an luchd:
MCH: - Co-dhiù, air an inneal deuchainn cleachdaidh sinn nas lugha de choraichean na tha air an fhear sabaid, ach tha iad 1,5 uair nas luaithe ann am tricead gach cridhe!
MM: - Soilleir? Feumaidh tu coimhead air còd an fhrithealaiche.
Slighe dàta ann am frithealaiche Zabbix
MCH: - Gus faighinn a-mach, thòisich sinn a’ sgrùdadh mar a tha dàta air a ghluasad taobh a-staigh frithealaiche Zabbix:
Dealbh fionnar, ceart? Rachamaid troimhe ceum air cheum gus a dhèanamh nas soilleire no nas lugha. Tha snàithleanan agus seirbheisean ann airson a bhith a’ cruinneachadh dàta:
Bidh iad a’ sgaoileadh na meatrach cruinnichte tro socaid gu manaidsear Preprocessor, far am bi iad air an sàbhaladh ann an ciudha:
Bidh am “manaidsear preprocessor” a ’sgaoileadh dàta don luchd-obrach aige, a bhios a’ cur an gnìomh stiùireadh ro-ghiollachd agus gan tilleadh air ais tron aon socaid:
Às deidh seo, bidh am manaidsear preprocessor gan stòradh san tasgadan eachdraidh:
Às an sin tha iad air an toirt le sinkers eachdraidh, a bhios a 'coileanadh mòran de dhleastanasan: mar eisimpleir, a' cunntadh luchd-brosnachaidh, a 'lìonadh an tasgadan luach agus, as cudromaiche, a' sàbhaladh metrics ann an stòradh eachdraidh. San fharsaingeachd, tha am pròiseas iom-fhillte agus gu math troimh-chèile.
MM: - B ’e a’ chiad rud a chunnaic sinn gu bheil a ’mhòr-chuid de snàithleanan a’ farpais airson an “tasg rèiteachaidh” ris an canar (an raon cuimhne far a bheil a h-uile rèiteachadh frithealaiche air a stòradh). Bidh snàithleanan le uallach airson cruinneachadh dàta a’ dèanamh tòrr bacadh gu sònraichte:
... leis gu bheil an rèiteachadh a’ stòradh chan e a-mhàin meatrach leis na crìochan aca, ach cuideachd ciudhaichean às am faigh luchd-bhòtaidh fiosrachadh mu na nì iad an ath rud. Nuair a tha mòran luchd-bhòtaidh ann agus aon a’ cur bacadh air an rèiteachadh, bidh an fheadhainn eile a’ feitheamh ri iarrtasan:
Cha bu chòir do luchd-bhòtaidh còmhstri
Mar sin, b’ e a’ chiad rud a rinn sinn an ciudha a roinn ann an 4 pàirtean agus leigeil le luchd-bhòtaidh na ciudha sin a bhacadh, na pàirtean sin aig an aon àm, fo chumhachan sàbhailte:
Thug seo air falbh farpais airson an tasgadan rèiteachaidh, agus mheudaich astar luchd-bhòtaidh gu mòr. Ach an uairsin thachair sinn gu robh am manaidsear ro-phròiseasar air tòiseachadh air ciudha obraichean a chruinneachadh:
Feumaidh manaidsear preprocessor a bhith comasach air prìomhachas a thoirt
Thachair seo ann an cùisean far nach robh coileanadh aige. An uairsin cha b’ urrainn dha a dhèanamh ach iarrtasan a chruinneachadh bho phròiseasan cruinneachaidh dàta agus am bufair aca a chuir suas gus an do chaith e an cuimhne gu lèir agus gun tuit e:
Gus an duilgheadas seo fhuasgladh, chuir sinn dàrna socaid ris a bha gu sònraichte airson luchd-obrach:
Mar sin, bha cothrom aig a’ mhanaidsear preprocessor prìomhachas a thoirt don obair aige agus, ma dh’ fhàsas am bufair, is e an obair an toirt air falbh a dhèanamh nas slaodaiche, a’ toirt cothrom do luchd-obrach am bufair seo a ghabhail:
An uairsin fhuair sinn a-mach gur e an luchd-obrach fhèin aon de na h-adhbharan airson an slaodachadh, leis gu robh iad a’ farpais airson goireas a bha gu tur neo-chudromach airson an cuid obrach. Sgrìobh sinn an duilgheadas seo mar fhuasgladh bug, agus chaidh a rèiteach mu thràth ann an dreachan ùra de Zabbix:
Bidh sinn a 'meudachadh àireamh nan socaidean - gheibh sinn an toradh
Nas fhaide, thàinig am manaidsear preprocessor fhèin gu bhith na bhotal, leis gur e aon snàithlean a th ’ann. Bha e na laighe air a’ phrìomh astar, a’ toirt astar as àirde de mu 70 mìle meatrach gach diog:
Mar sin rinn sinn ceithir, le ceithir seataichean, luchd-obrach:
Agus leig seo leinn an astar àrdachadh gu timcheall air 130 mìle meatrach:
Tha neo-loidhneachd fàis air a mhìneachadh leis gu bheil farpais airson an tasgadan eachdraidh air nochdadh. Bha 4 manaidsearan ro-phròiseas agus luchd-bualaidh eachdraidh a’ farpais air a shon. Aig an ìre seo, bha sinn a’ faighinn timcheall air 130 mìle meatrach gach diog air an inneal deuchainn, ga chleachdadh le timcheall air 95% den phròiseasar:
O chionn timcheall air 2,5 mìosan
Mheudaich diùltadh bho choimhearsnachd snmp NVPn aon uair gu leth
MM: - Max, tha feum agam air càr deuchainn ùr! Chan eil sinn a’ freagairt air an fhear a th’ ann an-dràsta.
MCH: - Dè th' agad a-nis?
MM: - A-nis - 130k NVPn agus pròiseasar deiseil airson sgeilp.
MCH: - Wow! Tarraingeach! Fuirich, tha dà cheist agam. A rèir an àireamhachadh agam, tha ar feum timcheall air 15-20 mìle meatrach gach diog. Carson a tha feum againn air barrachd?
MM: “Tha mi airson an obair a chrìochnachadh.” Bu mhath leam faicinn dè as urrainn dhuinn a tharraing a-mach às an t-siostam seo.
MCH: - Ach…
MM: “Ach tha e gun fheum airson gnìomhachas.”
MCH: - Tha e soilleir. Agus an dàrna ceist: an urrainn dhuinn taic a thoirt do na tha againn a-nis leinn fhìn, gun chuideachadh bho leasaiche?
MM: - Chan eil mi a 'smaoineachadh. Tha e na dhuilgheadas atharrachadh mar a tha an tasgadan rèiteachaidh ag obair. Bidh e a 'toirt buaidh air atharrachaidhean anns a' mhòr-chuid de na snàithleanan agus tha e gu math doirbh a chumail suas. As dualtaiche, bidh e gu math duilich a chumail suas.
MCH: “An uairsin feumaidh sinn roghainn eile de sheòrsa air choreigin.”
MM: - Tha leithid de roghainn ann. Is urrainn dhuinn atharrachadh gu coraichean luath, agus sinn a’ trèigsinn an t-siostam glasaidh ùr. Gheibh sinn fhathast coileanadh de 60-80 mìle meatrach. Aig an aon àm, is urrainn dhuinn an còrr den chòd fhàgail. Obraichidh taigh-cliog agus bhòtadh asyncronach. Agus bidh e furasta a chumail suas.
MCH: - Iongantach! Tha mi a’ moladh gun stad sinn an seo.
Às deidh dhuinn taobh an fhrithealaiche a bharrachadh, bha e comasach dhuinn mu dheireadh an còd ùr a chuir air bhog gu cinneasachadh. Trèig sinn cuid de na h-atharrachaidhean airson atharrachadh gu inneal le coraichean luath agus a’ lughdachadh na h-àireamh de dh’ atharrachaidhean còd. Tha sinn cuideachd air an rèiteachadh a dhèanamh nas sìmplidhe agus air cuir às do macros ann an nithean dàta far a bheil sin comasach, leis gu bheil iad a’ toirt a-steach glasadh a bharrachd.
Mar eisimpleir, le bhith a’ trèigsinn am macro coimhearsnachd snmp, a lorgar gu tric ann an sgrìobhainnean agus eisimpleirean, anns a’ chùis againn bha e comasach barrachd NVPn a luathachadh timcheall air 1,5 uair.
Às deidh dà latha ann an riochdachadh
Thoir air falbh pop-ups eachdraidh tachartas
MCH: - Misha, tha sinn air a bhith a’ cleachdadh an t-siostam airson dà latha, agus tha a h-uile càil ag obair. Ach dìreach nuair a bhios a h-uile càil ag obair! Bha sinn air obair a phlanadh le gluasad pàirt meadhanach mòr den lìonra, agus rinn sinn sgrùdadh a-rithist le ar làmhan dè chaidh suas agus dè nach do rinn.
MM: - Chan urrainn a bhith! Rinn sinn sgrùdadh air a h-uile càil 10 tursan. Bidh an frithealaiche a’ làimhseachadh eadhon dìth lìonra iomlan sa bhad.
MCH: - Tha, tha mi a 'tuigsinn a h-uile càil: frithealaiche, stòr-dàta, mullach, austat, logaichean - tha a h-uile dad luath ...
MM: - Tha e soilleir. Bheir sinn sùil air an lìon. Fhuair sinn a-mach, ann an suidheachadh far an robh àireamh mhòr de thachartasan gnìomhach, gun do thòisich a’ mhòr-chuid de widgets beò ag obair gu math slaodach:
B’ e an t-adhbhar airson seo an ginealach de pop-ups eachdraidh tachartais a thathas a’ gineadh airson gach nì air an liosta. Mar sin, thrèig sinn ginealach nan uinneagan sin (thug sinn iomradh air 5 loidhnichean sa chòd), agus dh’ fhuasgail seo na duilgheadasan againn.
Tha an ùine luchdachadh airson widgets, eadhon nuair nach eil e ri fhaighinn, air a lughdachadh bho ghrunn mhionaidean gu 10-15 diogan iomchaidh dhuinn, agus chithear an eachdraidh fhathast le bhith a’ cliogadh air an ùine:
Às deidh obair. 2 mìosan air ais
MCH: - Misha, a bheil thu a 'falbh? Feumaidh sinn bruidhinn.
MM: - Cha robh dùil agam. Rudeigin le Zabbix a-rithist?
MCH: - Chan eil, gabh fois! Bha mi dìreach airson a ràdh: tha a h-uile dad ag obair, tapadh leat! Tha lionn agam.
Tha Zabbix èifeachdach
Tha Zabbix na shiostam agus gnìomh gu math uile-choitcheann agus beairteach. Faodar a chleachdadh airson ionadan beaga a-mach às a’ bhogsa, ach mar a dh’ fhàsas feumalachdan, feumar a mheudachadh. Gus tasglann mòr de mheatairean a stòradh, cleachd stòradh iomchaidh:
- faodaidh tu innealan togte a chleachdadh ann an cruth amalachadh le Elasticsearch no luchdachadh suas eachdraidh gu faidhlichean teacsa (ri fhaighinn bho dhreach 4);
- Faodaidh tu brath a ghabhail air an eòlas agus an aonachadh againn le Clickhouse.
Gus astar cruinneachadh meatrach àrdachadh gu mòr, cruinnich iad le bhith a’ cleachdadh dhòighean asyncronach agus cuir thairis iad tron eadar-aghaidh trapper gu frithealaiche Zabbix; no faodaidh tu bad a chleachdadh gus luchd-bhòtaidh Zabbix a dhèanamh asyncronach.
Tha Zabbix sgrìobhte ann an C agus tha e gu math èifeachdach. Le bhith a’ fuasgladh grunn bhotail ailtireil leigidh sin leat a choileanadh àrdachadh tuilleadh agus, nar n-eòlas, barrachd air 100 mìle meatrach fhaighinn air inneal aon phròiseasar.
An aon phìos Zabbix
MM: - Tha mi airson puing no dhà a chur ris. Tha an aithisg làithreach gu lèir, a h-uile deuchainn, àireamhan air an toirt seachad airson an rèiteachadh a bhios sinn a’ cleachdadh. Tha sinn a-nis a’ toirt timcheall air 20 mìle meatrach gach diog bhuaithe. Ma tha thu a’ feuchainn ri tuigsinn an obraich seo dhut, faodaidh tu coimeas a dhèanamh. Tha na chaidh a dheasbad an-diugh air a phostadh air GitHub ann an cruth bad:
Tha am paiste a’ toirt a-steach:
- làn amalachadh le Clickhouse (an dà chuid frithealaiche Zabbix agus frontend);
- fuasgladh fhaighinn air duilgheadasan leis a 'mhanaidsear preprocessor;
- bhòtadh asyncronach.
Tha am paiste co-chòrdail ris a h-uile dreach 4, a’ toirt a-steach lts. Nas coltaiche, le glè bheag de dh'atharrachaidhean obraichidh e air dreach 3.4.
Tapadh leibh airson ur aire.
Do cheistean
Ceist bhon luchd-èisteachd (an-seo - A): - Feasgar math! Feuch an innis thu dhomh, a bheil planaichean agad airson eadar-obrachadh dian le sgioba Zabbix no còmhla riutha còmhla riut, gus nach e bad a tha seo, ach giùlan àbhaisteach Zabbix?
MM: - Seadh, bidh sinn gu cinnteach a’ gealltainn cuid de na h-atharrachaidhean. Tachraidh rudeigin, fuirichidh rudeigin anns a’ phaiste.
A: - Mòran taing airson an aithisg shàr-mhath! Feuch an innis thu dhomh, às deidh dhut am paiste a chuir an sàs, fuirichidh taic bho Zabbix agus mar a chumas tu ag ùrachadh gu dreachan nas àirde? Am bi e comasach Zabbix ùrachadh às deidh do paiste gu 4.2, 5.0?
MM: - Chan urrainn dhomh dad a ràdh mu thaic. Nam b’ e taic theicnigeach Zabbix a bh’ annam, is dòcha nach canainn, oir is e seo còd cuideigin eile. A thaobh bunait còd 4.2, is e ar suidheachadh: “Gluaisidh sinn le ùine, agus bheir sinn ùrachadh dhuinn fhìn air an ath dhreach.” Mar sin, airson ùine bidh sinn a’ postadh bad airson dreachan ùraichte. Thuirt mi mar-thà anns an aithisg: tha an àireamh de dh'atharrachaidhean le dreachan fhathast gu math beag. Tha mi a 'smaoineachadh gun tug an gluasad bho 3.4 gu 4 mu mhionaidean 15 dhuinn. Dh'atharraich rudeigin an sin, ach cha robh e glè chudromach.
A: - Mar sin tha thu an dùil taic a thoirt don raon agad agus an urrainn dhut a chuir a-steach gu sàbhailte ann an cinneasachadh agus ùrachaidhean fhaighinn ann an dòigh air choreigin san àm ri teachd?
MM: - Tha sinn ga mholadh gu làidir. Fuasglaidh seo mòran dhuilgheadasan dhuinn.
MCH: - A-rithist, bu mhath leam aire a tharraing gu bheil na h-atharrachaidhean nach eil a 'buntainn ris an ailtireachd agus nach eil a' buntainn ri bacadh no ciudhaichean modular, tha iad ann am modalan fa leth. Fiù 's le atharrachaidhean beaga faodaidh tu an cumail suas gu math furasta.
MM: - Ma tha ùidh agad anns an fhiosrachadh, bidh “Clickhouse” a’ cleachdadh an leabharlann eachdraidh ris an canar. Tha e neo-cheangailte - is e leth-bhreac den taic Elastics a th 'ann, is e sin, tha e comasach a rèiteachadh. Chan eil bhòtadh ach ag atharrachadh luchd-bhòtaidh. Tha sinn den bheachd gun obraich seo airson ùine mhòr.
A: - Taing mhòr. Inns dhomh, a bheil sgrìobhainnean sam bith ann mu na h-atharrachaidhean a chaidh a dhèanamh?
MM: - Is e pasgan a th’ ann an sgrìobhainnean. Gu follaiseach, le toirt a-steach Clickhouse, le toirt a-steach seòrsachan ùra de luchd-bhòtaidh, bidh roghainnean rèiteachaidh ùra ag èirigh. Tha tuairisgeul goirid air a’ cheangal bhon t-sleamhnag mu dheireadh air mar a chleachdas tu e.
Mu bhith a’ cur nmap an àite fping
A: - Ciamar a chuir thu seo an gnìomh mu dheireadh? An urrainn dhut eisimpleirean sònraichte a thoirt seachad: a bheil strappers agus sgriobt taobh a-muigh agad? Dè a thig gu crìch a bhith a’ sgrùdadh àireamh cho mòr de luchd-aoigheachd cho luath? Ciamar a gheibh thu na h-aoighean seo? Am feum sinn am biadhadh gu nmap dòigh air choireigin, am faighinn à àiteigin, an cur a-steach, rudeigin a ruith? ..
MM: - Tarraingeach. Ceist gu math ceart! Is e a’ phuing seo. Dh'atharraich sinn an leabharlann (ICMP ping, pàirt de Zabbix) airson sgrùdaidhean ICMP, a tha a 'sealltainn an àireamh de phacaid - aon (1), agus tha an còd a' feuchainn ri nmap a chleachdadh. Is e sin, is e seo obair a-staigh Zabbix, a thàinig gu bhith na obair a-staigh aig a’ phinger. Mar sin, chan eil feum air sioncronadh no cleachdadh trapper. Chaidh seo a dhèanamh a dh’aona ghnothach gus an siostam fhàgail slàn agus gun a bhith a’ dèiligeadh ri sioncronadh dà shiostam stòr-dàta: dè a nì thu sgrùdadh, luchdachadh suas tron mholair, agus a bheil an luchdachadh suas againn briste?.. Tha seo tòrr nas sìmplidh.
A: - A bheil e ag obair dha proxies cuideachd?
MM: - Tha, ach cha do rinn sinn sgrùdadh. Tha an còd bhòtaidh mar an ceudna an dà chuid ann an Zabbix agus air an fhrithealaiche. Bu chòir a bhith ag obair. Leig leam cuideam a chuir air a-rithist: tha coileanadh an t-siostaim cho mòr is nach fheum sinn neach-ionaid.
MCH: - Is e am freagairt cheart don cheist: “Carson a tha feum agad air neach-ionaid le leithid de shiostam?” Is ann dìreach air sgàth NAT no sgrùdadh tro sheòrsa air choreigin de sheanal slaodach ...
A: - Agus bidh thu a’ cleachdadh Zabbix mar allertor, ma thuigeas mi gu ceart. No a bheil na grafaigean agad (far a bheil ìre an tasglann) air gluasad gu siostam eile, leithid Grafana? No nach eil thu a’ cleachdadh a’ ghnìomh seo?
MM: - Cuiridh mi cuideam a-rithist: tha sinn air amalachadh iomlan a choileanadh. Tha sinn a’ dòrtadh eachdraidh a-steach do Clickhouse, ach aig an aon àm tha sinn air an aghaidh php atharrachadh. Bidh an aghaidh Php a’ dol gu Clickhouse agus a’ dèanamh na grafaigean gu lèir às an sin. Aig an aon àm, a bhith onarach, tha pàirt againn a bhios a 'togail dàta ann an siostaman taisbeanaidh grafaigeach eile bhon aon Clickhouse, bhon aon dàta Zabbix.
MCH: - Ann an “Grafan” cuideachd.
Ciamar a chaidh co-dhùnaidhean a dhèanamh mu riarachadh ghoireasan?
A: - Roinn beagan den chidsin a-staigh agad. Ciamar a chaidh an co-dhùnadh gu robh feum air goireasan a riarachadh airson fìor ghiollachd air an toradh? Tha iad sin, san fharsaingeachd, cuid de chunnartan. Agus feuch an innis thu dhomh, ann an co-theacsa gu bheil thu gu bhith a’ toirt taic do dhreachan ùra: ciamar a tha an co-dhùnadh seo a’ fìreanachadh bho shealladh riaghlaidh?
MM: - A rèir choltais, cha do dh'innis sinn dràma na h-eachdraidh glè mhath. Lorg sinn sinn fhìn ann an suidheachadh far am feumadh rudeigin a dhèanamh, agus gu dearbh chaidh sinn le dà sgioba co-shìnte:
- Bha aon dhiubh a’ cur air bhog siostam sgrùdaidh a’ cleachdadh dhòighean ùra: sgrùdadh mar sheirbheis, seata àbhaisteach de fhuasglaidhean fosgailte a bhios sinn a’ cur còmhla agus an uairsin feuchainn ris a’ phròiseas gnìomhachais atharrachadh gus obrachadh leis an t-siostam sgrùdaidh ùr.
- Aig an aon àm, bha prògramadair dealasach againn a bha a 'dèanamh seo (mu dheidhinn fhèin). Is ann mar sin a thachair gun do bhuannaich e.
A: - Agus dè cho mòr 'sa tha an sgioba?
MCH: - Tha i air beulaibh thu.
A: - Mar sin, mar as àbhaist, a bheil feum agad air dìoghrasach?
MM: - Chan eil fios agam dè a th 'ann an dìoghras.
A: - Anns a 'chùis seo, a rèir coltais, thu. Mòran taing, tha thu uamhasach.
MM: - Tapadh leat.
Mu dheidhinn pasgan airson zabbix
A: - Airson siostam a bhios a’ cleachdadh proxies (mar eisimpleir, ann an cuid de shiostaman sgaoilte), a bheil e comasach atharrachadh agus atharrachadh, can, pollers, proxies agus ann am pàirt mar ro-phròiseasar Zabbix fhèin; agus an eadar-obrachadh aca? A bheil e comasach na leasachaidhean a th’ ann mar-thà a bharrachadh airson siostam le ioma proxies?
MM: - Tha fios agam gu bheil am frithealaiche Zabbix air a chruinneachadh a’ cleachdadh neach-ionaid (tha an còd air a chur ri chèile agus air fhaighinn). Cha do rinn sinn deuchainn air seo ann an cinneasachadh. Chan eil mi cinnteach mu dheidhinn seo, ach tha mi a 'smaoineachadh nach eil am manaidsear preprocessor air a chleachdadh san neach-ionaid. Is e obair an neach-ionaid seata de mheatairean a thoirt bho Zabbix, an cur còmhla (bidh e cuideachd a’ clàradh an rèiteachadh, an stòr-dàta ionadail) agus a thoirt air ais don fhrithealaiche Zabbix. Nì am frithealaiche fhèin an ro-phròiseasadh nuair a gheibh e e.
Tha an ùidh ann an proxies furasta a thuigsinn. Nì sinn sgrùdadh air. Is e cuspair inntinneach a tha seo.
A: - B’ e seo am beachd: mas urrainn dhut luchd-bhòtaidh a ghlacadh, faodaidh tu an glacadh air an neach-ionaid agus an eadar-obrachadh leis an t-seirbheisiche a cheangal, agus an ro-phròiseasar atharrachadh airson na h-adhbharan sin a-mhàin air an fhrithealaiche.
MM: - Tha mi a’ smaoineachadh gu bheil e eadhon nas sìmplidh. Gabhaidh tu an còd, cuiridh tu paiste an sàs, an uairsin rèitichidh tu e mar a dh’ fheumas tu - cruinnich frithealaichean progsaidh (mar eisimpleir, le ODBC) agus sgaoil an còd paiste thairis air siostaman. Far a bheil sin riatanach - cruinnich neach-ionaid, far a bheil sin riatanach - frithealaiche.
A: - Nas coltaiche, cha bhith agad ris an tar-chuir neach-ionaid chun t-seirbheisiche a bharrachd?
MCH: - Chan e, tha e àbhaisteach.
MM: - Gu dearbh, cha robh fuaim aig aon de na beachdan. Tha sinn an-còmhnaidh air cothromachadh a chumail eadar an spreadhadh de bheachdan agus na tha de dh’ atharrachaidhean agus cho furasta sa tha taic.
Cuid de shanasan 🙂
Tapadh leibh airson fuireach còmhla rinn. An toil leat na h-artaigilean againn? A bheil thu airson susbaint nas inntinniche fhaicinn? Thoir taic dhuinn le bhith a’ cur òrdugh no a’ moladh do charaidean, , analog sònraichte de luchd-frithealaidh ìre inntrigidh, a chaidh a chruthachadh leinn dhut: (ri fhaighinn le RAID1 agus RAID10, suas ri 24 cores agus suas ri 40GB DDR4).
Dell R730xd 2x nas saoire ann an ionad dàta Equinix Tier IV ann an Amsterdam? A-mhàin an seo anns an Òlaind! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - bho $99! Leugh mu dheidhinn
Source: www.habr.com