Tionólfar an chéad chomhdháil HighLoad++ eile ar 6 agus 7 Aibreán, 2020 i St Petersburg Sonraí agus ticéid . HighLoad++ Moscó 2018. Halla “Moscó”. 9 Samhain, 15:00. Tráchtais agus .
* Monatóireacht - ar líne agus anailísíocht.
* Teorainneacha bunúsacha ardán ZABBIX.
* Réiteach le haghaidh stóráil anailísíochta scálaithe.
* Optimization an fhreastalaí ZABBIX.
* leas iomlán a bhaint Chomhéadain.
* Taithí ag oibriú an chórais faoi ualaí níos mó ná 40k NVPS.
* Conclúidí gairide.
Mikhail Makurov (dá ngairtear anseo feasta – MM): - Dia duit gach duine!
Maxim Chernetsov ( anseo feasta - MCH): - Tráthnóna maith!
MM: - Lig dom Maxim a thabhairt isteach. Is innealtóir cumasach é Max, an líonraitheoir is fearr a bhfuil aithne agam air. Tá baint ag Maxim le líonraí agus seirbhísí, lena bhforbairt agus lena n-oibriú.
MCH: - Agus ba mhaith liom a insint duit faoi Mikhail. Is forbróir C é Mikhail. Scríobh sé roinnt réitigh phróiseála tráchta ard-ualaigh dár gcuideachta. Tá cónaí orainn agus oibrímid san Urals, i gcathair na bhfear diana Chelyabinsk, i gcuideachta Intersvyaz. Is soláthraí seirbhísí Idirlín agus teilifíse cábla í ár gcuideachta do mhilliún duine i 16 chathair.
MM: - Agus is fiú a rá go bhfuil i bhfad níos mó ag Intersvyaz ná soláthraí amháin, is cuideachta TF é. Déanann ár rannóg TF an chuid is mó dár réitigh.
AGUS: ó fhreastalaithe a phróiseálann trácht go lárionad glaonna agus feidhmchlár soghluaiste. Tá thart ar 80 duine ag an rannóg TF anois agus inniúlachtaí an-ilghnéitheacha acu.
Maidir Zabbix agus a ailtireacht
MCH: - Agus anois déanfaidh mé iarracht taifead pearsanta a shocrú agus a rá i gceann nóiméad cad é Zabbix (dá ngairfear “Zabbix” anseo feasta).
Seasann Zabbix dó féin mar chóras monatóireachta lasmuigh den bhosca ag leibhéal fiontair. Tá go leor gnéithe aige a dhéanann an saol níos éasca: rialacha formhéadaithe chun cinn, API le haghaidh comhtháthú, grúpáil agus uath-bhrath óstaigh agus méadracht. Tá uirlisí scálaithe mar a thugtar orthu ag Zabbix - seachvótálaithe. Is córas foinse oscailte é Zabbix.
Go hachomair faoin ailtireacht. Is féidir linn a rá go bhfuil trí chomhpháirt ann:
- Freastalaí. Scríofa i C. Le próiseáil sách casta agus aistriú faisnéise idir snáitheanna. Déantar an phróiseáil go léir ann: ó fháil go coigilt ar an mbunachar sonraí.
- Stóráiltear na sonraí go léir sa bhunachar sonraí. Tacaíonn Zabbix le MySQL, PostreSQL agus Oracle.
- Tá an comhéadan gréasáin scríofa i PHP. Ar fhormhór na gcóras tagann sé le freastalaí Apache, ach oibríonn sé níos éifeachtaí i gcomhar le nginx + php.
Inniu ba mhaith linn scéal amháin a insint ó shaol ár gcuideachta a bhaineann le Zabbix...
Scéal ó shaol na cuideachta Intersvyaz. Cad atá againn agus cad atá de dhíth orainn?
5 nó 6 mhí ó shin. Lá amháin tar éis obair saor in aisce,. .
MCH: - Misha, Dia duit! Tá áthas orm gur éirigh liom tú a ghabháil - tá comhrá ann. Bhí fadhbanna againn arís le monatóireacht. Le linn timpiste mhór, bhí gach rud mall agus ní raibh aon fhaisnéis faoi staid an líonra. Ar an drochuair, ní hé seo an chéad uair a tharla sé seo. Tá do chabhair ag teastáil uaim. Déanaimis ár monatóireacht a dhéanamh ar aon imthosca!
MM: - Ach déanaimis sioncrónú ar dtús. Níor fhéach mé ann le cúpla bliain. Chomh fada agus is cuimhin liom, thréigeamar Nagios agus aistrigh go Zabbix thart ar 8 mbliana ó shin. Agus anois is cosúil go bhfuil 6 fhreastalaithe cumhachtacha againn agus thart ar dhosaen proxies. An bhfuil mearbhall orm faoi rud ar bith?
MCH: - Beagnach. 15 freastalaí, ar meaisíní fíorúla cuid acu. Is é an rud is tábhachtaí ná nach sábhálann sé sinn i láthair na huaire nuair is mó a theastaíonn uainn. Cosúil le timpiste - mhoillíonn na freastalaithe agus ní fheiceann tú rud ar bith. Rinneamar iarracht an chumraíocht a bharrfheabhsú, ach níor sholáthair sé seo an t-ardú feidhmíochta is fearr.
MM: - Tá sé soiléir. Ar fhéach tú ar rud éigin, an ndearna tú rud éigin a thochailt cheana féin ón diagnóisic?
MCH: – Is é an chéad rud a chaithfidh tú déileáil leis ná an bunachar sonraí. Tá MySQL luchtaithe i gcónaí, ag stóráil méadracht nua, agus nuair a thosaíonn Zabbix ag giniúint a lán imeachtaí, téann an bunachar sonraí isteach i overdrive ar feadh cúpla uair an chloig go litriúil. Dúirt mé leat cheana féin maidir leis an gcumraíocht a bharrfheabhsú, ach go litriúil i mbliana nuashonraigh siad na crua-earraí: tá níos mó ná céad ghigibheart de chuimhne agus eagair diosca ag na freastalaithe ar SSD RAIDs - níl aon phointe ann é a fhás go líneach san fhadtéarma. Cad a dhéanaimid?
MM: - Tá sé soiléir. Go ginearálta, is bunachar sonraí LTP é MySQL. De réir dealraimh, níl sé oiriúnach a thuilleadh chun cartlann de mhéadracht dár méid a stóráil. A ligean ar figiúr sé amach.
MCH: - Déanaimis!
Comhtháthú Zabbix agus Clickhouse mar thoradh ar an hackathon
Tar éis tamaill fuaireamar sonraí suimiúla:
Bhí an chuid is mó den spás inár mbunachar sonraí áitithe sa chartlann méadrachta agus úsáideadh níos lú ná 1% le haghaidh cumraíochta, teimpléid agus socruithe. Faoin am sin, bhíomar ag feidhmiú an réiteach sonraí Big bunaithe ar Clickhouse ar feadh níos mó ná bliain. Ba léir dúinn treo na gluaiseachta. Ag ár Hackathon earrach, scríobh mé comhtháthú Zabbix le Clickhouse don fhreastalaí agus don frontend. Ag an am sin, bhí tacaíocht ag Zabbix do ElasticSearch cheana féin, agus shocraigh muid iad a chur i gcomparáid.
Comparáid idir Clickhouse agus Elasticsearch
MM: – Mar chomparáid, ghineamar an t-ualach céanna agus a sholáthraíonn freastalaí Zabbix agus d’fhéachamar ar iompar na gcóras. Scríobhamar sonraí i mbaisceanna de 1000 líne, ag baint úsáide as CURL. Ghlacamar leis roimh ré go mbeadh Clickhouse níos éifeachtaí don phróifíl ualaigh a dhéanann Zabbix. Sháraigh na torthaí ár n-ionchais fiú:
Faoi na coinníollacha tástála céanna, scríobh Clickhouse trí huaire níos mó sonraí. Ag an am céanna, d'ídigh an dá chóras go han-éifeachtach (méid beag acmhainní) agus sonraí á léamh. Ach bhí méid mór próiseálaí ag teastáil leaisteacha agus iad ag taifeadadh:
San iomlán, bhí Clickhouse i bhfad níos fearr ná Elastix i dtéarmaí tomhaltas próiseálaí agus luas. Ag an am céanna, mar gheall ar chomhbhrú sonraí, úsáideann Clickhouse 11 uair níos lú ar an tiomántán crua agus déanann sé thart ar 30 uair níos lú oibríochtaí diosca:
MCH: – Sea, cuirtear obair Clickhouse leis an bhfochóras diosca i bhfeidhm go han-éifeachtach. Is féidir leat dioscaí SATA ollmhóra a úsáid le haghaidh bunachair shonraí agus luasanna scríbhneoireachta a fháil de na céadta mílte líne in aghaidh an tsoicind. Tacaíonn an córas lasmuigh den bhosca le bearrtha, macasamhlú, agus tá sé an-éasca a chumrú. Táimid thar a bheith sásta lena úsáid i rith na bliana.
Chun acmhainní a bharrfheabhsú, is féidir leat Clickhouse a shuiteáil in aice le do phríomhbhunachar sonraí reatha agus ar an gcaoi sin go leor ama LAP agus oibríochtaí diosca a shábháil. Táimid tar éis cartlann na méadrachta a aistriú go braislí Clickhouse atá ann cheana féin:
Chuireamar an oiread sin faoiseamh ar phríomhbhunachar sonraí MySQL go bhféadfaimis é a chomhcheangal ar mheaisín amháin leis an bhfreastalaí Zabbix agus an freastalaí tiomnaithe do MySQL a thréigean.
Conas a oibríonn an vótaíocht in Zabbix?
4 mí ó shin
MM: – Bhuel, an féidir linn dearmad a dhéanamh faoi na fadhbanna leis an mbonn?
MCH: - Sin do cinnte! Fadhb eile nach mór dúinn a réiteach ná bailiú sonraí mall. Anois tá ár 15 seachfhreastalaí go léir ró-ualaithe le SNMP agus próisis vótaíochta. Agus níl aon bhealach ann ach freastalaithe nua agus nua a shuiteáil.
MM: - Go hiontach. Ach ar dtús, inis dúinn conas a oibríonn vótaíocht i Zabbix?
MCH: – I mbeagán focal, tá 20 cineál méadrachta agus dosaen bealaí chun iad a fháil. Is féidir le Zabbix sonraí a bhailiú sa mhodh “iarratas-freagra”, nó fanacht le sonraí nua tríd an “Chomhéadan Trapper”.
Is fiú a thabhairt faoi deara go bhfuil an modh seo (Trapper) sa Zabbix bunaidh an ceann is tapúla.
Tá seachfhreastalaí ann le dáileadh ualaigh:
Is féidir le seachvótálaithe na feidhmeanna bailiúcháin céanna a dhéanamh le freastalaí Zabbix, tascanna a fháil uaidh agus an mhéadracht bhailithe a sheoladh tríd an gcomhéadan Trapper. Is é seo an bealach a mholtar go hoifigiúil chun an t-ualach a dháileadh. Tá seachvótálaithe úsáideach freisin chun monatóireacht a dhéanamh ar bhonneagar cianda a oibríonn trí NAT nó trí chainéal mall:
MM: – Tá gach rud soiléir leis an ailtireacht. Caithfimid breathnú ar na foinsí...
Cúpla lá ina dhiaidh sin
An scéal faoi conas a bhuaigh nmap fping
MM: “Sílim gur thochail mé rud éigin.”
MCH: - Inis dom!
MM: – Fuair mé amach, agus infhaighteacht á sheiceáil agam, go seiceálann Zabbix uasmhéid de 128 óstach ag an am. Rinne mé iarracht an líon seo a mhéadú go 500 agus an t-eatramh idirphaicéad a bhaint ina ping (ping) - rinne sé seo an fheidhmíocht a dhúbailt. Ach ba mhaith liom uimhreacha níos mó.
MCH: – I mo chleachtas, uaireanta bíonn orm infhaighteacht na mílte óstach a sheiceáil, agus ní fhaca mé aon rud níos tapúla ná nmap le haghaidh seo. Tá mé cinnte gurb é seo an bealach is tapúla. Déanaimis iarracht é! Ní mór dúinn líon na n-óstach in aghaidh an atriallta a mhéadú go suntasach.
MM: – Seiceáil níos mó ná cúig chéad? 600?
MCH: - Ar a laghad cúpla míle.
MM: - Ceart go leor. Is é an rud is tábhachtaí a theastaigh uaim a rá ná go bhfuair mé amach go ndéantar an chuid is mó den vótaíocht i Zabbix go sioncronach. Is cinnte go gcaithfimid é a athrú go mód asincrónach. Ansin is féidir linn méadú suntasach a dhéanamh ar líon na méadrachta a bhailíonn pobalóirí, go háirithe má mhéadaímid líon na méadrachta in aghaidh an atriallta.
MCH: - Go hiontach! Agus cathain?
MM: - Mar is gnáth, inné.
MCH: – Chuireamar an dá leagan de fping agus nmap i gcomparáid:
Ar líon mór óstach, bhíothas ag súil go mbeadh nmap suas le cúig huaire níos éifeachtaí. Ós rud é nach seiceálann nmap ach infhaighteacht agus am freagartha, bhogamar ríomh na gcaillteanas go truicear agus laghdaíodh go suntasach na tréimhsí seiceála infhaighteachta. Fuaireamar amach gurb é an líon óstach is fearr le haghaidh nmap ná timpeall 4 mhíle in aghaidh an atriallta. Cheadaigh Nmap dúinn costas seiceálacha infhaighteachta LAP a laghdú trí huaire agus an t-eatramh a laghdú ó 120 soicind go 10.
Barrfheabhsú vótaíochta
MM: “Ansin thosaíomar ag déanamh pollers. Bhí suim againn go príomha i bhrath SNMP agus gníomhairí. In Zabbix, déantar an vótaíocht go sioncronach agus glacadh bearta speisialta chun éifeachtúlacht an chórais a mhéadú. I mód sioncrónach, bíonn díghrádú suntasach vótaíochta mar thoradh ar neamh-infhaighteacht óstach. Tá córas stáit iomlán ann, tá próisis speisialta ann - na pollers nach féidir a bhaint amach mar a thugtar orthu, nach n-oibríonn ach le hóstach nach féidir a bhaint amach:
Tráchtaireacht í seo a léiríonn an stát-mhaitrís, castacht chóras na n-aistrithe go léir atá ag teastáil le go bhfanfaidh an córas éifeachtach. Ina theannta sin, tá an vótaíocht shioncrónach féin mall go leor:
Sin é an fáth nach raibh na mílte sruth pollaire ar an iliomad seachvótálaithe in ann an méid sonraí riachtanacha a bhailiú dúinn. Réitigh an cur i bhfeidhm asincrónach ní hamháin na fadhbanna le líon na snáitheanna, ach rinne sé simpliú suntasach ar chóras stáit na n-óstach nach raibh ar fáil, mar gheall ar aon líon a seiceáladh in atriall vótála amháin, ba é an t-uastréimhse feithimh ná 1 teorainn ama:
Ina theannta sin, rinneamar an córas vótála d'iarratais SNMP a mhodhnú agus a fheabhsú. Is é fírinne an scéil nach féidir le formhór na ndaoine freagra a thabhairt ar iarratais iolracha SNMP ag an am céanna. Mar sin, rinneamar modh hibrideach, nuair a dhéantar vótaíocht SNMP den óstach céanna go neamhshioncronach:
Déantar é seo don phacáiste iomlán óstach. Níl an modh seo ar deireadh níos moille ná ceann go hiomlán asincrónach, ós rud é go bhfuil vótaíocht céad go leith de luach SNMP fós i bhfad níos tapúla ná 1 teorainn ama.
Tá sé léirithe ag ár dturgnaimh gurb é an líon is fearr iarratas in aon atriall amháin ná thart ar 8 míle le vótaíocht SNMP. San iomlán, cheadaigh an t-aistriú go mód asincrónach dúinn feidhmíocht vótaíochta a bhrostú 200 uair, cúpla céad uair.
MCH: – Léiríodh sna huasmhéaduithe vótaíochta a d’eascair as seo nach féidir linn fáil réidh le gach seachvótálaí, ach freisin go laghdófaí na tréimhsí do go leor seiceálacha, agus nach mbeidh gá le seachvótálaithe a thuilleadh mar bhealach chun an t-ualach a roinnt.
Thart ar thrí mhí ó shin
Athraigh an ailtireacht - cuir leis an ualach!
MM: - Bhuel, Max, an bhfuil sé in am a bheith táirgiúil? Tá freastalaí cumhachtach agus innealtóir maith de dhíth orm.
MCH: - Ceart go leor, déanaimis é a phleanáil. Tá sé in am bogadh ón bpointe marbh de 5 míle méadracht in aghaidh an tsoicind.
Ar maidin tar éis an uasghrádú
MCH: - Misha, thugamar suas chun dáta sinn féin, ach faoi mhaidin chuamar ar ais... Buille faoi thuairim cén luas a d'éirigh linn a bhaint amach?
MM: – uasmhéid 20 míle.
MCH: - Sea, 25! Ar an drochuair, táimid ceart san áit a thosaigh muid.
MM: - Cén fáth? Ar rith tú aon diagnóisic?
MCH: - Sea, cinnte! Anseo, mar shampla, tá barr suimiúil:
MM: - A ligean ar faire. Feicim go bhfuil iarracht déanta againn ar líon mór snáitheanna vótaíochta:
Ach ag an am céanna níorbh fhéidir leo an córas a athchúrsáil fiú faoi leath:
Agus tá an fheidhmíocht iomlán sách beag, thart ar 4 míle méadracht in aghaidh an tsoicind:
An bhfuil aon rud eile ann?
MCH: – Sea, rian de cheann de na pollers:
MM: – Anseo is féidir leat a fheiceáil go soiléir go bhfuil an próiseas vótaíochta ag fanacht le "semaphores". Seo iad na glais:
MCH: - Doiléir.
MM: – Féach, tá sé seo cosúil le cás ina bhfuil sraith snáitheanna ag iarraidh oibriú le hacmhainní nach féidir ach le duine amháin oibriú leo ag an am céanna. Ní féidir leo ach an acmhainn seo a roinnt le himeacht ama:
Agus tá feidhmíocht iomlán oibriú le hacmhainn den sórt sin teoranta ag luas croí amháin:
Tá dhá bhealach ann chun an fhadhb seo a réiteach.
Uasghrádaigh crua-earraí an mheaisín, aistrigh go croíleacáin níos tapúla:
Nó athraigh an ailtireacht agus athraigh an t-ualach ag an am céanna:
MCH: – Dála an scéil, ar an meaisín tástála úsáidfimid níos lú croíleacáin ná mar atá ar an gceann comhraic, ach tá siad 1,5 uair níos tapúla i minicíocht in aghaidh an chroí!
MM: - Glan? Ní mór duit breathnú ar an gcód freastalaí.
Conair sonraí i bhfreastalaí Zabbix
MCH: – Chun é a dhéanamh amach, thosaigh muid ag déanamh anailís ar an gcaoi a n-aistrítear sonraí laistigh den fhreastalaí Zabbix:
Pictiúr fionnuar, ceart? A ligean ar dul tríd sé céim ar chéim chun é a dhéanamh níos mó nó níos lú soiléir. Tá snáitheanna agus seirbhísí ann atá freagrach as sonraí a bhailiú:
Tarchuireann siad an mhéadracht bhailithe trí shoicéad chuig an mbainisteoir Réamhphróiseálaí, áit a ndéantar iad a shábháil i scuaine:
Tarchuireann an “bainisteoir réamhphróiseálaí” sonraí chuig a chuid oibrithe, a fhorghníomhaíonn treoracha réamhphróiseála agus a sheolann ar ais tríd an soicéad céanna iad:
Tar éis seo, stórálann an bainisteoir réamhphróiseálaí iad sa taisce staire:
Ó ann tá siad tógtha ag sinkers stair, a chomhlíonann go leor feidhmeanna: mar shampla, triggers a ríomh, líonadh an taisce luach agus, níos tábhachtaí, a shábháil méadracht sa stair stórála. Go ginearálta, tá an próiseas casta agus an-mearbhall.
MM: – Ba é an chéad rud a chonaic muid ná go bhfuil an chuid is mó de na snáitheanna san iomaíocht don “taisce cumraíochta” mar a thugtar air (an limistéar cuimhne ina stóráiltear gach cumraíocht fhreastalaí). Déanann snáitheanna atá freagrach as sonraí a bhailiú a lán blocála go háirithe:
...ós rud é go stórálann an chumraíocht ní amháin méadracht lena bparaiméadar, ach freisin scuainí óna bhfaigheann pobalbhreith faisnéis faoi cad atá le déanamh ina dhiaidh sin. Nuair a bhíonn go leor pollers agus blocálann duine an chumraíocht, fanann na cinn eile le hiarratais:
Níor cheart go mbeadh coinbhleacht ag pobalóirí
Mar sin, ba é an chéad rud a rinneamar ná an scuaine a roinnt ina 4 chuid agus ligean do pollairí bac a chur ar na scuainí seo, na codanna seo ag an am céanna, faoi choinníollacha sábháilte:
Bhain sé seo an iomaíocht don taisce cumraíochta, agus tháinig méadú suntasach ar luas na pollers. Ach ansin thángamar ar an bhfíric gur thosaigh an bainisteoir réamhphróiseálaí ag carnadh scuaine post:
Caithfidh bainisteoir réamhphróiseálaí a bheith in ann tosaíocht a thabhairt
Tharla sé seo i gcásanna ina raibh easpa feidhmíochta aige. Ansin níorbh fhéidir leis ach iarratais a charnadh ó phróisis bhailithe sonraí agus a maolán a shuimiú go dtí go n-ídíonn sé an chuimhne ar fad agus gur thit sé:
Chun an fhadhb seo a réiteach, chuireamar an dara soicéad leis a bhí tiomnaithe go sonrach d’oibrithe:
Mar sin, bhí an deis ag an mbainisteoir réamhphróiseálaí tosaíocht a thabhairt dá chuid oibre agus, má fhásann an maolán, is é an tasc atá ann ná an t-aistriú a mhoilliú, rud a thugann deis d'oibrithe an maolán seo a ghlacadh:
Ansin fuaireamar amach gurbh é ceann de na cúiseanna leis an mhoilliú ná na hoibrithe féin, ós rud é go raibh siad san iomaíocht le haghaidh acmhainn a bhí go hiomlán neamhthábhachtach dá gcuid oibre. Rinneamar an fhadhb seo a dhoiciméadú mar fhabht-shocrú, agus tá sé réitithe cheana féin i leaganacha nua de Zabbix:
Méadaíonn muid líon na soicéid - faigheann muid an toradh
Ina theannta sin, tháinig bac ar an mbainisteoir réamhphróiseálaí féin, ós rud é gur snáithe amháin é. Luigh sé ar an gcroíluas, rud a thug uasluas de thart ar 70 míle méadracht in aghaidh an tsoicind:
Mar sin, rinneamar ceithre, le ceithre shraith soicéid, oibrithe:
Agus cheadaigh sé seo dúinn an luas a mhéadú go dtí thart ar 130 míle méadracht:
Mínítear neamhlíneacht an fháis toisc go bhfuil an chuma ar an iomaíocht don taisce staire. Bhí 4 bhainisteoir réamhphróiseálaithe agus peacaí staire san iomaíocht ar a shon. Ag an bpointe seo, bhíomar ag fáil thart ar 130 míle méadracht in aghaidh an tsoicind ar an meaisín tástála, ag baint úsáide as thart ar 95% den phróiseálaí:
Thart ar 2,5 mí ó shin
Mhéadaigh an diúltú ó snmp-phobail NVPanna uair go leith
MM: - Max, tá carr tástála nua ag teastáil uaim! Ní luíonn muid isteach sa cheann reatha a thuilleadh.
MCH: - Cad atá agat anois?
MM: – Anois – 130k NVPs agus próiseálaí seilfréidh.
MCH: - WOW! Cool! Fan, tá dhá cheist agam. De réir mo chuid ríomhaireachtaí, is é ár ngá atá thart ar 15-20 méadracht in aghaidh an tsoicind. Cén fáth a bhfuil níos mó ag teastáil uainn?
MM: “Ba mhaith liom an post a chríochnú.” Ba mhaith liom a fheiceáil cé mhéad is féidir linn brú amach as an gcóras seo.
MCH: - Ach…
MM: “Ach tá sé gan úsáid le haghaidh gnó.”
MCH: - Tá sé soiléir. Agus an dara ceist: an féidir linn tacú leis an méid atá againn anois ar ár gcuid féin, gan cabhair ó forbróir?
MM: - Ní dóigh liom. Is fadhb í an chaoi a n-oibríonn an taisce cumraíochta a athrú. Bíonn tionchar aige ar athruithe sa chuid is mó de na snáitheanna agus tá sé deacair go leor a choimeád ar bun. Is dócha, beidh sé an-deacair é a chothabháil.
MCH: “Ansin tá rogha eile de dhíth orainn.”
MM: - Tá rogha den sórt sin. Is féidir linn aistriú go croíleacáin thapa, agus an córas glasála nua á thréigean againn. Gheobhaidh muid feidhmíocht de 60-80 míle méadracht fós. Ag an am céanna, is féidir linn an chuid eile go léir den chód a fhágáil. Oibreoidh Clickhouse agus vótaíocht asincrónach. Agus beidh sé éasca a choimeád ar bun.
MCH: - Iontach! Molaim dúinn stopadh anseo.
Tar éis an taobh freastalaí a bharrfheabhsú, bhíomar in ann an cód nua a sheoladh isteach sa táirgeadh faoi dheireadh. Tréigeamar cuid de na hathruithe i bhfabhar athrú go meaisín le croíleacáin tapa agus líon na n-athruithe cód a íoslaghdú. Rinneamar an chumraíocht a shimpliú freisin agus chuireamar deireadh le macraí i míreanna sonraí nuair is féidir, toisc go dtugann siad glasáil bhreise isteach.
Mar shampla, tar éis an macra snmp-phobail a thréigean, atá le fáil go minic i ndoiciméadú agus i samplaí, inár gcás rinne sé indéanta NVPanna a bhrostú a thuilleadh thart ar 1,5 uair.
Tar éis dhá lá i dtáirgeadh
Baintear preabfhuinneoga staire teagmhais
MCH: - Misha, tá an córas á úsáid againn le dhá lá, agus oibríonn gach rud. Ach amháin nuair a oibríonn gach rud! Bhí obair phleanáilte againn le haistriú cuid measartha mór den líonra, agus rinneamar seiceáil arís lenár lámha cad a chuaigh suas agus cad nár tharla.
MM: - Ní féidir! Rinneamar gach rud a sheiceáil 10 n-uaire. Láimhseálann an freastalaí fiú neamh-infhaighteacht líonra iomlán láithreach.
MCH: - Sea, tuigim gach rud: freastalaí, bunachar sonraí, barr, austat, logs - tá gach rud go tapa... Ach breathnaíonn muid ar an gcomhéadan gréasáin, agus tá próiseálaí “sa seilf” ar an bhfreastalaí agus seo:
MM: - Tá sé soiléir. A ligean ar féachaint ar an ngréasán. Fuaireamar amach i gcás ina raibh líon mór teagmhas gníomhach ann, gur thosaigh an chuid is mó de na giuirléidí beo ag obair go han-mhall:
Ba é an chúis atá leis seo ná na míreanna aníos maidir le stair teagmhais a ghintear do gach mír ar an liosta. Dá bhrí sin, thréigeamar giniúint na bhfuinneog seo (luaite amach 5 líne sa chód), agus réitigh sé seo ár gcuid fadhbanna.
Laghdaíodh an t-am luchtaithe do ghiuirléidí, fiú nuair nach bhfuil siad ar fáil go hiomlán, ó roinnt nóiméad go dtí an 10-15 soicind inghlactha dúinn, agus is féidir an stair a fheiceáil fós trí chliceáil ar an am:
I ndiaidh na hoibre. 2 mhí ó shin
MCH: - Misha, an bhfuil tú ag fágáil? Caithfimid labhairt.
MM: - ní raibh sé ar intinn agam. Rud éigin le Zabbix arís?
MCH: - Ní hea, lig do scíth! Ní raibh mé ach ag iarraidh a rá: oibríonn gach rud, go raibh maith agat! Tá beoir agam.
Tá Zabbix éifeachtach
Is córas agus feidhm cothrom uilíoch agus saibhir é Zabbix. Is féidir é a úsáid le haghaidh suiteálacha beaga as an mbosca, ach de réir mar a fhásann riachtanais, ní mór é a bharrfheabhsú. Chun cartlann mhór méadrachta a stóráil, bain úsáid as stóras oiriúnach:
- is féidir leat uirlisí ionsuite a úsáid i bhfoirm comhtháthú le Elasticsearch nó stair a uaslódáil chuig comhaid téacs (ar fáil ó leagan XNUMX);
- Is féidir leat leas a bhaint as ár dtaithí agus comhtháthú le Clickhouse.
Chun luas bailiúcháin méadrachta a mhéadú go suntasach, iad a bhailiú ag baint úsáide as modhanna asincrónacha agus iad a tharchur tríd an gcomhéadan trapper chuig an bhfreastalaí Zabbix; nó is féidir leat paiste a úsáid chun pollairí Zabbix a dhéanamh asincrónach.
Tá Zabbix scríofa i C agus tá sé éifeachtach go leor. Trí roinnt baic ailtireachta a réiteach is féidir leat a fheidhmíocht a mhéadú tuilleadh agus, inár dtaithí, níos mó ná 100 míle méadracht a fháil ar mheaisín aon-phróiseálaí.
An paiste céanna Zabbix
MM: – Ba mhaith liom cúpla pointe a chur leis. Tugtar an tuarascáil reatha iomlán, gach tástáil, uimhreacha don chumraíocht a úsáidimid. Táimid ag tógáil thart ar 20 míle méadracht in aghaidh an tsoicind uaidh anois. Má tá tú ag iarraidh a thuiscint an n-oibreoidh sé seo duit, is féidir leat comparáid a dhéanamh. Tá an méid a pléadh inniu curtha suas ar GitHub i bhfoirm paiste:
Áirítear leis an paiste:
- comhtháthú iomlán le Clickhouse (freastalaí Zabbix agus frontend);
- fadhbanna a réiteach leis an mbainisteoir réamhphróiseálaí;
- vótaíocht asincrónach.
Tá an paiste comhoiriúnach le gach leagan 4, lena n-áirítear lts. Is dócha, le hathruithe íosta, go n-oibreoidh sé ar leagan 3.4.
Go raibh maith agat as do aird.
ceisteanna
Ceist ón lucht éisteachta (dá ngairfear – A): – Dea-tráthnóna! Inis dom le do thoil, an bhfuil pleananna agat maidir le dian-idirghníomhú le foireann Zabbix nó leo siúd leat, ionas nach paiste é seo, ach gnáth-iompraíocht Zabbix?
MM: – Sea, is cinnte go ngéillfimid roinnt de na hathruithe. Tarlóidh rud éigin, fanfaidh rud éigin sa phaiste.
AGUS: - Go raibh míle maith agat as an tuairisc iontach! Inis dom le do thoil, tar éis an paiste a chur i bhfeidhm, fanfaidh tacaíocht ó Zabbix agus conas leanúint ar aghaidh ag nuashonrú go leaganacha níos airde? An mbeidh sé indéanta Zabbix a nuashonrú tar éis do phaiste go 4.2, 5.0?
MM: - Ní féidir liom aon rud a rá faoi thacaíocht. Dá mba thacaíocht theicniúil Zabbix mé, is dócha nach ndéarfainn, mar is cód duine eile é seo. Maidir leis an mbunachar cód 4.2, is é an seasamh atá againn: “Bogfaimid le himeacht ama, agus déanfaimid sinn féin a nuashonrú ar an gcéad leagan eile.” Mar sin, ar feadh tamaill beidh muid ag postáil paiste le haghaidh leaganacha nuashonraithe. Dúirt mé cheana féin sa tuarascáil: tá líon na n-athruithe le leaganacha fós beag go leor. Is dóigh liom gur thóg an t-aistriú ó 3.4 go 4 thart ar 15 nóiméad orainn.D'athraigh rud éigin ansin, ach ní raibh sé an-tábhachtach.
AGUS: – Mar sin tá sé beartaithe agat tacú le do paiste agus is féidir leat é a shuiteáil go sábháilte i dtáirgeadh agus nuashonruithe a fháil ar bhealach éigin amach anseo?
MM: – Molaimid go láidir é. Réitíonn sé seo go leor fadhbanna dúinn.
MCH: – Arís eile, ba mhaith liom aird a tharraingt ar an bhfíric go bhfuil na hathruithe nach mbaineann leis an ailtireacht agus nach mbaineann le blocáil nó scuainí modúlach, go bhfuil siad i modúil ar leith. Fiú le mionathruithe is féidir leat iad a chothabháil go héasca.
MM: – Má tá suim agat sna sonraí, úsáideann “Clickhouse” an leabharlann staire mar a thugtar air. Tá sé gan cheangal - is cóip é den tacaíocht Elastics, is é sin, tá sé inchumraithe. Ní athraíonn an vótaíocht ach na pollairí. Creidimid go n-oibreoidh sé seo ar feadh i bhfad.
AGUS: - Go raibh míle maith agat. Inis dom, an bhfuil aon doiciméadú ar na hathruithe a rinneadh?
MM: – Is paiste é an doiciméadú. Ar ndóigh, le tabhairt isteach Clickhouse, le tabhairt isteach cineálacha nua pollers, tagann roghanna cumraíochta nua chun cinn. Tá cur síos gairid sa nasc ón sleamhnán deireanach ar conas é a úsáid.
Maidir le nmap a chur in ionad fping
AGUS: – Conas a chuir tú é seo i bhfeidhm ar deireadh? An féidir leat samplaí sonracha a thabhairt: an bhfuil strappers agus script sheachtrach agat? Cad a chríochnaíonn suas seiceáil a leithéid de líon mór na n-óstach chomh tapa? Conas is mian leat na hóstach seo? An gá dúinn iad a bheathú chuig nmap ar bhealach éigin, iad a fháil ó áit éigin, iad a chur isteach, rud éigin a rith?..
MM: - Cool. Ceist an-cheart! Is é an pointe seo. D'athraigh muid an leabharlann (ICMP ping, cuid de Zabbix) le haghaidh seiceálacha ICMP, a léiríonn líon na bpacáistí - ceann amháin (1), agus déanann an cód iarracht nmap a úsáid. Is é sin, is é seo an obair inmheánach Zabbix, a tháinig chun bheith ina obair inmheánach an pinger. Dá réir sin, níl aon sioncrónú nó úsáid gaisteora ag teastáil. Rinneadh é seo d'aon ghnó chun an córas a fhágáil slán agus gan a bheith ag déileáil le sioncrónú dhá chóras bunachar sonraí: cad atá le seiceáil, uaslódáil tríd an poller, agus an bhfuil ár n-uaslódáil briste?.. Tá sé seo i bhfad níos simplí.
AGUS: – An oibríonn sé do sheachvótálaithe freisin?
MM: - Sea, ach níor sheiceáil muid. Tá an cód vótaíochta mar an gcéanna i Zabbix agus ar an bhfreastalaí. Ba chóir go n-oibreoidh. Lig dom béim a leagan arís: tá feidhmíocht an chórais chomh mór sin nach bhfuil seachfhreastalaí de dhíth orainn.
MCH: – Is é an freagra ceart ar an gceist: “Cén fáth a bhfuil seachfhreastalaí de dhíth ort le córas dá leithéid?” Is de bharr NAT nó monatóireacht a dhéanamh ar chainéil mhall éigin amháin...
AGUS: – Agus úsáideann tú Zabbix mar allertor, má thuigim i gceart. Nó an bhfuil do chuid grafaicí (áit a bhfuil an ciseal cartlainne) aistrithe go córas eile, mar Grafana? Nó nach bhfuil tú ag baint úsáide as an bhfeidhmiúlacht seo?
MM: – leagfaidh mé béim arís ar an méid seo a leanas: tá comhtháthú iomlán bainte amach againn. Táimid ag stealladh staire isteach i Clickhouse, ach ag an am céanna d'athraigh muid an t-éadanas php. Téann an t-éadan Php go Clickhouse agus déanann sé na grafaicí go léir as sin. Ag an am céanna, le bheith macánta, tá cuid againn a thógann sonraí i gcórais taispeána grafacha eile ón Clickhouse céanna, ó na sonraí céanna Zabbix.
MCH: – In “Grafan” chomh maith.
Conas a rinneadh cinntí maidir le leithdháileadh acmhainní?
AGUS: - Roinn beagán de do chistin istigh. Conas a rinneadh an cinneadh go raibh sé riachtanach acmhainní a leithdháileadh chun an táirge a phróiseáil go dáiríre? Is rioscaí áirithe iad seo, go ginearálta. Agus inis dom, le do thoil, i gcomhthéacs na fírice go bhfuil tú chun tacú le leaganacha nua: conas a thugann an cinneadh seo ó thaobh bainistíochta de?
MM: – De réir dealraimh, níor inis muid dráma na staire go han-mhaith. Fuaireamar sinn féin i gcás ina raibh rud éigin le déanamh, agus go bunúsach chuamar le dhá fhoireann chomhthreomhara:
- Bhí ceann acu ag seoladh córas monatóireachta ag baint úsáide as modhanna nua: monatóireacht mar sheirbhís, sraith chaighdeánach de réitigh foinse oscailte a chuirimid le chéile agus ansin déanaimid iarracht an próiseas gnó a athrú chun oibriú leis an gcóras monatóireachta nua.
- Ag an am céanna, bhí ríomhchláraitheoir díograiseach againn a bhí ag déanamh seo (faoi féin). Is amhlaidh a tharla gur bhuaigh sé.
AGUS: – Agus cad é méid na foirne?
MCH: - Tá sí os do chomhair.
AGUS: – Mar sin, mar i gcónaí, is gá duit paiseanta?
MM: - Níl a fhios agam cad é paiseanta.
AGUS: - Sa chás seo, is cosúil, tú. Go raibh míle maith agat, tá tú iontach.
MM: - Go raibh maith agat.
Maidir le paistí do zabbix
AGUS: – I gcás córais a úsáideann seachvótálaithe (mar shampla, i roinnt córas dáilte), an féidir pollairí, seachvótálaithe agus cuid de réamhphróiseálaí Zabbix féin a oiriúnú agus a phaisteáil, mar shampla; agus a n-idirghníomhaíocht? An féidir barrfheabhsú a dhéanamh ar fhorbairtí atá ann cheana féin le haghaidh córas le seachvótálaithe iolracha?
MM: – Tá a fhios agam go gcuirtear an freastalaí Zabbix le chéile le seachfhreastalaí (déantar an cód a thiomsú agus a fháil). Níl tástáil déanta againn air seo i dtáirgeadh. Níl mé cinnte faoi seo, ach is dóigh liom nach n-úsáidtear an bainisteoir réamhphróiseálaí sa seachfhreastalaí. Is é tasc an tseachfhreastalaí ná sraith méadrachta a thógáil ó Zabbix, iad a chumasc (taifeadann sé an chumraíocht, an bunachar sonraí áitiúil) agus é a thabhairt ar ais don fhreastalaí Zabbix. Déanfaidh an freastalaí féin an réamhphróiseáil ansin nuair a gheobhaidh sé é.
Tá an spéis i seachvótálaithe intuigthe. Déanfaimid é a sheiceáil amach. Is ábhar suimiúil é seo.
AGUS: – Ba é an smaoineamh seo: más féidir leat pollers paiste, is féidir leat iad a paiste ar an seachfhreastalaí agus paiste an idirghníomhaíocht leis an bhfreastalaí, agus an réamhphróiseálaí a oiriúnú chun na gcríoch sin amháin ar an bhfreastalaí.
MM: - Sílim go bhfuil sé níos simplí fós. Glacann tú an cód, cuireann tú paiste i bhfeidhm, ansin déan é a chumrú mar is gá duit - bailíonn tú seachfhreastalaí (mar shampla, le ODBC) agus dáileann tú an cód paiste ar fud na gcóras. Nuair is gá - seachfhreastalaí a bhailiú, nuair is gá - freastalaí.
AGUS: - Is dócha, ní bheidh ort an tarchur seachfhreastalaí chuig an bhfreastalaí a phaisteáil freisin?
MCH: - Níl, tá sé caighdeánach.
MM: – Go deimhin, níor fhuaim le ceann de na smaointe. Choimeádamar cothromaíocht i gcónaí idir an pléascadh smaointe agus an méid athruithe agus éascaíocht tacaíochta.
Roinnt fógraí 🙂
Go raibh maith agat as fanacht linn. An maith leat ár n-alt? Ar mhaith leat ábhar níos suimiúla a fheiceáil? Tacaigh linn trí ordú a dhéanamh nó moladh a thabhairt do chairde, , analóg uathúil de fhreastalaithe leibhéal iontrála, a cheap muid duit: (ar fáil le RAID1 agus RAID10, suas le 24 croíleacan agus suas le 40GB DDR4).
Dell R730xd 2x níos saoire i lárionad sonraí Equinix Tier IV in Amstardam? Ach anseo san Ísiltír! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - ó $99! Léigh faoi
Foinse: will.com