Bha sinn a’ smaoineachadh mu bhith a’ cruthachadh siostam sgrùdaidh aig an ìre de bhith a’ cruthachadh sgiobaidhean toraidh. Dh'fhàs e soilleir nach eil ar gnìomhachas - brath - a 'tuiteam a-steach do na sgiobaidhean sin. Carson a tha sin?
Is e an fhìrinn gu bheil na sgiobaidhean againn uile air an togail timcheall air siostaman fiosrachaidh fa leth, microservices agus aghaidhean, agus mar sin chan eil na sgiobaidhean a’ faicinn slàinte iomlan an t-siostam gu lèir. Mar eisimpleir, is dòcha nach eil fios aca ciamar a bheir pàirt bheag den backend domhainn buaidh air a’ cheann aghaidh. Tha an raon ùidh aca cuingealaichte ris na siostaman leis a bheil an siostam aca ceangailte. Ma tha cha mhòr nach eil ceangal aig sgioba agus an t-seirbheis aice ri seirbheis B, cha mhòr nach eil an leithid de sheirbheis ri fhaicinn don sgioba.
Bidh an sgioba againn, an uair sin, ag obair le siostaman a tha gu math ceangailte ri chèile: tha mòran cheanglaichean eatorra, is e bun-structar fìor mhòr a tha seo. Agus tha obrachadh a 'bhùth air-loidhne an crochadh air na siostaman sin uile (a tha againn, co-dhiù, àireamh mhòr).
Mar sin tha e a 'tionndadh a-mach nach eil ar roinn a' buntainn ri sgioba sam bith, ach tha e suidhichte beagan ri taobh. Anns an sgeulachd slàn seo, is e an obair againn tuigse iomlan a thoirt air mar a tha siostaman fiosrachaidh ag obair, an comas-gnìomh, amalachadh, bathar-bog, lìonra, bathar-cruaidh, agus mar a tha seo uile ceangailte ri chèile.
Tha an àrd-ùrlar air a bheil na stòran air-loidhne againn ag obair a’ coimhead mar seo:
- air beulaibh
- oifis mheadhain
- air ais oifis
Ge bith dè an ìre a bu mhath leinn, chan eil e a’ tachairt gu bheil a h-uile siostam ag obair gu rèidh agus gun smal. Is e a’ phuing, a-rithist, an àireamh de shiostaman agus aonachadh - le rudeigin mar an tè againne, tha cuid de thachartasan do-sheachanta, a dh’ aindeoin càileachd an deuchainn. A bharrachd air an sin, an dà chuid taobh a-staigh siostam air leth agus a thaobh an aonachadh. Agus feumaidh tu sùil iomlan a chumail air staid an àrd-ùrlar gu lèir, agus chan e dìreach pàirt fa leth dheth.
Mas fheàrr, bu chòir sgrùdadh slàinte air feadh an àrd-ùrlair a bhith fèin-ghluasadach. Agus thàinig sinn gu sgrùdadh mar phàirt do-sheachanta den phròiseas seo. An toiseach, chaidh a thogail a-mhàin airson a’ phàirt aghaidh, fhad ‘s a bha agus tha na siostaman sgrùdaidh ìre-air-còmhdach aca fhèin aig eòlaichean lìonra, luchd-rianachd bathar-bog is bathar-cruaidh. Lean na daoine sin uile an sgrùdadh aig an ìre aca fhèin a-mhàin; cha robh tuigse iomlan aig duine nas motha.
Mar eisimpleir, ma thuiteas inneal brìgheil, sa mhòr-chuid de chùisean chan eil fios ach aig an rianadair le uallach airson a’ bhathar-cruaidh agus an inneal brìgheil mu dheidhinn. Ann an leithid de chùisean, chunnaic an sgioba aghaidh fìor fhìrinn an tubaist tagraidh, ach cha robh dàta aca mu thubaist an inneal brìgheil. Agus faodaidh fios a bhith aig an rianadair cò an neach-ceannach agus beachd garbh a bhith aige air na tha a’ ruith air an inneal brìgheil seo an-dràsta, fhad ‘s gur e seòrsa de phròiseact mòr a th’ ann. Tha e coltach nach eil e eòlach air an fheadhainn bheaga. Ann an suidheachadh sam bith, feumaidh an rianadair a dhol chun t-sealbhadair agus faighneachd dè a bha air an inneal seo, dè a dh'fheumar a thoirt air ais agus dè a dh'fheumar atharrachadh. Agus ma bhris rudeigin fìor dhona, thòisich iad a 'ruith mun cuairt ann an cearcallan - oir chan fhaca duine an siostam gu h-iomlan.
Aig a’ cheann thall, tha sgeulachdan eadar-dhealaichte mar sin a’ toirt buaidh air an aghaidh gu lèir, luchd-cleachdaidh agus ar prìomh ghnìomh gnìomhachais - reic air-loidhne. Leis nach eil sinn nar pàirt de sgioba, ach gu bheil sinn an sàs ann an obrachadh a h-uile tagradh e-malairt mar phàirt de bhùth air-loidhne, ghabh sinn os làimh an obair siostam sgrùdaidh coileanta a chruthachadh airson an àrd-ùrlar e-malairt.
Structar siostam agus stac
Thòisich sinn le bhith a’ comharrachadh grunn shreathan sgrùdaidh airson ar siostaman, anns am feumadh sinn meatrach a chruinneachadh. Agus dh'fheumadh seo uile a bhith air a chur còmhla, agus is e sin a rinn sinn aig a 'chiad ìre. A-nis aig an ìre seo tha sinn a’ cur crìoch air a’ chruinneachadh de mheatairean den chàileachd as àirde thar ar sreathan gu lèir gus co-dhàimh a thogail agus tuigse fhaighinn air mar a tha siostaman a’ toirt buaidh air a chèile.
Mar thoradh air an dìth sgrùdaidh coileanta aig na ciad ìrean de chur air bhog an tagraidh (bho thòisich sinn ga thogail nuair a bha a’ mhòr-chuid de na siostaman ann an cinneasachadh) thàinig gu robh fiachan mòra teicnigeach againn airson sgrùdadh a dhèanamh air an àrd-ùrlar gu lèir. Cha b’ urrainn dhuinn fòcas a chuir air stèidheachadh sgrùdaidh airson aon IS agus obrachadh a-mach sgrùdadh air a shon gu mionaideach, leis gum biodh an còrr de na siostaman air am fàgail gun sgrùdadh airson ùine. Gus an duilgheadas seo fhuasgladh, chomharraich sinn liosta de na slatan-tomhais as riatanach airson measadh a dhèanamh air staid an t-siostam fiosrachaidh a rèir ìre agus thòisich sinn ga bhuileachadh.
Mar sin, chuir iad romhpa an ailbhean ithe ann am pàirtean.
Tha an siostam againn air a dhèanamh suas de:
- bathar-cruaidh;
- siostam-obrachaidh;
- bathar-bog;
- Pàirtean UI san tagradh sgrùdaidh;
- slatan-tomhais gnìomhachais;
- iarrtasan amalachaidh;
- tèarainteachd fiosrachaidh;
- lìonraidhean;
- cothromachadh trafaig.
Aig cridhe an t-siostam seo tha sgrùdadh fhèin. Gus tuigse fhaighinn air staid an t-siostaim gu lèir san fharsaingeachd, feumaidh fios a bhith agad dè a tha a ’tachairt le tagraidhean air na sreathan sin uile agus thairis air an t-seata iomlan de thagraidhean.
Mar sin, mu dheidhinn a’ chruach.
Bidh sinn a’ cleachdadh bathar-bog le còd fosgailte. Aig an ionad tha Zabbix againn, a bhios sinn a’ cleachdadh gu sònraichte mar shiostam rabhaidh. Tha fios aig a h-uile duine gu bheil e air leth freagarrach airson sgrùdadh bun-structair. Dè tha seo a' ciallachadh? Is e dìreach na meatrach ìre ìosal sin a tha aig a h-uile companaidh a tha a’ cumail suas an ionad dàta aca fhèin (agus tha na h-ionadan dàta aige fhèin aig Sportmaster) - teòthachd an fhrithealaiche, inbhe cuimhne, creach, metrics inneal lìonra.
Tha sinn air Zabbix fhilleadh a-steach leis an teachdaire Telegram agus Sgiobaidhean Microsoft, a tha air an cleachdadh gu gnìomhach ann an sgiobaidhean. Tha Zabbix a’ còmhdach còmhdach an fhìor lìonra, bathar-cruaidh agus cuid de bhathar-bog, ach chan e panacea a th’ ann. Bidh sinn a’ beairteachadh an dàta seo bho chuid de sheirbheisean eile. Mar eisimpleir, aig ìre bathar-cruaidh, bidh sinn a’ ceangal gu dìreach tro API ris an t-siostam virtualization againn agus a’ cruinneachadh dàta.
Dè eile. A bharrachd air Zabbix, bidh sinn a’ cleachdadh Prometheus, a leigeas leinn sùil a chumail air meatrach ann an tagradh àrainneachd fiùghantach. Is e sin, is urrainn dhuinn metrics tagraidh fhaighinn tro phuing crìochnachaidh HTTP agus gun a bhith draghail mu dè na meatrach a thèid a luchdachadh a-steach ann agus dè nach eil. Stèidhichte air an dàta seo, faodar ceistean anailis a leasachadh.
Tha stòran dàta airson sreathan eile, mar eisimpleir, meatrach gnìomhachais, air an roinn ann an trì pàirtean.
An toiseach, is iad sin siostaman gnìomhachais taobh a-muigh, Google Analytics, bidh sinn a ’tional meatrach bho logaichean. bhuapa gheibh sinn dàta mu luchd-cleachdaidh gnìomhach, atharrachaidhean agus a h-uile càil eile co-cheangailte ris a’ ghnìomhachas. San dàrna h-àite, is e siostam sgrùdaidh UI a tha seo. Bu chòir a mhìneachadh ann am barrachd mionaideachd.
Uair dhe na h-uairean thòisich sinn le deuchainn làimhe agus dh'fhàs e gu bhith na dheuchainnean fèin-ghluasadach air comas-gnìomh agus aonachadh. Bhon seo rinn sinn sgrùdadh, a’ fàgail a’ phrìomh ghnìomhachd a-mhàin, agus an urra ri comharran a tha cho seasmhach sa ghabhas agus nach atharraich gu tric thar ùine.
Tha an structar sgioba ùr a’ ciallachadh gu bheil a h-uile gnìomh tagraidh air a chuingealachadh ri sgiobaidhean toraidh, agus mar sin stad sinn a’ dèanamh fìor dheuchainnean. An àite sin, rinn sinn sgrùdadh UI bho na deuchainnean, sgrìobhte ann an Java, Selenium agus Jenkins (air a chleachdadh mar shiostam airson aithisgean a chuir air bhog agus a ghineadh).
Bha tòrr deuchainnean againn, ach aig a’ cheann thall chuir sinn romhainn a dhol chun phrìomh rathad, am meatrach àrd-ìre. Agus ma tha tòrr dheuchainnean sònraichte againn, bidh e duilich an dàta a chumail ùraichte. Bidh gach foillseachadh às deidh sin a’ briseadh an t-siostam gu lèir gu mòr, agus chan eil againn ach a chàradh. Mar sin, chuir sinn fòcas air rudan fìor bhunaiteach nach atharraich ach ainneamh, agus cha bhith sinn a’ cumail sùil orra ach.
Mu dheireadh, san treas àite, tha an stòr dàta na shiostam logaidh meadhanaichte. Bidh sinn a’ cleachdadh Elastic Stack airson logaichean, agus an uairsin is urrainn dhuinn an dàta seo a tharraing a-steach don t-siostam sgrùdaidh againn airson meatrach gnìomhachais. A bharrachd air an seo, tha an t-seirbheis Sgrùdaidh API againn fhèin, sgrìobhte ann am Python, a bhios a’ ceasnachadh seirbheisean sam bith tro API agus a’ cruinneachadh dàta bhuapa gu Zabbix.
Is e feart sgrùdaidh riatanach eile fradharc. Tha an tè againn stèidhichte air Grafana. Tha e a’ seasamh a-mach am measg shiostaman fradhairc eile leis gu bheil e a’ toirt cothrom dhut metrics fhaicinn bho dhiofar stòran dàta air an deas-bhòrd. Is urrainn dhuinn metrics àrd-ìre a chruinneachadh airson stòr air-loidhne, mar eisimpleir, an àireamh de òrdughan a chaidh a chuir san uair mu dheireadh bhon DBMS, metrics coileanaidh airson an OS air a bheil a’ bhùth air-loidhne seo a ’ruith bho Zabbix, agus metrics airson eisimpleirean den tagradh seo bho Prometheus. Agus bidh seo uile air aon deas-bhòrd. Soilleir agus ruigsinneach.
Thoir an aire dhomh mu thèarainteachd - tha sinn an-dràsta a’ cur crìoch air an t-siostam, a dh’aonaicheas sinn a-rithist leis an t-siostam sgrùdaidh chruinneil. Nam bheachd-sa, tha na prìomh dhuilgheadasan a tha mu choinneamh e-malairt ann an raon tèarainteachd fiosrachaidh co-cheangailte ri botaichean, parsers agus feachd brùideil. Feumaidh sinn sùil a chumail air an seo, oir faodaidh seo uile buaidh mhòr a thoirt air gach cuid gnìomhachd ar tagraidhean agus ar cliù bho shealladh gnìomhachais. Agus leis a’ chruach a chaidh a thaghadh tha sinn gu soirbheachail a’ dèiligeadh ris na gnìomhan sin.
Is e puing cudromach eile gu bheil an còmhdach tagraidh air a chruinneachadh le Prometheus. Tha e fhèin cuideachd ceangailte ri Zabbix. Agus tha làrach-lìn againn cuideachd, seirbheis a leigeas leinn coimhead air paramadairean leithid astar luchdachadh na duilleige againn, botail, toirt seachad dhuilleagan, luchdachadh sgriobtaichean, msaa, tha e cuideachd na API aonaichte. Mar sin tha na meatrach againn air an cruinneachadh ann an Zabbix, agus a rèir sin, bidh sinn cuideachd a’ toirt rabhadh às an sin. Thathas an-dràsta a’ cur a h-uile rabhadh gu na prìomh dhòighean cur (airson a-nis is e post-d agus teileagram a th ’ann, tha Sgiobaidhean MS cuideachd air a bhith ceangailte o chionn ghoirid). Tha planaichean ann ùrachadh a dhèanamh air rabhaidhean gu leithid de staid gum bi botaichean snasail ag obair mar sheirbheis agus a’ toirt seachad fiosrachadh sgrùdaidh don h-uile sgioba toraidh le ùidh.
Dhuinne, tha meatrach cudromach chan ann a-mhàin airson siostaman fiosrachaidh fa-leth, ach cuideachd meatrach coitcheann airson a’ bhun-structair gu lèir a bhios tagraidhean a’ cleachdadh: cruinneachaidhean de luchd-frithealaidh fiosaigeach air am bi innealan brìgheil a’ ruith, luchd-cothromachaidh trafaic, Network Load Balancers, an lìonra fhèin, cleachdadh seanalan conaltraidh . A bharrachd air meatrach airson na h-ionadan dàta againn fhèin (tha grunn dhiubh againn agus tha am bun-structar gu math mòr).
Is e buannachdan an t-siostam sgrùdaidh againn le a chuideachadh gum faic sinn inbhe slàinte gach siostam agus gun urrainn dhuinn a’ bhuaidh aca air a chèile agus air goireasan co-roinnte a mheasadh. Agus aig a’ cheann thall, leigidh e leinn a dhol an sàs ann am planadh ghoireasan, a tha cuideachd an urra rinn. Bidh sinn a’ riaghladh ghoireasan frithealaiche - amar taobh a-staigh e-malairt, a’ coimiseanadh agus a’ dì-choimiseanadh uidheamachd ùr, a’ ceannach uidheamachd ùr a bharrachd, a’ dèanamh sgrùdadh air cleachdadh ghoireasan, msaa. Gach bliadhna, bidh sgiobaidhean a’ dealbhadh phròiseactan ùra, a’ leasachadh an siostaman, agus tha e cudromach dhuinne goireasan a thoirt dhaibh.
Agus le cuideachadh bho mheatrics, chì sinn an gluasad ann an caitheamh ghoireasan leis na siostaman fiosrachaidh againn. Agus stèidhichte orra faodaidh sinn rudeigin a phlanadh. Aig an ìre virtualization, bidh sinn a 'tional dàta agus a' faicinn fiosrachadh air an uiread de ghoireasan a tha rim faotainn a rèir ionad dàta. Agus mu thràth taobh a-staigh an ionad dàta chì thu an ath-chuairteachadh, an cuairteachadh fhèin, agus caitheamh ghoireasan. A bharrachd air an sin, an dà chuid le frithealaichean leotha fhèin agus innealan brìgheil agus cruinneachaidhean de luchd-frithealaidh fiosaigeach air a bheil na h-innealan brìgheil sin uile a’ snìomh gu làidir.
Prospects
A-nis tha cridhe an t-siostaim againn gu h-iomlan deiseil, ach tha tòrr rudan ann fhathast air am feumar obrachadh. Aig a 'char as lugha, is e ìre tèarainteachd fiosrachaidh a tha seo, ach tha e cudromach cuideachd an lìonra a ruighinn, rabhadh a leasachadh agus cùis co-dhàimh fhuasgladh. Tha mòran shreathan agus shiostaman againn, agus air gach còmhdach tha tòrr a bharrachd mheatairean. Tha e coltach gur e matryoshka a th 'ann gu ìre matryoshka.
Is e an obair againn na rabhaidhean ceart a dhèanamh aig a’ cheann thall. Mar eisimpleir, ma bha duilgheadas ann leis a 'bhathar-chruaidh, a-rithist, le inneal mas-fhìor, agus bha iarrtas cudromach ann, agus cha robh taic sam bith aig an t-seirbheis ann an dòigh sam bith. Tha sinn a’ faighinn a-mach gu bheil an inneal brìgheil air bàsachadh. An uairsin bheir meatrach gnìomhachais rabhadh dhut: tha luchd-cleachdaidh air a dhol à bith am badeigin, chan eil tionndadh ann, chan eil an UI san eadar-aghaidh ri fhaighinn, tha bathar-bog agus seirbheisean air bàsachadh cuideachd.
Anns an t-suidheachadh seo, gheibh sinn spam bho rabhaidhean, agus chan eil seo a-nis a 'freagairt ri cruth siostam sgrùdaidh ceart. Tha ceist co-dhàimh ag èirigh. Mar sin, gu h-iomchaidh, bu chòir don t-siostam sgrùdaidh againn a ràdh: “Guys, tha an inneal corporra agad air bàsachadh, agus còmhla ris an tagradh seo agus na meatrach sin,” le cuideachadh bho aon rabhadh, an àite a bhith gar spreadhadh le ceud rabhadh. Bu chòir dha cunntas a thoirt air a 'phrìomh rud - an adhbhar, a tha a' cuideachadh le bhith a 'cur às don duilgheadas gu luath air sgàth a shuidheachadh.
Tha an siostam fios agus giullachd rabhaidh againn air a thogail timcheall air seirbheis loidhne teth XNUMX-uair. Thèid a h-uile rabhadh a thathas a’ meas riatanach agus a tha air an liosta-sgrùdaidh a chuir an sin. Feumaidh tuairisgeul a bhith aig gach rabhadh: dè thachair, dè tha e a’ ciallachadh, dè a’ bhuaidh a th’ aige. Agus cuideachd ceangal ris an deas-bhòrd agus stiùireadh air dè a nì thu sa chùis seo.
Tha seo uile mu dheidhinn na riatanasan airson rabhadh a thogail. An uairsin faodaidh an suidheachadh leasachadh ann an dà stiùireadh - an dàrna cuid tha duilgheadas ann agus feumar a rèiteachadh, no tha fàilligeadh air a bhith san t-siostam sgrùdaidh. Ach ann an suidheachadh sam bith, feumaidh tu a dhol agus a thuigsinn.
Gu cuibheasach, bidh sinn a-nis a’ faighinn timcheall air ceud rabhadh gach latha, a’ gabhail a-steach nach eil co-dhàimh nan rabhaidhean air an rèiteachadh gu ceart fhathast. Agus ma dh'fheumas sinn obair theicnigeach a dhèanamh, agus gu bheil sinn gu làidir a 'tionndadh rudeigin dheth, tha an àireamh aca a' meudachadh gu mòr.
A bharrachd air a bhith a’ cumail sùil air na siostaman a tha sinn ag obrachadh agus a’ cruinneachadh mheatairean a tha air am meas cudromach air ar taobh, leigidh an siostam sgrùdaidh leinn dàta a chruinneachadh airson sgiobaidhean toraidh. Faodaidh iad buaidh a thoirt air co-dhèanamh meatrach taobh a-staigh nan siostaman fiosrachaidh air am bi sinn a’ cumail sùil.
Is dòcha gun tig ar co-obraiche a dh’ iarraidh beagan meatrach a chuir ris a bhios feumail dhuinne agus don sgioba. No, mar eisimpleir, is dòcha nach eil gu leòr de na meatrach bunaiteach a th’ aig an sgioba; feumaidh iad sùil a chumail air feadhainn sònraichte. Ann an Grafana, bidh sinn a’ cruthachadh àite airson gach sgioba agus a’ toirt seachad còraichean rianachd. Cuideachd, ma tha feum aig sgioba air clàran-deasachaidh, ach nach urrainn dhaibh fhèin / chan eil fios aca ciamar a nì iad e, bidh sinn gan cuideachadh.
Leis gu bheil sinn taobh a-muigh sruth cruthachadh luach na sgioba, an sgaoileadh agus an dealbhadh, tha sinn mean air mhean a’ tighinn chun cho-dhùnadh gu bheil sgaoilidhean de gach siostam gun fhiosta agus gun gabh an sgaoileadh a-mach gach latha gun cho-òrdanachadh leinn. Agus tha e cudromach dhuinn sùil a chumail air na fiosan sin, oir dh’ fhaodadh iad buaidh a thoirt air gnìomhachd an tagraidh agus rudeigin a bhriseadh, agus tha seo deatamach. Gus fiosan a riaghladh, bidh sinn a’ cleachdadh Bambù, às am faigh sinn dàta tro API agus chì sinn dè na fiosan a chaidh fhoillseachadh anns a bheil siostaman fiosrachaidh agus an inbhe. Agus is e an rud as cudromaiche aig an àm. Bidh sinn a’ cuir a-steach comharran fuasglaidh air na prìomh mheatairean èiginneach, a tha gu math lèirsinneach ma tha duilgheadasan ann.
San dòigh seo chì sinn an dàimh eadar fiosan ùra agus duilgheadasan a tha a’ tighinn am bàrr. Is e am prìomh bheachd tuigse fhaighinn air mar a tha an siostam ag obair aig a h-uile ìre, an duilgheadas a shuidheachadh gu h-ionadail agus a chàradh a cheart cho luath. Às deidh na h-uile, bidh e tric a 'tachairt nach e an rud a bheir an ùine as motha a bhith a' fuasgladh na duilgheadas, ach a 'coimhead airson an adhbhar.
Agus san raon seo san àm ri teachd tha sinn airson fòcas a chuir air for-ghnìomhachd. Mas fheàrr, bu mhath leam faighinn a-mach mu dhuilgheadas a tha a 'tighinn faisg air làimh, agus chan ann às deidh an fhìrinn, gus an urrainn dhomh casg a chuir air seach a bhith ga fhuasgladh. Aig amannan thig rabhaidhean meallta mun t-siostam sgrùdaidh, an dà chuid air sgàth mearachd daonna agus mar thoradh air atharrachaidhean san tagradh. , no na gnìomhan sin a dhèanamh san uinneag theicnigeach.
Mar sin, chaidh an siostam a chuir air bhog agus tha e air a bhith ag obair gu soirbheachail bho thoiseach an earraich... agus tha e a’ sealltainn prothaidean fìor. Gu dearbh, chan e seo an dreach mu dheireadh aige; bidh sinn a’ toirt a-steach mòran a bharrachd fheartan feumail. Ach an-dràsta, le uimhir de aonachadh agus thagraidhean, tha e dha-rìribh do-sheachanta sùil a chumail air fèin-ghluasad.
Ma bhios tu cuideachd a’ cumail sùil air pròiseactan mòra le àireamh mhòr de aonachadh, sgrìobh anns na beachdan dè am peilear airgid a lorg thu airson seo.
Source: www.habr.com