A bheil sgrùdadh marbh? - Sgrùdadh beò fada

Bho 2008, tha a’ chompanaidh againn air a bhith gu sònraichte an sàs ann an riaghladh bun-structair agus taic theicnigeach timcheall a’ ghleoc airson pròiseactan lìn: tha barrachd air teachdaichean 400 againn, a tha timcheall air 15% de e-malairt na Ruis. Mar sin, tha ailtireachd glè eadar-mheasgte a’ faighinn taic. Ma thuiteas rudeigin, tha e mar dhleastanas oirnn a chàradh taobh a-staigh 15 mionaidean. Ach gus tuigsinn gu bheil tubaist air tachairt, feumaidh tu sùil a chumail air a 'phròiseact agus freagairt a thoirt do thachartasan. Ciamar a nì thu seo?

Tha mi a’ creidsinn gu bheil duilgheadas ann a bhith a’ cur air dòigh siostam sgrùdaidh ceart. Mura biodh trioblaid sam bith ann, bhiodh aon tràchdas anns an òraid agam: “Feuch an stàlaich thu Prometheus + Grafana agus plugins 1, 2, 3.” Gu mì-fhortanach, chan eil e ag obair mar sin tuilleadh. Agus is e am prìomh dhuilgheadas gu bheil a h-uile duine fhathast a 'creidsinn ann an rudeigin a bha ann an 2008, a thaobh co-phàirtean bathar-bog.

A thaobh eagrachadh an t-siostam sgrùdaidh, bhithinn ag iomairt a ràdh nach eil... pròiseactan le sgrùdadh comasach ann. Agus tha an suidheachadh cho dona ma thuiteas rudeigin, tha cunnart ann gun tèid e gun mhothachadh - às deidh a h-uile càil, tha a h-uile duine cinnteach “gu bheilear a’ cumail sùil air a h-uile càil. ”
Is dòcha gu bheilear a’ cumail sùil air a h-uile càil. Ach ciamar?

Tha sinn uile air coinneachadh ri sgeulachd mar na leanas: cuid devops, tha rianadair sònraichte ag obair, bidh sgioba leasachaidh a’ tighinn thuca agus ag ràdh - “tha sinn air ar leigeil ma sgaoil, a-nis a’ cumail sùil. ” Dèan sgrùdadh air dè? Ciamar a tha e ag obair?

ceart gu leòr. Bidh sinn a’ cumail sùil air an t-seann dòigh. Agus tha e mar-thà ag atharrachadh, agus tha e a 'tionndadh a-mach gun do rinn thu sùil air seirbheis A, a thàinig gu bhith na sheirbheis B, a tha ag eadar-obrachadh le seirbheis C. Ach tha an sgioba leasachaidh ag innse dhut: "Stàlaich am bathar-bog, bu chòir dha sùil a chumail air a h-uile càil!"

Mar sin dè a tha air atharrachadh? - Tha a h-uile dad air atharrachadh!

2008 Tha a h-uile dad gu math

Tha dà leasaiche ann, aon fhrithealaiche, aon fhrithealaiche stòr-dàta. Tha e uile a’ dol às an seo. Tha beagan fiosrachaidh againn, bidh sinn a’ stàladh zabbix, Nagios, cacti. Agus an uairsin chuir sinn rabhaidhean soilleir air an CPU, air obrachadh diosc, agus air àite diosc. Bidh sinn cuideachd a’ dèanamh sgrùdadh làimhe no dhà gus dèanamh cinnteach gu bheil an làrach a’ freagairt agus gu bheil òrdughan a’ tighinn chun stòr-dàta. Agus sin e - tha sinn gu ìre mhòr air ar dìon.

Ma nì sinn coimeas eadar an obair a rinn an rianaire an uairsin gus sùil a thoirt seachad, bha 98% dheth fèin-ghluasadach: feumaidh an neach a nì an sgrùdadh tuigsinn mar a stàlaicheas e Zabbix, mar a rèiticheas tu e agus mar a rèiticheas tu rabhaidhean. Agus 2% - airson sgrùdaidhean bhon taobh a-muigh: gu bheil an làrach a 'freagairt agus a' dèanamh iarrtas don stòr-dàta, gu bheil òrdughan ùra air ruighinn.

2010 Tha an t-uallach a' fàs

Tha sinn a’ tòiseachadh a’ sgèileadh an lìn, a’ cur einnsean sgrùdaidh ris. Tha sinn airson dèanamh cinnteach gu bheil a h-uile toradh anns a’ chatalog toraidh. Agus tha an sgrùdadh toraidh sin ag obair. Gu bheil an stòr-dàta ag obair, gu bheilear a’ dèanamh òrdughan, gu bheil an làrach a’ freagairt bhon taobh a-muigh agus a’ freagairt bho dhà fhrithealaiche agus nach eil an neach-cleachdaidh air a bhreabadh a-mach às an làrach fhad ‘s a tha e air ath-chothromachadh gu frithealaiche eile, msaa. Tha barrachd bhuidhnean ann.

A bharrachd air an sin, tha an eintiteas co-cheangailte ri bun-structar fhathast mar an tè as motha ann an ceann a’ mhanaidsear. Tha beachd fhathast nam cheann gur e an neach a nì an sgrùdadh an neach a stàlaicheas zabbix agus a bhios comasach air a rèiteachadh.

Ach aig an aon àm, tha obair a’ nochdadh air a bhith a’ dèanamh sgrùdaidhean bhon taobh a-muigh, air seata de sgriobtaichean ceiste clàr-amais a chruthachadh, seata de sgriobtaichean gus dèanamh cinnteach gu bheil an rannsachadh ag atharrachadh tron ​​phròiseas clàr-amais, seata de sgriobtaichean a nì cinnteach gu bheil bathar air a ghluasad chun na seirbheis lìbhrigidh, msaa. Agus mar sin air adhart.

Nota: Sgrìobh mi “seata de sgriobtaichean” 3 tursan. Is e sin, chan e an neach le uallach airson sgrùdadh a-nis an neach a tha dìreach a’ stàladh zabbix. Is e seo neach a thòisicheas còdadh. Ach chan eil dad air atharrachadh ann an inntinnean na sgioba fhathast.

Ach tha an saoghal ag atharrachadh, a’ fàs nas iom-fhillte. Thathas a’ cur sreath virtualization agus grunn shiostaman ùra ris. Bidh iad a 'tòiseachadh a' conaltradh ri chèile. Cò a thuirt “a’ fàileadh mar microservices? ” Ach tha gach seirbheis fhathast coltach ri làrach-lìn fa leth. Is urrainn dhuinn tionndadh thuige agus tuigsinn gu bheil e a’ toirt seachad am fiosrachadh riatanach agus ag obair leis fhèin. Agus ma tha thu nad rianadair an-còmhnaidh an sàs ann am pròiseact a tha air a bhith a’ leasachadh airson 5-7-10 bliadhna, bidh an t-eòlas seo a’ cruinneachadh: tha ìre ùr a’ nochdadh - thuig thu e, tha ìre eile a’ nochdadh - thuig thu e...

Ach is ann ainneamh a bhios duine an cois pròiseact airson 10 bliadhna.

Geàrr-chunntas neach-sgrùdaidh

Seach gun tàinig thu gu companaidh tòiseachaidh ùr a dh'fhastaidh 20 leasaiche sa bhad, a sgrìobh 15 meanbh-sheirbheisean, agus gur e rianaire a th’ annad a thathas ag innse: “Tog CI/CD. Mas e do thoil e." Tha thu air CI / CD a thogail agus gu h-obann cluinnidh tu: “Tha e duilich dhuinn a bhith ag obair le cinneasachadh ann an“ ciùb ”, gun a bhith a’ tuigsinn mar a dh ’obraicheas an tagradh ann. Dèan bogsa gainmhich dhuinn anns an aon “ciùb”.
Bidh thu a’ dèanamh bogsa gainmhich anns a’ chiùb seo. Bidh iad ag innse dhut sa bhad: “Tha sinn ag iarraidh stòr-dàta àrd-ùrlar a thèid ùrachadh gach latha bho chinneasachadh, gus am bi sinn a’ tuigsinn gu bheil e ag obair air an stòr-dàta, ach aig an aon àm gun a bhith a ’milleadh an stòr-dàta toraidh.”

Tha thu a 'fuireach ann an seo uile. Tha 2 sheachdain air fhàgail ron fhoillseachadh, tha iad ag innse dhut: “A-nis leig dhuinn sùil a chumail air a h-uile càil seo…” Is e sin. cùm sùil air bun-structar a’ chnuasachd, cùm sùil air ailtireachd microservice, cùm sùil air obair le seirbheisean taobh a-muigh ...

Agus tha mo cho-obraichean a’ toirt an sgeama àbhaisteach a-mach às an cinn agus ag ràdh: “Uill, tha a h-uile dad soilleir an seo! Stàlaich prògram a chumas sùil air a h-uile càil seo." Tha, tha: Prometheus + Grafana + plugins.
Agus tha iad ag ràdh: “Tha dà sheachdain agad, dèan cinnteach gu bheil a h-uile dad tèarainte.”

Ann am mòran phròiseactan a chì sinn, tha aon neach air a riarachadh airson sgrùdadh. Smaoinich gu bheil sinn airson neach fhastadh airson sgrùdadh a dhèanamh airson 2 sheachdain, agus bidh sinn a’ sgrìobhadh ath-thòiseachadh dha. Dè na sgilean a bu chòir a bhith aig an neach seo, leis a h-uile dad a thuirt sinn gu ruige seo?

• Feumaidh e tuigse fhaighinn air sgrùdadh agus mion-fhiosrachadh gnìomhachd a’ bhun-structair iarainn.
• Feumaidh e na mion-fhiosrachadh mu bhith a’ cumail sùil air Kubernetes a thuigsinn (agus tha a h-uile duine airson a dhol chun “ciùb", oir faodaidh tu tarraing às a h-uile càil, falach, oir bidh an rianaire a’ dèiligeadh ris a ’chòrr) - e fhèin, a bhun-structar, agus tuigsinn mar a chumas tu sùil air tagraidhean a-staigh.
• Feumaidh e tuigsinn gu bheil seirbheisean a’ conaltradh ri chèile ann an dòighean sònraichte, agus fios a bhith aige air mar a tha seirbheisean ag eadar-obrachadh le chèile. Tha e gu math comasach pròiseact fhaicinn far a bheil cuid de sheirbheisean a’ conaltradh gu sioncronaich, leis nach eil dòigh eile ann. Mar eisimpleir, bidh an backend a’ dol tro REST, tro gRPC chun t-seirbheis catalog, a’ faighinn liosta de thoraidhean agus ga thilleadh air ais. Chan urrainn dhut feitheamh an seo. Agus le seirbheisean eile bidh e ag obair asyncronach. Cuir thairis an òrdugh chun t-seirbheis lìbhrigidh, cuir litir, msaa.
  Is dòcha gu bheil thu air snàmh às a h-uile càil seo mu thràth? Agus dh’ fhàs an rianaire, a dh’ fheumas sùil a chumail air seo, eadhon nas troimh-chèile.
• Feumaidh e a bhith comasach air planadh agus planadh ceart - mar a bhios an obair a 'fàs barrachd is barrachd.
• Feumaidh e mar sin ro-innleachd a chruthachadh bhon t-seirbheis a chaidh a chruthachadh gus tuigse fhaighinn air mar a thèid sùil shònraichte a chumail air. Feumaidh e tuigse air ailtireachd a’ phròiseict agus a leasachadh + tuigse air na teicneòlasan a thathar a’ cleachdadh ann an leasachadh.

Cuimhnichidh sinn cùis gu tur àbhaisteach: tha cuid de sheirbheisean ann am PHP, tha cuid de sheirbheisean ann an Go, tha cuid de sheirbheisean ann an JS. Bidh iad dòigh air choireigin ag obair le chèile. Seo cò às a tha am facal “microservice” a’ tighinn: tha uimhir de shiostaman fa-leth ann nach urrainn do luchd-leasachaidh am pròiseact gu h-iomlan a thuigsinn. Bidh aon phàirt den sgioba a’ sgrìobhadh sheirbheisean ann an JS a bhios ag obair leotha fhèin agus nach eil eòlach air mar a tha an còrr den t-siostam ag obair. Bidh am pàirt eile a’ sgrìobhadh sheirbheisean ann am Python agus chan eil e a’ cur bacadh air mar a tha seirbheisean eile ag obair; tha iad aonaranach san sgìre aca fhèin. Is e an treas fear seirbheisean a sgrìobhadh ann am PHP no rudeigin eile.
Tha na 20 neach sin uile air an roinn ann an 15 seirbheis, agus chan eil ann ach aon rianaire a dh’ fheumas seo a thuigsinn. Stad! tha sinn dìreach air an siostam a roinn ann an 15 meanbh-sheirbheisean oir chan urrainn dha 20 neach an siostam gu lèir a thuigsinn.

Ach feumar sùil a chumail air dòigh air choireigin...

Dè an toradh? Mar thoradh air an sin, tha aon neach ann a thig suas leis a h-uile dad nach urrainn don sgioba luchd-leasachaidh gu lèir a thuigsinn, agus aig an aon àm feumaidh fios a bhith aige agus a bhith comasach air na tha sinn air a chomharrachadh gu h-àrd a dhèanamh - bun-structar bathar-cruaidh, bun-structar Kubernetes, msaa.

Dè as urrainn dhomh a ràdh... Houston, tha trioblaidean againn.

Is e pròiseact bathar-bog ann fhèin a th’ ann a bhith a’ cumail sùil air pròiseact bathar-bog ùr-nodha

Bhon chreideas meallta gur e bathar-bog a th’ ann an sgrùdadh, leasaichidh sinn creideas ann am mìorbhuilean. Ach, mo thruaighe, chan eil mìorbhailean a’ tachairt. Chan urrainn dhut zabbix a stàladh agus bi an dùil gun obraich a h-uile càil. Chan eil feum air Grafana a chuir a-steach agus an dòchas gum bi a h-uile càil ceart gu leòr. Thèid a’ mhòr-chuid den ùine a chaitheamh air sgrùdaidhean a chuir air dòigh air gnìomhachd sheirbheisean agus an eadar-obrachadh le chèile, a’ sgrùdadh mar a tha siostaman taobh a-muigh ag obair. Gu dearbh, thèid 90% den ùine a chaitheamh chan ann air sgrìobhadh sgriobtaichean, ach air leasachadh bathar-bog. Agus bu chòir a bhith air a làimhseachadh le sgioba a tha a 'tuigsinn obair a' phròiseict.
Ma thèid aon neach a thilgeil a-steach don sgrùdadh san t-suidheachadh seo, bidh mòr-thubaist a’ tachairt. Dè thachras anns a h-uile àite.

Mar eisimpleir, tha grunn sheirbheisean ann a bhios a’ conaltradh ri chèile tro Kafka. Ràinig an òrdugh, chuir sinn teachdaireachd mun òrdugh gu Kafka. Tha seirbheis ann a bhios ag èisteachd ri fiosrachadh mun òrdugh agus a’ cur am bathar air falbh. Tha seirbheis ann a bhios ag èisteachd ri fiosrachadh mun òrdugh agus a’ cur litir chun neach-cleachdaidh. Agus an uairsin bidh grunn sheirbheisean eile a’ nochdadh, agus bidh sinn a’ tòiseachadh a’ fàs troimh-chèile.

Agus ma bheir thu seo cuideachd don rianaire agus don luchd-leasachaidh aig an ìre nuair a tha ùine ghoirid air fhàgail ron fhoillseachadh, feumaidh an neach am protocol slàn seo a thuigsinn. An fheadhainn sin. Bheir pròiseact den sgèile seo tòrr ùine, agus bu chòir seo a thoirt a-steach do leasachadh an t-siostaim.
Ach gu math tric, gu sònraichte ann an tòiseachadh, chì sinn mar a thèid sgrùdadh a chuir dheth gu nas fhaide air adhart. “A-nis nì sinn Dearbhadh Bun-bheachd, cuiridh sinn air bhog leis, leig leis tuiteam - tha sinn deiseil airson ìobairt. Agus an uairsin cumaidh sinn sùil air a h-uile càil. ” Nuair (no ma tha) a 'phròiseact a' tòiseachadh a 'dèanamh airgead, an gnìomhachas ag iarraidh a chur ris fiù' s barrachd fheartan - oir tha e air tòiseachadh ag obair, mar sin feumaidh e bhith air a sgaoileadh a-mach tuilleadh! Agus tha thu aig an ìre far am feum thu sùil a chumail air a h-uile dad roimhe seo, a bheir chan e 1% den ùine, ach mòran a bharrachd. Agus leis an t-slighe, bidh feum air luchd-leasachaidh airson sgrùdadh, agus tha e nas fhasa leigeil leotha obrachadh air feartan ùra. Mar thoradh air an sin, tha feartan ùra air an sgrìobhadh, thèid a h-uile càil a chuir às, agus tha thu ann an suidheachadh gun chrìoch.

Mar sin, ciamar a nì thu sùil air pròiseact bhon toiseach, agus dè a nì thu ma gheibh thu pròiseact air am feumar sùil a chumail, ach nach eil fios agad càite an tòisich thu?

An toiseach, feumaidh tu planadh.

Gluasad liriceach: glè thric bidh iad a’ tòiseachadh le sgrùdadh bun-structair. Mar eisimpleir, tha Kubernetes againn. Feuch an tòisich sinn le bhith a’ stàladh Prometheus le Grafana, a’ stàladh plugins airson sùil a chumail air an “ciùb”. Chan e a-mhàin gu bheil an cleachdadh mì-fhortanach aig luchd-leasachaidh, ach cuideachd luchd-rianachd: “Cuiridh sinn am plugan seo an sàs, ach is dòcha gu bheil fios aig a’ plugan mar a nì thu e. Is toil le daoine tòiseachadh leis na rudan sìmplidh agus dìreach, seach leis na gnìomhan cudromach. Agus tha e furasta sgrùdadh bun-structair.

An toiseach, co-dhùin dè agus ciamar a tha thu airson sùil a chumail, agus an uairsin tagh inneal, oir chan urrainn dha daoine eile smaoineachadh air do shon. Agus am bu chòir dhaibh? Bha daoine eile a 'smaoineachadh orra fhèin, mu shiostam uile-choitcheann - no cha do smaoinich iad idir nuair a chaidh am plugan seo a sgrìobhadh. Agus dìreach leis gu bheil 5 mìle neach-cleachdaidh aig a ’phlug seo chan eil sin a’ ciallachadh gu bheil e gu feum sam bith. Is dòcha gum bi thu nad 5001mh dìreach leis gu robh 5000 neach ann mu thràth.

Ma thòisicheas tu a’ cumail sùil air a’ bhun-structair agus ma stadas cùl-raon an tagraidh agad a’ freagairt, caillidh a h-uile neach-cleachdaidh ceangal ris an aplacaid gluasadach. Nochdaidh mearachd. Thig iad thugad agus canaidh iad “Chan eil an tagradh ag obair, dè tha thu a’ dèanamh an seo? ” - “Tha sinn a’ cumail sùil. ” - “Ciamar a nì thu sgrùdadh mura faic thu nach eil an aplacaid ag obair?!”

1. Tha mi a’ creidsinn gum feum thu tòiseachadh air sgrùdadh dìreach bho àite inntrigidh an neach-cleachdaidh. Mura faic an neach-cleachdaidh gu bheil an aplacaid ag obair, sin agad e, is e fàiligeadh a th’ ann. Agus bu chòir don t-siostam sgrùdaidh rabhadh a thoirt mu dheidhinn seo an toiseach.
2. Agus dìreach an uairsin as urrainn dhuinn sùil a chumail air a’ bhun-structar. No dèan e ann an co-shìnte. Tha e nas fhasa le bun-structar - an seo is urrainn dhuinn mu dheireadh dìreach zabbix a chuir a-steach.
3. Agus a-nis feumaidh tu a dhol gu freumhan an tagraidh gus tuigsinn far nach eil cùisean ag obair.

Is e mo phrìomh bheachd gum bu chòir sgrùdadh a dhol ann an co-shìnte ris a’ phròiseas leasachaidh. Ma tharraingeas tu air falbh an sgioba sgrùdaidh airson gnìomhan eile (a’ cruthachadh CI/CD, bogsa-gainmhich, ath-eagrachadh bun-structair), tòisichidh sgrùdadh a’ dol sìos agus is dòcha nach fhaigh thu suas ri leasachadh gu bràth (no nas luaithe no nas fhaide air adhart feumaidh tu stad a chuir air).

A h-uile càil a rèir ìrean

Seo mar a chì mi eagrachadh siostam sgrùdaidh.

1) Ìre tagraidh:

• cumail sùil air loidsig gnìomhachais tagraidh;
• cumail sùil air tomhasan slàinte nan seirbheisean;
• sgrùdadh amalachadh.

2) Ìre bun-structair:

• cumail sùil air ìre orchestration;
• sgrùdadh bathar-bog siostam;
• sgrùdadh ìre iarainn.

3) A-rithist an ìre tagraidh - ach mar thoradh innleadaireachd:

• cruinneachadh agus cumail sùil air clàran tagraidh;
• APM;
• lorg.

4) Rabhadh:

• eagrachadh siostam rabhaidh;
• eagrachadh siostam dleastanais;
• eagrachadh “bunait eòlais” agus sruth-obrach airson làimhseachadh thachartasan.

Cudromach: gheibh sinn an rabhadh chan ann às deidh sin, ach sa bhad! Chan eil feum air sgrùdadh a chuir air bhog agus “rudeigin nas fhaide air adhart” obraich a-mach cò gheibh rabhaidhean. Às deidh na h-uile, dè an obair a th 'ann airson sùil a chumail: gus tuigsinn far a bheil rudeigin ag obair ceàrr san t-siostam, agus fios a leigeil dha na daoine ceart mu dheidhinn. Ma dh’ fhàgas tu seo gu deireadh, bidh fios aig na daoine ceart gu bheil rudeigin a’ dol ceàrr dìreach le bhith a’ gairm “chan eil dad ag obair dhuinne.”

Sreath tagraidh - Sgrùdadh loidsig gnìomhachais

An seo tha sinn a 'bruidhinn mu bhith a' dèanamh cinnteach gu bheil an aplacaid ag obair airson an neach-cleachdaidh.

Bu chòir an ìre seo a dhèanamh aig ìre leasachaidh. Mar eisimpleir, tha Prometheus le cumhachan againn: bidh e a’ dol chun t-seirbheisiche a bhios a’ dèanamh na sgrùdaidhean, a’ tarraing a’ phuing-crìochnachaidh, agus a’ cheann-uidhe a’ dol agus a’ sgrùdadh an API.

Nuair a thèid iarraidh orra gu tric sùil a chumail air an duilleag dachaigh gus dèanamh cinnteach gu bheil an làrach ag obair, bidh luchd-prògramaidh a 'toirt seachad làmh a ghabhas a tharraing a h-uile uair a dh' fheumas iad gus dèanamh cinnteach gu bheil an API ag obair. Agus tha prògramadairean aig an àm seo fhathast a’ gabhail agus a’ sgrìobhadh / api/test/helloworld
An aon dòigh air dèanamh cinnteach gu bheil a h-uile càil ag obair? - Chan eil!

• Is e obair luchd-leasachaidh gu bunaiteach a bhith a’ cruthachadh sgrùdaidhean mar sin. Bu chòir deuchainnean aonaid a bhith air an sgrìobhadh leis na prògramadairean a bhios a’ sgrìobhadh a’ chòd. Oir ma bheir thu a-mach e chun rianadair, “Dude, seo liosta de phròtacalan API airson a h-uile gnìomh 25, feuch an cùm thu sùil air a h-uile càil!” - chan obraich dad a-mach.
• Ma chlò-bhuaileas tu “hello world”, cha bhi fios aig duine gu bràth gum bu chòir agus gun obraich an API. Feumaidh gach atharrachadh API leantainn gu atharrachadh ann an sgrùdaidhean.
• Ma tha an leithid de dhuilgheadas agad mu thràth, cuir stad air na feartan agus roinn luchd-leasachaidh a sgrìobhas na sgrùdaidhean sin, no a ghabhas ris na call, gabh ris nach tèid dad a sgrùdadh agus fàilligeadh.

Molaidhean Teicnigeach:

• Dèan cinnteach gun cuir thu seirbheisiche taobh a-muigh air dòigh gus seicichean a chuir air dòigh - feumaidh tu a bhith cinnteach gu bheil am pròiseact agad ruigsinneach don t-saoghal a-muigh.
• Cuir seicichean air dòigh thairis air protocol API gu lèir, chan e dìreach puingean crìochnachaidh fa leth.
• Cruthaich puing-deireadh prometheus le toraidhean an deuchainn.

Ìre tagraidh - sgrùdadh meatrach slàinte

A-nis tha sinn a 'bruidhinn mu dheidhinn slàinte taobh a-muigh metrics seirbheisean.

Cho-dhùin sinn gun dèan sinn sùil air a h-uile “làimhseachadh” den tagradh a’ cleachdadh sgrùdaidhean bhon taobh a-muigh, a chanas sinn bho shiostam sgrùdaidh bhon taobh a-muigh. Ach is iad sin na “làmhan” a tha an neach-cleachdaidh “a’ faicinn”. Tha sinn airson a bhith cinnteach gu bheil na seirbheisean againn fhèin ag obair. Tha sgeulachd nas fheàrr an seo: tha sgrùdaidhean slàinte aig K8n, gus am bi co-dhiù an “ciùb” fhèin cinnteach gu bheil an t-seirbheis ag obair. Ach ’s e an aon chlò-bhualadh “hello world” a th’ ann an leth nan sgrùdaidhean a chunnaic mi. An fheadhainn sin. Mar sin bidh e a’ tarraing aon uair às deidh an cleachdadh, fhreagair e gu bheil a h-uile dad gu math - sin e. Agus tha àireamh mhòr de phuingean inntrigidh aig an t-seirbheis, ma bheir e seachad an API aige fhèin, airson an aon API sin, a dh’ fheumar sùil a chumail orra cuideachd, oir tha sinn airson faighinn a-mach gu bheil e ag obair. Agus tha sinn mu thràth a’ cumail sùil air a-staigh.

Mar a chuireas tu seo an gnìomh gu teicnigeach gu ceart: bidh gach seirbheis a’ nochdadh crìoch mu a choileanadh làithreach, agus ann an grafaichean Grafana (no tagradh sam bith eile) chì sinn inbhe gach seirbheis.

• Feumaidh gach atharrachadh API leantainn gu atharrachadh ann an sgrùdaidhean.
• Cruthaich seirbheis ùr sa bhad le slatan-tomhais slàinte.
• Faodaidh rianaire a thighinn chun luchd-leasachaidh agus faighneachd “cuir feart no dhà thugam gus an tuig mi a h-uile càil agus gun cuir mi fiosrachadh mu dheidhinn seo ris an t-siostam sgrùdaidh agam." Ach mar as trice bidh luchd-leasachaidh a’ freagairt, “Cha bhith sinn a’ cur dad ris dà sheachdain ron fhoillseachadh. ”
  Leig fios do na manaidsearan leasachaidh gum bi an leithid de chall ann, leig fios do luchd-stiùiridh nam manaidsearan leasachaidh cuideachd. Oir nuair a thuiteas a h-uile càil, bidh cuideigin fhathast a’ gairm agus ag iarraidh sùil a chumail air an “t-seirbheis a tha a’ tuiteam gu cunbhalach” (c)
• Co-dhiù, riarachadh luchd-leasachaidh gus plugins a sgrìobhadh airson Grafana - bidh seo na chuideachadh math dha luchd-rianachd.

Layer Iarrtas - Sgrùdadh Amalachaidh

Tha sgrùdadh amalachaidh ag amas air sùil a chumail air conaltradh eadar siostaman a tha deatamach do ghnìomhachas.

Mar eisimpleir, tha 15 seirbheis ann a bhios a’ conaltradh ri chèile. Chan e làraich fa leth a tha seo tuilleadh. An fheadhainn sin. chan urrainn dhuinn an t-seirbheis a tharraing leis fhèin, faigh / helloworld agus tuigsinn gu bheil an t-seirbheis a’ ruith. Leis gum feum an t-seirbheis lìn òrdachaidh fiosrachadh mun òrdugh a chuir chun bhus - bhon bhus, feumaidh seirbheis an taigh-bathair am brath seo fhaighinn agus obrachadh leis tuilleadh. Agus feumaidh an t-seirbheis cuairteachaidh post-d seo a phròiseasadh ann an dòigh air choireigin nas fhaide, msaa.

Mar sin, chan urrainn dhuinn a thuigsinn, a 'coimhead aig gach seirbheis fa leth, gu bheil e uile ag obair. Leis gu bheil bus sònraichte againn tro bheil a h-uile càil a’ conaltradh agus ag eadar-obrachadh.
Mar sin, bu chòir don ìre seo an ìre de sheirbheisean deuchainn a chomharrachadh airson eadar-obrachadh le seirbheisean eile. Tha e do-dhèanta sgrùdadh conaltraidh a chuir air dòigh le bhith a ’cumail sùil air broker teachdaireachd. Ma tha seirbheis ann a bheir seachad dàta agus seirbheis a gheibh e, nuair a bhios sinn a’ cumail sùil air a’ bhròcair chan fhaic sinn ach dàta a bhios ag itealaich bho thaobh gu taobh. Eadhon ged a chaidh againn air dòigh air choireigin sùil a chumail air eadar-obrachadh an dàta seo air an taobh a-staigh - gu bheil riochdaire sònraichte a’ postadh an dàta, cuideigin ga leughadh, tha an sruth seo a’ leantainn air adhart gu Kafka - cha toir seo fiosrachadh dhuinn fhathast ma chuir aon seirbheis am brath ann an aon dreach , ach cha robh dùil aig an t-seirbheis eile ris an tionndadh seo agus leum iad air. Cha bhi fios againn mu dheidhinn seo, oir innsidh na seirbheisean dhuinn gu bheil a h-uile càil ag obair.

Na tha mi a 'moladh a dhèanamh:

• Airson conaltradh sioncronaich: bidh an t-àite crìochnachaidh a’ dèanamh iarrtasan gu seirbheisean co-cheangailte. An fheadhainn sin. bidh sinn a’ toirt a’ phuing crìochnachaidh seo, a’ tarraing sgriobt taobh a-staigh na seirbheis, a tha a’ dol gu na puingean gu lèir agus ag ràdh “Is urrainn dhomh tarraing an sin, agus slaodadh ann, is urrainn dhomh tarraing an sin...”
• Airson conaltradh asyncronach: teachdaireachdan a tha a ’tighinn a-steach - bidh an t-àite crìochnachaidh a’ sgrùdadh a ’bhus airson teachdaireachdan deuchainn agus a’ taisbeanadh an inbhe giollachd.
• Airson conaltradh asyncronach: teachdaireachdan a-mach - bidh an t-àite crìochnachaidh a’ cur teachdaireachdan deuchainn chun bhus.

Mar as àbhaist: tha seirbheis againn a bhios a’ tilgeil dàta dhan bhus. Bidh sinn a’ tighinn chun na seirbheis seo agus ag iarraidh ort innse dhuinn mu a shlàinte amalachaidh. Agus ma dh’ fheumas an t-seirbheis teachdaireachd a thoirt a-mach am badeigin nas fhaide (WebApp), bheir e a-mach an teachdaireachd deuchainn seo. Agus ma ruitheas sinn seirbheis air an taobh OrderProcessing, bidh e an toiseach a’ postadh nas urrainn dha a phostadh gu neo-eisimeileach, agus ma tha cuid de rudan an eisimeil ann, an uairsin bidh e a’ leughadh seata de theachdaireachdan deuchainn bhon bhus, a’ tuigsinn gun urrainn dha an làimhseachadh, aithris agus aithris. , ma tha sin riatanach, cuir a-steach iad nas fhaide, agus mu dheidhinn seo tha e ag ràdh - tha a h-uile dad ceart gu leòr, tha mi beò.

Glè thric cluinnidh sinn a’ cheist “ciamar as urrainn dhuinn seo a dhearbhadh air dàta sabaid?” Mar eisimpleir, tha sinn a 'bruidhinn mu dheidhinn an aon òrdugh seirbheis. Bidh an t-òrdugh a’ cur teachdaireachdan chun taigh-bathair far a bheil am bathar air a dhubhadh às: chan urrainn dhuinn seo a dhearbhadh air dàta sabaid, oir “thèid mo bhathar a chuir dheth!” Fuasgladh: Dealbhaich an deuchainn slàn seo aig a 'chiad dol a-mach. Tha deuchainnean aonad agad cuideachd a nì magadh. Mar sin, dèan e aig ìre nas doimhne far a bheil sianal conaltraidh agad nach dèan cron air gnìomhachd a 'ghnìomhachais.

Ìre bun-structair

Tha sgrùdadh bun-structair na rud air a bheilear a’ beachdachadh o chionn fhada gus sùil a chumail air fhèin.

• Faodar agus bu chòir sgrùdadh bun-structair a chuir air bhog mar phròiseas air leth.
• Cha bu chòir dhut tòiseachadh le sgrùdadh bun-structair air pròiseact ruith, eadhon ged a tha thu dha-rìribh ag iarraidh. Is e pian a tha seo dha na h-uile devops. “An toiseach nì mi sùil air a’ bhuidheann, nì mi sùil air a’ bhun-structar” - i.e. An toiseach, bheir e sùil air na tha gu h-ìosal, ach cha tèid e a-steach don tagradh. Leis gu bheil an tagradh na rud do-chreidsinneach airson devops. Chaidh a leigeil ma sgaoil dha, agus chan eil e a’ tuigsinn ciamar a tha e ag obair. Agus tha e a 'tuigsinn a' bhun-structair agus a 'tòiseachadh leis. Ach chan eil - feumaidh tu an-còmhnaidh sùil a chumail air an tagradh an toiseach.
• Na bi a’ dol thairis air bòrd leis an àireamh de rabhaidhean. A ’beachdachadh air iom-fhillteachd shiostaman an latha an-diugh, tha rabhaidhean an-còmhnaidh ag itealaich, agus feumaidh tu dòigh air choireigin a bhith beò leis an dòrlach de rabhaidhean seo. Agus co-dhùinidh an neach air-ghairm, às deidh dha sùil a thoirt air ceud de na h-ath rabhaidhean, “Chan eil mi airson smaoineachadh mu dheidhinn." Cha bu chòir rabhaidhean fios a chuir ach mu rudan èiginneach.

Ìre tagraidh mar aonad gnìomhachais

Prìomh phuingean:

• ELK. Is e seo an ìre gnìomhachais. Mura h-eil thu airson adhbhar air choireigin a’ cruinneachadh logaichean, tòisich a’ dèanamh sin sa bhad.
• APM. APMan taobh a-muigh mar dhòigh air sgrùdadh tagraidh a dhùnadh gu sgiobalta (NewRelic, BlackFire, Datadog). Faodaidh tu an rud seo a chuir a-steach airson ùine gus co-dhiù dòigh air choireigin tuigsinn dè a tha a’ dol leat.
• A' tracadh. Ann an dusanan de microservices, feumaidh tu a h-uile càil a lorg, oir chan eil an t-iarrtas a ’fuireach leis fhèin tuilleadh. Tha e gu math duilich a chuir ris nas fhaide air adhart, agus mar sin tha e nas fheàrr clàr-ama a dhèanamh sa bhad ann an leasachadh - is e seo obair agus goireasachd an luchd-leasachaidh. Mura h-eil thu air a chuir an gnìomh fhathast, cuir an gnìomh e! Faic Jaeger/Zipkin

A' rabhadh

• Eagrachadh siostam fios: ann an suidheachaidhean airson sùil a chumail air dòrlach de rudan, bu chòir siostam aonaichte a bhith ann airson fiosan a chuir. Faodaidh tu ann an Grafana. San Iar, bidh a h-uile duine a’ cleachdadh PagerDuty. Bu chòir rabhaidhean a bhith soilleir (me cò às a thàinig iad...). Agus tha e ciallach smachd a chumail air am faighear fiosan idir
• Eagrachadh siostam dleastanais: cha bu chòir rabhaidhean a chuir chun a h-uile duine (an dara cuid freagraidh a h-uile duine ann an sluagh, no cha toir duine freagairt). Feumaidh luchd-leasachaidh a bhith air an gairm cuideachd: bi cinnteach gu bheil thu a’ mìneachadh raointean uallaich, a’ toirt seachad stiùireadh soilleir agus a’ sgrìobhadh ann cò dha a chuireas iad fios air Diluain is Diciadain, agus cò ris an cuir iad fios air Dimàirt agus Dihaoine (air neo cha chuir iad fios gu neach sam bith eadhon anns an tachartas de dhuilgheadas mòr - bidh eagal orra do dhùsgadh no dragh a chuir ort : mar as trice cha toil le daoine a bhith a’ gairm agus a’ dùsgadh dhaoine eile, gu sònraichte air an oidhche). Agus mìnich nach eil faighneachd airson cuideachadh na chomharradh air neo-chomasachd (“bidh mi ag iarraidh cuideachadh, tha sin a’ ciallachadh gur e droch neach-obrach a th’ annam”), brosnaich iarrtasan airson cuideachadh.
• Eagrachadh “bunait eòlais” agus sruth-obrach airson giullachd thachartasan: airson gach tachartas mòr, bu chòir post-mortem a dhealbhadh, agus mar cheum sealach, bu chòir gnìomhan a dh’ fhuasgladh an tachartas a chlàradh. Agus dèan e na chleachdadh gur e peacadh a th’ ann an rabhaidhean tric; feumaidh iad a bhith stèidhichte ann an còd no obair bun-structair.

Stòr teicneòlas

Smaoinicheamaid gu bheil ar stac mar a leanas:

• cruinneachadh dàta - Prometheus + Grafana;
• mion-sgrùdadh log - ELK;
• airson APM no Tracing - Jaeger (Zipkin).

Chan eil an roghainn roghainnean deatamach. Oir ma thuig thu aig an toiseach mar a chumas tu sùil air an t-siostam agus gun do sgrìobh thu plana, tòisichidh tu a’ taghadh innealan a fhreagras air na feumalachdan agad. Is e a’ cheist dè a thagh thu airson sùil a chumail sa chiad àite. Oir is dòcha nach eil an inneal a thagh thu aig an toiseach a’ freagairt air na feumalachdan agad idir.

Beagan phuingean teicnigeach a chì mi anns a h-uile àite o chionn ghoirid:

Thathas a’ putadh Prometheus am broinn Kubernetes - cò a thàinig suas le seo?! Ma thuiteas do bhasgaid, dè a nì thu? Ma tha cruinneachadh iom-fhillte agad a-staigh, bu chòir gum biodh siostam sgrùdaidh de sheòrsa air choreigin taobh a-staigh a’ bhuidheann, agus cuid a-muigh, a chruinnicheas dàta bhon taobh a-staigh den bhuidheann.

Taobh a-staigh a 'bhraisle bidh sinn a' cruinneachadh logaichean agus a h-uile càil eile. Ach feumaidh an siostam sgrùdaidh a bhith taobh a-muigh. Glè thric, ann am buidheann far a bheil Promtheus air a chuir a-steach air an taobh a-staigh, tha siostaman ann cuideachd a bhios a’ dèanamh sgrùdaidhean bhon taobh a-muigh air obrachadh na làraich. Dè ma tha na ceanglaichean agad ris an t-saoghal a-muigh air tuiteam agus nach obraich an tagradh? Tha e a ’tionndadh a-mach gu bheil a h-uile dad gu math a-staigh, ach chan eil e a’ dèanamh cùisean nas fhasa do luchd-cleachdaidh.

toraidhean

• Chan e a bhith a’ cumail sùil air leasachadh a bhith a’ stàladh ghoireasan, ach leasachadh bathar-bog. Tha 98% de sgrùdadh an latha an-diugh a’ còdadh. A’ còdadh ann an seirbheisean, a’ còdadh sgrùdaidhean bhon taobh a-muigh, a’ sgrùdadh sheirbheisean taobh a-muigh, agus sin agad.
• Na caith ùine do luchd-leasachaidh air sgrùdadh: faodaidh e suas ri 30% den obair aca a thoirt, ach is fhiach e e.
• Devops, na gabh dragh nach urrainn dhut sùil a chumail air rudeigin, oir tha cuid de rudan nan dòigh smaoineachaidh gu tur eadar-dhealaichte. Cha b’ e prògramadair a bh’ annad, agus is e obair sgrùdaidh dìreach an obair aca.
• Ma tha am pròiseact a’ ruith mu thràth agus nach eil e air a sgrùdadh (agus gur e manaidsear a th’ annad), roinn goireasan airson sgrùdadh.
• Ma tha an toradh mu thràth ann an cinneasachadh, agus gur e devops a th’ annad a chaidh iarraidh ort “sgrùdadh a stèidheachadh” - feuch ri mìneachadh don luchd-stiùiridh dè a sgrìobh mi mu dheidhinn seo.

Is e seo dreach leudaichte den aithisg aig co-labhairt Saint Highload ++.

Ma tha ùidh agad anns na beachdan agus na smuaintean agam mu dheidhinn agus cuspairean co-cheangailte ris, faodaidh tu an seo leugh an sianal ????

Source: www.habr.com