An bhfuil an mhonatóireacht marbh? — Monatóireacht bheo fhada

Ó 2008 i leith, tá ár gcuideachta ag gabháil go príomha le bainistíocht bonneagair agus le tacaíocht theicniúil 400 le haghaidh tionscadail ghréasáin: tá níos mó ná 15 cliant againn, arb ionann é agus thart ar 15% de ríomhthráchtáil na Rúise. Dá réir sin, tacaítear le hailtireacht an-ilghnéitheach. Má thiteann rud éigin, tá sé de dhualgas orainn é a shocrú laistigh de XNUMX nóiméad. Ach a thuiscint gur tharla timpiste, ní mór duit monatóireacht a dhéanamh ar an tionscadal agus freagra a thabhairt ar theagmhais. Conas é seo a dhéanamh?

Creidim go bhfuil fadhb ann maidir le córas ceart monatóireachta a eagrú. Mura mbeadh aon trioblóid ann, is tráchtas amháin a bheadh ​​i mo chuid cainte: “Suiteáil Prometheus + Grafana agus forlíontáin 1, 2, 3 le do thoil.” Ar an drochuair, ní oibríonn sé mar sin a thuilleadh. Agus is í an fhadhb is mó ná go leanann gach duine ag creidiúint i rud éigin a bhí ann i 2008, i dtéarmaí comhpháirteanna bogearraí.

Maidir le heagrú an chórais faireacháin, ba mhaith liom a rá nach bhfuil... tionscadail le monatóireacht inniúil ann. Agus tá an scéal chomh dona sin má thiteann rud éigin, tá an baol ann nach dtabharfar faoi deara é - tar éis an tsaoil, tá gach duine cinnte "go ndéantar monatóireacht ar gach rud."
B'fhéidir go bhfuil monatóireacht á dhéanamh ar gach rud. Ach cén chaoi?

Táimid tar éis teacht ar scéal mar seo a leanas: roinnt devops, tá riarthóir áirithe ag obair, tagann foireann forbartha chucu agus deir - "táimid scaoilte, déanaimid monatóireacht anois." Monatóireacht a dhéanamh ar cad é? Conas a oibríonn sé?

ceart go leor. Déanaimid monatóireacht ar an mbealach sean-aimseartha. Agus tá sé ag athrú cheana féin, agus tharla sé go ndearna tú monatóireacht ar sheirbhís A, a tháinig chun bheith ina sheirbhís B, a idirghníomhaíonn le seirbhís C. Ach insíonn an fhoireann forbartha duit: "Suiteáil na bogearraí, ba chóir go ndéanfadh sé monatóireacht ar gach rud!"

Mar sin, cad atá athraithe? - Tá gach rud athraithe!

2008 Tá gach rud breá

Tá cúpla forbróir, freastalaí amháin, freastalaí bunachar sonraí amháin. Téann sé ar fad as seo. Tá roinnt faisnéise againn, suiteáilimid zabbix, Nagios, cachtais. Agus ansin leagamar foláirimh soiléire ar an LAP, ar oibriú dioscaí, agus ar spás diosca. Déanaimid cúpla seiceáil láimhe freisin chun a chinntiú go bhfreagraíonn an suíomh agus go bhfuil orduithe ag teacht ar an mbunachar sonraí. Agus sin é - táimid faoi chosaint níos mó nó níos lú.

Má dhéanaimid comparáid idir an méid oibre a rinne an riarthóir ansin chun monatóireacht a sholáthar, ansin bhí 98% de uathoibríoch: ní mór don duine a dhéanann an monatóireacht a thuiscint conas Zabbix a shuiteáil, conas é a chumrú agus foláirimh a chumrú. Agus 2% - le haghaidh seiceálacha seachtracha: go bhfreagraíonn an suíomh agus go ndéanann sé iarratas chuig an mbunachar sonraí, go bhfuil orduithe nua tagtha.

2010 Tá an t-ualach ag fás

Táimid ag tosú ar an ngréasán a scála, ag cur inneall cuardaigh leis. Ba mhaith linn a chinntiú go bhfuil na táirgí go léir sa chatalóg táirgí. Agus oibríonn an cuardach táirge sin. Go bhfuil an bunachar sonraí ag obair, go bhfuil orduithe á ndéanamh, go bhfreagraíonn an láithreán go seachtrach agus go bhfreagraíonn sé ó dhá fhreastalaí agus nach gcuirtear an t-úsáideoir as an suíomh agus é á athchothromú chuig freastalaí eile, etc. Tá níos mó aonáin ann.

Ina theannta sin, tá an t-eintiteas a bhaineann le bonneagar fós ar an gceann is mó i gceannas an bhainisteora. Tá smaoineamh fós i mo cheann gurb é an duine a dhéanfaidh an monatóireacht an duine a shuiteáil zabbix agus a bheidh in ann é a chumrú.

Ach ag an am céanna, tá obair le feiceáil ar sheiceálacha seachtracha a dhéanamh, ar shraith de scripteanna ceisteanna innéacsóir cuardaigh a chruthú, sraith scripteanna chun a sheiceáil go n-athraíonn an cuardach le linn an phróisis innéacsaithe, sraith scripteanna a sheiceálann go n-aistrítear earraí chuig an seirbhís seachadta, etc. agus mar sin de.

Nóta: Scríobh mé “sraith scripteanna” 3 huaire. Is é sin, níl an duine atá freagrach as monatóireacht a dhéanamh ar an duine a shuiteálann go simplí zabbix. Seo duine a thosaíonn ar chódú. Ach níl aon athrú ar mheon na foirne go fóill.

Ach tá an domhan ag athrú, ag éirí níos casta. Cuirtear ciseal fíorúlaithe agus roinnt córas nua leis. Tosaíonn siad ag idirghníomhú lena chéile. Cé a dúirt "boladh cosúil le microservices?" Ach is cosúil go fóill suíomh Gréasáin gach seirbhís ina n-aonar. Is féidir linn casadh air agus a thuiscint go soláthraíonn sé an fhaisnéis riachtanach agus go n-oibríonn sé ina aonar. Agus má tá tú i do riarthóir i gcónaí ag gabháil do thionscadal atá ag forbairt le 5-7-10 mbliana, carnann an t-eolas seo: tagann leibhéal nua le feiceáil - thuig tú é, tá leibhéal eile le feiceáil - thuig tú é ...

Ach is annamh a bhíonn duine ar bith in éineacht le tionscadal ar feadh 10 mbliana.

Achoimre an fhir mhonatóireachta

Cuir i gcás gur tháinig tú chuig tosaithe nua a d’fhostaigh 20 forbróir láithreach, a scríobh 15 mhicrisheirbhísí, agus gur riarthóir thú a deirtear: “Tóg CI/CD. Le do thoil." Tá CI/CD tógtha agat agus go tobann cloiseann tú: “Tá sé deacair dúinn oibriú le táirgeadh i “chiúb”, gan a thuiscint conas a oibreoidh an feidhmchlár ann. Déan bosca gainimh dúinn sa “chiúb” céanna.
Déanann tú bosca gainimh sa chiúb seo. Insíonn siad duit láithreach: “Ba mhaith linn bunachar sonraí stáitse a nuashonraítear gach lá ó tháirgeadh, ionas go dtuigimid go n-oibríonn sé ar an mbunachar sonraí, ach nach millfidh sé an bunachar sonraí táirgthe ag an am céanna.”

Tá tú i do chónaí i seo ar fad. Tá 2 sheachtain fágtha roimh an scaoileadh, insíonn siad duit: "Anois déanaimis monatóireacht ar seo go léir ..." Is é sin. monatóireacht a dhéanamh ar an mbonneagar braisle, monatóireacht a dhéanamh ar ailtireacht na micriseirbhíse, monatóireacht a dhéanamh ar obair le seirbhísí seachtracha...

Agus tógann mo chomhghleacaithe an gnáthscéim as a gceann agus deir siad: “Bhuel, tá gach rud soiléir anseo! Suiteáil clár a dhéanfaidh monatóireacht ar seo go léir." Sea, tá: forlíontáin Prometheus + Grafana +.
Agus deir siad: "Tá dhá sheachtain agat, déan cinnte go bhfuil gach rud slán."

I go leor tionscadal a fheicimid, leithdháiltear duine amháin le haghaidh monatóireachta. Samhlaigh gur mhaith linn duine a fhostú chun monatóireacht a dhéanamh ar feadh 2 sheachtain, agus scríobhaimid atosú dó. Cad iad na scileanna ba chóir a bheith ag an duine seo, i bhfianaise gach rud atá ráite againn go dtí seo?

• Caithfidh sé monatóireacht agus sonraí oibríochta an bhonneagair iarainn a thuiscint.
• Caithfidh sé na sonraí a bhaineann le monatóireacht a dhéanamh ar Kubernetes a thuiscint (agus ba mhaith le gach duine dul go dtí an "ciúb", mar is féidir leat a bhaint as gach rud, a cheilt, mar go ndéileálfaidh an riarthóir leis an gcuid eile) - é féin, a bhonneagar, agus tuiscint a fháil ar conas monatóireacht a dhéanamh ar iarratais istigh.
• Caithfidh sé a thuiscint go ndéanann seirbhísí cumarsáid lena chéile ar bhealaí speisialta, agus go mbeadh a fhios aige na sonraí faoin gcaoi a n-idirghníomhaíonn seirbhísí lena chéile. Is féidir go leor tionscadal a fheiceáil ina ndéanann seirbhísí áirithe cumarsáid go sioncronach, toisc nach bhfuil aon bhealach eile ann. Mar shampla, téann an t-inneall trí REST, trí gRPC chuig an tseirbhís catalóige, faigheann sé liosta táirgí agus cuireann sé ar ais é. Ní féidir leat fanacht anseo. Agus le seirbhísí eile oibríonn sé asynchronously. Aistrigh an t-ordú chuig an tseirbhís seachadta, seol litir, etc.
  Is dócha gur shnámh tú as seo go léir cheana? Agus d'éirigh an riarthóir, ar gá dó monatóireacht a dhéanamh air seo, níos mó mearbhall fós.
• Caithfidh sé a bheith in ann pleanáil agus pleanáil i gceart - de réir mar a éiríonn an obair níos mó agus níos mó.
• Ní mór dó mar sin straitéis a chruthú ón tseirbhís chruthaithe chun a thuiscint conas monatóireacht shonrach a dhéanamh uirthi. Teastaíonn tuiscint uaidh ar ailtireacht an tionscadail agus ar a fhorbairt + tuiscint ar na teicneolaíochtaí a úsáidtear san fhorbairt.

Déanaimis cuimhneamh ar chás iomlán gnáth: tá roinnt seirbhísí i PHP, tá roinnt seirbhísí in Go, tá roinnt seirbhísí i JS. Oibríonn siad lena chéile ar bhealach éigin. Seo an áit a dtagann an téarma “micreasheirbhís” as: tá an oiread sin córais aonair ann nach féidir le forbróirí an tionscadal ina iomláine a thuiscint. Scríobhann cuid amháin den fhoireann seirbhísí i JS a oibríonn leo féin agus nach bhfuil a fhios acu conas a oibríonn an chuid eile den chóras. Scríobhann an chuid eile seirbhísí i Python agus ní chuireann sé isteach ar conas a oibríonn seirbhísí eile; tá siad scoite amach ina gceantar féin. Is é an tríú ceann ná seirbhísí a scríobh i PHP nó rud éigin eile.
Roinntear na 20 duine seo go léir i 15 sheirbhís, agus níl ach riarthóir amháin ann a chaithfidh é seo go léir a thuiscint. Stop! níl le déanamh againn ach an córas a roinnt ina 15 mhicrisheirbhís toisc nach bhfuil 20 duine in ann an córas iomlán a thuiscint.

Ach ní mór monatóireacht a dhéanamh air ar bhealach éigin ...

Cad é an toradh? Mar thoradh air sin, tá duine amháin ann a thagann suas le gach rud nach féidir leis an bhfoireann iomlán forbróirí a thuiscint, agus ag an am céanna ní mór go mbeadh a fhios aige freisin agus a bheith in ann an méid a léirigh muid thuas a dhéanamh - bonneagar crua-earraí, bonneagar Kubernetes, etc.

Cad is féidir liom a rá ... Houston, tá fadhbanna againn.

Is tionscadal bogearraí ann féin é monatóireacht a dhéanamh ar thionscadal bogearraí nua-aimseartha

Ón muinín bhréagach gur bogearraí é an mhonatóireacht, forbróimid creideamh i míorúiltí. Ach ní tharlaíonn míorúiltí, faraor. Ní féidir leat zabbix a shuiteáil agus a bheith ag súil go n-oibreoidh gach rud. Níl aon phointe ann Grafana a shuiteáil agus a bheith ag súil go mbeidh gach rud ceart go leor. Caithfear an chuid is mó den am ar sheiceálacha a eagrú ar oibriú seirbhísí agus ar a n-idirghníomhú lena chéile, ag seiceáil conas a oibríonn córais sheachtracha. Déanta na fírinne, ní bheidh 90% den am á chaitheamh ar scripteanna a scríobh, ach ar bhogearraí a fhorbairt. Agus ba chóir é a láimhseáil ag foireann a thuigeann obair an tionscadail.
Más rud é sa chás seo go gcaitear duine amháin isteach sa mhonatóireacht, tarlóidh tubaiste. Cé acu a tharlaíonn i ngach áit.

Mar shampla, tá roinnt seirbhísí ann a dhéanann cumarsáid lena chéile trí Kafka. Tháinig an t-ordú, chuireamar teachtaireacht faoin ordú chuig Kafka. Tá seirbhís ann a éisteann le heolas faoin ordú agus a sheolann na hearraí. Tá seirbhís ann a éisteann le heolas faoin ordú agus a sheolann litir chuig an úsáideoir. Agus ansin tagann a lán seirbhísí níos mó le feiceáil, agus cuirimid tús le mearbhall.

Agus má thugann tú é seo freisin don riarthóir agus d'fhorbróirí ag an gcéim nuair a bhíonn tréimhse ghearr fágtha roimh an scaoileadh, beidh ar an duine an prótacal iomlán seo a thuiscint. Iad siúd. Tógann tionscadal den scála seo cuid mhór ama, agus ba cheart é seo a chur san áireamh i bhforbairt an chórais.
Ach go minic, go háirithe i ngnólachtaí nuathionscanta, feicimid conas a chuirtear monatóireacht ar athló go dtí níos déanaí. “Anois déanfaimid Cruthúnas Coincheapa, seolfaimid leis, ligfidh sé titim - táimid réidh le híobairt a dhéanamh. Agus ansin déanfaimid monatóireacht air go léir.” Nuair (nó má) a thosaíonn an tionscadal airgead a dhéanamh, ba mhaith leis an ngnó a chur fiú gnéithe níos mó - toisc go bhfuil sé tosaithe ag obair, mar sin ní mór é a rolladh amach níos mó! Agus tá tú ag an bpointe nuair is gá duit monatóireacht a dhéanamh ar gach rud roimhe seo, rud a thógann ní 1% den am, ach i bhfad níos mó. Agus dála an scéil, beidh gá le forbróirí chun monatóireacht a dhéanamh, agus tá sé níos éasca ligean dóibh oibriú ar ghnéithe nua. Mar thoradh air sin, scríobhtar gnéithe nua, déantar gach rud a scoráil, agus tá tú i slad gan deireadh.

Mar sin conas monatóireacht a dhéanamh ar thionscadal ag tosú ón tús, agus cad atá le déanamh má fhaigheann tú tionscadal ar gá monatóireacht a dhéanamh air, ach nach bhfuil a fhios agat cá háit le tosú?

Gcéad dul síos, ní mór duit a phleanáil.

Digression lyrical: go minic a thosaíonn siad le monatóireacht a dhéanamh ar bhonneagar. Mar shampla, tá Kubernetes againn. Cuirimis tús le Prometheus le Grafana a shuiteáil, forlíontáin a shuiteáil chun monatóireacht a dhéanamh ar an “chiúb”. Ní hamháin go bhfuil an cleachtas trua ag forbróirí, ach freisin ag riarthóirí: "Déanfaimid an breiseán seo a shuiteáil, ach is dócha go bhfuil a fhios ag an mbreiseán conas é a dhéanamh." Is maith le daoine tosú leis na rudaí simplí agus simplí, seachas leis na gníomhartha tábhachtacha. Agus tá monatóireacht bonneagair éasca.

Ar dtús, déan cinneadh ar cad é agus conas is mian leat monatóireacht a dhéanamh, agus ansin roghnaigh uirlis, mar ní féidir le daoine eile smaoineamh ar do shon. Agus ba chóir dóibh? Shíl daoine eile leo féin, faoi chóras uilíoch – nó níor smaoinigh siad ar chor ar bith nuair a scríobhadh an breiseán seo. Agus díreach toisc go bhfuil 5 mhíle úsáideoir ag an mbreiseán seo ní chiallaíonn sé sin go bhfuil sé d'aon úsáid. B'fhéidir go mbeidh tú ar an 5001ú háit toisc go raibh 5000 duine ann cheana féin.

Má thosaíonn tú ag déanamh monatóireachta ar an mbonneagar agus má stopann inneall d’iarratas ag freagairt, caillfidh gach úsáideoir nasc leis an bhfeidhmchlár soghluaiste. Beidh earráid le feiceáil. Tiocfaidh siad chugat agus déarfaidh siad “Níl an feidhmchlár ag obair, cad atá á dhéanamh agat anseo?” - “Táimid ag déanamh monatóireachta.” — “Conas a dhéanann tú monatóireacht mura bhfeiceann tú nach bhfuil an feidhmchlár ag obair?!”

1. Creidim gur gá duit monatóireacht a dhéanamh go díreach ó phointe iontrála an úsáideora. Mura bhfeiceann an t-úsáideoir go bhfuil an feidhmchlár ag obair, sin é, is teip é. Agus ba cheart don chóras monatóireachta rabhadh a thabhairt faoi seo ar dtús.
2. Agus ansin amháin is féidir linn monatóireacht a dhéanamh ar an mbonneagar. Nó é a dhéanamh go comhthreomhar. Tá sé níos éasca le bonneagar - anseo is féidir linn zabbix a shuiteáil ar deireadh.
3. Agus anois ní mór duit dul go dtí fréamhacha an iarratais chun tuiscint a fháil i gcás nach bhfuil rudaí ag obair.

Is é an príomh-smaoineamh atá agam ná gur chóir go rachadh an mhonatóireacht i gcomhthráth leis an bpróiseas forbartha. Má tharraingíonn tú aird ar an bhfoireann monatóireachta le haghaidh tascanna eile (CI/CD a chruthú, bosca gainimh, atheagrú bonneagair), tosóidh an mhonatóireacht chun deiridh agus ní fhéadfaidh tú teacht suas le forbairt go deo (nó luath nó mall beidh ort stop a chur leis).

Gach rud de réir leibhéil

Seo mar a fheicim go bhfuil córas monatóireachta á eagrú.

1) Leibhéal iarratais:

• monatóireacht a dhéanamh ar loighic gnó iarratais;
• monatóireacht a dhéanamh ar mhéadracht sláinte na seirbhísí;
• monatóireacht ar chomhtháthú.

2) Leibhéal bonneagair:

• monatóireacht ar leibhéal na ceolfhoirne;
• monatóireacht a dhéanamh ar bhogearraí córais;
• monatóireacht ar leibhéal iarainn.

3) Arís leibhéal an iarratais - ach mar tháirge innealtóireachta:

• logaí feidhmchlár a bhailiú agus monatóireacht a dhéanamh orthu;
• APM;
• rianú.

4) Airdeall:

• eagrú córas rabhaidh;
• eagrú córas dualgais;
• eagrú “bonn eolais” agus sreabhadh oibre do phróiseáil teagmhais.

Tá sé tábhachtach: a fháil againn ar an airdeall ní ina dhiaidh sin, ach ar an bpointe boise! Níl aon ghá le monatóireacht a sheoladh agus "ar bhealach éigin níos déanaí" a dhéanamh amach cé a gheobhaidh foláirimh. Tar éis an tsaoil, cad é an tasc monatóireachta: a thuiscint cá háit sa chóras a bhfuil rud éigin mícheart, agus na daoine cearta a chur ar an eolas faoi. Má fhágann tú é seo go dtí an deireadh, beidh a fhios ag na daoine cearta go bhfuil rud éigin mícheart ach glaoch a chur ar “níl aon rud ag obair dúinn”.

Ciseal Feidhmchláir - Monatóireacht ar Loighic Gnó

Anseo táimid ag caint faoi a sheiceáil ar an bhfíric go n-oibríonn an t-iarratas don úsáideoir.

Ba cheart an leibhéal seo a dhéanamh le linn na céime forbartha. Mar shampla, tá Prometheus coinníollach againn: téann sé chuig an bhfreastalaí a dhéanann na seiceálacha, tarraingíonn sé an críochphointe, agus téann an críochphointe agus seiceann sé an API.

Nuair a iarrtar orthu go minic monatóireacht a dhéanamh ar an leathanach baile chun a chinntiú go bhfuil an suíomh ag obair, tugann ríomhchláraitheoirí láimhseáil is féidir a tharraingt gach uair is gá dóibh a chinntiú go bhfuil an API ag obair. Agus tá ríomhchláraitheoirí ag an nóiméad seo fós ag tógáil agus ag scríobh /api/test/helloworld
An t-aon bhealach chun a chinntiú go n-oibríonn gach rud? - Ní hea!

• Go bunúsach is cúram d'fhorbróirí é seiceálacha den sórt sin a chruthú. Ba cheart do na ríomhchláraitheoirí a scríobhann an cód trialacha aonaid a scríobh. Mar má scaoileann tú chuig an riarthóir é, "A dhuine uasail, seo liosta prótacail API do na 25 feidhm go léir, déan monatóireacht ar gach rud le do thoil!" - ní oibreoidh aon rud amach.
• Má phriontáileann tú “hello world”, ní bheidh a fhios ag aon duine go brách gur cheart don API oibriú agus go n-oibríonn sé. Caithfidh athrú seiceála a bheith mar thoradh ar gach athrú API.
• Má tá fadhb den sórt sin agat cheana féin, stop na gnéithe agus leithdháilfidh na forbróirí a scríobh na seiceálacha seo, nó na caillteanais a ghlacadh, glacadh leis nach ndéantar aon rud a sheiceáil agus go dteipfidh orthu.

Leideanna Teicniúla:

• Bí cinnte freastalaí seachtrach a eagrú chun seiceálacha a eagrú - ní mór duit a bheith cinnte go bhfuil do thionscadal inrochtana don domhan lasmuigh.
• Eagraigh seiceálacha ar fud an phrótacail API ar fad, ní hamháin críochphointí aonair.
• Cruthaigh críochphointe prometheus leis na torthaí tástála.

Ciseal iarratais - monatóireacht ar mhéadracht sláinte

Anois táimid ag caint faoi mhéadracht sheachtrach sláinte na seirbhísí.

Shocraigh muid go ndéanfaimis monatóireacht ar “láimhseáil” an fheidhmchláir ag baint úsáide as seiceálacha seachtracha, a dtugaimid ó chóras monatóireachta seachtrach. Ach is iad seo na “láimhseálann” a “fheiceann an t-úsáideoir”. Ba mhaith linn a bheith cinnte go n-oibríonn ár gcuid seirbhísí féin. Seo é an scéal níos fearr: tá seiceálacha sláinte ag K8s, ionas gur féidir leis an “ciúb” féin a chur ina luí ar a laghad go bhfuil an tseirbhís ag obair. Ach is “hello world” an cló céanna leath de na seiceanna atá feicthe agam. Iad siúd. Mar sin tarraingíonn sé uair amháin tar éis imscaradh, d'fhreagair sé go bhfuil gach rud go breá - sin go léir. Agus tá líon mór pointí iontrála ag an tseirbhís, má sholáthraíonn sé a API féin, don API céanna sin, ar gá monatóireacht a dhéanamh orthu freisin, mar ba mhaith linn a fhios go n-oibríonn sé. Agus tá monatóireacht á déanamh againn cheana féin taobh istigh.

Conas é seo a chur i bhfeidhm i gceart go teicniúil: nochtar gach seirbhís críochphointe faoina feidhmíocht reatha, agus i ngraif Grafana (nó aon fheidhmchlár eile) feicimid stádas na seirbhísí go léir.

• Caithfidh athrú seiceála a bheith mar thoradh ar gach athrú API.
• Cruthaigh seirbhís nua láithreach le méadracht sláinte.
• Is féidir le riarthóir teacht chuig na forbróirí agus fiafraí de “cuir cúpla gné liom ionas go dtuigim gach rud agus go gcuirfidh mé faisnéis faoi seo le mo chóras monatóireachta.” Ach freagraíonn forbróirí de ghnáth, "Ní bheidh muid ag cur rud ar bith dhá sheachtain roimh an scaoileadh."
  Bíodh a fhios ag na bainisteoirí forbartha go mbeidh caillteanais den sórt sin ann, cuir in iúl do bhainistíocht na mbainisteoirí forbartha freisin. Toisc nuair a thiteann gach rud, beidh duine ag glaoch go fóill agus ag éileamh monatóireacht a dhéanamh ar an “seirbhís atá ag titim i gcónaí” (c)
• Dála an scéil, forbróirí a leithdháileadh chun forlíontáin a scríobh do Grafana - beidh sé seo ina chabhair mhaith do admins.

Ciseal Feidhmchláir - Monatóireacht ar Chomhtháthú

Díríonn monatóireacht ar chomhtháthú ar mhonatóireacht a dhéanamh ar chumarsáid idir córais ríthábhachtacha gnó.

Mar shampla, tá 15 seirbhís ann a dhéanann cumarsáid lena chéile. Ní láithreáin ar leith iad seo a thuilleadh. Iad siúd. ní féidir linn an tseirbhís a tharraingt leis féin, a fháil / helloworld agus a thuiscint go bhfuil an tseirbhís ag rith. Toisc go gcaithfidh an tseirbhís gréasáin ordaithe faisnéis faoin ordú a sheoladh chuig an mbus - ón mbus, ní mór don tseirbhís stórais an teachtaireacht seo a fháil agus oibriú leis a thuilleadh. Agus ní mór don tseirbhís dáileacháin ríomhphoist é seo a phróiseáil ar bhealach níos faide, etc.

Dá réir sin, ní féidir linn a thuiscint, ag féachaint ar gach seirbhís ar leith, go n-oibríonn sé go léir. Toisc go bhfuil bus áirithe againn trína ndéanann gach rud cumarsáid agus idirghníomhú.
Dá bhrí sin, ba cheart go ndéanfaí an chéim seo de na seirbhísí tástála le haghaidh idirghníomhú le seirbhísí eile a mharcáil. Tá sé dodhéanta monatóireacht cumarsáide a eagrú trí mhonatóireacht a dhéanamh ar an mbróicéir teachtaireachtaí. Má tá seirbhís ann a eisíonn sonraí agus seirbhís a fhaigheann é, nuair a dhéantar monatóireacht ar an mbróicéir ní fheicfimid ach sonraí a eitilt ó thaobh go taobh. Fiú má d'éirigh linn monatóireacht a dhéanamh ar idirghníomhaíocht na sonraí seo go hinmheánach - go ndéanann táirgeoir áirithe na sonraí a phostáil, léann duine éigin iad, leanann an sreabhadh seo ag dul go Kafka - ní thabharfaidh sé seo faisnéis dúinn fós má sheol seirbhís amháin an teachtaireacht in aon leagan amháin , ach ní raibh an tseirbhís eile ag súil leis an leagan seo agus níor éirigh léi. Ní bheidh a fhios againn faoi seo, mar inseoidh na seirbhísí dúinn go bhfuil gach rud ag obair.

Cad a mholaim a dhéanamh:

• Maidir le cumarsáid shioncrónach: déanann an críochphointe iarratais ar sheirbhísí gaolmhara. Iad siúd. tógann muid an críochphointe seo, tarraingimid script taobh istigh den tseirbhís, a théann chuig na pointí go léir agus a deir “Is féidir liom tarraingt ann, agus tarraingt ann, is féidir liom tarraingt ann...”
• Le haghaidh cumarsáide asincrónach: teachtaireachtaí ag teacht isteach - seiceálann an críochphointe an bus le haghaidh teachtaireachtaí tástála agus taispeánann sé an stádas próiseála.
• Maidir le cumarsáid asincrónach: teachtaireachtaí amach - seolann an críochphointe teachtaireachtaí tástála chuig an mbus.

Mar a tharlaíonn de ghnáth: tá seirbhís againn a chaitheann sonraí isteach sa bhus. Tagann muid chuig an tseirbhís seo agus iarraimid ort a insint dúinn faoina sláinte imeasctha. Agus más gá don tseirbhís teachtaireacht a tháirgeadh áit éigin eile (WebApp), ansin cuirfidh sé an teachtaireacht tástála seo ar fáil. Agus má ritheann muid seirbhís ar an taobh OrderProcessing, postálann sé ar dtús cad is féidir leis a phostáil go neamhspleách, agus má tá roinnt rudaí cleithiúnacha ann, ansin léann sé sraith de theachtaireachtaí tástála ón mbus, tuigeann sé gur féidir leis iad a phróiseáil, tuairisc a thabhairt air agus , más gá, iad a phostáil a thuilleadh, agus faoi seo a deir sé - tá gach rud ceart go leor, tá mé beo.

Go minic cloisimid an cheist “conas is féidir linn é seo a thástáil ar shonraí comhraic?” Mar shampla, táimid ag caint faoin tseirbhís ordaithe céanna. Cuireann an t-ordú teachtaireachtaí chuig an stóras ina ndíscríobhtar na hearraí: ní féidir linn é seo a thástáil ar shonraí comhraic, mar "díscríobhfar m'earraí!" Réiteach: Déan an tástáil iomlán seo a phleanáil ón tús. Tá tástálacha aonaid agat freisin a dhéanann bréaganna. Mar sin, déan é ar leibhéal níos doimhne áit a bhfuil cainéal cumarsáide agat nach ndéanann dochar d’oibriú an ghnó.

Leibhéal bonneagair

Is rud é faireachán bonneagair a measadh le fada mar mhonatóireacht a dhéanamh air féin.

• Is féidir agus ba cheart monatóireacht bonneagair a sheoladh mar phróiseas ar leith.
• Níor cheart duit tosú le monatóireacht bonneagair ar thionscadal reatha, fiú más mian leat. Is pian é seo do gach devops. “Ar dtús déanfaidh mé monatóireacht ar an mbraisle, déanfaidh mé monatóireacht ar an mbonneagar” - i.e. Ar dtús, déanfaidh sé monatóireacht ar a bhfuil thíos, ach ní rachaidh sé isteach san iarratas. Toisc gur rud dothuigthe é an t-iarratas le haghaidh devops. Leigeadh dó é, agus ní thuigeann sé conas a oibríonn sé. Agus tuigeann sé an bonneagar agus tosaíonn sé leis. Ach níl - ní mór duit i gcónaí monatóireacht a dhéanamh ar an iarratas ar dtús.
• Ná téigh thar bord leis an líon foláireamh. Ag cur san áireamh castacht na gcóras nua-aimseartha, tá foláirimh ag eitilt i gcónaí, agus caithfidh tú maireachtáil ar bhealach éigin leis an sraith foláirimh seo. Agus an duine ar glao-dhualgas, tar éis féachaint ar na céad foláireamh eile, cinnfidh sé "Níl mé ag iarraidh smaoineamh air." Níor cheart ach foláirimh a chur ar an eolas faoi rudaí ríthábhachtacha.

Leibhéal iarratais mar aonad gnó

Príomhphointí:

• ELK. Is é seo an caighdeán tionscail. Más rud é ar chúis éigin nach bhfuil tú ag comhiomlánú logaí, cuir tús leis sin láithreach.
• APM. APManna seachtracha mar bhealach chun monatóireacht iarratais a dhúnadh go tapa (NewRelic, BlackFire, Datadog). Is féidir leat an rud seo a shuiteáil go sealadach chun a thuiscint ar bhealach éigin ar a laghad cad atá ar siúl leat.
• Rianú. I mórán de na micreasheirbhísí, caithfidh tú gach rud a rianú, toisc nach bhfuil an t-iarratas ina chónaí leis féin a thuilleadh. Tá sé an-deacair a chur leis níos déanaí, mar sin tá sé níos fearr a sceideal láithreach rianú i bhforbairt - is é seo an obair agus fóntais na forbróirí. Mura bhfuil sé curtha i bhfeidhm agat fós, cuir i bhfeidhm é! Féach Jaeger/Zipkin

Ag airdeall

• Córas fógartha a eagrú: i gcoinníollacha faireacháin a dhéanamh ar roinnt rudaí, ba cheart go mbeadh córas aontaithe ann chun fógraí a sheoladh. Is féidir leat i Grafana. San Iarthar, úsáideann gach duine PagerDuty. Ba chóir go mbeadh foláirimh soiléir (m.sh. cén áit ar tháinig siad...). Agus tá sé inmholta a rialú go bhfaightear fógraí ar chor ar bith
• Córas dualgais a eagrú: níor cheart foláirimh a sheoladh chuig gach duine (imoibreoidh gach duine i slua, nó ní fhreagróidh aon duine). Ní mór d’fhorbróirí a bheith ar glao-dhualgas freisin: bí cinnte réimsí freagrachta a shainiú, treoracha soiléire a dhéanamh agus scríobh isteach cé go díreach ar cheart glaoch orthu Dé Luain agus Dé Céadaoin, agus cé a ghlaonn siad Dé Máirt agus Dé hAoine (ar shlí eile ní ghlaofaidh siad ar aon duine fiú sa gcás fadhb mhór - beidh eagla orthu go dúiseoidh siad nó go gcuirfidh siad isteach ort : go ginearálta ní maith le daoine glaoch agus dúiseacht daoine eile, go háirithe san oíche). Agus mínigh nach comhartha neamhinniúlachta é cúnamh a iarraidh (“iarraim cabhair, ciallaíonn sé sin gur drochoibrí mé”), spreag iarratais ar chabhair.
• “Bun eolais” agus sreabhadh oibre a eagrú do phróiseáil teagmhais: i gcás gach teagmhais thromchúisigh, ba cheart scrúdú iarbháis a phleanáil, agus mar bheart sealadach, ba cheart gníomhaíochtaí a réiteoidh an teagmhas a thaifeadadh. Agus déan cleachtas é gur peaca é foláirimh arís agus arís eile; ní mór iad a shocrú i gcód nó in obair bhonneagair.

Stack teicneolaíochta

Samhlóimid go bhfuil ár gcruach mar seo a leanas:

• bailiú sonraí - Prometheus + Grafana;
• anailís log - ELK;
• le haghaidh APM nó Tracing - Jaeger (Zipkin).

Níl rogha na roghanna ríthábhachtach. Toisc má thuig tú ag an tús conas monatóireacht a dhéanamh ar an gcóras agus má scríobh tú plean, tosaíonn tú ag roghnú uirlisí a oireann do do riachtanais. Is í an cheist cad a roghnaigh tú chun monatóireacht a dhéanamh ar an gcéad dul síos. Toisc b'fhéidir nach bhfuil an uirlis a roghnaigh tú ag an tús oiriúnach do do riachtanais ar chor ar bith.

Cúpla pointe teicniúil a fheicim i ngach áit le déanaí:

Tá Prometheus á bhrú taobh istigh de Kubernetes - cé a tháinig suas leis seo?! Má thiteann do bhraisle, cad a dhéanfaidh tú? Má tá braisle casta taobh istigh agat, ba cheart go mbeadh córas monatóireachta de chineál éigin taobh istigh den bhraisle, agus cuid eile lasmuigh, a bhaileoidh sonraí ón taobh istigh den bhraisle.

Laistigh den bhraisle bailímid logaí agus gach rud eile. Ach caithfidh an córas monatóireachta a bheith lasmuigh. Go minic, i mbraisle ina bhfuil Promtheus suiteáilte go hinmheánach, tá córais ann freisin a dhéanann seiceálacha seachtracha ar oibriú an tsuímh. Cad a tharlaíonn má thit do naisc leis an domhan lasmuigh agus nach n-oibríonn an feidhmchlár? Tarlaíonn sé go bhfuil gach rud ceart go leor taobh istigh, ach ní dhéanann sé rudaí níos éasca d'úsáideoirí.

Torthaí

• Ní shuiteáil fóntais atá i bhforbairt monatóireachta, ach forbairt táirge bogearraí. Tá 98% de mhonatóireacht an lae inniu códaithe. Códú i seirbhísí, seiceálacha seachtracha a chódú, seirbhísí seachtracha a sheiceáil, agus sin uile.
• Ná dramhaíola am do fhorbróirí ar mhonatóireacht: féadfaidh sé suas le 30% dá gcuid oibre a thógáil, ach is fiú é.
• Devops, ná bíodh imní ort nach féidir leat monatóireacht a dhéanamh ar rud éigin, mar is bealach smaointeoireachta go hiomlán difriúil iad roinnt rudaí. Ní raibh tú i do ríomhchláraitheoir, agus is é an obair mhonatóireachta go díreach a gcuid oibre.
• Má tá an tionscadal ar siúl cheana féin agus nach ndéantar monatóireacht air (agus má tá tú i do bhainisteoir), leithdháil acmhainní le haghaidh monatóireachta.
• Má tá an táirge á dtáirgeadh cheana féin, agus gur devops tú ar dúradh leo “monatóireacht a chur ar bun” - déan iarracht a mhíniú don bhainistíocht cad a scríobh mé faoi seo.

Is leagan leathnaithe é seo den tuarascáil ag comhdháil Saint Highload++.

Má tá suim agat i mo chuid smaointe agus smaointe faoi agus ábhair ghaolmhara, ansin anseo is féidir leat léigh an cainéal 🙂

Foinse: will.com