Kedu ihe kpatara ụlọ akụ ji chọọ AIOps na nlekota nche anwụ, ma ọ bụ kedu ihe mmekọrịta ndị ahịa dabere na?

N'ime akwụkwọ ndị dị na Habré, edeela mrị maka ahụmịhe m na-eme ka mụ na ndị otu m nwee mmekọrịta.ebe a na-ekwu maka otu esi ewepụta nkwekọrịta mmekọrịta mgbe ịmalite azụmahịa ọhụrụ ka azụmahịa ahụ ghara ịdaba). Ma ugbu a, ọ ga-amasị m ikwu banyere otu esi ewulite mmekọrịta na ndị ahịa, ebe ọ bụ na-enweghị ha, ọ dịghị ihe ga-adaba. Enwere m olileanya na isiokwu a ga-aba uru na mmalite ndị na-amalite ire ngwaahịa ha na nnukwu ụlọ ọrụ.

Anọ m n'isi mmalite a na-akpọ MONQ Digital lab, ebe mụ na ndị otu m na-emepụta ngwaahịa maka ịmezi usoro nke ịkwado na ịrụ ọrụ IT ụlọ ọrụ. Ịbanye n'ahịa abụghị ọrụ dị mfe ma anyị malitere site na obere ihe omume ụlọ, gafere ndị ọkachamara n'ahịa, ndị mmekọ anyị ma mepụta ngalaba ahịa. Ajụjụ bụ isi bụ ịghọta "mgbu onye ka anyị ga-agwọta kacha mma?"

Ụlọ akụ mere ya n'ime TOP 3 ngalaba. Ma n'ezie, ndị mbụ na ndepụta bụ Tinkoff na Sberbank. Mgbe anyị gara leta ndị ọkachamara n'ahịa ụlọ akụ, ha kwuru: webata ngwaahịa gị n'ebe ahụ, na ụzọ ahịa ụlọ akụ ga-emeghe. Anyị gbalịrị ịbanye ma n'ebe ahụ ma n'ebe ahụ, ma ọdịda na-echere anyị na Sberbank, na ụmụ okorobịa si Tinkoff tụgharịrị na-emeghe ọtụtụ ihe na-arụpụta nkwurịta okwu na Russian mmalite (ma eleghị anya n'ihi na Sber n'oge ahụ. zụtara ihe fọrọ nke nta ka ọ bụrụ otu ijeri ndị asọmpi Western anyị). N'ime otu ọnwa, anyị malitere ọrụ pilot. Kedu ka o siri mee, gụọ n'ihu.

Anyị na-emekọ ihe gbasara ọrụ na nlekota oru ruo ọtụtụ afọ, ugbu a, anyị na-emejuputa ngwaahịa anyị na mpaghara ọha, na mkpuchi, na ụlọ akụ, na ụlọ ọrụ telecom, otu mmejuputa ya na ụgbọ elu (tupu ọrụ ahụ, anyị emeghị ọbụna chere na ụgbọ elu bụ ụlọ ọrụ dabere na IT, ugbu a, anyị nwere olileanya n'ezie, n'agbanyeghị COVID, na ụlọ ọrụ ahụ ga-apụta wee pụọ).

Ngwaahịa anyị na-eme bụ nke ngwanrọ ụlọ ọrụ, ngalaba AIOps (Artificial Intelligence for IT Operations, ma ọ bụ ITOps). Ebumnuche bụ isi nke itinye usoro ndị dị otú ahụ dị ka ọkwa ntozu nke usoro na ụlọ ọrụ na-abawanye:

1. Wepụ ọkụ: chọpụta ọdịda, kpochapụ iyi egwu site na irighiri ihe, kenye ọrụ na ihe omume nye ndị kpatara ya;
2. Mụbaa arụmọrụ nke ọrụ IT: belata oge iji dozie ihe omume, gosi ihe kpatara ọdịda, mee ka nghọta nke ọnọdụ IT dịkwuo elu;
3. Mụbaa arụmọrụ azụmahịa: belata ọnụ ọgụgụ nke ọrụ aka, belata ihe egwu, welie iguzosi ike n'ihe ndị ahịa.

Na ahụmịhe anyị, ụlọ akụ nwere “mgbu” ndị a yana nleba anya jikọtara ya na nnukwu akụrụngwa IT niile:

• "onye maara ihe": enwere ọtụtụ ngalaba teknụzụ, ihe fọrọ nke nta ka ọ bụrụ onye ọ bụla nwere ma ọ dịkarịa ala otu usoro nlekota oru, na ọtụtụ nwere ihe karịrị otu;
• “Mkpa anwụnta” nke ọkwa: sistemu ọ bụla na-emepụta narị otu narị na bọmbụ ndị niile na-ahụ maka ha (mgbe ụfọdụ kwa n'etiti ngalaba). Ọ na-esiri ike ịnọgide na-elekwasị anya na njikwa mgbe niile na ọkwa ọ bụla; a na-eme ka ngwa ngwa na mkpa ha dị elu n'ihi ọnụ ọgụgụ buru ibu;
• nnukwu ụlọ akụ - ndị isi ngalaba chọrọ ọ bụghị naanị ka ha na-aga n'ihu na-enyocha usoro ha, iji mara ebe ọdịda dị, kamakwa ezigbo anwansi nke AI - iji mee ka usoro ndị ahụ nyochaa onwe ha, buru amụma na nhazi onwe ha.

Mgbe anyị bịara nzukọ mbụ na Tinkoff, a gwara anyị ozugbo na ha enweghị nsogbu na nlekota na ọ dịghị ihe mejọrọ ha, ajụjụ bụ isi bụ: "Gịnị ka anyị nwere ike inye maka ndị na-eme nke ọma?"

Mkparịta ụka ahụ dị ogologo, anyị tụlere ka esi arụ ọrụ microservices ha, ka ngalaba na-arụ ọrụ, nke nsogbu akụrụngwa na-enwe mmetụta dị nro, nke na-adịghị emetụ n'ahụ maka ndị ọrụ, ebe "ebe ndị kpuru ìsì", na ihe mgbaru ọsọ ha na SLA.

Site n'ụzọ, SLA ụlọ akụ na-adọrọ mmasị n'ezie. Dịka ọmụmaatụ, ihe gbasara nnweta netwọkụ XNUMX nwere ike were naanị nkeji ole na ole iji dozie. Ọnụ ego nke njehie na oge nkwụsị ebe a, n'ezie, dị egwu.

N'ihi ya, anyị chọpụtara ọtụtụ akụkụ nke imekọ ihe ọnụ:

1. Nke mbụ ogbo bụ nche anwụ nlekota ka iwelie ọsọ nke ihe mere mkpebi
2. Nke abụọ ogbo bụ usoro akpaaka iji belata ihe ize ndụ na ibelata ego maka scaling ngalaba IT.

Enwere ike ịse ọtụtụ "ọcha ọcha" na agba na-egbuke egbuke nke ngosi naanị site na nhazi ozi sitere na ọtụtụ usoro nlekota oru, ebe ọ bụ na ọ gaghị ekwe omume ịnweta metrics ozugbo; ọ dịkwa mkpa ịhazi data sitere na sistemụ nlekota dị iche iche na "otu ihuenyo" ka iji ghọta ihe na-eme n'ozuzu ya. "Umbrellas" dabara maka ọrụ a ma anyị zutere ihe ndị a chọrọ mgbe ahụ.

Ihe dị ezigbo mkpa, n'echiche anyị, na mmekọrịta na ndị ahịa bụ ịkwụwa aka ọtọ. Mgbe mkparịta ụka mbụ na ngụkọ nke ụgwọ nke akwụkwọ ikike ahụ gasịrị, e kwuru na ebe ọ bụ na ọnụ ahịa dị ntakịrị, ọ nwere ike ịba uru ịzụta akwụkwọ ikike ozugbo (tụnyere Dynatrace Klyuch-Astrom site na isiokwu dị n'elu banyere ụlọ akụ green, anyị). akwụkwọ ikike anaghị akwụ ụgwọ otu ụzọ n'ụzọ atọ nke ijeri, mana 12 puku rubles kwa ọnwa maka 1 gigabyte, maka Sber ọ ga-eri ọtụtụ ugboro dị ọnụ ala). Ma anyị gwara ha ozugbo ihe anyị nwere na ihe anyị na-enweghị. Ikekwe onye na-ere ahịa site na nnukwu onye ntinye nwere ike ịsị "ee, anyị nwere ike ime ihe niile, n'ezie zụta ikike anyị," ma anyị kpebiri ịtọgbọ kaadị anyị niile na tebụl. N'oge mmalite, igbe anyị enweghị njikọ na Prometheus, na a na-achọ ịhapụ ụdị ọhụrụ nke nwere sistemụ akpaaka, mana anyị ebufebeghị ya na ndị ahịa.

Ọrụ pilot malitere, ekpebie ókè ya ma nye anyị ọnwa 2. Ọrụ ndị bụ isi bụ:

• kwadebe ụdị ọhụrụ nke ikpo okwu ma tinye ya na akụrụngwa nke ụlọ akụ
• jikọọ 2 nlekota usoro (Zabbix na Prometheus);
• zipu ọkwa nye ndị na-ahụ maka Slack na site na SMS;
• na-agba ọsọ autohealing scripts.

A nọrọ ọnwa mbụ nke ọrụ pilot iji kwadebe ụdị ikpo okwu ọhụrụ n'ụdị ngwa ngwa maka mkpa nke ọrụ pilot. Ụdị ọhụrụ a na-agụnye ngwa ngwa na njikọta na Prometheus na ọgwụgwọ akpaaka. N'ihi ndị otu mmepe anyị, ha anaghị ehi ụra ruo ọtụtụ abalị, mana ha wepụtara ihe ha kwere nkwa na-enweghị ịhapụ oge ikpeazụ maka nkwa ndị ọzọ e mere na mbụ.

Mgbe anyị na-edozi onye na-anya ụgbọelu, anyị zutere nsogbu ọhụrụ nke nwere ike imechi ọrụ ahụ tupu oge eruo: iji zipu ọkwa na ndị ozi ozugbo na site na SMS, anyị chọrọ njikọ na-abata na nke na-apụ apụ na sava Microsoft Azure (n'oge ahụ anyị na-eji ikpo okwu a. izipu ọkwa na Slack) yana SMS izipu ozi mpụga. Mana n'ọrụ a, nchekwa bụ ihe elekwasị anya. Dịka iwu ụlọ akụ siri dị, enweghị ike imeghe “oghere” dị otú ahụ n'ọnọdụ ọ bụla. Ihe niile ga-arụ ọrụ site na mgbanaka mechiri emechi. Enyere anyị ka anyị jiri API nke ọrụ ime nke anyị na-eziga ọkwa na Slack na site na SMS, mana anyị enweghị ohere ijikọ ọrụ ndị dị otú ahụ na igbe ahụ.

N'uhuruchi nke arụmụka na ndị otu mmepe kwụsịrị na-achọ ihe ngwọta na-aga nke ọma. N'ịbụ ndị gụchara site na ndekọ azụ azụ, anyị chọtara otu ọrụ nke anyị na-enweghị oge zuru oke na ihe kacha mkpa - ịmepụta usoro nkwụnye ka ndị otu mmejuputa ma ọ bụ ndị ahịa nwere ike ide ihe mgbakwunye n'onwe ha, na-agbasawanye ike nke ikpo okwu.

Mana anyị nwere otu ọnwa fọdụrụ, n'ime nke anyị ga-etinye ihe niile, hazie na itinye akpaaka.

Dị ka Sergei, onye isi anyị na-ese ụkpụrụ ụlọ, ọ na-ewe ma ọ dịkarịa ala otu ọnwa iji mejuputa usoro nkwụnye.

Anyị enweghị oge...

Enwere naanị otu ngwọta - gaa na onye ahịa wee gwa ihe niile dịka ọ dị. Kwurịtanụ oge ngbanwe oge ọnụ. Ọ rụkwara ọrụ. Enyere anyị izu abụọ ọzọ. Ha nwekwara oge imecha nke ha na ọrụ dị n'ime iji gosipụta nsonaazụ, mana ha nwere izu 2 idobere. N'ikpeazụ, anyị na-etinye ihe niile na akara. Ọ gaghị ekwe omume imebi ihe. Ime ihe n'eziokwu na imekọ ihe ọnụ ọzọ bara uru.

N'ihi onye na-anya ụgbọelu ahụ, e nwetara ọtụtụ nsonaazụ teknụzụ dị mkpa na nkwubi okwu:

Anyị nwalere ọrụ ọhụrụ maka nhazi ọkwa

Sistemụ etinyere malitere ịnata ọkwa n'ụzọ ziri ezi site n'aka Prometheus wee chịkọta ha. Mkpu maka nsogbu ahụ sitere n'aka onye ahịa Prometheus na-efe efe kwa sekọnd 30 (mmekọrịta site na oge anaghị enyere aka), anyị na-eche ma ọ ga-ekwe omume ịchịkọta ha na "nche anwụ" n'onwe ya. Ọ tụgharịrị na ọ ga-ekwe omume - a na-emejuputa nhazi nhazi nke ihe ngosi na ikpo okwu site na edemede. Nke a na-eme ka o kwe omume itinye ihe fọrọ nke nta ka ọ bụrụ mgbagha ọ bụla maka nhazi ha. Anyị etinyelarị mgbagha ọkọlọtọ n'elu ikpo okwu n'ụdị ndebiri - ọ bụrụ na ịchọghị iwepụta ihe nke gị, ịnwere ike iji nke emebere.

"Synthetic trigger" interface. Ịtọlite ​​nhazi ọkwa site na sistemụ nlekota ejikọrọ

Ewubere ọnọdụ "ahụike" nke usoro ahụ

Dabere na ọkwa, emepụtara ihe nleba anya nke metụtara ahụike nke ngalaba nhazi (CUs). Anyị na-emejuputa atumatu a resource-service model (RSM), nke nwere ike iji ma CMDB n'ime ma ọ bụ jikọọ na mpụga - n'oge pilot oru ngo onye ahịa ejikọtaghị CMDB nke ya.

Interface maka ịrụ ọrụ na ụdị akụrụngwa-ọrụ. Pilot RSM.

Ọfọn, n'eziokwu, onye ahịa ahụ mechara nwee otu ihuenyo nlekota, ebe a na-ahụ ihe omume sitere na usoro dị iche iche. Ugbu a, a na-ejikọta usoro abụọ na "nche anwụ" - Zabbix na Prometheus, na usoro nlekota nke ime ụlọ nke ikpo okwu n'onwe ya.

Nyocha nyocha. Otu ihuenyo nlekota.

Ewepụtara usoro akpaaka

Nleba anya ihe omume kpalitere mmalite nke omume ahaziri mbụ - izipu ọkwa, edemede na-agba ọsọ, ịdenye aha / emelitere ihe omume - anwalebeghị nke a na onye ahịa a, n'ihi na na ọrụ pilot enweghị njikọ na tebụl ọrụ.

interface ntọala omume. Zipụ ọkwa na Slack wee malitegharịa ihe nkesa ahụ.

Ịrụ ọrụ ngwaahịa agbasawanye

Mgbe ị na-ekwurịta edemede akpaaka, onye ahịa ahụ rịọrọ maka nkwado bash na interface nke enwere ike ịhazi script ndị a nke ọma. Ụdị ọhụrụ ahụ emeela ntakịrị ihe (ikike ịdepụta ihe ndị ezi uche dị na ya na Lua na nkwado maka cURL, SSH na SNMP) na arụ ọrụ arụ ọrụ nke na-enye gị ohere ijikwa usoro ndụ nke edemede (mepụta, dezie, njikwa ụdị). , ihichapụ na Archive).

Interface maka ịrụ ọrụ na edemede autohealing. Malitegharịa ederede nkesa site na SSH.

Nchọta Isi

N'oge onye na-anya ụgbọelu, e mekwara akụkọ ndị ọrụ na-eme ka ọrụ dị ugbu a dịkwuo mma ma na-abawanye uru maka onye ahịa, nke a bụ ụfọdụ n'ime ha:

• mejuputa ikike izipu mgbanwe ozugbo site na njikere gaa na edemede autohealing;
• tinye ikike na ikpo okwu site na Active Directory.

Ma anyị nwetara ihe ịma aka zuru ụwa ọnụ - iji "ịkwalite" ngwaahịa ahụ na ike ndị ọzọ:

• arụ ọrụ akpaaka nke ụdị ọrụ akụ dabere na ML, karịa iwu na ndị nnọchi anya (ma eleghị anya, isi ihe ịma aka ugbu a);
• nkwado maka edemede ọzọ na asụsụ mgbagha (nke a ga-abụ Javascript).

N'uche m nke kacha mkpaIhe onye ọkwọ ụgbọ elu a gosipụtara bụ ihe abụọ:

1. Mmekọrịta na onye ahịa bụ isi ihe na-eme ka ọ dị irè, mgbe a na-ewu nkwurịta okwu dị irè na ndabere nke ịkwụwa aka ọtọ na imeghe, na onye ahịa na-aghọ akụkụ nke otu ìgwè nke na-arụpụta ihe dị ịrịba ama na obere oge.
2. N'ọnọdụ ọ bụla ọ dị mkpa iji "hazie" ma wuo "crutches" - naanị ngwọta usoro. Ọ ka mma iji obere oge, ma mee usoro ngwọta nke ndị ahịa ndị ọzọ ga-eji. Site n'ụzọ, nke a bụ ihe merenụ, usoro ngwa mgbakwunye na nkwụsị nke ịdabere na Azure nyere ndị ahịa ndị ọzọ uru (ndewo, Federal Law 152).

isi: www.habr.com