Aisea e manaʻomia ai e le faletupe le AIOps ma le mataʻituina o le faamalu, poʻo le a le mea e faʻavae ai sootaga a tagata faʻatau?

I lomiga i luga o Habré, ua uma ona ou tusia e uiga i loʻu poto masani i le fausiaina o faiga faapaaga ma laʻu 'au (iinei talanoa e uiga i le auala e tusi ai se maliega faapaaga pe a amataina se pisinisi fou ina ia le malepelepe le pisinisi). Ma o lenei ou te fia talanoa e uiga i le auala e fausia ai faiga faapaaga ma tagata faʻatau, talu ai a aunoa ma i latou e leai se mea e malepelepe. Ou te faʻamoemoe o lenei tusiga o le a aoga i amataga o loʻo amata faʻatau atu a latou oloa i pisinisi tetele.

O loʻo ou faʻauluulu i le taimi nei se amataga e taʻua o le MONQ Digital lab, lea o loʻo matou atiaʻe ai ma laʻu 'au se oloa mo le otometi le faʻagasologa o le lagolagoina ma le faʻaogaina o IT kamupani. O le ulufale atu i le maketi e le o se galuega faigofie ma na matou amata i sina meaaoga, faʻataʻitaʻi atu i tagata tomai faapitoa i maketi, a matou paʻaga ma faʻatautaia le vaeluaga o maketi. O le fesili autu o le malamalama "o tiga o ai e mafai ona sili ona tatou faamaloloina?"

Faletupe na faia i totonu o le TOP 3 vaega. Ma o le mea moni, o le muamua i luga o le lisi o Tinkoff ma Sberbank. Ina ua matou asiasi atu i tagata tomai faapitoa i maketi tau tupe, sa latou fai mai: faailoa atu lau oloa iina, ma o le a tatala le ala i le maketi o teugatupe. Na matou taumafai e ulufale uma iina ma iina, ae o le toilalo na faʻatali mai ia i matou i Sberbank, ma o tama mai Tinkoff na sili atu ona matala i fesoʻotaʻiga lelei ma Rusia amata (atonu ona o le mea moni o Sber i lena taimi. fa'atau toeitiiti atoa le piliona o tatou tagata tauva i Sisifo). I totonu o le masina na matou amataina ai se galuega pailate. Na faapefea ona tupu, faitau pea.

Sa matou feagai ma mataupu o le faʻagaioiga ma le mataʻituina mo le tele o tausaga, o le taimi nei o loʻo matou faʻatinoina a matou oloa i le vaega a le malo, i inisiua, i faletupe, i kamupani telefoni, tasi le faʻatinoga sa i se vaalele (aʻo leʻi faia le poloketi, matou te leʻi faia foi. manatu o le vaalele o se pisinisi faʻalagolago i le IT, ma o lenei matou te faʻamoemoe moni lava, e ui i le COVID, o le a tulaʻi mai le kamupani ma alu ese).

O le oloa matou te faia e patino i le polokalame atina'e, le vaega AIOps (Artificial Intelligence for IT Operations, poʻo ITOps). O sini autu o le faʻatinoina o ia faiga e pei o le maualuga o le faʻagasologa o le matua i totonu o le kamupani faʻateleina:

1. Ta'u afi: fa'ailoa fa'aletonu, fa'amama le tafega o fa'asalalauga mai otaota, tu'u galuega ma fa'alavelave ia i latou e nafa;
2. Faʻateleina le lelei o le auaunaga IT: faʻaitiitia le taimi e foia ai faʻalavelave, faʻaalia mafuaʻaga o le toilalo, faʻateleina le manino o le tulaga IT;
3. Faʻateleina le faʻaleleia o pisinisi: faʻaititia le aofaʻi o galuega lima lima, faʻaitiitia tulaga lamatia, faʻateleina le faʻamaoni o tagata faatau.

I lo matou poto masani, o faletupe o loʻo i ai "tiga" faʻatasi ma le mataʻituina e tutusa ma atinaʻe IT tetele uma:

• "o ai na te iloa le mea": e tele matagaluega faʻapitoa, toetoe o tagata uma e le itiiti ifo ma le tasi le mataʻituina, ma le tele e sili atu ma le tasi;
• "'au namu" o fa'aaliga: o faiga ta'itasi e gaosia ai le faitau selau ma osofa'ia i latou uma e nafa ma i latou (o nisi taimi i le va o matagaluega). E faigata ona fa'atumauina pea le fa'atonuga o fa'asalalauga ta'itasi o lo'o fa'atatauina lo latou fa'anatinati ona o le tele;
• faletupe tetele - e manao taitai vaega e le gata ina faaauau pea ona mataʻituina a latou faiga, ia iloa le mea o loʻo i ai le toilalo, ae faʻapea foʻi ma le togafiti faʻataulāitu moni o AI - e faia ai le faiga o le tagata lava ia-mataʻituina, vaʻavaʻai ma saʻo.

Ina ua matou o mai i le fonotaga muamua i Tinkoff, sa vave ona taʻu mai ia i matou e leai ni a latou faafitauli i le mataʻituina ma e leai se mea e afaina ai i latou, ma o le fesili autu o le: "O le a se mea e mafai ona matou ofoina atu mo i latou o loʻo manuia?"

Na umi le talanoaga, na matou talanoaina pe faʻafefea ona fausia a latou microservices, pe faʻafefea ona galue matagaluega, o faʻafitauli faʻapitoa e sili atu ona maaleale, e faʻaitiitia ai le maʻaleʻale mo tagata faʻaoga, o fea oi ai "nofoa tauaso", ma o a latou sini ma SLA.

I le auala, o SLA a le faletupe e matua manaia lava. Mo se fa'ata'ita'iga, ole fa'amuamua 1 fa'alavelave maua feso'ota'iga e ono alu na'o ni nai minute e fo'ia ai. O le tau o mea sese ma taimi malolo iinei, ioe, e manaia.

O le iʻuga, na matou iloa ai le tele o vaega o le galulue faʻatasi:

1. o le laasaga muamua o le mataʻituina o le faamalu e faʻateleina ai le saoasaoa o faʻalavelave faʻalavelave
2. o le laasaga lona lua o le faʻagasologa o masini e faʻaitiitia ai lamatiaga ma faʻaitiitia le tau mo le faʻalauteleina o le matagaluega IT.

E mafai ona valiina le tele o "nofoa paʻepaʻe" i lanu susulu o faʻasalalauga e ala i le faʻaogaina o faʻamatalaga mai le tele o faiga mataʻituina, talu ai e le mafai ona ave saʻo metrics e tatau foi ona faʻapipiʻi faʻamaumauga mai faiga mataʻituina eseese i luga o le "tasi lau" i le faasologa; ia malamalama i le ata atoa o le mea na tupu. "Malu" e talafeagai mo lenei galuega ma na matou ausia nei manaʻoga i lena taimi.

O se mea taua tele, i lo matou manatu, i fegalegaleaiga ma tagata faʻatau o le faʻamaoni. Ina ua maeʻa le talanoaga muamua ma le faʻatusatusaina o le tau o le laisene, na fai mai talu ai o le tau e matua maualalo, atonu e aoga le faʻatau vave o se laisene (faʻatusatusa i Dynatrace Klyuch-Astrom mai le tusiga i luga e uiga i le faletupe lanumeamata, o matou tau laisene e le o le tasi vaetolu o le piliona, ae 12 afe rubles i le masina mo le 1 gigabyte, mo Sber o le a tau tele taimi taugofie). Ae na vave ona matou taʻu atu ia i latou mea ua matou maua ma mea matou te le maua. Masalo e mafai e se sui faʻatau mai se tagata tuʻufaʻatasia tele ona fai mai "ioe, e mafai ona matou faia mea uma, ioe faʻatau le matou laisene," ae na matou filifili e tuʻu uma a matou kata i luga o le laulau. I le taimi o le faʻalauiloaina, e leʻi tuʻufaʻatasia le matou pusa ma Prometheus, ma o se faʻamatalaga fou ma se masini masini otometi ua lata ona faʻasalalau, ae matou te leʻi lafoina i tagata faʻatau.

Na amata le poloketi pailate, na fuafuaina ona tuaoi ma tuuina mai ia i matou le 2 masina. O galuega autu o:

• saunia se lomiga fou o le tulaga ma faʻapipiʻi i totonu o atinaʻe a le faletupe
• faʻafesoʻotaʻi 2 mataʻituina faiga (Zabbix ma Prometheus);
• auina atu faʻamatalaga ia i latou e nafa ma Slack ma SMS;
• fa'agasolo fa'asologa o le autohealing.

O le masina muamua o le poloketi pailate na faʻaalu i le sauniaina o se faʻaaliga fou o le faʻavae i se faiga faʻavavevave mo manaʻoga o le poloketi pailate. O le lomiga fou vave e aofia ai le tuʻufaʻatasia ma le Prometheus ma le faʻamalologa faʻapitoa. Fa'afetai i le matou au atina'e, latou te le'i momoe mo ni nai po, ae na latou fa'amatu'u mea na latou folafola atu e aunoa ma le misia o taimi fa'agata mo isi tautinoga na faia muamua.

A o matou faʻatulagaina le pailate, matou te feagai ma se faʻafitauli fou e mafai ona tapunia le poloketi i luma atu o le faʻatulagaga: e lafo atu faʻasalalauga i avefeʻau vave ma e ala i SMS, matou te manaʻomia fesoʻotaʻiga ulufale mai ma fafo atu i sapalai Microsoft Azure (i lena taimi na matou faʻaogaina ai lenei tulaga. e lafo atu fa'aaliga i Slack) ma se SMS auaunaga auina atu fafo. Ae i lenei poloketi, o le saogalemu o se taulaiga faapitoa. E tusa ai ma faiga faavae a le faletupe, o ia "pu" e le mafai ona tatalaina i soo se tulaga. Sa tatau ona galue mea uma mai se matasele tapuni. Na ofoina mai e faʻaoga le API oa matou lava auaunaga faʻalotoifale e auina atu faʻasalalauga i Slack ma e ala i SMS, ae matou te leʻi maua le avanoa e faʻafesoʻotaʻi ai ia auaunaga mai le pusa.

O se afiafi o felafolafoaiga ma le vaega o atinae na faaiuina i se sailiga manuia mo se fofo. I le suʻeina o le backlog, na matou maua ai se tasi o galuega e leʻi lava le taimi ma le faʻamuamua - o le fatuina o se masini faʻapipiʻi ina ia mafai ai e le au faʻatinoina poʻo le kalani ona tusia ni faʻaopoopoga i latou lava, faʻalauteleina le gafatia o le tulaga.

Ae o loʻo i ai le matou masina na totoe, lea e tatau ai ona matou faʻapipiʻi mea uma, faʻapipiʻi ma faʻapipiʻi masini.

E tusa ai ma le saunoaga a Sergei, o le matou tusiata sili, e manaʻomia le itiiti ifo i le masina e faʻatino ai se polokalama faʻapipiʻi.

E leai se matou taimi...

E tasi lava le fofo - alu i le kalani ma ta'u mea uma e pei ona i ai. Talanoaina faatasi le sifi e gata ai. Ma sa aoga. Na tuuina mai ia i matou se isi 2 vaiaso. Sa iai foʻi a latou lava taimi faʻatapulaʻa ma tiute faʻalotoifale e faʻaalia ai faʻaiʻuga, ae e 2 vaiaso faʻaagaga. I le faaiuga, matou te tuʻuina mea uma i luga o le laina. Sa le mafai ona faasoesa. O le faamaoni ma le faiga faapaaga na toe tauia.

O se taunuuga o le pailate, e tele iʻuga faʻapitoa faʻapitoa ma faʻaiuga na maua:

Na matou fa'ata'ita'iina le galuega fou mo le fa'agaioiina o fa'aliga

O le polokalama faʻapipiʻiina na amata ona maua saʻo faʻasalalauga mai Prometheus ma faʻapipiʻi i latou. O fa'aaliga i le fa'afitauli mai le tagata o tausia o le Prometheus o lo'o lele i le 30 sekone (fa'avasegaina i le taimi e le mafai), ma sa matou mafaufau pe mafai ona fa'avasegaina i latou i le "fa'amalu" lava ia. Na aliali mai e mafai - o le faʻatulagaina o faʻasalalauga i luga o le tulaga e faʻatinoina e se tusitusiga. Ole mea lea e mafai ai ona fa'atino toetoe lava o so'o se fa'atatau mo le fa'agaioiina. Ua uma ona matou faʻatinoina faʻataʻitaʻiga masani i luga o le tulaga i le tulaga o faʻataʻitaʻiga - afai e te le manaʻo e fai sau lava mea, e mafai ona e faʻaogaina se mea ua saunia.

"Synthesis trigger" fa'aoga. Fa'atulagaina o fa'agaioiga o fa'asalalauga mai faiga mata'ituina feso'ota'i

Fausia le tulaga o le "soifua maloloina" o le faiga

Faʻavae i luga o faʻasalalauga, na faia le mataʻituina o mea na tutupu na aʻafia ai le soifua maloloina o iunite faʻatulagaina (CUs). O loʻo matou faʻatinoina se faʻataʻitaʻiga o punaoa-auʻaunaga (RSM), e mafai ona faʻaogaina se CMDB i totonu pe faʻafesoʻotaʻi se mea i fafo - i le taimi o le poloketi pailate e leʻi faʻafesoʻotaʻi e le kalani lana lava CMDB.

Feso'ota'iga mo le galulue fa'atasi ma le fa'ata'ita'iga 'au'aunaga puna'oa. Pailate RSM.

Ia, o le mea moni, e iu lava ina maua e le kalani se mata'itusi e tasi, lea e iloa ai mea mai faiga eseese. I le taimi nei, e lua faiga e fesoʻotaʻi i le "malu" - Zabbix ma Prometheus, ma se faiga mataʻituina totonu o le tulaga lava ia.

Fa'amatalaga fa'amatalaga. Matamata mata tasi.

Fa'alauiloa fa'agasologa o masini

O le mataʻituina o mea na tutupu na faʻaosoina ai le faʻalauiloaina o gaioiga na muaʻi faʻatulagaina - auina atu faʻasalalauga, faʻasologa o tusitusiga, resitalaina / faʻatamaoaigaina faʻalavelave - e leʻi faʻataʻitaʻiina le mea mulimuli i lenei tagata faʻapitoa, aua i le poloketi pailate e leai se faʻatasi ma le kesi tautua.

Fa'aoga fa'atulagaina o gaioiga. Auina atu faʻasalalauga i Slack ma toe faʻafou le server.

Fa'ateleina galuega fa'atino

I le talanoaina o tusitusiga otometi, na fesili le kalani mo le lagolago bash ma se atinaʻe e mafai ai ona faʻaoga lelei ia tusitusiga. O le lomiga fou ua fai sina mea e sili atu (le mafai ona tusia fau fa'atatau tonu i Lua fa'atasi ai ma le lagolago mo le cURL, SSH ma le SNMP) ma fa'atinoina galuega e mafai ai e oe ona fa'afoe le taamilosaga o le olaga o se tusitusiga (fatu, fa'asa'o, fa'atonuga fa'asologa. , tape ma teu faamaumauga).

Fa'afeso'ota'i mo le galulue fa'atasi ma fa'amaumauga o le autohealing. Toe fa'afouina le fa'amaumauga e ala ile SSH.

Sini Autu

I le taimi o le pailate, na faia foʻi tala faʻaoga e faʻaleleia ai galuega o loʻo iai nei ma faʻateleina le tau mo le tagata o tausia, o nisi nei o latou:

• fa'atino le agava'a e tu'u sa'o atu suiga mai le mataala i le autohealing script;
• fa'aopoopo le fa'atagaga ile fa'avae e ala ile Active Directory.

Ma ua matou mauaina le tele o luitau faʻavaomalo - ia "fausiaina" le oloa ma isi gafatia:

• fausiaina otometi o se faʻataʻitaʻiga punaoa-auʻaunaga e faʻavae i luga o le ML, nai lo tulafono ma sui (atonu o le luʻitau autu i le taimi nei);
• lagolago mo faʻamatalaga faaopoopo ma gagana faʻapitoa (ma o le JavaScript lea).

I loʻu manatu sili ona tauaO le mea o loʻo faʻaalia e lenei pailate e lua mea:

1. O faiga fa'apa'aga ma le kalani o le ki lea i le lelei, pe a fausia feso'ota'iga lelei i luga o le fa'amaoni ma le matala, ma avea le kalani ma vaega o le 'au e ausia taunu'uga taua i se taimi pu'upu'u.
2. I lalo o le leai o se tulaga e tatau ai ona "faʻavasegaina" ma fausia "tootoo" - naʻo fofo faiga. E sili atu le faʻaaluina o sina taimi sili atu, ae fai se fofo faʻaogaina o le a faʻaaogaina e isi tagata faʻatau. I le auala, o le mea lea na tupu, o le polokalama faʻapipiʻi ma le faʻaumatiaina o le faʻalagolago i Azure na tuʻuina atu ai le tau faʻaopoopo i isi tagata faʻatau (talofa, Federal Law 152).

puna: www.habr.com