Kini idi ti ile-ifowopamọ nilo AIOps ati ibojuwo agboorun, tabi kini awọn ibatan alabara da lori?

Ninu awọn atẹjade lori Habré, Mo ti kọ tẹlẹ nipa iriri mi ti kikọ awọn ajọṣepọ pẹlu ẹgbẹ mi (nibi sọrọ nipa bi o ṣe le ṣe adehun adehun ajọṣepọ nigbati o bẹrẹ iṣowo tuntun ki iṣowo naa ko ba ṣubu). Ati nisisiyi Emi yoo fẹ lati sọrọ nipa bi o ṣe le kọ awọn ajọṣepọ pẹlu awọn onibara, niwon laisi wọn ko si nkankan lati ṣubu. Mo nireti pe nkan yii yoo wulo fun awọn ibẹrẹ ti o bẹrẹ lati ta ọja wọn si awọn iṣowo nla.

Lọwọlọwọ Mo nlọ lọwọlọwọ ibẹrẹ ti a pe ni MONQ Digital lab, nibiti ẹgbẹ mi ati Emi n ṣe agbekalẹ ọja kan fun adaṣe adaṣe awọn ilana ti atilẹyin ati ṣiṣiṣẹ IT ile-iṣẹ. Titẹ si ọja kii ṣe iṣẹ ti o rọrun ati pe a bẹrẹ pẹlu iṣẹ amurele kekere kan, lọ nipasẹ awọn amoye ọja, awọn alabaṣiṣẹpọ wa ati ṣe ipinpin ọja. Ibeere akọkọ ni lati loye “awọn irora ta ni a le wosan dara julọ?”

Awọn ile-ifowopamọ ṣe sinu awọn apakan TOP 3. Ati pe, dajudaju, akọkọ lori atokọ ni Tinkoff ati Sberbank. Nigba ti a ṣabẹwo si awọn amoye ọja ile-ifowopamọ, wọn sọ pe: ṣafihan ọja rẹ nibẹ, ati pe ọna si ọja ile-ifowopamọ yoo ṣii. A gbiyanju lati tẹ mejeeji sibẹ ati nibẹ, ṣugbọn ikuna n duro de wa ni Sberbank, ati awọn eniyan lati Tinkoff wa ni ṣiṣi diẹ sii si ibaraẹnisọrọ ti iṣelọpọ pẹlu awọn ibẹrẹ Russia (boya nitori otitọ Sber ni akoko yẹn. ra O fẹrẹ to bilionu kan ti awọn oludije Oorun wa). Laarin oṣu kan a bẹrẹ iṣẹ akanṣe awakọ kan. Bawo ni o ṣe ṣẹlẹ, ka siwaju.

A ti n ṣe pẹlu awọn ọran ti iṣẹ ati ibojuwo fun ọpọlọpọ ọdun, ni bayi a n ṣe imuse ọja wa ni agbegbe gbangba, ni iṣeduro, ni awọn banki, ni awọn ile-iṣẹ tẹlifoonu, imuse kan wa pẹlu ọkọ ofurufu (ṣaaju ki iṣẹ akanṣe naa, a ko paapaa ṣe). ro pe ọkọ ofurufu jẹ iru ile-iṣẹ ti o gbẹkẹle IT, ati ni bayi a nireti gaan, laibikita COVID, pe ile-iṣẹ naa yoo farahan ati mu kuro).

Ọja ti a ṣe jẹ ti sọfitiwia ile-iṣẹ, AIOps (Ọlọgbọn Artificial fun Awọn iṣẹ IT, tabi ITOps) apakan. Awọn ibi-afẹde akọkọ ti imuse iru awọn eto bii ipele ti idagbasoke ilana ni ile-iṣẹ pọ si:

1. Pa awọn ina: ṣe idanimọ awọn ikuna, ko ṣiṣan ti awọn itaniji kuro lati idoti, fi awọn iṣẹ ṣiṣe ati awọn iṣẹlẹ si awọn ti o ni iduro;
2. Mu ṣiṣe ti iṣẹ IT pọ si: dinku akoko lati yanju awọn iṣẹlẹ, tọkasi awọn idi ti awọn ikuna, mu akoyawo ti ipo IT pọ si;
3. Mu ṣiṣe iṣowo pọ si: dinku iye iṣẹ afọwọṣe, dinku awọn ewu, mu iṣootọ alabara pọ si.

Ninu iriri wa, awọn banki ni “awọn irora” atẹle pẹlu ibojuwo ni wọpọ pẹlu gbogbo awọn amayederun IT nla:

• "Tani o mọ kini": ọpọlọpọ awọn ẹka imọ-ẹrọ, o fẹrẹ jẹ pe gbogbo eniyan ni o kere ju eto ibojuwo kan, ati pupọ julọ ni ju ọkan lọ;
• “Efon swarm” ti awọn titaniji: eto kọọkan n ṣe agbejade awọn ọgọọgọrun ati bombard gbogbo awọn ti o ni iduro pẹlu wọn (nigbakan tun laarin awọn apa). O nira lati ṣetọju idojukọ iṣakoso nigbagbogbo lori ifitonileti kọọkan; iyara ati pataki wọn ni ipele nitori nọmba nla;
• awọn ile-ifowopamọ nla - awọn oludari eka fẹ kii ṣe lati ṣe atẹle awọn eto wọn nigbagbogbo, lati mọ ibiti awọn ikuna wa, ṣugbọn idan gidi ti AI - lati jẹ ki awọn ọna ṣiṣe ṣe atẹle ara ẹni, asọtẹlẹ ara ẹni ati atunṣe ara ẹni.

Nigba ti a wa si ipade akọkọ ni Tinkoff, a sọ fun wa lẹsẹkẹsẹ pe wọn ko ni iṣoro pẹlu abojuto ati pe ko si ohun ti o dun wọn, ati pe ibeere akọkọ ni: "Kini a le funni fun awọn ti o ti n ṣe daradara?"

Ifọrọwanilẹnuwo naa ti pẹ, a jiroro bawo ni a ṣe kọ awọn microservices wọn, bawo ni awọn apa ṣe n ṣiṣẹ, kini awọn iṣoro amayederun diẹ sii, eyiti ko ni itara fun awọn olumulo, nibo ni “awọn aaye afọju” wa, ati kini awọn ibi-afẹde wọn ati SLA.

Nipa ọna, awọn SLA ile-ifowopamọ jẹ iwunilori gaan. Fun apẹẹrẹ, iṣẹlẹ wiwa nẹtiwọki 1 pataki kan le gba iṣẹju diẹ nikan lati yanju. Awọn iye owo ti aṣiṣe ati downtime nibi, dajudaju, jẹ ìkan.

Bi abajade, a ṣe idanimọ ọpọlọpọ awọn agbegbe ti ifowosowopo:

1. ipele akọkọ jẹ ibojuwo agboorun lati mu iyara ti ipinnu iṣẹlẹ pọ si
2. ipele keji jẹ adaṣe ilana lati dinku awọn ewu ati dinku awọn idiyele fun iwọn iwọn ẹka IT.

Ọpọlọpọ awọn “awọn aaye funfun” ni a le ya ni awọn awọ didan ti awọn titaniji nikan nipa sisẹ alaye lati awọn eto ibojuwo pupọ, nitori ko ṣee ṣe lati mu awọn metiriki taara; o tun jẹ pataki lati ṣe agbedemeji data lati awọn eto ibojuwo oriṣiriṣi si “iboju kan” ni ibere. lati ni oye awọn ìwò aworan ti ohun ti ṣẹlẹ. "Umbrellas" dara fun iṣẹ yii ati pe a pade awọn ibeere wọnyi lẹhinna.

Ohun pataki pupọ, ninu ero wa, ni awọn ibatan pẹlu awọn alabara jẹ otitọ. Lẹhin ibaraẹnisọrọ akọkọ ati iṣiro ti iye owo iwe-aṣẹ naa, a sọ pe niwon iye owo naa jẹ kekere, o le tọ lati ra iwe-aṣẹ lẹsẹkẹsẹ (akawe si Dynatrace Klyuch-Astrom lati nkan ti o wa loke nipa ile-ifowopamọ alawọ ewe, wa iwe-aṣẹ kii ṣe idamẹta ti bilionu kan, ṣugbọn 12 ẹgbẹrun rubles fun oṣu kan fun 1 gigabyte, fun Sber yoo jẹ iye owo ni igba pupọ din owo). Ṣugbọn lẹsẹkẹsẹ a sọ fun wọn ohun ti a ni ati ohun ti a ko. Boya aṣoju tita kan lati olutọpa nla kan le sọ “bẹẹni, a le ṣe ohun gbogbo, dajudaju ra iwe-aṣẹ wa,” ṣugbọn a pinnu lati dubulẹ gbogbo awọn kaadi wa lori tabili. Ni akoko ifilọlẹ, apoti wa ko ni isọpọ pẹlu Prometheus, ati pe ẹya tuntun kan pẹlu eto idamẹrin ti fẹrẹ tu silẹ, ṣugbọn a ko ti firanṣẹ si awọn alabara sibẹsibẹ.

Ise agbese awaoko bẹrẹ, awọn aala rẹ ti pinnu ati pe a fun wa ni oṣu 2. Awọn iṣẹ akọkọ ni:

• mura ẹya tuntun ti Syeed ki o si gbe lọ si awọn amayederun ile-ifowopamọ
• so 2 monitoring awọn ọna šiše (Zabbix ati Prometheus);
• firanṣẹ awọn iwifunni si awọn ti o ni iduro ni Slack ati nipasẹ SMS;
• ṣiṣe autohealing awọn iwe afọwọkọ.

Oṣu akọkọ ti iṣẹ akanṣe awakọ ọkọ ofurufu ni a lo lati mura ẹya tuntun ti pẹpẹ ni ipo iyara pupọ fun awọn iwulo ti iṣẹ akanṣe awakọ. Ẹya tuntun lẹsẹkẹsẹ pẹlu iṣọpọ pẹlu Prometheus ati iwosan-laifọwọyi. Ṣeun si ẹgbẹ idagbasoke wa, wọn ko sun fun ọpọlọpọ awọn alẹ, ṣugbọn wọn tu ohun ti wọn ṣe ileri lai padanu awọn akoko ipari fun awọn adehun miiran ti a ṣe tẹlẹ.

Lakoko ti a n ṣeto awakọ awakọ naa, a pade iṣoro tuntun kan ti o le pa iṣẹ akanṣe naa ṣaaju iṣeto: lati fi awọn itaniji ranṣẹ si awọn ojiṣẹ lẹsẹkẹsẹ ati nipasẹ SMS, a nilo awọn asopọ ti nwọle ati ti njade si awọn olupin Microsoft Azure (ni akoko yẹn a lo pẹpẹ yii. lati fi awọn itaniji ranṣẹ si Slack) ati SMS iṣẹ fifiranṣẹ ita. Ṣugbọn ninu iṣẹ akanṣe yii, ailewu jẹ idojukọ kan pato. Ni ibamu pẹlu eto imulo banki, iru “iho” ko le ṣii labẹ eyikeyi ayidayida. Ohun gbogbo ni lati ṣiṣẹ lati lupu pipade. A funni lati lo API ti awọn iṣẹ inu inu tiwa ti o fi awọn itaniji ranṣẹ si Slack ati nipasẹ SMS, ṣugbọn a ko ni aye lati sopọ iru awọn iṣẹ bẹ kuro ninu apoti.

Aṣalẹ ti ariyanjiyan pẹlu ẹgbẹ idagbasoke pari pẹlu wiwa aṣeyọri fun ojutu kan. Nini rummaged nipasẹ awọn backlog, a ri ọkan iṣẹ-ṣiṣe fun eyi ti a kò ní to akoko ati ayo - lati ṣẹda a plug-ni eto ki awọn ẹgbẹ imuse tabi awọn ose le kọ fi-ons ara wọn, jù awọn agbara ti awọn Syeed.

Ṣugbọn a ni deede oṣu kan ti o ku, lakoko eyiti a ni lati fi ohun gbogbo sori ẹrọ, tunto ati mu adaṣe ṣiṣẹ.

Gẹgẹbi Sergei, ayaworan ile-iṣẹ wa, o gba o kere ju oṣu kan lati ṣe eto plug-in naa.

A ko ni akoko...

Ojutu kan ṣoṣo ni o wa - lọ si alabara ki o sọ ohun gbogbo bi o ti jẹ. Ṣe ijiroro lori iyipada akoko ipari papọ. Ati pe o ṣiṣẹ. A fun wa ni afikun 2 ọsẹ. Wọn tun ni awọn akoko ipari tiwọn ati awọn adehun inu lati ṣafihan awọn abajade, ṣugbọn wọn ni awọn ọsẹ ifiṣura 2. Ni ipari, a fi ohun gbogbo si ori ila. Ko ṣee ṣe lati dabaru. Otitọ ati ọna ajọṣepọ kan tun sanwo.

Bi abajade ti awaoko, ọpọlọpọ awọn abajade imọ-ẹrọ pataki ati awọn ipinnu ni a gba:

A ṣe idanwo iṣẹ ṣiṣe tuntun fun awọn titaniji sisẹ

Eto ti a fi ranṣẹ bẹrẹ lati gba awọn itaniji ni deede lati Prometheus ati ṣe akojọpọ wọn. Awọn titaniji lori iṣoro naa lati ọdọ alabara Prometheus n fo ni gbogbo iṣẹju-aaya 30 (pipapọ nipasẹ akoko ko ṣiṣẹ), ati pe a ni iyalẹnu boya yoo ṣee ṣe lati ṣe akojọpọ wọn ni “agboorun” funrararẹ. O wa ni jade wipe o ti ṣee - eto soke awọn processing ti awọn titaniji ninu awọn Syeed ti wa ni imuse nipasẹ a akosile. Eyi jẹ ki o ṣee ṣe lati ṣe adaṣe eyikeyi ọgbọn fun ṣiṣe wọn. A ti ṣe imuse ọgbọn boṣewa tẹlẹ ni pẹpẹ ni irisi awọn awoṣe - ti o ko ba fẹ lati wa pẹlu nkan ti tirẹ, o le lo ọkan ti o ti ṣetan.

"Sintetiki okunfa" ni wiwo. Ṣiṣeto sisẹ awọn titaniji lati awọn eto ibojuwo ti a ti sopọ

Ti kọ ipo “ilera” ti eto naa

Da lori awọn titaniji, awọn iṣẹlẹ ibojuwo ni a ṣẹda ti o kan ilera ti awọn ẹya iṣeto (CUs). A n ṣe imuse awoṣe iṣẹ-oluşewadi (RSM), eyiti o le lo boya CMDB inu tabi so ọkan ti ita - lakoko iṣẹ akanṣe awakọ alabara ko sopọ CMDB tirẹ.

Ni wiwo fun ṣiṣẹ pẹlu awọn oluşewadi-iṣẹ awoṣe. Pilot RSM.

O dara, ni otitọ, alabara nikẹhin ni iboju ibojuwo kan, nibiti awọn iṣẹlẹ lati awọn ọna ṣiṣe oriṣiriṣi han. Lọwọlọwọ, awọn ọna ṣiṣe meji ti sopọ si “agboorun” - Zabbix ati Prometheus, ati eto ibojuwo inu ti pẹpẹ funrararẹ.

atupale ni wiwo. Nikan ibojuwo iboju.

Ti ṣe ifilọlẹ adaṣe ilana

Awọn iṣẹlẹ ibojuwo nfa ifilọlẹ awọn iṣe atunto tẹlẹ - fifiranṣẹ awọn itaniji, awọn iwe afọwọkọ ti nṣiṣẹ, fiforukọṣilẹ / awọn iṣẹlẹ imudara - a ko gbiyanju igbehin pẹlu alabara pato yii, nitori ninu awọn awaoko ise agbese nibẹ wà ko si Integration pẹlu awọn tabili iṣẹ.

Action eto ni wiwo. Fi awọn itaniji ranṣẹ si Slack ki o tun atunbere olupin naa.

Ti fẹ iṣẹ-ṣiṣe ọja

Nigbati o ba n jiroro awọn iwe afọwọkọ adaṣe, alabara beere fun atilẹyin bash ati wiwo kan ninu eyiti awọn iwe afọwọkọ wọnyi le tunto ni irọrun. Ẹya tuntun ti ṣe diẹ diẹ sii (agbara lati kọ awọn itumọ ti oye ni kikun ni Lua pẹlu atilẹyin fun cURL, SSH ati SNMP) ati iṣẹ ṣiṣe ti o fun ọ laaye lati ṣakoso ọna igbesi aye ti iwe afọwọkọ (ṣẹda, satunkọ, iṣakoso ẹya. , paarẹ ati pamosi).

Ni wiwo fun ṣiṣẹ pẹlu awọn iwe afọwọkọ autohealing. Atunbere olupin olupin nipasẹ SSH.

Awọn ipinnu akọkọ

Lakoko awakọ ọkọ ofurufu, awọn itan olumulo tun ṣẹda ti o mu iṣẹ ṣiṣe lọwọlọwọ pọ si ati alekun iye fun alabara, eyi ni diẹ ninu wọn:

• ṣe agbara lati firanṣẹ awọn oniyipada taara lati gbigbọn si iwe afọwọkọ autohealing;
• ṣafikun aṣẹ si pẹpẹ nipasẹ Active Directory.

Ati pe a gba awọn italaya kariaye diẹ sii - lati “kọ” ọja naa pẹlu awọn agbara miiran:

• ikole adaṣe ti awoṣe iṣẹ orisun orisun ti o da lori ML, dipo awọn ofin ati awọn aṣoju (jasi ipenija akọkọ ni bayi);
• atilẹyin fun afikun iwe afọwọkọ ati awọn ede kannaa (ati pe eyi yoo jẹ JavaScript).

Ni temi, pataki julọOhun ti awakọ ọkọ ofurufu fihan jẹ nkan meji:

1. Awọn ajọṣepọ pẹlu alabara jẹ bọtini si imunadoko, nigbati ibaraẹnisọrọ to munadoko ti kọ lori ipilẹ otitọ ati ṣiṣi, ati alabara di apakan ti ẹgbẹ kan ti o ṣaṣeyọri awọn abajade pataki ni igba diẹ.
2. Labẹ ọran kankan o ṣe pataki lati “ṣe akanṣe” ati kọ “awọn crutches” - awọn solusan eto nikan. O dara lati lo akoko diẹ diẹ sii, ṣugbọn ṣe ojutu eto ti yoo lo nipasẹ awọn alabara miiran. Nipa ọna, eyi ni ohun ti o ṣẹlẹ, eto itanna ati imukuro ti igbẹkẹle lori Azure pese iye afikun si awọn onibara miiran (hello, Federal Law 152).

orisun: www.habr.com