Hobaneng ha banka e hloka AIOps le tlhahlobo ea likhele, kapa likamano tsa bareki li thehiloe holim'a eng?

Likhatisong tse mabapi le Habré, ke se ke ngotse ka boiphihlelo ba ka ba ho theha likamano le sehlopha sa ka (mona e bua ka mokhoa oa ho etsa tumellano ea kopanelo ha ho qala khoebo e ncha hore khoebo e se ke ea putlama). 'Me joale ke rata ho bua ka mokhoa oa ho haha ​​​​likamano le bareki, kaha ntle le bona ho ke ke ha e-ba le letho le tla arohana. Ke tšepa hore sehlooho sena se tla ba molemo ho ba qalang ba qalang ho rekisa lihlahisoa tsa bona ho likhoebo tse kholo.

Hajoale ke lebile k'homphieutheng e bitsoang MONQ Digital lab, moo 'na le sehlopha sa ka re hlahisang sehlahisoa bakeng sa ho iketsetsa lits'ebetso tsa ts'ehetso le ts'ebetso ea k'hamphani ea IT. Ho kena 'marakeng ha se mosebetsi o bonolo mme re ile ra qala ka mosebetsi oa sekolo o monyane, ra feta ho litsebi tsa' maraka, balekane ba rona mme ra etsa karohano ea 'maraka. Potso ea sehlooho e ne e le ho utloisisa "mahlaba a mang ao re ka a folisang hantle?"

Libanka li entse hore e be karolo ea TOP 3. 'Me ho hlakile, ba pele lethathamong lena e ne e le Tinkoff le Sberbank. Ha re etela litsebi tsa 'maraka oa banka, li ile tsa re: hlahisa sehlahisoa sa hau moo,' me tsela e eang 'marakeng oa banka e tla buleha. Re ile ra leka ho kena moo le mane, empa ho hlōleha ho ne ho re emetse Sberbank, 'me bahlankana ba Tinkoff ba ile ba buleha haholoanyane puisanong e atlehang le li-startups tsa Russia (mohlomong ka lebaka la hore Sber ka nako eo. rekiloe hoo e ka bang bilione ea bahlolisani ba rona ba Bophirimela). Ka khoeli feela re ile ra qala morero oa teko. Ho etsahetse jwang, bala pele.

Ke lilemo tse ngata re sebetsana le litaba tsa ts'ebetso le li-monitor, joale re ntse re phethahatsa sehlahisoa sa rona sechabeng, ka inshorense, libankeng, lik'hamphaning tsa telecom, ts'ebetso e le 'ngoe e ne e le ka sefofane (pele ho morero, nahana hore sefofane e ne e le indasteri e itšetlehileng ka IT, 'me Joale re ts'epa, leha COVID, k'hamphani e tla hlaha ebe e tloha).

Sehlahisoa seo re se etsang ke sa software ea khoebo, karolo ea AIOps (Artificial Intelligence for IT Operations, kapa ITOps). Lipheo tsa mantlha tsa ho kenya ts'ebetsong litsamaiso tse joalo ka ha boemo ba ts'ebetso ea k'hamphani bo ntse bo eketseha:

1. Ho tima mollo: tseba ho hloleha, hlakola litemoso tse ngata ho tloha maloanlahlang, abela ba ikarabellang mesebetsi le liketsahalo;
2. Eketsa katleho ea tšebeletso ea IT: fokotsa nako ea ho rarolla liketsahalo, ho bontša lisosa tsa ho hlōleha, ho eketsa pepeneneng ea boemo ba IT;
3. Eketsa katleho ea khoebo: fokotsa palo ea mesebetsi ea matsoho, fokotsa likotsi, eketsa botšepehi ba bareki.

Boiphihlelong ba rona, libanka li na le "bohloko" bo latelang ka ho beha leihlo ka mokhoa o ts'oanang le lits'ebetso tsohle tse kholo tsa IT:

• “ke mang ea tsebang”: ho na le mafapha a mangata a botekgeniki, hoo e batlang e le motho e mong le e mong o na le bonyane tsamaiso e le ’ngoe ea ho beha leihlo, ’me bongata ba bona bo na le tse fetang bonngoe;
• "mosquito letšoele" la litemoso: sistimi ka 'ngoe e hlahisa makholo le ho hlasela bohle ba ikarabellang ka eona (ka linako tse ling le lipakeng tsa mafapha). Ho thata ho lula u tsepamisitse maikutlo a taolo ho tsebiso e 'ngoe le e' ngoe; ho potlaka ha bona le bohlokoa ba tsona li lekantsoe ka lebaka la palo e kholo;
• libanka tse kholo - baeta-pele ba lefapha ha ba batle feela ho tsoela pele ho shebella litsamaiso tsa bona, ho tseba moo ho nang le mefokolo, empa hape le boselamose ba sebele ba AI - ho etsa hore litsamaiso li itlhokomele, li iketsetse esale pele le ho ikemela.

Ha re fihla kopanong ea pele Tinkoff, hang-hang re ile ra bolelloa hore ha ba na mathata ka ho beha leihlo ’me ha ho letho le ba utloisang bohloko, ’me potso e ka sehloohong e ne e le: “Re ka fana ka eng bakeng sa ba seng ba ntse ba sebetsa hantle?”

Puisano e ne e le telele, re ile ra buisana ka hore na li-microservices tsa bona li hahoa joang, hore na mafapha a sebetsa joang, mathata afe a mekhoa ea mekhoa ea motheo a na le maikutlo a mangata, a sa tsotelleng basebelisi, "libaka tse foufetseng" li hokae, 'me lipakane tsa bona le li-SLA ke life.

Ka tsela, li-SLA tsa banka li khahla haholo. Mohlala, ketsahalo ea pele ea XNUMX ea ho fumaneha ha marang-rang e ka nka metsotso e seng mekae feela ho rarolla. Litsenyehelo tsa phoso le nako ea ho theoha mona, ehlile, lia tsoteha.

Ka lebaka leo, re khethile likarolo tse 'maloa tsa tšebelisano:

1. mokhahlelo oa pele ke ho beha leihlo leihlo ho eketsa lebelo la ho rarolla liketsahalo
2. mohato oa bobeli ke mokhoa oa ho iketsetsa ts'ebetso ho fokotsa likotsi le ho fokotsa litšenyehelo bakeng sa ho eketsa lefapha la IT.

"Matheba a masoeu" a 'maloa a ne a ka penta ka mebala e khanyang ea litlhokomeliso feela ka ho sebetsana le tlhahisoleseding e tsoang ho mekhoa e mengata ea ho beha leihlo, kaha ho ne ho sa khonehe ho nka metrics ka ho toba; ho ne ho boetse ho hlokahala hore ho behoe lintlha tse tsoang lits'ebetsong tse fapaneng tsa ho beha leihlo "skrine se le seng" ka tatellano. ho utloisisa setšoantšo se akaretsang sa se neng se etsahala. "Likhele" li loketse mosebetsi ona 'me re ile ra finyella litlhoko tsena ka nako eo.

Ntho ea bohlokoa haholo, ka maikutlo a rona, likamanong le bareki ke botšepehi. Ka mor'a moqoqo oa pele le palo ea litšenyehelo tsa laesense, ho ile ha boleloa hore kaha litšenyehelo li tlaase haholo, ho ka 'na ha e-ba molemo ho reka lengolo hang-hang (ho bapisoa le Dynatrace Klyuch-Astrom ho tloha sehloohong se ka holimo mabapi le banka e tala, rona. laesense ha e lefelle karolo ea boraro ea limilione tse likete, empa li-ruble tse likete tse 12 ka khoeli bakeng sa gigabyte e le 'ngoe, bakeng sa Sber e ne e tla bitsa makhetlo a' maloa ka theko e tlaase). Empa hang-hang re ile ra ba bolella seo re nang le sona le seo re se nang sona. Mohlomong moemeli oa thekiso ea tsoang ho motlatsi e moholo a ka re "e, re ka etsa ntho e 'ngoe le e' ngoe, ho hlakile hore re reke laesense ea rona," empa re ile ra etsa qeto ea ho beha likarete tsohle tsa rona tafoleng. Nakong ea ho qala, lebokose la rona le ne le se na kopano le Prometheus, 'me phetolelo e ncha e nang le subsystem ea automation e ne e le haufi le ho lokolloa, empa ha re e-s'o e romelle ho bareki.

Morero oa teko o ile oa qala, meeli ea oona e ile ea khethoa 'me ra fuoa likhoeli tse peli. Mesebetsi ea mantlha e ne e le:

• lokisa mofuta o mocha oa sethala mme o se kenye lits'ebetsong tsa banka
• hokela litsamaiso tse 2 tsa ho beha leihlo (Zabbix le Prometheus);
• romela litsebiso ho ba ikarabellang ho Slack le ka SMS;
• tsamaisa autohealing scripts.

Khoeli ea pele ea morero oa teko e ile ea sebelisoa ho lokisetsa phetolelo e ncha ea sethala ka mokhoa o potlakileng haholo bakeng sa litlhoko tsa morero oa sefofane. Phetolelo e ncha hang-hang e kenyelletsa ho kopanngoa le Prometheus le ho folisa ka koloi. Ka lebaka la sehlopha sa rona sa nts'etsopele, ha baa ka ba robala masiu a 'maloa, empa ba lokolla seo ba se tšepisitseng ntle le ho lahleheloa ke nako ea boitlamo bo bong boo ba bo entseng pele.

Ha re ntse re theha sefofane, re ile ra kopana le bothata bo bocha bo ka koalang morero pele ho nako: ho romela litlhokomeliso ho manqosa a hang-hang le ka SMS, re ne re hloka likhokahano tse kenang le tse tsoang ho li-server tsa Microsoft Azure (ka nako eo re ne re sebelisa sethala sena. ho romela litlhokomeliso ho Slack) le SMS ea tšebeletso ea ho romela kantle. Empa morerong ona, polokeho e ne e tsepamisitsoe maikutlo haholo. Ho ea ka leano la banka, "likoti" tse joalo li ne li ke ke tsa buloa tlas'a maemo leha e le afe. Ntho e 'ngoe le e' ngoe e ne e tlameha ho sebetsa ho tloha sekoting se koetsoeng. Re ile ra fuoa monyetla oa ho sebelisa API ea lits'ebeletso tsa rona tsa kahare tse romellang litlhokomeliso ho Slack le ka SMS, empa ha rea ​​​​ba le monyetla oa ho hokahanya lits'ebeletso tse joalo ka ntle ho lebokose.

Mantsiboeeng a lipuisano le sehlopha sa nts'etsopele li ile tsa fela ka ho batla tharollo e atlehileng. Ka mor'a ho hlahloba morao, re fumane mosebetsi o le mong oo re sa kang ra ba le nako e lekaneng le e tlang pele - ho theha tsamaiso ea plug-in e le hore lihlopha tsa ts'ebetsong kapa moreki a ka ngola li-add-on ka botsona, ho atolosa bokhoni ba sethala.

Empa re ne re e-na le khoeli e setseng, eo ka eona re neng re tlameha ho kenya ntho e 'ngoe le e' ngoe, ho lokisa le ho sebelisa mochine o ikemetseng.

Ho ea ka Sergei, setsebi sa rona se ka sehloohong sa meralo, ho nka bonyane khoeli ho kenya ts'ebetsong tsamaiso ea plug-in.

Re ne re sena nako...

Ho ne ho e-na le tharollo e le 'ngoe feela - e-ea ho mofani 'me u bolelle ntho e' ngoe le e 'ngoe kamoo e leng kateng. Buisanang ka nako ea ho qetela hammoho. Mme e ile ya sebetsa. Re ile ra fuoa libeke tse ling tsa 2. Ba ne ba boetse ba e-na le linako tsa bona tsa nako le boitlamo ba ka hare ba ho bonts'a liphetho, empa ba bile le libeke tse 2 tsa polokelo. Qetellong, re beha tsohle mocheng. Ho ne ho sa khonehe ho senya. Botšepehi le mokhoa oa tšebelisano-'moho li ile tsa boela tsa lefa.

Ka lebaka la sefofane, ho ile ha fumanoa liphetho le liqeto tse 'maloa tsa bohlokoa tsa tekheniki:

Re lekile ts'ebetso e ncha ea ho sebetsana le litlhokomeliso

Sistimi e rometsoeng e ile ea qala ho amohela litemoso ka nepo ho tsoa ho Prometheus le ho li hlophisa. Litlhokomeliso tse mabapi le bothata bo tsoang ho mofani oa Prometheus li ne li fofa metsotsoana e meng le e meng ea 30 (ho arola ka nako ha hoa lumelloa), 'me re ne re ipotsa hore na ho ka khoneha ho li arola ka "sekhele" ka boeona. Ho ile ha fumaneha hore hoa khoneha - ho theha ts'ebetso ea litlhokomeliso sethaleng ho sebelisoa ke script. Sena se etsa hore ho khonehe ho kenya tšebetsong hoo e batlang e le logic efe kapa efe bakeng sa ho li sebetsa. Re se re kentse tšebetsong logic e tloaelehileng sethaleng ka mokhoa oa litempele - haeba u sa batle ho iketsetsa ntho ea hau, u ka sebelisa e seng e entsoe.

Sehokelo sa "Synthetic trigger". Ho theha ts'ebetso ea litlhokomeliso ho tsoa ho litsamaiso tse hokahaneng tsa ho beha leihlo

O thehile boemo ba "bophelo" ba tsamaiso

Ho ipapisitsoe le litemoso, liketsahalo tsa ho beha leihlo li ile tsa etsoa tse amang bophelo ba li-configuration units (CUs). Re kenya tšebetsong mofuta oa litšebeletso tsa lisebelisoa (RSM), o ka sebelisang CMDB ea kahare kapa oa hokela ea kantle - nakong ea projeke ea liteko, moreki ha a ka a hokela CMDB ea hae.

Interface bakeng sa ho sebetsa le mofuta oa litšebeletso tsa lisebelisoa. Mokhanni oa RSM.

Ha e le hantle, ha e le hantle, mofani o qetella a e-na le skrine e le 'ngoe ea ho beha leihlo, moo liketsahalo tse tsoang lits'ebetsong tse fapaneng li bonahalang. Hona joale, litsamaiso tse peli li hokahane le "sekhele" - Zabbix le Prometheus, le tsamaiso ea ka hare ea sethaleng ka boeona.

Sehokelo sa Analytics. Skrine se le seng sa ho beha leihlo.

E qalile mokhoa oa ho iketsetsa

Liketsahalo tsa ho beha leihlo li ile tsa etsa hore ho qaloe liketso tse lokiselitsoeng esale pele - ho romela litemoso, ho tsamaisa lingoliloeng, ho ngolisa / ho ntlafatsa liketsahalo - ha hoa ka ha lekoa le moreki enoa, hobane morerong oa teko ho ne ho se na kopano le deske ea litšebeletso.

Sebopeho sa litlhophiso tsa liketso. Romella litlhokomeliso ho Slack 'me u qalise seva hape.

Ts'ebetso e atolositsoeng ea sehlahisoa

Ha ho buisanoa ka mongolo oa othomathike, moreki o ile a kopa tšehetso ea bash le sehokelo moo mangolo ana a ka hlophisoang hantle. Phetolelo e ncha e entse ho hong ho feta (bokhoni ba ho ngola meaho e hlakileng e felletseng ho Lua ka ts'ehetso ea cURL, SSH le SNMP) le ts'ebetso e kentsoeng e u lumellang ho laola potoloho ea bophelo ba sengoloa (etsa, hlophisa, taolo ea mofuta). , hlakola le polokelo).

Interface bakeng sa ho sebetsa ka autohealing scripts. Seva se qala bocha ka SSH.

Liphuputso tse kholo

Nakong ea teko, lipale tsa basebelisi le tsona li entsoe tse ntlafatsang ts'ebetso ea hajoale le ho eketsa boleng ho moreki, tse ling tsa tsona ke tsena:

• kenya tshebetsong bokhoni ba ho fetisa mefuta e fapaneng ka ho toba ho tloha tlhokomeliso ho ea ho autohealing script;
• eketsa tumello sethaleng ka Active Directory.

'Me re fumane liphephetso tse ling tsa lefats'e - ho "aha" sehlahisoa ka bokhoni bo bong:

• kaho e iketsang ea mofuta oa ts'ebeletso ea lisebelisoa e thehiloeng ho ML, ho fapana le melao le liakhente (mohlomong phephetso e kholo hona joale);
• tšehetso bakeng sa lipuo tse ling tsa mongolo le tse utloahalang ('me sena e tla ba JavaScript).

Ka maikutlo a ka ea bohlokoa ka ho fetisisaSeo mofofisi enoa a se bontšang ke lintho tse peli:

1. Ho sebelisana le mofani ke senotlolo sa katleho, ha puisano e sebetsang e hahiloe motheong oa botšepehi le bolokolohi, 'me mofani e ba karolo ea sehlopha se finyellang liphello tse kholo ka nako e khutšoanyane.
2. Ntle le maemo ha ho hlokahale ho "itloaetsa" le ho haha ​​"lithupa" - tharollo ea tsamaiso feela. Ho molemo ho qeta nako e eketsehileng, empa etsa tharollo ea tsamaiso e tla sebelisoa ke bareki ba bang. Ka tsela, sena ke se etsahetseng, tsamaiso ea plugin le ho felisoa ha ho itšetleha ka Azure ho fane ka boleng bo eketsehileng ho bareki ba bang (hello, Federal Law 152).

Source: www.habr.com