Carson a tha feum aig banca air AIOps agus sgrùdadh sgàilean, no cò air a tha dàimhean teachdaiche stèidhichte?

Ann am foillseachaidhean air Habré, sgrìobh mi mu thràth mun eòlas agam air togail chom-pàirteachasan leis an sgioba agam (an seo a’ bruidhinn air mar a nì thu aonta com-pàirteachais nuair a thòisicheas tu air gnìomhachas ùr gus nach tuit an gnìomhachas às a chèile). Agus a-nis bu mhath leam bruidhinn mu mar a thogas tu com-pàirteachasan le luchd-dèiligidh, oir às an aonais cha bhith dad a 'tuiteam às a chèile. Tha mi an dòchas gum bi an artaigil seo feumail dha luchd-tòiseachaidh a tha a’ tòiseachadh a’ reic an cuid toraidh ri gnìomhachasan mòra.

Tha mi an-dràsta os cionn companaidh tòiseachaidh ris an canar MONQ Digital lab, far a bheil an sgioba agam agus mi a’ leasachadh toradh airson fèin-ghluasad a dhèanamh air pròiseasan taic agus obrachadh IT corporra. Chan e obair fhurasta a th’ ann a dhol a-steach don mhargaidh agus thòisich sinn le beagan obair-dachaigh, chaidh sinn tro eòlaichean margaidh, ar com-pàirtichean agus rinn sinn sgaradh margaidh. B’ e a’ phrìomh cheist a bhith a’ tuigsinn “cò na cràdh as urrainn dhuinn a shlànachadh?”

Rinn Banks e a-steach do na 3 roinnean TOP. Agus gu dearbh, b 'e Tinkoff agus Sberbank a' chiad fhear air an liosta. Nuair a thadhail sinn air eòlaichean margaidh bancaidh, thuirt iad: thoir a-steach an toradh agad an sin, agus bidh an t-slighe chun mhargaidh bancaidh fosgailte. Dh'fheuch sinn ri dhol a-steach an sin agus an sin, ach bha fàiligeadh a 'feitheamh rinn aig Sberbank, agus bha na balaich bho Tinkoff gu math nas fhosgailte do chonaltradh buannachdail le luchd-tòiseachaidh Ruiseanach (' s dòcha air sgàth 's gu robh Sber aig an àm sin). cheannaich cha mhòr billean de na farpaisich againn an Iar). Taobh a-staigh mìos thòisich sinn air pròiseact pìleat. Mar a thachair e, leugh air adhart.

Tha sinn air a bhith a’ dèiligeadh ri cùisean obrachaidh is sgrùdaidh airson grunn bhliadhnaichean, a-nis tha sinn a’ cur an gnìomh ar toradh san roinn phoblaich, ann an àrachas, ann am bancaichean, ann an companaidhean cian-chonaltraidh, bha aon bhuileachadh le companaidh-adhair (ron phròiseact, cha do rinn sinn eadhon smaoineachadh gu robh itealain na ghnìomhachas cho mòr an urra ri IT, agus A-nis tha sinn gu mòr an dòchas, a dh’ aindeoin COVID, gun nochd a ’chompanaidh agus gun toir iad dheth).

Buinidh an toradh a bhios sinn a’ dèanamh do bhathar-bog iomairt, an roinn AIOps (Artificial Intelligence for IT Operations, no ITOps). Is iad na prìomh amasan a thaobh a bhith a’ cur an gnìomh leithid de shiostaman mar an ìre de dh’ inbheachd pròiseas sa chompanaidh àrdachadh:

1. Cuir a-mach teintean: comharraich fàilligidhean, cuir às don t-sruth de rabhaidhean bho sprùilleach, sònraich gnìomhan agus tachartasan dhaibhsan a tha cunntachail;
2. Meudachadh air èifeachdas na seirbheis IT: lughdaich an ùine airson tachartasan fhuasgladh, comharrachadh adhbharan fàilligidhean, àrdachadh follaiseachd inbhe IT;
3. Meudaich èifeachdas gnìomhachais: lughdaich na tha de shaothair làimhe, lughdaich cunnartan, àrdaich dìlseachd teachdaiche.

Anns an eòlas againn, tha na “piantan” a leanas aig bancaichean le sgrùdadh coltach ris a h-uile bun-structar IT mòr:

• “Cò aig a tha fios dè”: tha mòran roinnean teignigeach ann, tha co-dhiù aon siostam sgrùdaidh aig cha mhòr a h-uile duine, agus tha barrachd air aon aig a’ mhòr-chuid;
• “snàth mosgìoto” de rabhaidhean: bidh gach siostam a’ gineadh ceudan agus a’ spreadhadh a h-uile duine a tha cunntachail leotha (uaireannan cuideachd eadar roinnean). Tha e duilich fòcas smachd a chumail air gach fios gu cunbhalach; tha an èiginn agus an cudromachd air a lughdachadh mar thoradh air an àireamh mhòr;
• bancaichean mòra - tha stiùirichean roinne ag iarraidh chan e a-mhàin sùil leantainneach a chumail air na siostaman aca, fios a bhith aca càite a bheil fàilligeadh, ach cuideachd fìor dhraoidheachd AI - gus na siostaman a dhèanamh fèin-sgrùdadh, fèin-ro-innse agus fèin-cheart.

Nuair a thàinig sinn chun chiad choinneamh aig Tinkoff, chaidh innse dhuinn sa bhad nach robh duilgheadas sam bith aca le sgrùdadh agus nach robh dad air an goirteachadh, agus b’ i a’ phrìomh cheist: “Dè as urrainn dhuinn a thabhann dhaibhsan a tha mar-thà a’ dèanamh gu math? ”

Bha an còmhradh fada, bhruidhinn sinn air mar a tha na microservices aca air an togail, mar a tha roinnean ag obair, dè na duilgheadasan bun-structair a tha nas mothachaile, nach eil cho mothachail do luchd-cleachdaidh, càite a bheil na “spotan dall”, agus dè na h-amasan agus na SLAn a th’ aca.

Co-dhiù, tha SLAn a’ bhanca gu math drùidhteach. Mar eisimpleir, is dòcha nach toir tachartas ruigsinneachd lìonra prìomhachais XNUMX ach beagan mhionaidean airson fhuasgladh. Tha cosgais mearachd agus ùine downt an seo, gu dearbh, drùidhteach.

Mar thoradh air an sin, chomharraich sinn grunn raointean co-obrachaidh:

1. Is e a’ chiad ìre sgrùdadh sgàilean gus astar fuasgladh thachartasan àrdachadh
2. is e an dàrna ìre fèin-ghluasad pròiseas gus cunnartan a lughdachadh agus cosgaisean airson sgèileadh na roinn IT a lughdachadh.

Dh’ fhaodadh grunn “spotan geala” a bhith air am peantadh ann an dathan soilleir rabhaidhean a-mhàin le bhith a’ giullachd fiosrachaidh bho ghrunn shiostaman sgrùdaidh, leis gu robh e do-dhèanta meatrach a ghabhail gu dìreach; bha e riatanach cuideachd dàta bho dhiofar shiostaman sgrùdaidh a mheadhanachadh gu “aon scrion” ann an òrdugh gus an dealbh iomlan de na bha a’ tachairt a thuigsinn. Tha “sgàilean” freagarrach airson na h-obrach seo agus choinnich sinn ris na riatanasan sin an uairsin.

Rud fìor chudromach, nar beachd, ann an dàimhean le teachdaichean tha onair. Às deidh a ’chiad chòmhradh agus obrachadh a-mach cosgais a’ cheadachais, chaidh a ràdh leis gu bheil a ’chosgais cho ìosal, is dòcha gum b’ fhiach e cead a cheannach anns a ’bhad (an taca ri Dynatrace Klyuch-Astrom bhon artaigil gu h-àrd mun bhanca uaine, ar cead a 'cosg nach eil an treas cuid de billean, ach 12 mìle rubles mìos airson 1 gigabyte, airson Sber bhiodh e a' cosg grunn tursan nas saoire). Ach dh’ innis sinn dhaibh sa bhad dè th’ againn agus dè nach eil. Is dòcha gum faodadh riochdaire reic bho integrator mòr a ràdh “tha, is urrainn dhuinn a h-uile càil a dhèanamh, gu dearbh ar cead a cheannach,” ach chuir sinn romhainn na cairtean againn uile a chuir air a ’bhòrd. Aig an àm a chaidh a chuir air bhog, cha robh am bogsa againn aonachadh le Prometheus, agus bha dreach ùr le fo-shiostam fèin-ghluasaid gu bhith air a leigeil ma sgaoil, ach chan eil sinn air a chuir gu luchd-ceannach fhathast.

Thòisich am pròiseact pìleat, chaidh a chrìochan a dhearbhadh agus chaidh 2 mhìos a thoirt dhuinn. B’ iad na prìomh ghnìomhan:

• ullaich dreach ùr den àrd-ùrlar agus cuir a-steach e ann am bun-structar a’ bhanca
• ceangal 2 siostam sgrùdaidh (Zabbix agus Prometheus);
• cuir fios chun fheadhainn le uallach ann an Slack agus tro SMS;
• ruith sgriobtaichean fèin-slànachaidh.

Chaidh a 'chiad mhìos den phròiseact pìleat a chosg ag ullachadh dreach ùr den àrd-ùrlar ann am modh fìor-luath airson feumalachdan a' phròiseict pìleat. Tha an dreach ùr sa bhad a’ toirt a-steach amalachadh le Prometheus agus fèin-slànachadh. Taing don sgioba leasachaidh againn, cha do chaidil iad airson grunn oidhcheannan, ach leig iad a-mach na gheall iad gun a bhith ag ionndrainn na cinn-latha airson geallaidhean eile a chaidh a dhèanamh roimhe.

Fhad ‘s a bha sinn a’ stèidheachadh a ’phìleat, thachair sinn ri duilgheadas ùr a dh’ fhaodadh am pròiseact a dhùnadh air thoiseach air a ’chlàr-ama: gus rabhaidhean a chuir gu teachdairean sa bhad agus tro SMS, bha feum againn air ceanglaichean a-steach is a-mach gu frithealaichean Microsoft Azure (aig an àm sin chleachd sinn an àrd-ùrlar seo gus rabhaidhean a chuir gu Slack) agus seirbheis cur SMS taobh a-muigh. Ach sa phròiseact seo, bha sàbhailteachd na phrìomh amas. A rèir poileasaidh a’ bhanca, cha b’ urrainnear na “tuill” sin fhosgladh ann an suidheachadh sam bith. Dh'fheumadh a h-uile càil obrachadh bho lùb dùinte. Chaidh tairgse dhuinn an API de na seirbheisean a-staigh againn fhèin a chleachdadh a chuireas rabhaidhean gu Slack agus tro SMS, ach cha robh cothrom againn na seirbheisean sin a cheangal a-mach às a’ bhogsa.

Thàinig oidhche de dheasbad leis an sgioba leasachaidh gu crìch le rannsachadh soirbheachail airson fuasgladh. Às deidh dhuinn a dhol tron ​​​​chùl-raon, lorg sinn aon ghnìomh nach robh ùine agus prìomhachas gu leòr againn a-riamh - siostam plug-in a chruthachadh gus am b’ urrainn dha na sgiobaidhean gnìomhachaidh no an neach-dèiligidh tuilleadan a sgrìobhadh iad fhèin, a’ leudachadh comasan an àrd-ùrlair.

Ach bha dìreach mìos air fhàgail againn, nuair a bha againn ri a h-uile càil a chuir a-steach, rèiteachadh agus cleachdadh fèin-ghluasad.

A rèir Sergei, ar prìomh ailtire, bheir e co-dhiù mìos an siostam plug-in a chuir an gnìomh.

Cha robh ùine againn...

Cha robh ann ach aon fhuasgladh - rachaibh chun neach-dèiligidh agus innis a h-uile dad mar a tha e. Bruidhinn mu dheidhinn an gluasad ceann-latha còmhla. Agus dh'obraich e. Chaidh 2 sheachdain a bharrachd a thoirt dhuinn. Bha na cinn-latha aca fhèin agus na dleastanasan a-staigh aca cuideachd airson toraidhean a nochdadh, ach bha 2 sheachdain glèidhte aca. Aig a 'cheann thall, chuir sinn a h-uile càil air an loidhne. Bha e eu-comasach a dhol suas. Phàigh onair agus dòigh-obrach com-pàirteachais a-rithist.

Mar thoradh air a’ phìleat, fhuaireadh grunn thoraidhean teicnigeach cudromach agus co-dhùnaidhean:

Rinn sinn deuchainn air a’ ghnìomhachd ùr airson giullachd rabhaidhean

Thòisich an siostam a chaidh a chleachdadh a 'faighinn rabhaidhean gu ceart bho Prometheus agus gan cruinneachadh. Bha rabhaidhean mun duilgheadas bhon neach-dèiligidh Prometheus ag itealaich a h-uile 30 diog (chan eil cruinneachadh a rèir ùine air a chomasachadh), agus bha sinn a’ faighneachd am biodh e comasach am buidheannachadh anns an “sgàilean” fhèin. Thionndaidh e a-mach gu bheil e comasach - tha stèidheachadh giullachd rabhaidhean san àrd-ùrlar air a chuir an gnìomh le sgriobt. Tha seo ga dhèanamh comasach cha mhòr loidsig sam bith a chuir an gnìomh airson an giullachd. Tha sinn mu thràth air loidsig àbhaisteach a chuir an gnìomh san àrd-ùrlar ann an cruth theamplaidean - mura h-eil thu airson rudeigin a chruthachadh dhut fhèin, faodaidh tu fear deiseil a chleachdadh.

Eadar-aghaidh “synthetic trigger”. Stèidhich làimhseachadh rabhaidhean bho shiostaman sgrùdaidh ceangailte

Thog e staid “slàinte” an t-siostam

Stèidhichte air rabhaidhean, chaidh tachartasan sgrùdaidh a chruthachadh a thug buaidh air slàinte aonadan rèiteachaidh (CUn). Tha sinn a’ cur an gnìomh modal seirbheis stòrais (RSM), as urrainn CMDB a-staigh a chleachdadh no fear a-muigh a cheangal - rè a’ phròiseict pìleat cha do cheangail an neach-dèiligidh an CMDB aige fhèin.

Eadar-aghaidh airson a bhith ag obair leis a’ mhodail goireas-seirbheis. RSM pìleat.

Uill, gu dearbh, tha aon scrion sgrùdaidh aig an neach-dèiligidh mu dheireadh, far am faicear tachartasan bho dhiofar shiostaman. An-dràsta, tha dà shiostam ceangailte ris an “sgàilean” - Zabbix agus Prometheus, agus siostam sgrùdaidh a-staigh den àrd-ùrlar fhèin.

Eadar-aghaidh Analytics. Sgrion sgrùdaidh singilte.

Automation pròiseas air a chuir air bhog

Thòisich tachartasan sgrùdaidh air gnìomhan ro-shuidhichte a chuir air bhog - a’ cur rabhaidhean, a’ ruith sgriobtaichean, a’ clàradh / a’ beairteachadh thachartasan - cha deach an tè mu dheireadh fheuchainn leis a’ chleachdaiche shònraichte seo, oir sa phròiseact pìleat cha robh amalachadh sam bith leis an deasg seirbheis.

Eadar-aghaidh roghainnean gnìomh. Cuir rabhaidhean gu Slack agus ath-thòisich am frithealaiche.

Gnìomhachd toraidh leudaichte

Nuair a bhios iad a’ bruidhinn air sgriobtaichean fèin-ghluasaid, dh’ iarr an neach-dèiligidh taic bash agus eadar-aghaidh anns an gabhadh na sgriobtaichean sin a rèiteachadh gu h-iomchaidh. Tha an dreach ùr air beagan a bharrachd a dhèanamh (an comas togail loidsigeach làn-chuimseach a sgrìobhadh ann an Lua le taic airson cURL, SSH agus SNMP) agus gnìomh a chuir an gnìomh a leigeas leat cearcall beatha sgriobt a riaghladh (cruthaich, deasaich, smachd dreach. , cuir às agus tasglann).

Eadar-aghaidh airson a bhith ag obair le sgriobtaichean fèin-slànachaidh. Sgriobt ath-thòiseachadh an fhrithealaiche tro SSH.

Prìomh Thoraidhean

Rè a 'phìleat, chaidh sgeulachdan luchd-cleachdaidh a chruthachadh cuideachd a leasaicheas gnìomhachd làithreach agus àrdachadh luach don neach-dèiligidh, seo cuid dhiubh:

• cuir an gnìomh comas caochladairean a chuir air adhart gu dìreach bhon rabhadh chun sgriobt fèin-slànachaidh;
• cuir cead ris an àrd-ùrlar tro Active Directory.

Agus fhuair sinn barrachd dhùbhlain cruinneil - gus an toradh “togail suas” le comasan eile:

• togail fèin-ghluasadach de mhodail seirbheis stòrais stèidhichte air ML, seach riaghailtean agus àidseantan (is dòcha am prìomh dhùbhlan a-nis);
• taic airson cànanan sgrìobhaidh agus loidsig a bharrachd (agus is e JavaScript a bhios ann).

Anns mo bheachd, an rud as cudromaicheTha dà rud anns na tha am pìleat seo a’ sealltainn:

1. Is e com-pàirteachasan leis an neach-dèiligidh an iuchair gu èifeachdas, nuair a thèid conaltradh èifeachdach a thogail air bunait onair agus fosgarrachd, agus bidh an neach-dèiligidh na phàirt de sgioba a choileanas toraidhean cudromach ann an ùine ghoirid.
2. Chan eil e riatanach ann an suidheachadh sam bith “gnàthachadh” agus “crutches” a thogail - dìreach fuasglaidhean siostam. Tha e nas fheàrr beagan a bharrachd ùine a chaitheamh, ach fuasgladh siostam a dhèanamh a thèid a chleachdadh le teachdaichean eile. Co-dhiù, is e seo a thachair, thug an siostam plugan agus cuir às do eisimeileachd air Azure luach a bharrachd do luchd-dèiligidh eile (hello, Lagh Feadarail 152).

Source: www.habr.com