No ke aha e pono ai i kahi panakō AIOps a me ka nānā ʻana i ka umbrella, a i ʻole he aha ka pilina o nā mea kūʻai aku?

Ma nā paʻi puke ma Habré, ua kākau mua wau e pili ana i koʻu ʻike i ke kūkulu ʻana i ka pilina me kaʻu hui (maanei kamaʻilio e pili ana i ka hana ʻana i kahi ʻaelike pili i ka wā e hoʻomaka ai i kahi ʻoihana hou i ʻole e hāʻule ka ʻoihana). A i kēia manawa makemake wau e kamaʻilio e pili ana i ke kūkulu ʻana i nā pilina me nā mea kūʻai aku, no ka mea me ka ʻole o lākou ʻaʻohe mea e hāʻule. Manaʻo wau e pono kēia ʻatikala i nā mea hoʻomaka e hoʻomaka ana e kūʻai aku i kā lākou huahana i nā ʻoihana nui.

Ke poʻo nei au i kahi hoʻomaka i kapa ʻia ʻo MONQ Digital lab, kahi e hoʻomohala nei au me kaʻu hui i kahi huahana no ka hoʻomaʻamaʻa ʻana i nā kaʻina o ke kākoʻo ʻana a me ka hana ʻana i ka IT hui. ʻAʻole maʻalahi ke komo ʻana i ka mākeke a hoʻomaka mākou me kahi haʻawina home liʻiliʻi, hele ma waena o nā loea mākeke, kā mākou mau hoa a hana i ka māhele mākeke. ʻO ka nīnau nui ka hoʻomaopopo ʻana "ʻo wai nā ʻeha e hiki ai iā mākou ke ho'ōla maikaʻi?"

Ua hana nā panakō i nā ʻāpana TOP 3. A ʻoiaʻiʻo, ʻo ka mea mua ma ka papa inoa ʻo Tinkoff a me Sberbank. I ko mākou kipa ʻana i nā loea mākeke panakō, ʻōlelo lākou: e hoʻolauna i kāu huahana ma laila, a e wehe ʻia ke ala i ka mākeke panakō. Ua ho'āʻo mākou e komo ma laila a ma laila, akā ua kali ka hemahema iā mākou ma Sberbank, a ʻo nā kāne mai Tinkoff ua ʻoi aku ka nui o ka wehe ʻana i ka kamaʻilio ʻana me nā mea hoʻomaka Lūkini (ma muli paha o Sber i kēlā manawa. kūʻai kokoke i hoʻokahi piliona o kā mākou mau mea hoʻokūkū Komohana). I loko o hoʻokahi mahina ua hoʻomaka mākou i kahi papahana hoʻokele. Pehea i hana ai, heluhelu mai.

Ua pili mākou i nā pilikia o ka hana a me ka nānā ʻana no nā makahiki he nui, i kēia manawa ke hoʻokō nei mākou i kā mākou huahana i ka lehulehu, i ka ʻinikua, i nā panakō, i nā hui telecom, hoʻokahi hoʻokō me kahi mokulele (ma mua o ka papahana, ʻaʻole mākou i hana. E noʻonoʻo ʻoe he ʻoihana hilinaʻi IT ka mokulele, a ke manaʻolana nei mākou, ʻoiai ʻo COVID, e kū mai ka ʻoihana a lele).

ʻO ka huahana a mākou e hana ai no ka polokalamu ʻoihana, ka ʻāpana AIOps (Artificial Intelligence for IT Operations, a i ʻole ITOps). ʻO nā pahuhopu nui o ka hoʻokō ʻana i nā ʻōnaehana e like me ke kiʻekiʻe o ke kaʻina hana i ka ʻoihana e hoʻonui:

1. Hoʻopau i ke ahi: ʻike i nā hemahema, hoʻomaʻemaʻe i ke kahawai o nā makaʻala mai nā ʻōpala, hāʻawi i nā hana a me nā hanana i ka poʻe kuleana;
2. E hoʻonui i ka pono o ka lawelawe IT: e hoʻemi i ka manawa e hoʻoponopono ai i nā hanana, e hōʻike i nā kumu o ka hāʻule ʻole, e hoʻonui i ka ʻike o ke kūlana IT;
3. E hoʻonui i ka pono o ka ʻoihana: hoʻemi i ka nui o ka hana lima, hoʻemi i nā pilikia, hoʻonui i ka pono o ka mea kūʻai aku.

I kā mākou ʻike, loaʻa i nā panakō nā "ʻeha" aʻe me ka nānā ʻana i ka maʻamau me nā ʻōnaehana IT nui:

• "ʻo wai ka mea mālama": nui nā keʻena ʻenehana, kokoke i kēlā me kēia kanaka ma kahi o hoʻokahi ʻōnaehana nānā, a ʻoi aku ka nui ma mua o hoʻokahi;
• ʻO nā makaʻala "namu namu": hoʻopuka kēlā me kēia ʻōnaehana i nā haneli a hoʻopaʻa i nā mea a pau i kuleana me lākou (i kekahi manawa ma waena o nā keʻena). He mea paʻakikī ke mālama mau i ka manaʻo o ka mana i kēlā me kēia leka hoʻomaopopo, ua pae ko lākou wikiwiki a me ko lākou koʻikoʻi ma muli o ka nui;
• nā panakō nui - makemake nā alakaʻi alakaʻi ʻaʻole wale e hoʻomau i kā lākou mau ʻōnaehana, e ʻike i kahi o nā hemahema, akā ʻo ka magic maoli o AI - e hana i nā ʻōnaehana ponoʻī, wānana a me ka pololei.

I ko mākou hiki ʻana i ka hālāwai mua ma Tinkoff, ua haʻi koke ʻia mākou ʻaʻohe pilikia o ka nānā ʻana a ʻaʻohe mea e hōʻeha iā lākou, a ʻo ka nīnau nui: "He aha kā mākou e hāʻawi aku ai no ka poʻe e hana maikaʻi nei?"

Ua lōʻihi ke kamaʻilio ʻana, ua kūkākūkā mākou i ke kūkulu ʻia ʻana o kā lākou microservices, pehea e hana ai nā keʻena, ʻoi aku ka maʻalahi o nā pilikia ʻoihana, ʻoi aku ka liʻiliʻi o nā mea hoʻohana, ma hea nā "makapō", a he aha kā lākou mau pahuhopu a me nā SLA.

Ma ke ala, mahalo nui nā SLA o ka panakō. No ka laʻana, he mau minuke wale nō paha e hoʻoholo ai i ka loaʻa ʻana o ka pūnaewele XNUMX. ʻO ke kumukūʻai o ka hewa a me ka downtime ma aneʻi, he mea kupanaha.

ʻO ka hopena, ua ʻike mākou i kekahi mau wahi o ka hui pū ʻana:

1. ʻO ka pae mua ka nānā ʻana i ka umbrella e hoʻonui i ka wikiwiki o ka hoʻonā hanana
2. ʻO ka lua o ka hana ʻo ka automation kaʻina hana e hōʻemi i nā pilikia a hōʻemi i nā kumukūʻai no ka hoʻonui ʻana i ka ʻoihana IT.

Hiki ke pena ʻia kekahi mau "ʻokoʻa keʻokeʻo" i nā kala ʻulaʻula o nā mākaʻikaʻi wale nō ma ka hoʻoili ʻana i ka ʻike mai nā ʻōnaehana nānā, ʻoiai ʻaʻole hiki ke lawe pololei i nā ana; e hoʻomaopopo i ke kiʻi holoʻokoʻa o ka mea e hana nei. Ua kūpono nā "Umbrellas" no kēia hana a ua hoʻokō mākou i kēia mau koi.

ʻO kahi mea koʻikoʻi, i ko mākou manaʻo, i ka pilina me nā mea kūʻai aku he ʻoiaʻiʻo. Ma hope o ke kamaʻilio mua ʻana a me ka helu ʻana i ke kumukūʻai o ka laikini, ua ʻōlelo ʻia ʻoiai he haʻahaʻa loa ke kumukūʻai, pono paha e kūʻai koke i kahi laikini (hoʻohālikelike ʻia me Dynatrace Klyuch-Astrom mai ka ʻatikala ma luna e pili ana i ka panakō ʻōmaʻomaʻo, kā mākou ʻAʻole kūʻai ka laikini i kahi hapakolu o ka piliona, akā ʻo 12 tausani mau rubles i kēlā me kēia mahina no 1 gigabyte, no Sber e kūʻai ʻia i nā manawa he nui). Akā ua haʻi koke mākou iā lākou i nā mea a mākou a me nā mea ʻole. Hiki paha i kahi mea kūʻai aku mai kahi hui nui ke ʻōlelo "ʻae, hiki iā mākou ke hana i nā mea āpau, ʻoiaʻiʻo e kūʻai i kā mākou laikini," akā ua hoʻoholo mākou e waiho i kā mākou kāleka āpau ma ka papaʻaina. I ka manawa o ka hoʻomaka ʻana, ʻaʻole i hoʻohui ʻia kā mākou pahu me Prometheus, a ua kokoke e hoʻokuʻu ʻia kahi mana hou me kahi subsystem automation, akā ʻaʻole mākou i hoʻouna aku i nā mea kūʻai aku.

Ua hoʻomaka ka papahana hoʻokele, ua hoʻoholo ʻia kona mau palena a ua hāʻawi ʻia iā mākou he 2 mahina. ʻO nā hana nui:

• e hoʻomākaukau i kahi mana hou o ka paepae a kau i loko o ka ʻoihana o ka panakō
• hoʻohui i nā ʻōnaehana nānā 2 (Zabbix a me Prometheus);
• hoʻouna i nā leka hoʻomaopopo i ka poʻe kuleana ma Slack a ma o SMS;
• holo autohealing scripts.

Ua hoʻohana ʻia ka mahina mua o ka papahana hoʻokele i ka hoʻomākaukau ʻana i kahi mana hou o ka paepae ma ke ʻano super-wikiwiki no nā pono o ka papahana hoʻokele. Hoʻokomo koke ka mana hou i ka hoʻohui ʻana me Prometheus a me ka auto-healing. Mahalo i kā mākou hui hoʻomohala, ʻaʻole lākou i hiamoe no kekahi mau pō, akā hoʻokuʻu i ka mea a lākou i hoʻohiki ai me ka hala ʻole o nā manawa palena no nā hana ʻē aʻe i hana mua ʻia.

ʻOiai mākou e hoʻonohonoho ana i ka pilote, ua loaʻa iā mākou kahi pilikia hou e hiki ke pani i ka papahana ma mua o ka papa hana: e hoʻouna i nā leka i nā ʻelele koke a ma o SMS, pono mākou i nā pilina komo a i waho i nā kikowaena Microsoft Azure (i kēlā manawa ua hoʻohana mākou i kēia kahua. e hoʻouna i nā leka iā Slack) a me kahi SMS lawelawe hoʻouna waho. Akā ma kēia papahana, he mea nui ka palekana. E like me ke kulekele o ka panakō, ʻaʻole hiki ke wehe ʻia kēlā mau "puka" ma lalo o nā kūlana. Pono nā mea a pau e hana mai kahi puka pani. Hāʻawi ʻia mākou e hoʻohana i ka API o kā mākou lawelawe kūloko e hoʻouna i nā leka iā Slack a ma o SMS, akā ʻaʻole i loaʻa iā mākou ka manawa e hoʻopili ai i kēlā mau lawelawe ma waho o ka pahu.

Ua pau ka hoʻopaʻapaʻa ahiahi me ka hui hoʻomohala me ka ʻimi kūleʻa no ka hoʻonā. Ma hope o ka ʻimi ʻana i ka backlog, ua loaʻa iā mākou kahi hana ʻaʻole i lawa ka manawa a me ka mea nui - e hana i kahi ʻōnaehana plug-in i hiki i nā hui hoʻokō a i ʻole ka mea kūʻai aku ke kākau i nā mea hoʻohui iā lākou iho, e hoʻonui ana i nā hiki o ka paepae.

Akā hoʻokahi mahina i koe, kahi e pono ai mākou e hoʻokomo i nā mea āpau, hoʻonohonoho a hoʻonohonoho i ka automation.

Wahi a Sergei, ko mākou mea hoʻolālā nui, pono ia ma kahi o hoʻokahi mahina e hoʻokō ai i ka ʻōnaehana plug-in.

ʻAʻole mākou manawa...

Hoʻokahi wale nō hoʻonā - e hele i ka mea kūʻai aku a haʻi i nā mea āpau e like me ia. E kūkākūkā pū i ka hoʻololi ʻana i ka lā palena. A ua hana. Ua hāʻawi ʻia iā mākou he 2 pule. Ua loaʻa iā lākou kā lākou mau manawa ponoʻī a me nā kuleana kūloko e hōʻike i nā hopena, akā loaʻa iā lākou he 2 mau pule mālama. I ka hopena, kau mākou i nā mea a pau ma ka laina. ʻAʻole hiki ke huikau. Ua uku hou ʻia ka ʻoiaʻiʻo a me ke ʻano hui.

Ma muli o ka mea hoʻokele, ua loaʻa nā hopena ʻenehana nui a me nā hopena:

Ua hoʻāʻo mākou i ka hana hou no ka hana ʻana i nā māka

Hoʻomaka ka ʻōnaehana i hoʻonohonoho ʻia e loaʻa pololei nā mākaʻikaʻi mai Prometheus a hui pū iā lākou. E lele ana nā ʻōlelo aʻoaʻo e pili ana i ka pilikia mai ka mea kūʻai mai Prometheus i kēlā me kēia 30 kekona (ʻaʻole hiki ke hui ʻia e ka manawa), a ke noʻonoʻo nei mākou inā hiki ke hui pū ʻia i loko o ka "umbrella" ponoʻī. Ua hoʻololi ʻia he hiki - ke hoʻonohonoho ʻana i ka hana ʻana o nā mākaʻikaʻi ma ka paepae e hoʻokō ʻia e kahi palapala. ʻO kēia ka mea hiki ke hoʻokō kokoke i nā loiloi no ka hana ʻana iā lākou. Ua hoʻokō mua mākou i ka loiloi maʻamau i ka paepae ma ke ʻano o nā templates - inā ʻaʻole ʻoe makemake e hana i kāu mea ponoʻī, hiki iā ʻoe ke hoʻohana i kahi mea i mākaukau.

"Synthetic trigger" interface. Hoʻonohonoho ʻana i ka hana ʻana o nā mākaʻikaʻi mai nā ʻōnaehana nānā pili

Kūkulu ʻia ke kūlana o ka "ola" o ka ʻōnaehana

Ma muli o nā mākaʻikaʻi, ua hana ʻia nā hanana nānā e pili ana i ke olakino o nā ʻāpana hoʻonohonoho (CU). Ke hoʻokō nei mākou i kahi kumu hoʻohālike waiwai-lawelawe (RSM), hiki ke hoʻohana i kahi CMDB kūloko a i ʻole hoʻohui i kahi mea waho - i ka wā o ka papahana hoʻokele ʻaʻole i hoʻopili ka mea kūʻai i kāna CMDB ponoʻī.

Ikepili no ka hana ʻana me ke kumu hoʻohālike waiwai-lawelawe. Pilot RSM.

ʻAe, ʻoiaʻiʻo, loaʻa i ka mea kūʻai aku kahi pale nānā hoʻokahi, kahi e ʻike ʻia ai nā hanana mai nā ʻōnaehana like ʻole. I kēia manawa, pili nā ʻōnaehana ʻelua i ka "umbrella" - Zabbix a me Prometheus, a me kahi ʻōnaehana nānā i loko o ka paepae ponoʻī.

Pākuʻi ʻikepili. ʻO ka pale nānā hoʻokahi.

Hoʻokuʻu ʻia ke kaʻina hana automation

Hoʻomaka ka nānā ʻana i nā hanana i ka hoʻomaka ʻana o nā hana i hoʻonohonoho mua ʻia - ka hoʻouna ʻana i nā mākaʻikaʻi, ka holo ʻana i nā palapala, ka hoʻopaʻa inoa / hoʻonui ʻana i nā hanana - ʻaʻole i hoʻāʻo ʻia ka mea hope me kēia mea kūʻai aku, no ka mea i loko o ka papahana hoʻokele ʻaʻohe hoʻohui me ka papa lawelawe.

Hoʻonohonoho hoʻonohonoho hana. E hoʻouna i nā leka iā Slack a hoʻomaka hou i ke kikowaena.

Hoʻonui i ka hana huahana

I ke kūkākūkā ʻana i nā ʻatikala automation, ua noi ka mea kūʻai aku i ke kākoʻo bash a me kahi interface i hiki ke hoʻonohonoho pono ʻia kēia mau palapala. Ua hana hou ka mana hou (ka hiki ke kākau i nā mea hoʻomohala holoʻokoʻa ma Lua me ke kākoʻo no cURL, SSH a me SNMP) a hoʻokō i nā hana e hiki ai iā ʻoe ke hoʻokele i ke ola o kahi palapala (hana, hoʻoponopono, mana mana. , holoi a waihona).

ʻAno no ka hana ʻana me nā palapala hoʻōla auto. Hoʻomaka hou ke kikowaena ma o SSH.

Nā ʻike nui

I ka wā o ka hoʻokele, ua hana ʻia nā moʻolelo mea hoʻohana e hoʻomaikaʻi i ka hana o kēia manawa a hoʻonui i ka waiwai no ka mea kūʻai aku, eia kekahi o lākou:

• hoʻokō i ka hiki ke hoʻouna pololei i nā mea hoʻololi mai ka makaʻala i ka palapala autohealing;
• e hoʻohui i ka mana i ka paepae ma o Active Directory.

A ua loaʻa iā mākou nā pilikia honua hou aʻe - e "kūkulu" i ka huahana me nā mana ʻē aʻe:

• ke kūkulu 'akomi o kahi kumu hoʻohālike waiwai-lawelawe ma muli o ML, ma mua o nā lula a me nā ʻelele (ʻo ia paha ka luʻi nui i kēia manawa);
• kākoʻo no nā ʻōlelo kākau a me nā loina hou (a ʻo JavaScript kēia).

Ma koʻu manaʻo, ka mea nui loaʻElua mau mea i hōʻike ʻia e kēia pailaka:

1. ʻO ka launa pū ʻana me ka mea kūʻai aku ke kī i ka pono, ke kūkulu ʻia ke kamaʻilio kūpono ma ke kumu o ka ʻoiaʻiʻo a me ka wehe ʻana, a lilo ka mea kūʻai aku i ʻāpana o kahi hui e hoʻokō i nā hopena koʻikoʻi i ka manawa pōkole.
2. ʻAʻohe mea pono e "hoʻopilikino" a kūkulu i nā "kākau" - nā ʻōnaehana ʻōnaehana wale nō. ʻOi aku ka maikaʻi o ka hoʻolilo ʻana i kahi manawa liʻiliʻi, akā e hana i kahi hoʻonā ʻōnaehana e hoʻohana ʻia e nā mea kūʻai aku. Ma ke ala, ʻo ia ka mea i hana, ʻo ka ʻōnaehana plugin a me ka hoʻopau ʻana i ka hilinaʻi iā Azure i hāʻawi i ka waiwai hou i nā mea kūʻai aku (hello, Federal Law 152).

Source: www.habr.com