Nan piblikasyon sou Habré, mwen te deja ekri sou eksperyans mwen nan bati patenarya ak ekip mwen an ( pale sou fason pou fè yon akò patenarya lè w kòmanse yon nouvo biznis pou biznis la pa dekonpoze). Epi, koulye a mwen ta renmen pale sou ki jan yo bati patenarya ak kliyan, depi san yo pa pral gen anyen yo tonbe apa. Mwen espere ke atik sa a pral itil nan demaraj ki kòmanse vann pwodwi yo nan gwo biznis.
Kounye a mwen ap dirije yon demaraj ki rele MONQ Digital lab, kote ekip mwen an ak mwen ap devlope yon pwodwi pou otomatize pwosesis sipò ak opere IT antrepriz. Antre nan mache a se pa yon travay fasil epi nou te kòmanse ak yon ti devwa, te ale nan ekspè nan mache, patnè nou yo ak te pote soti nan segmentasyon mache. Kesyon prensipal la se te konprann "doulè ki moun nou ka geri pi byen?"
Bank yo te fè li nan TOP 3 segman yo. Ak nan kou, premye yo sou lis la te Tinkoff ak Sberbank. Lè nou te vizite ekspè nan mache bankè yo, yo te di: prezante pwodwi ou la, epi chemen an nan mache bankè a pral louvri. Nou te eseye antre tou de la ak la, men echèk te tann nou nan Sberbank, ak mesye yo ki soti nan Tinkoff yo te vin pi ouvè a kominikasyon pwodiktif ak demaraj Ris (petèt akòz lefèt ke Sber nan tan sa a. prèske yon milya nan konpetitè Lwès nou yo). Nan yon mwa nou te kòmanse yon pwojè pilòt. Ki jan sa te rive, kontinye li.
Nou te fè fas ak pwoblèm nan operasyon ak siveyans pou anpil ane, kounye a nou ap aplike pwodwi nou an nan sektè piblik la, nan asirans, nan bank, nan konpayi telecom, yon aplikasyon te ak yon konpayi avyon (anvan pwojè a, nou pa t 'menm panse ke avyasyon te tankou yon endistri IT-depandan, e Koulye a, nou reyèlman espere, malgre COVID, ke konpayi an ap parèt ak dekole).
Pwodwi nou fè a fè pati lojisyèl antrepriz, segman AIOps (Entèlijans atifisyèl pou operasyon IT, oswa ITOps). Objektif prensipal yo nan aplikasyon sistèm tankou nivo matirite pwosesis nan konpayi an ogmante:
- Mete dife: idantifye echèk, netwaye kouran alèt ki soti nan debri, bay moun ki responsab travay ak ensidan yo;
- Ogmante efikasite sèvis IT la: redwi tan pou rezoud ensidan yo, endike kòz echèk yo, ogmante transparans estati IT la;
- Ogmante efikasite biznis: redwi kantite travay manyèl, diminye risk, ogmante lwayote kliyan.
Nan eksperyans nou an, bank yo gen "doulè" sa yo ak siveyans an komen ak tout gwo enfrastrikti IT:
- "ki konnen ki sa": gen anpil depatman teknik, prèske tout moun gen omwen yon sistèm siveyans, e pifò gen plis pase yon sèl;
- "Mosquito swarm" nan alèt: chak sistèm jenere dè santèn ak bonbade tout moun ki responsab avèk yo (pafwa tou ant depatman). Li difisil pou toujou kenbe konsantre nan kontwòl sou chak notifikasyon, ijans yo ak enpòtans yo nivo akòz gwo kantite;
- gwo bank yo - lidè sektè yo vle pa sèlman kontinyèlman kontwole sistèm yo, yo konnen ki kote gen echèk, men tou, majik reyèl la nan AI - fè sistèm yo oto-monitè, pwòp tèt ou-predi ak pwòp tèt ou-kòrèk.
Lè nou te rive nan premye reyinyon an nan Tinkoff, yo te imedyatman di yo ke yo pa te gen okenn pwoblèm ak siveyans ak anyen pa fè yo mal, ak kesyon prensipal la se: "Ki sa nou ka ofri pou moun ki deja fè byen?"
Konvèsasyon an te long, nou te diskite sou ki jan mikwo-sèvis yo bati, ki jan depatman yo travay, ki pwoblèm enfrastrikti ki pi sansib, ki mwens sansib pou itilizatè yo, ki kote "tach avèg yo", ak ki objektif yo ak SLA yo.
By wout la, SLA bank la vrèman enpresyonan. Pa egzanp, yon ensidan disponiblite rezo priyorite XNUMX ka pran kèk minit sèlman pou rezoud. Pri a nan erè ak D 'isit la, nan kou, se enpresyonan.
Kòm rezilta, nou te idantifye plizyè domèn koperasyon:
- premye etap la se siveyans parapli pou ogmante vitès rezolisyon ensidan an
- dezyèm etap la se automatisation pwosesis pou diminye risk ak diminye depans pou dekale depatman IT.
Plizyè "tach blan" te kapab pentire nan koulè klere nan alèt sèlman lè yo trete enfòmasyon ki soti nan plizyè sistèm siveyans, paske li te enposib dirèkteman pran mezi; li te tou nesesè yo santralize done ki soti nan diferan sistèm siveyans sou "yon sèl ekran" nan lòd. pou w konprann foto jeneral sa k ap pase a. "Parapli" yo apwopriye pou travay sa a epi nou satisfè kondisyon sa yo lè sa a.
Yon bagay trè enpòtan, nan opinyon nou an, nan relasyon ak kliyan se onètete. Apre premye konvèsasyon an ak kalkil pri a nan lisans lan, yo te di ke piske pri a tèlman ba, li ta ka vo achte yon lisans touswit (konpare ak Dynatrace Klyuch-Astrom nan atik ki anwo a sou bank vèt la, nou an. lisans koute pa yon tyè nan yon milya dola, men 12 mil rubles pa mwa pou 1 jigokte, pou Sber li ta koute plizyè fwa pi bon mache). Men, imedyatman nou te di yo sa nou genyen ak sa nou pa genyen. Petèt yon reprezantan lavant ki soti nan yon entegratè gwo ta ka di "wi, nou ka fè tout bagay, nan kou achte lisans nou an," men nou deside mete tout kat nou yo sou tab la. Nan moman lansman an, bwat nou an pa t 'gen entegrasyon ak Prometheus, ak yon nouvo vèsyon ak yon subsistèm automatisation te sou yo dwe lage, men nou pa te anbake li bay kliyan yo ankò.
Pwojè pilòt la te kòmanse, limit li yo te detèmine epi yo te ba nou 2 mwa. Travay prensipal yo te:
- prepare yon nouvo vèsyon platfòm la epi deplwaye li nan enfrastrikti bank la
- konekte 2 sistèm siveyans (Zabbix ak Prometheus);
- voye notifikasyon bay moun ki responsab nan Slack ak via SMS;
- kouri scripts autohealing.
Premye mwa a nan pwojè pilòt la te pase prepare yon nouvo vèsyon platfòm la nan mòd super-rapid pou bezwen pwojè pilòt la. Nouvo vèsyon an gen ladan imedyatman entegrasyon ak Prometheus ak oto-geri. Mèsi a ekip devlopman nou an, yo pa t dòmi pandan plizyè nwit, men yo te pibliye sa yo te pwomèt san yo pa rate dat limit pou lòt angajman yo te fè deja.
Pandan nou t ap mete kanpe pilòt la, nou te rankontre yon nouvo pwoblèm ki te kapab fèmen pwojè a anvan dat: pou voye alèt bay mesaje enstantane ak atravè SMS, nou te bezwen koneksyon antre ak soti nan Microsoft Azure sèvè (nan epòk sa a nou te itilize platfòm sa a). voye alèt bay Slack) ak yon ekstèn voye SMS sèvis. Men, nan pwojè sa a, sekirite te yon konsantre patikilye. Dapre règleman bank la, "twou" sa yo pa t 'kapab louvri nan okenn sikonstans. Tout bagay te oblije travay nan yon bouk fèmen. Yo te ofri nou sèvi ak API pwòp sèvis entèn nou yo ki voye alèt bay Slack ak via SMS, men nou pa t gen opòtinite pou konekte sèvis sa yo soti nan bwat la.
Yon sware nan deba ak ekip devlopman an te fini ak yon rechèch siksè pou yon solisyon. Lè nou te fouye nan reta a, nou te jwenn yon travay pou nou pa janm te gen ase tan ak priyorite - pou kreye yon sistèm plug-in pou ekip aplikasyon yo oswa kliyan an te kapab ekri ajoute yo tèt yo, elaji kapasite yo nan platfòm la.
Men, nou te gen egzakteman yon mwa kite, pandan sa nou te oblije enstale tout bagay, konfigirasyon ak deplwaye automatisation.
Dapre Sergei, achitèk chèf nou an, li pran omwen yon mwa pou aplike sistèm nan plug-in.
Nou pat gen tan...
Te gen yon sèl solisyon - ale nan kliyan an epi di tout bagay jan li ye. Diskite sou chanjman dat limit la ansanm. Epi li te travay. Nou te bay 2 semèn anplis. Yo menm tou yo te gen pwòp dat limit yo ak obligasyon entèn yo montre rezilta yo, men yo te gen 2 semèn rezèv. Nan fen a, nou mete tout bagay sou liy lan. Li te enposib dezòd. Onètete ak yon apwòch patenarya ankò peye.
Kòm rezilta pilòt la, yo te jwenn plizyè rezilta teknik enpòtan ak konklizyon:
Nou teste nouvo fonksyonalite pou trete alèt yo
Sistèm deplwaye a te kòmanse kòrèkteman resevwa alèt nan men Prometheus ak gwoup yo. Alèt sou pwoblèm nan soti nan kliyan Prometheus yo te vole chak segonn 30 (regroupement pa tan pa pèmèt), epi nou t ap mande si li ta posib yo gwoupe yo nan "parapli" tèt li. Li te tounen soti ke li posib - mete kanpe pwosesis la nan alèt nan platfòm la se aplike pa yon script. Sa fè li posib aplike prèske nenpòt lojik pou trete yo. Nou te deja aplike lojik estanda nan platfòm la nan fòm lan nan modèl - si ou pa vle vini ak yon bagay pou pwòp ou a, ou ka itilize yon sèl ki pare.
Entèfas "deklanche sentetik". Mete kanpe pwosesis alèt ki soti nan sistèm siveyans konekte
Konstwi eta a nan "sante" nan sistèm nan
Dapre alèt yo, yo te kreye evènman siveyans ki afekte sante inite konfigirasyon yo (CUs). Nou ap aplike yon modèl resous-sèvis (RSM), ki ka itilize swa yon CMDB entèn oswa konekte yon ekstèn - pandan pwojè pilòt la kliyan an pa t 'konekte pwòp CMDB li yo.
Entèfas pou travay ak modèl resous-sèvis. Pilòt RSM.
Oke, an reyalite, kliyan an finalman gen yon ekran siveyans sèl, kote evènman ki soti nan diferan sistèm yo vizib. Kounye a, de sistèm yo konekte ak "parapli" - Zabbix ak Prometheus, ak yon sistèm siveyans entèn nan platfòm nan tèt li.
Analytics koòdone. Single ekran siveyans.
Te lanse automatisation pwosesis
Siveyans evènman yo te deklanche lansman aksyon pre-konfigirasyon - voye alèt, kouri scripts, anrejistreman / anrichi ensidan - lèt la pa te eseye ak kliyan an patikilye sa a, paske nan pwojè pilòt la pa te gen okenn entegrasyon ak biwo sèvis la.
Aksyon anviwònman koòdone. Voye alèt bay Slack epi rdemare sèvè a.
Elaji fonksyonalite pwodwi
Lè w ap diskite sou scripts automatisation, kliyan an te mande pou sipò bash ak yon koòdone nan ki scripts sa yo ta ka fasilman configuré. Nouvo vèsyon an te fè yon ti kras plis (kapasite pou yo ekri konstriksyon lojik plen véritable nan Lua ak sipò pou cURL, SSH ak SNMP) ak aplike fonksyonalite ki pèmèt ou jere sik lavi a nan yon script (kreye, modifye, kontwòl vèsyon an). , efase ak achiv).
Entèfas pou travay ak script autohealing. Sèvè rekòmanse script atravè SSH.
Konklizyon kle yo
Pandan pilòt la, istwa itilizatè yo te kreye tou ki amelyore fonksyonalite aktyèl la ak ogmante valè pou kliyan an, men kèk nan yo:
- aplike kapasite pou voye varyab dirèkteman nan alèt la nan script autohealing la;
- ajoute otorizasyon sou platfòm la atravè Active Directory.
Epi nou te resevwa plis defi mondyal - pou "konstwi" pwodwi a ak lòt kapasite:
- konstriksyon otomatik nan yon modèl resous-sèvis ki baze sou ML, olye ke règ ak ajan (pwobableman defi prensipal la kounye a);
- sipò pou scripting adisyonèl ak lang lojik (epi sa a pral JavaScript).
Nan opinyon mwen, ki pi enpòtan anSa pilòt sa a montre se de bagay:
- Patenarya ak kliyan an se kle nan efikasite, lè kominikasyon efikas bati sou baz onètete ak ouvèti, ak kliyan an vin fè pati yon ekip ki reyalize rezilta enpòtan nan yon ti tan.
- Anba okenn sikonstans li nesesè pou "personnaliser" ak konstwi "beki" - sèlman solisyon sistèm yo. Li pi bon pase yon ti kras plis tan, men fè yon solisyon sistèm ki pral itilize pa lòt kliyan. By wout la, sa a se sa ki te pase, sistèm nan Plugin ak eliminasyon an nan depandans sou Azure bay plis valè nan lòt kliyan (alo, Lwa Federal 152).
Sous: www.habr.com