Naha bank peryogi AIOps sareng ngawaskeun payung, atanapi naon hubungan palanggan dumasar kana?

Dina publikasi ngeunaan Habré, kuring parantos nyerat ngeunaan pangalaman ngawangun kerjasama sareng tim kuring (di dieu ngobrol ngeunaan kumaha carana ngadamel perjanjian kemitraan nalika ngamimitian usaha énggal supados usahana henteu runtuh). Sareng ayeuna Abdi hoyong ngobrol ngeunaan kumaha carana ngawangun partnerships kalawan klien, sabab tanpa aranjeunna bakal aya nanaon ragrag eta. Kuring miharep artikel ieu bakal mangpaat pikeun startups anu mimiti ngajual produk maranéhna pikeun usaha badag.

Kuring ayeuna nuju ngamimitian ngamimitian anu disebut lab MONQ Digital, dimana kuring sareng tim kuring ngembangkeun produk pikeun ngaotomatisasi prosés ngadukung sareng ngoperasikeun IT perusahaan. Lebetkeun pasar sanés tugas anu gampang sareng urang ngamimitian ku PR sakedik, ngalangkungan para ahli pasar, mitra kami sareng ngalaksanakeun segmentasi pasar. Patarosan utama nyaéta ngartos "nyeri saha anu urang tiasa nyageurkeun pangsaéna?"

Bank janten kana TOP 3 bagéan. Sarta tangtu, kahiji dina daptar éta Tinkoff na Sberbank. Nalika kami ngadatangan para ahli pasar perbankan, aranjeunna nyarios: ngenalkeun produk anjeun di dinya, sareng jalan ka pasar perbankan bakal dibuka. Kami nyoba asup ka ditu di ditu, tapi kagagalan ngantosan kami di Sberbank, sareng lalaki ti Tinkoff tétéla langkung kabuka pikeun komunikasi produktif sareng ngamimitian Rusia (panginten kusabab kanyataan yén Sber dina waktos éta. meuli ampir samilyar pesaing urang Kulon). Dina sabulan urang ngamimitian pilot project. Kumaha kajadianana, baca terus.

Kami parantos ngatasi masalah operasi sareng ngawaskeun mangtaun-taun, ayeuna urang ngalaksanakeun produk urang di sektor publik, dina asuransi, bank, di perusahaan telekomunikasi, hiji palaksanaan sareng maskapai (saméméh proyék, kami henteu malah nyangka yén penerbangan mangrupikeun industri anu gumantung kana IT, sareng Ayeuna kami ngarep-arep, sanaos COVID, yén perusahaan bakal muncul sareng angkat).

Produk anu urang damel milik parangkat lunak perusahaan, bagéan AIOps (Artificial Intelligence for IT Operations, atanapi ITOps). Tujuan utama palaksanaan sistem sapertos tingkat kematangan prosés di perusahaan ningkat:

1. Pareuman seuneu: ngaidentipikasi kagagalan, mupus aliran béwara tina lebu, pasihan tugas sareng kajadian ka anu tanggung jawab;
2. Ningkatkeun efisiensi jasa IT: ngirangan waktos pikeun ngabéréskeun kajadian, nunjukkeun panyabab gagal, ningkatkeun transparansi status IT;
3. Ningkatkeun efisiensi bisnis: ngirangan jumlah tenaga kerja manual, ngirangan résiko, ningkatkeun kasatiaan pelanggan.

Dina pangalaman urang, bank ngagaduhan "nyeri" di handap ieu kalayan ngawaskeun umum sareng sadaya infrastruktur IT anu ageung:

• "Saha weruh naon": aya loba departemén teknis, ampir sarerea boga sahanteuna hiji sistem ngawaskeun, sarta paling boga leuwih ti hiji;
• "Reungit ngagimbung" tina panggeuing: unggal sistem ngahasilkeun ratusan jeung bombards sakabeh jalma jawab aranjeunna (kadang oge antara departemén). Hésé pikeun terus-terusan ngajaga fokus kontrol dina unggal béwara, urgency sareng pentingna ditujukeun kusabab jumlahna ageung;
• bank badag - pamingpin sektor hayang teu ukur keur terus ngawas sistem maranéhanana, uninga dimana aya gagal, tapi ogé magic nyata AI - sangkan sistem timer ngawas, timer prediksi na timer bener.

Nalika kami sumping ka rapat munggaran di Tinkoff, kami langsung nyarios yén aranjeunna henteu ngagaduhan masalah sareng ngawaskeun sareng teu aya anu menyakiti aranjeunna, sareng patarosan anu utami nyaéta: "Naon anu tiasa kami tawarkeun pikeun jalma anu parantos saé?"

Paguneman éta panjang, urang bahas kumaha microservices maranéhanana diwangun, kumaha departemén jalan, nu masalah infrastruktur anu leuwih sénsitip, nu kirang sénsitip pikeun pamaké, dimana aya "titik buta", sarta naon tujuan maranéhanana sarta SLAs.

Ku jalan kitu, SLA bank leres-leres narik. Contona, insiden kasadiaan jaringan prioritas XNUMX ngan butuh sababaraha menit pikeun ngabéréskeun. Biaya kasalahan sareng downtime di dieu, tangtosna, pikaresepeun.

Hasilna, kami ngaidentipikasi sababaraha bidang gawé babarengan:

1. tahap kahiji nyaeta payung monitoring pikeun ngaronjatkeun kagancangan resolusi kajadian
2. tahap kadua nyaéta automation prosés pikeun ngurangan resiko jeung ngurangan biaya pikeun skala departemén IT.

Sababaraha "bintik bodas" tiasa dicét dina warna anu terang ngan ukur ku ngolah inpormasi tina sababaraha sistem ngawaskeun, sabab teu mungkin langsung nyandak métrik; éta ogé kedah sentralisasi data tina sistem ngawaskeun anu béda kana "hiji layar" dina urutan. ngartos gambaran sakabéh naon anu lumangsung. "Payung" cocog pikeun tugas ieu sareng urang nyumponan sarat ieu.

Hiji hal anu kacida penting, dina pamadegan urang, dina hubungan jeung klien nyaeta kajujuran. Saatos paguneman munggaran sareng itungan biaya lisénsi, éta nyarios yén kusabab biayana rendah pisan, éta panginten kedah mésér lisénsi langsung (dibandingkeun sareng Dynatrace Klyuch-Astrom tina tulisan di luhur ngeunaan bank héjo, urang waragad lisénsi teu sapertilu ti samilyar, tapi 12 sarébu rubles per bulan pikeun 1 gigabyte, pikeun Sber bakal ngarugikeun sababaraha kali langkung mirah). Tapi urang langsung nyarioskeun ka aranjeunna naon anu urang gaduh sareng naon anu henteu. Panginten wakil penjualan tina integrator ageung tiasa nyarios "enya, urang tiasa ngalakukeun sadayana, tangtosna mésér lisénsi kami," tapi urang mutuskeun pikeun nempatkeun sadaya kartu dina méja. Dina waktos peluncuran, kotak kami henteu gaduh integrasi sareng Prometheus, sareng versi énggal sareng subsistem otomatis badé dileupaskeun, tapi kami henteu acan ngintunkeun ka konsumén.

Proyék pilot dimimitian, watesna ditangtukeun sareng kami dibéré 2 bulan. Tugas utama éta:

• nyiapkeun versi anyar tina platform jeung nyebarkeun eta dina infrastruktur bank urang
• nyambungkeun 2 sistem ngawaskeun (Zabbix na Prometheus);
• ngirim bewara ka anu tanggung jawab dina Slack sareng via SMS;
• ngajalankeun skrip autohealing.

Bulan kahiji tina proyék pilot ieu spent Nyiapkeun versi anyar tina platform dina modeu super-gancang pikeun kaperluan pilot project. Versi anyar langsung kalebet integrasi sareng Prometheus sareng penyembuhan otomatis. Hatur nuhun kana tim pamekaran urang, aranjeunna henteu bobo sababaraha wengi, tapi ngaluarkeun naon anu dijangjikeun tanpa kaleungitan wates waktu pikeun komitmen anu saacanna dilakukeun.

Nalika kami nyetél pilot, kami mendakan masalah énggal anu tiasa nutup proyék sateuacanna jadwal: pikeun ngirim panggeuing ka utusan instan sareng via SMS, kami peryogi sambungan asup sareng kaluar ka server Microsoft Azure (dina waktos éta kami nganggo platform ieu. pikeun ngirim panggeuing ka Slack) sareng SMS jasa ngirim éksternal. Tapi dina proyék ieu, kaamanan mangrupikeun fokus khusus. Luyu sareng kawijakan bank, "liang" sapertos kitu henteu tiasa dibuka dina kaayaan naon waé. Sagalana kedah dianggo ti loop katutup. Kami ditawarkeun nganggo API tina jasa internal urang sorangan anu ngirim panggeuing ka Slack sareng SMS, tapi kami henteu ngagaduhan kasempetan pikeun nyambungkeun jasa sapertos kitu.

Malem debat sareng tim pamekaran réngsé kalayan suksés milarian solusi. Saatos rummaged backlog, kami mendakan hiji tugas anu kami henteu kantos ngagaduhan waktos sareng prioritas - nyiptakeun sistem plug-in supados tim palaksanaan atanapi klien tiasa nyerat tambihan nyalira, ngalegaan kamampuan platform.

Tapi kami ngagaduhan sasih sasih, salami urang kedah masang sadayana, ngonpigurasikeun sareng nyebarkeun automation.

Numutkeun Sergei, lulugu arsiték urang, diperlukeun sahenteuna sabulan pikeun nerapkeun sistem plug-in.

Urang teu boga waktu...

Aya ngan hiji solusi - buka klien tur ngabejaan sagalana sakumaha anu kasebut. Ngabahas shift deadline babarengan. Sarta eta digawé. Kami dibéré tambahan 2 minggu. Éta ogé ngagaduhan wates waktu sareng kawajiban internal pikeun nunjukkeun hasil, tapi aranjeunna gaduh 2 minggu cagar. Tungtungna, urang nempatkeun sagalana dina garis. Teu mungkin ngaganggu. Kajujuran jeung pendekatan partnership deui dibayar kaluar.

Salaku hasil tina pilot, sababaraha hasil téknis penting sareng kacindekan dicandak:

Kami nguji fungsionalitas anyar pikeun ngolah béwara

Sistem anu disebarkeun mimiti nampi béwara ti Prometheus sareng ngagolongkeunana. Tanda ngeunaan masalah tina klien Prometheus ngalayang unggal 30 detik (ngagolongkeun dumasar kana waktu teu diaktipkeun), sarta kami wondering lamun éta bakal mungkin pikeun grup aranjeunna dina "payung" sorangan. Tétéla éta mungkin - nyetél ngolah panggeuing dina platform anu dilaksanakeun ku naskah. Hal ieu ngamungkinkeun pikeun nerapkeun ampir sagala logika pikeun ngolah aranjeunna. Kami parantos ngalaksanakeun logika standar dina platform dina bentuk témplat - upami anjeun henteu hoyong ngadamel anu anjeun nyalira, anjeun tiasa nganggo anu siap-dijieun.

"Sintétik pemicu" panganteur. Nyetél ngolah béwara tina sistem pangimeutan anu disambungkeun

Diwangun kaayaan "kaséhatan" sistem

Dumasar panggeuing, acara ngawaskeun diciptakeun anu mangaruhan kaséhatan unit konfigurasi (CU). Kami ngalaksanakeun modél sumberdaya-layanan (RSM), anu tiasa nganggo CMDB internal atanapi nyambungkeun éksternal - salami pilot project klien henteu nyambungkeun CMDB sorangan.

Interface pikeun gawé bareng model sumberdaya-layanan. Pilot RSM.

Nya, kanyataanna, klien tungtungna ngagaduhan layar ngawaskeun tunggal, dimana acara tina sistem anu béda katingali. Ayeuna, dua sistem disambungkeun ka "payung" - Zabbix na Prometheus, sarta sistem ngawaskeun internal tina platform sorangan.

panganteur Analytics. layar monitor tunggal.

Dijalankeun automation prosés

Acara ngawaskeun memicu peluncuran tindakan anu tos dikonpigurasi - ngirim panggeuing, ngajalankeun skrip, ngadaptarkeun / enriching insiden - anu terakhir henteu dicoba ku klien khusus ieu, sabab dina pilot project euweuh integrasi jeung meja layanan.

Antarbeungeut setélan Peta. Kirim panggeuing ka Slack sareng reboot server.

fungsionalitas produk dimekarkeun

Nalika nyawalakeun skrip otomatisasi, klien naroskeun dukungan bash sareng antarmuka dimana skrip ieu tiasa dikonpigurasikeun. Versi anyar parantos dilakukeun sakedik deui (kamampuhan nyerat konstruksi logis anu lengkep dina Lua kalayan dukungan pikeun cURL, SSH sareng SNMP) sareng fungsionalitas anu dilaksanakeun anu ngamungkinkeun anjeun pikeun ngatur siklus kahirupan naskah (nyieun, édit, kontrol versi. , pupus sareng arsipkeun).

Interface pikeun gawé bareng skrip autohealing. Aksara reboot server via SSH.

Pamanggihan utama

Salila pilot, carita pamaké ogé dijieun anu ngaronjatkeun pungsionalitas ayeuna jeung ningkatkeun nilai pikeun klien, ieu sababaraha di antarana:

• nerapkeun kamampuhan pikeun neraskeun variabel langsung ti waspada kana skrip autohealing;
• tambahkeun otorisasi kana platform via Active Directory.

Sareng kami nampi langkung seueur tantangan global - pikeun "ngawangun" produk kalayan kamampuan anu sanés:

• konstruksi otomatis model sumberdaya-jasa dumasar kana ML, tinimbang aturan jeung agén (sigana tantangan utama ayeuna);
• dukungan pikeun skrip sareng basa logika tambahan (sareng ieu bakal JavaScript).

Dina pamadegan kuring anu paling pentingNaon anu dipintonkeun ku pilot ieu mangrupikeun dua hal:

1. Partnerships kalawan klien nu mangrupakeun konci pikeun éféktivitas, nalika komunikasi éféktif diwangun dina dasar kajujuran jeung kabuka, sarta klien janten bagian tina tim anu ngahontal hasil signifikan dina waktu anu singget.
2. Dina kaayaan naon waé henteu kedah "nyaluyukeun" sareng ngawangun "kruk" - ngan ukur solusi sistem. Éta langkung saé nyéépkeun waktos sakedik, tapi ngadamel solusi sistem anu bakal dianggo ku klien sanés. Ngomong-ngomong, ieu anu kajantenan, sistem plugin sareng ngaleungitkeun gumantungna kana Azure nyayogikeun nilai tambahan pikeun klien anu sanés (halo, Hukum Federal 152).

sumber: www.habr.com