ባንክ ለምን የኤአይኦፕስ እና የዣንጥላ ክትትል ያስፈልገዋል ወይስ የደንበኞች ግንኙነት በምን ላይ የተመሰረተ ነው?

በሐበሬ ላይ በተጻፉ ህትመቶች ላይ ከቡድኔ ጋር አጋርነት የመገንባት ልምድ ስላለኝ ቀደም ብዬ ጽፌ ነበር (እዚህ አዲስ ንግድ ሲጀምሩ የንግድ ሥራው እንዳይፈርስ የሽርክና ስምምነት እንዴት እንደሚዘጋጅ ይናገራል). እና አሁን ከደንበኞች ጋር እንዴት ሽርክና መገንባት እንደሚቻል ማውራት እፈልጋለሁ ፣ ምክንያቱም ያለ እነሱ የሚፈርስ ምንም ነገር አይኖርም ። ይህ ጽሑፍ ምርታቸውን ለትላልቅ ንግዶች መሸጥ ለሚጀምሩ ጀማሪዎች ጠቃሚ እንደሚሆን ተስፋ አደርጋለሁ።

በአሁኑ ጊዜ እኔ እና ቡድኔ የኮርፖሬት ITን የመደገፍ እና የማንቀሳቀስ ሂደቶችን በራስ ሰር የሚሰራበትን MONQ Digital lab የሚባል ጅምር እየመራሁ ነው። ወደ ገበያ መግባት ቀላል ስራ አይደለም እና በትንሽ የቤት ስራ ጀመርን፣ የገበያ ባለሙያዎችን፣ አጋሮቻችንን አሳልፈን የገበያ ክፍፍል አደረግን። ዋናው ጥያቄ “የማንን ህመም በተሻለ መንገድ ማዳን እንችላለን?” የሚለውን መረዳት ነበር።

ባንኮች ወደ TOP 3 ክፍሎች አደረጉት። እና በእርግጥ, በዝርዝሩ ውስጥ የመጀመሪያዎቹ Tinkoff እና Sberbank ነበሩ. የባንክ ገበያ ባለሙያዎችን በጎበኘን ጊዜ፡- ምርትዎን እዚያ ያስተዋውቁ፣ እና ወደ ባንክ ገበያ የሚወስደው መንገድ ክፍት ይሆናል። እዚያም እዚያም ለመግባት ሞከርን ፣ ግን ውድቀት በ Sberbank ጠበቀን ፣ እና የቲንኮፍ ሰዎች ከሩሲያ ጅምሮች ጋር ጥሩ ግንኙነት ለማድረግ የበለጠ ክፍት ሆኑ (ምናልባት በዚያን ጊዜ Sber በመኖሩ ምክንያት) ገዛሁ ወደ አንድ ቢሊዮን የሚጠጉ የምዕራባውያን ተወዳዳሪዎቻችን)። በአንድ ወር ጊዜ ውስጥ የሙከራ ፕሮጀክት ጀመርን። እንዴት እንደተከሰተ, ያንብቡ.

ከአሰራርና ከክትትል ጉዳዮች ጋር ለብዙ አመታት ስናስተናግድ ቆይተናል አሁን ምርታችንን በህዝብ ሴክተር፣ በኢንሹራንስ፣ በባንክ፣ በቴሌኮም ድርጅቶች ውስጥ ተግባራዊ በማድረግ ላይ እንገኛለን፣ አንድ ትግበራ ከአየር መንገድ ጋር ነበር (ከፕሮጀክቱ በፊት እንኳን አልሰራንም ነበር። አቪዬሽን እንደዚህ ያለ የአይቲ-ጥገኛ ኢንዱስትሪ ነበር ብለው ያስባሉ ፣ እና አሁን በእውነቱ ምንም እንኳን COVID ቢሆንም ፣ ኩባንያው ብቅ ይላል እና ይነሳል ብለን ተስፋ እናደርጋለን)።

እኛ የምንሰራው ምርት የድርጅት ሶፍትዌር፣ የ AIOps (ሰው ሰራሽ ኢንተለጀንስ ለአይቲ ኦፕሬሽኖች ወይም ITOps) ክፍል ነው። በኩባንያው ውስጥ የሂደቱ ብስለት ደረጃ ሲጨምር እንደነዚህ ያሉትን ስርዓቶች የመተግበር ዋና ግቦች-

1. እሳትን ያጥፉ: ውድቀቶችን መለየት, የማንቂያዎችን ፍሰት ከቆሻሻ ማጽዳት, ተግባራትን እና ክስተቶችን ተጠያቂ ለሆኑ ሰዎች መመደብ;
2. የ IT አገልግሎትን ውጤታማነት ያሳድጉ: ችግሮችን ለመፍታት ጊዜን ይቀንሱ, የውድቀቶችን መንስኤዎች ያመለክታሉ, የ IT ሁኔታን ግልጽነት ይጨምራል;
3. የንግድ ሥራ ውጤታማነትን ይጨምሩ-የእጅ ጉልበትን መጠን ይቀንሱ, አደጋዎችን ይቀንሱ, የደንበኛ ታማኝነትን ይጨምሩ.

በእኛ ልምድ፣ ባንኮች ከሁሉም ትላልቅ የአይቲ መሠረተ ልማት አውታሮች ጋር አንድ ላይ በመከታተል የሚከተሉት “ሕመሞች” አሏቸው።

• "ማን ያውቃል": ብዙ የቴክኒክ ክፍሎች አሉ, ሁሉም ማለት ይቻላል ቢያንስ አንድ የክትትል ሥርዓት አለው, እና አብዛኞቹ ከአንድ በላይ አላቸው;
• የማንቂያዎች "የትንኝ መንጋ": እያንዳንዱ ስርዓት በመቶዎች የሚቆጠሩ ያመነጫል እና ከእነሱ ጋር ተጠያቂ የሆኑትን ሁሉ (አንዳንድ ጊዜ ደግሞ በዲፓርትመንቶች መካከል) ቦምብ ይጥላል. በእያንዳንዱ ማሳወቂያ ላይ የቁጥጥር ትኩረትን በተከታታይ ማቆየት አስቸጋሪ ነው, በትልቅ ቁጥር ምክንያት አጣዳፊነታቸው እና አስፈላጊነታቸው ደረጃ ላይ ነው.
• ትላልቅ ባንኮች - የሴክተሩ መሪዎች ስርዓቶቻቸውን በተከታታይ መከታተል ብቻ ሳይሆን, ውድቀቶች የት እንዳሉ ለማወቅ, ነገር ግን የ AI እውነተኛ አስማት - ስርዓቶቹ እራሳቸውን እንዲቆጣጠሩ, እንዲተነብዩ እና እራሳቸውን እንዲያስተካክሉ ይፈልጋሉ.

በቲንኮፍ ወደ መጀመሪያው ስብሰባ ስንመጣ ወዲያውኑ በክትትል ላይ ምንም ችግር እንደሌለባቸው እና ምንም የሚጎዳቸው ነገር እንደሌለ ተነግሮናል, እና ዋናው ጥያቄ "ቀድሞውንም ጥሩ እየሰሩ ላሉት ምን እናቀርባለን?"

ውይይቱ ረጅም ነበር፣ ማይክሮ አገልግሎቶቻቸው እንዴት እንደሚገነቡ፣ ዲፓርትመንቶች እንዴት እንደሚሰሩ፣ የትኞቹ የመሠረተ ልማት ችግሮች ይበልጥ ስሜታዊ እንደሆኑ፣ ለተጠቃሚዎች ብዙም ትኩረት የማይሰጡ፣ “ዓይነ ስውራን” የት እንዳሉ እና ግባቸው እና SLAs ምን እንደሆኑ ተወያይተናል።

በነገራችን ላይ የባንኩ SLAs በጣም አስደናቂ ነው. ለምሳሌ፣ ቅድሚያ የሚሰጠው XNUMX የአውታረ መረብ ተገኝነት ችግር ለመፍታት ጥቂት ደቂቃዎችን ብቻ ሊወስድ ይችላል። እዚህ የስህተት ዋጋ እና የእረፍት ጊዜ, በእርግጥ, አስደናቂ ነው.

በውጤቱም ፣ በርካታ የትብብር መስኮችን ለይተናል-

1. የመጀመሪያው ደረጃ የአደጋውን ፍጥነት ለመጨመር የጃንጥላ ክትትል ነው
2. ሁለተኛው ደረጃ አደጋዎችን ለመቀነስ እና የአይቲ ዲፓርትመንትን ለመለካት ወጪዎችን ለመቀነስ የሂደት አውቶማቲክ ነው።

በቀጥታ መለኪያዎችን መውሰድ ስለማይቻል ብዙ “ነጭ ነጠብጣቦች” በማንቂያዎች በደማቅ ቀለም መቀባት የሚቻለው ከበርካታ የክትትል ስርዓቶች የተገኙ መረጃዎችን በማዘጋጀት ብቻ ነው ፣ ምክንያቱም መለኪያዎችን በቀጥታ ለመውሰድ የማይቻል ስለሆነ ፣ እንዲሁም ከተለያዩ የክትትል ስርዓቶች መረጃን ወደ “አንድ ማያ ገጽ” ማማለል አስፈላጊ ነበር ። እየሆነ ያለውን አጠቃላይ ገጽታ ለመረዳት። "ጃንጥላዎች" ለዚህ ተግባር ተስማሚ ናቸው እና እነዚህን መስፈርቶች አሟልተናል.

በጣም አስፈላጊ ነገር, በእኛ አስተያየት, ከደንበኞች ጋር ባለው ግንኙነት ሐቀኝነት ነው. ከመጀመሪያው ውይይት እና የፈቃድ ወጪ ስሌት በኋላ ዋጋው በጣም ዝቅተኛ ስለሆነ ወዲያውኑ ፈቃድ መግዛት ጠቃሚ ሊሆን ይችላል (ከላይ ስለ አረንጓዴ ባንክ ካለው ጽሑፍ ከ Dynatrace Klyuch-Astrom ጋር ሲነፃፀር ፣ የኛ) የፈቃድ ወጪ ከቢሊዮን አንድ ሦስተኛ አይደለም ፣ ግን በወር 12 ሺህ ሩብልስ ለ 1 ጊጋባይት ፣ ለ Sber ብዙ ጊዜ ርካሽ ዋጋ ያስከፍላል)። ግን ወዲያውኑ ያለንን እና የሌለንን ነገርናቸው. ምናልባት ከአንድ ትልቅ ኢንተግራተር የሽያጭ ተወካይ "አዎ, ሁሉንም ነገር ማድረግ እንችላለን, በእርግጥ ፍቃዳችንን ይግዙ" ሊል ይችላል, ነገር ግን ሁሉንም ካርዶቻችንን በጠረጴዛው ላይ ለማስቀመጥ ወሰንን. በሚጀመርበት ጊዜ የእኛ ሳጥን ከፕሮሜቲየስ ጋር ውህደት አልነበረውም እና አዲስ ስሪት ከአውቶሜሽን ንዑስ ስርዓት ጋር ሊለቀቅ ነበር፣ ነገር ግን እስካሁን ለደንበኞች አልላክንም።

የሙከራ ፕሮጀክቱ ተጀምሯል, ድንበሩ ተወስኗል እና 2 ወር ተሰጥቶናል. ዋናዎቹ ተግባራት የሚከተሉት ነበሩ።

• የመድረኩን አዲስ ስሪት ያዘጋጁ እና በባንኩ መሠረተ ልማት ውስጥ ያሰማሩ
• 2 የክትትል ስርዓቶችን (Zabbix እና Prometheus) ያገናኙ;
• በ Slack እና በኤስኤምኤስ ተጠያቂ ለሆኑ ሰዎች ማሳወቂያዎችን መላክ;
• ራስ-ፈውስ ስክሪፕቶችን ያሂዱ.

የሙከራ ፕሮጀክቱ የመጀመሪያ ወር ለሙከራ ፕሮጀክቱ ፍላጎቶች እጅግ በጣም ፈጣን በሆነ ሁኔታ የመድረክን አዲስ ስሪት በማዘጋጀት አሳልፏል። አዲሱ ስሪት ወዲያውኑ ከፕሮሜቲየስ እና ከራስ-ፈውስ ጋር መቀላቀልን ያካትታል። ለልማት ቡድናችን ምስጋና ይግባውና ለብዙ ምሽቶች እንቅልፍ አልወሰዱም, ነገር ግን ቀደም ሲል ለተደረጉት ሌሎች ቁርጠኝነት ቀነ-ገደቦች ሳያመልጡ የገቡትን ቃል አውጥተዋል.

አብራሪውን በማዋቀር ላይ እያለን ከጊዜ ሰሌዳው በፊት ፕሮጄክቱን ሊዘጋ የሚችል አዲስ ችግር አጋጥሞናል፡ ለፈጣን መልእክተኞች እና በኤስኤምኤስ ማንቂያዎችን ለመላክ ከማይክሮሶፍት አዙር ሰርቨሮች ጋር ገቢ እና ወጪ ግንኙነት እንፈልጋለን (በዚያን ጊዜ ይህንን መድረክ እንጠቀም ነበር) ማንቂያዎችን ወደ Slack) እና የውጭ መላኪያ አገልግሎት ኤስኤምኤስ ለመላክ። ነገር ግን በዚህ ፕሮጀክት ውስጥ, ደህንነት ልዩ ትኩረት ነበር. በባንኩ ፖሊሲ መሰረት እንደዚህ ያሉ "ቀዳዳዎች" በማንኛውም ሁኔታ ሊከፈቱ አይችሉም. ሁሉም ነገር ከተዘጋ ዑደት መሥራት ነበረበት። ማንቂያዎችን ወደ Slack እና በኤስኤምኤስ የሚልኩ የራሳችንን የውስጥ አገልግሎቶች ኤፒአይ እንድንጠቀም ቀርቦልናል፣ ነገር ግን እንደዚህ አይነት አገልግሎቶችን ከሳጥኑ ውስጥ ለማገናኘት እድሉ አልነበረንም።

ከልማት ቡድኑ ጋር የተደረገው የክርክር ምሽት በተሳካ ሁኔታ መፍትሄ ፍለጋ ተጠናቋል። የኋላ መዝገቡን ከመረመርን በኋላ በቂ ጊዜ እና ቅድሚያ ያልሰጠን አንድ ተግባር አግኝተናል - የፕላግ ሲስተም በመፍጠር የአተገባበር ቡድኖች ወይም ደንበኛው በራሳቸው ተጨማሪዎችን እንዲጽፉ እና የመድረኩን አቅም ያሰፉ።

ግን በትክክል አንድ ወር ቀረን ፣ በዚህ ጊዜ ሁሉንም ነገር መጫን ፣ አውቶማቲክ ማዋቀር እና ማሰማራት ነበረብን።

የእኛ ዋና አርክቴክት ሰርጌይ እንዳሉት የፕላግ ስርዓቱን ለመተግበር ቢያንስ አንድ ወር ይወስዳል።

ጊዜ አልነበረንም።...

አንድ መፍትሄ ብቻ ነበር - ወደ ደንበኛው ይሂዱ እና ሁሉንም ነገር እንዳለ ይናገሩ. የጊዜ ገደብ ለውጥን አንድ ላይ ተወያዩ። እና ሠርቷል. ተጨማሪ 2 ሳምንታት ተሰጥቶናል። ውጤቱን ለማሳየት የራሳቸው የጊዜ ገደብ እና የውስጥ ግዴታዎች ነበሯቸው ነገር ግን 2 የመጠባበቂያ ሳምንታት ነበራቸው። በመጨረሻም ሁሉንም ነገር በመስመር ላይ እናስቀምጣለን. ማበላሸት የማይቻል ነበር. ታማኝነት እና የአጋርነት አካሄድ እንደገና ፍሬያማ ሆነ።

በአብራሪው ምክንያት በርካታ አስፈላጊ ቴክኒካዊ ውጤቶች እና መደምደሚያዎች ተገኝተዋል-

ማንቂያዎችን ለመስራት አዲሱን ተግባር ሞክረናል።

የተዘረጋው ስርዓት ከፕሮሜቴየስ ማንቂያዎችን በትክክል መቀበል እና እነሱን መቧደን ጀመረ። ከፕሮሜቲየስ ደንበኛ በችግሩ ላይ ማንቂያዎች በየ 30 ሰከንድ ይበሩ ነበር (በጊዜ መመደብ አልነቃም) እና እነሱን በ "ጃንጥላ" ውስጥ መቧደን ይቻል እንደሆነ እያሰብን ነበር። የሚቻል ሆኖ ተገኝቷል - በመድረክ ውስጥ የማንቂያዎችን ሂደት ማቀናበር በስክሪፕት ይተገበራል። ይህ እነሱን ለማስኬድ ማንኛውንም አመክንዮ ተግባራዊ ለማድረግ ያስችላል። በመድረክ ውስጥ መደበኛ ሎጂክን በአብነት መልክ አስቀድመን ተግባራዊ አድርገናል - ከራስዎ የሆነ ነገር ይዘው መምጣት ካልፈለጉ ዝግጁ የሆነን መጠቀም ይችላሉ።

"ሰው ሰራሽ ቀስቅሴ" በይነገጽ። ከተገናኙ የክትትል ስርዓቶች ማንቂያዎችን በማዘጋጀት ላይ

የስርዓቱን "ጤና" ሁኔታ ገንብቷል

በማንቂያዎች ላይ በመመስረት፣ የውቅረት ክፍሎች (CUs) ጤና ላይ ተጽእኖ የሚፈጥሩ የክትትል ክስተቶች ተፈጥረዋል። የሪሶርስ-አገልግሎት ሞዴል (RSM) በመተግበር ላይ ነን፣ እሱም የውስጥ ሲኤምዲቢን ሊጠቀም ወይም ውጫዊውን ማገናኘት ይችላል - በሙከራ ፕሮጀክቱ ወቅት ደንበኛው የራሱን CMDB አላገናኘም።

ከንብረት-አገልግሎት ሞዴል ጋር ለመስራት በይነገጽ. አብራሪ RSM.

ደህና, በእውነቱ, ደንበኛው በመጨረሻ አንድ ነጠላ የክትትል ማያ ገጽ አለው, ከተለያዩ ስርዓቶች የሚመጡ ክስተቶች የሚታዩበት. በአሁኑ ጊዜ ሁለት ስርዓቶች ከ "ጃንጥላ" ጋር ተያይዘዋል - ዛቢቢክስ እና ፕሮሜቴየስ እና የመድረክ ራሱ የውስጥ ቁጥጥር ስርዓት።

የትንታኔ በይነገጽ። ነጠላ የክትትል ማያ ገጽ.

የሂደቱ አውቶማቲክ ተጀምሯል።

ክስተቶችን መከታተል አስቀድሞ የተዋቀሩ ድርጊቶችን አስጀምሯል - ማንቂያዎችን መላክ ፣ ስክሪፕቶችን ማስኬድ ፣ ክስተቶችን መመዝገብ / ማበልጸግ - የኋለኛው ከዚህ የተለየ ደንበኛ ጋር አልተሞከረም ፣ ምክንያቱም በሙከራው ፕሮጀክት ውስጥ ከአገልግሎት ዴስክ ጋር ምንም ውህደት አልነበረም.

የድርጊት ቅንብሮች በይነገጽ። ማንቂያዎችን ወደ Slack ይላኩ እና አገልጋዩን እንደገና ያስነሱ።

የተስፋፋ የምርት ተግባር

ስለ አውቶሜሽን ስክሪፕቶች ሲወያዩ ደንበኛው የ bash ድጋፍ እና እነዚህ ስክሪፕቶች በሚመች ሁኔታ የሚዋቀሩበት በይነገጽ ጠየቀ። አዲሱ ስሪት ትንሽ ተጨማሪ አድርጓል (በሉአ ውስጥ ሙሉ ሎጂካዊ ግንባታዎችን ከ cURL ፣ SSH እና SNMP ድጋፍ ጋር የመፃፍ ችሎታ) እና የስክሪፕቱን የሕይወት ዑደት ለማስተዳደር የሚያስችልዎ ተግባር (መፍጠር ፣ ማረም ፣ የስሪት ቁጥጥር) ። , ሰርዝ እና መዝገብ).

ከራስ-ፈውስ ስክሪፕቶች ጋር ለመስራት በይነገጽ። የአገልጋይ ስክሪፕት በኤስኤስኤች በኩል ዳግም ያስነሳል።

ቁልፍ ግኝቶች

በአብራሪው ወቅት፣ አሁን ያለውን ተግባር የሚያሻሽሉ እና ለደንበኛው እሴት የሚጨምሩ የተጠቃሚ ታሪኮች ተፈጥረዋል፣ ከእነዚህ ውስጥ ጥቂቶቹ እነሆ፡-

• ተለዋዋጮችን በቀጥታ ከማንቂያ ወደ አውቶማቲክ ስክሪፕት የማስተላለፍ ችሎታን መተግበር;
• በአክቲቭ ዳይሬክተሩ በኩል ፍቃድን ወደ መድረክ ያክሉ።

እና ተጨማሪ ዓለም አቀፍ ፈተናዎችን ተቀብለናል - ምርቱን ከሌሎች ችሎታዎች ጋር “መገንባት”

• ከህጎች እና ወኪሎች ይልቅ በኤምኤል ላይ የተመሰረተ የሃብት-አገልግሎት ሞዴል አውቶማቲክ ግንባታ (ምናልባት ዋናው ፈተና አሁን ሊሆን ይችላል);
• ለተጨማሪ ስክሪፕት እና ሎጂክ ቋንቋዎች ድጋፍ (እና ይህ ጃቫ ስክሪፕት ይሆናል)።

በእኔ አስተያየት, በጣም አስፈላጊይህ አብራሪ የሚያሳየው ሁለት ነገሮችን ነው።

1. ከደንበኛው ጋር ያለው አጋርነት የውጤታማነት ቁልፍ ነው, ውጤታማ ግንኙነት በታማኝነት እና ግልጽነት ላይ ሲገነባ, እና ደንበኛው በአጭር ጊዜ ውስጥ ከፍተኛ ውጤቶችን የሚያመጣ ቡድን አካል ይሆናል.
2. በምንም አይነት ሁኔታ "ማበጀት" እና "ክራች" መገንባት አስፈላጊ አይደለም - የስርዓት መፍትሄዎች ብቻ. ትንሽ ተጨማሪ ጊዜ ማሳለፍ ይሻላል, ነገር ግን በሌሎች ደንበኞች ጥቅም ላይ የሚውል የስርዓት መፍትሄ ያዘጋጁ. በነገራችን ላይ ይህ የሆነው ተከስቷል, የፕለጊን ስርዓት እና በ Azure ላይ ያለውን ጥገኝነት ማስወገድ ለሌሎች ደንበኞች ተጨማሪ እሴት ሰጥቷል (ሰላም, የፌዴራል ህግ 152).

ምንጭ: hab.com