Мо дар бораи ташкили системаи мониторинг дар марҳилаи ташкили гурӯҳҳои маҳсулот фикр мекардем. Маълум шуд, ки кори мо — истисмор ба ин коллективхо намеафтад. Барои чӣ ин?
Гап дар сари он аст, ки ҳамаи дастаҳои мо дар атрофи системаҳои инфиродии иттилоотӣ, хидматрасониҳои хурд ва фронтҳо сохта шудаанд, аз ин рӯ дастаҳо саломатии умумии тамоми системаро дар маҷмӯъ намебинанд. Масалан, онҳо шояд намедонанд, ки чӣ гуна як қисми хурди қафои чуқур ба охири пеш таъсир мерасонад. Доираи таваҷҷӯҳи онҳо бо системаҳое маҳдуд аст, ки системаи онҳо бо онҳо муттаҳид шудааст. Агар даста ва хидмати он А бо хидмати В қариб ҳеҷ иртиботе надошта бошад, пас чунин хидмат ба даста қариб ноаён аст.
Коллективи мо, дар навбати худ, бо системахое кор мекунад, ки бо хамдигар хеле мустахкам муттахид шудаанд: дар байни онхо алокахои зиёд мавчуданд, ин инфраструктураи хеле калон аст. Ва фаъолияти мағозаи онлайн аз ҳамаи ин системаҳо вобаста аст (дар омади гап, мо шумораи зиёди онҳо дорем).
Пас маълум мешавад, ки шуъбаи мо ба ягон коллектив тааллук надорад, балки андаке дар пахлуи он чойгир аст. Дар тамоми ин ҳикоя вазифаи мо аз он иборат аст, ки ҳамаҷониба фаҳмем, ки системаҳои иттилоотӣ чӣ гуна кор мекунанд, функсияҳо, ҳамгироӣ, нармафзор, шабака, сахтафзор ва чӣ гуна ҳамаи ин бо ҳам пайвастанд.
Платформае, ки дар он мағозаҳои онлайни мо амал мекунанд, чунин менамояд:
- пеш
- идораи миёна
- идораи баргашт
Новобаста аз он ки мо чӣ қадар мехостем, чунин намешавад, ки ҳама системаҳо мураттаб ва бенуксон кор мекунанд. Гап, боз, шумораи системаҳо ва ҳамгироӣ аст - бо чизе монанди мо, сарфи назар аз сифати санҷиш, баъзе ҳодисаҳо ногузиранд. Зиёда аз он, хам дар доираи системаи алохида ва хам аз чихати интегра-цияи онхо. Ва шумо бояд ҳолати тамоми платформаро ҳамаҷониба назорат кунед, на танҳо ягон қисми алоҳидаи он.
Идеалӣ, мониторинги саломатӣ дар саросари платформа бояд автоматӣ карда шавад. Ва мо ба мониторинг ҳамчун як ҷузъи ногузири ин раванд омадем. Дар аввал, он танҳо барои қисми пеш сохта шуда буд, дар ҳоле ки мутахассисони шабака, маъмурони нармафзор ва сахтафзор системаҳои мониторинги қабат ба қабати худро доштанд ва ҳоло ҳам доранд. Ҳамаи ин одамон мониторингро танҳо дар сатҳи худ пайгирӣ мекарданд, касе ҳам фаҳмиши ҳамаҷониба надошт.
Масалан, агар мошини маҷозӣ ба садама дучор шавад, дар аксари мавридҳо танҳо маъмури масъули сахтафзор ва мошини виртуалӣ дар бораи он медонад. Дар ин гуна ҳолатҳо, дастаи фронтӣ худи далели суқути барномаро дид, аммо дар бораи суқути мошини виртуалӣ маълумот надошт. Ва администратор метавонад донад, ки муштарӣ кист ва дар бораи он чизе, ки ҳоло дар ин мошини виртуалӣ кор мекунад, тасаввурот дошта бошад, ба шарте ки он як навъ лоиҳаи калон бошад. Эҳтимол вай дар бораи хурдсолон намедонад. Дар ҳар сурат, администратор бояд ба назди соҳиби он равад ва пурсад, ки дар ин мошин чӣ буд, чиро барқарор кардан лозим аст ва чиро тағир додан лозим аст. Ва агар чизи воқеан ҷиддӣ вайрон шавад, онҳо дар гирду атроф давиданро оғоз карданд - зеро ҳеҷ кас системаро дар маҷмӯъ надид.
Дар ниҳоят, чунин ҳикояҳои ноҳамвор ба тамоми фронт, корбарон ва вазифаи асосии тиҷорати мо - фурӯши онлайн таъсир мерасонанд. Азбаски мо қисми як даста нестем, аммо ба кори ҳама замимаҳои тиҷорати электронӣ ҳамчун як қисми мағозаи онлайн машғулем, мо вазифаи ташкили системаи ҳамаҷонибаи мониторинги платформаи тиҷорати электрониро ба ӯҳда гирифтем.
Сохтори система ва стек
Мо аз муайян кардани якчанд қабатҳои мониторинг барои системаҳои худ оғоз кардем, ки дар дохили онҳо мо бояд метрикаҳоро ҷамъ кунем. Ва хамаи инро якчоя кардан лозим буд, ки мо дар мархалаи аввал ин корро кардем. Ҳоло дар ин марҳила мо ҷамъоварии баландтарини ченакҳоро дар тамоми қабатҳои худ ба анҷом мерасонем, то робита барқарор кунем ва бифаҳмем, ки системаҳо ба ҳамдигар чӣ гуна таъсир мерасонанд.
Набудани мониторинги ҳамаҷониба дар марҳилаҳои ибтидоии оғози барнома (азбаски мо ба сохтани он вақте ки аксари системаҳо дар истеҳсол буданд) ба он оварда расонд, ки мо барои ташкили мониторинги тамоми платформа қарзи зиёди техникӣ доштем. Мо наметавонистем, ки диққати худро ба ташкили мониторинг барои як ДИ ва ба таври муфассал таҳия кардани мониторинги он равона созем, зеро системаҳои боқимонда муддате бе назорат мемонанд. Барои ҳалли ин мушкилот мо рӯйхати меъёрҳои заруриро барои баҳодиҳии ҳолати системаи иттилоотӣ ба қабат муайян кардем ва ба татбиқи он шурӯъ кардем.
Аз ин рӯ, онҳо тасмим гирифтанд, ки филро қисмҳо бихӯранд.
Системаи мо аз инҳо иборат аст:
- сахтафзор;
- низоми амал;
- нармафзор;
- Қисмҳои UI дар барномаи мониторинг;
- нишондиҳандаҳои тиҷоратӣ;
- барномаҳои ҳамгироӣ;
- амнияти иттилоотӣ;
- шабакаҳо;
- тавозуни трафик.
Дар маркази ин система худи назорат аст. Барои умуман фаҳмидани ҳолати тамоми система, шумо бояд бидонед, ки бо замимаҳо дар ҳамаи ин қабатҳо ва дар тамоми маҷмӯи барномаҳо чӣ рӯй дода истодааст.
Пас, дар бораи стек.
Мо нармафзори кушодаасосро истифода мебарем. Дар марказ мо Zabbix дорем, ки мо онро асосан ҳамчун системаи огоҳкунанда истифода мебарем. Ҳама медонанд, ки он барои мониторинги инфрасохтор беҳтарин аст. Ин чӣ маъно дорад? Маҳз ҳамон нишондиҳандаҳои сатҳи пасте, ки ҳар як ширкате, ки маркази додаҳои худро нигоҳ медорад (ва Sportmaster марказҳои додаҳои худро дорад) - ҳарорати сервер, ҳолати хотира, рейд, метрикаи дастгоҳи шабака.
Мо Zabbix-ро бо мессенҷери Telegram ва Microsoft Teams, ки дар гурӯҳҳо фаъолона истифода мешаванд, ҳамгиро кардем. Zabbix қабати шабакаи воқеӣ, сахтафзор ва баъзе нармафзорро фаро мегирад, аммо он панацея нест. Мо ин маълумотро аз баъзе хидматҳои дигар ғанӣ мегардонем. Масалан, дар сатҳи сахтафзор, мо мустақиман тавассути API ба системаи виртуализатсияи худ пайваст мешавем ва маълумот ҷамъ мекунем.
Боз чӣ. Илова ба Zabbix, мо Prometheus-ро истифода мебарем, ки ба мо имкон медиҳад, ки метрикаро дар замимаи муҳити динамикӣ назорат кунем. Яъне, мо метавонем ченакҳои барномаро тавассути нуқтаи ниҳоии HTTP қабул кунем ва хавотир нашавем, ки кадом ченакҳо ба он бор карда мешаванд ва кадоме не. Дар асоси ин маълумот дархостҳои таҳлилиро таҳия кардан мумкин аст.
Манбаъҳои маълумот барои қабатҳои дигар, масалан, метрикаи тиҷоратӣ ба се ҷузъ тақсим мешаванд.
Аввалан, инҳо системаҳои тиҷорати беруна, Google Analytics мебошанд, мо аз гузоришҳо ченакҳоро ҷамъ мекунем. Аз онҳо мо маълумотро дар бораи корбарони фаъол, табдилҳо ва ҳама чизҳои марбут ба тиҷорат мегирем. Дуюм, ин системаи мониторинги UI аст. Он бояд муфассалтар тавсиф карда шавад.
Боре мо бо санҷиши дастӣ оғоз кардем ва он ба санҷишҳои автоматии функсияҳо ва ҳамгироӣ табдил ёфт. Аз ин рӯ, мо танҳо функсияҳои асосиро боқӣ гузошта, мониторингро анҷом додем ва ба маркерҳое такя кардем, ки то ҳадди имкон устуворанд ва бо мурури замон аксар вақт тағир намеёбанд.
Сохтори нави даста маънои онро дорад, ки тамоми фаъолиятҳои барномавӣ ба гурӯҳҳои маҳсулот маҳдуданд, аз ин рӯ мо санҷиши холисро қатъ кардем. Ба ҷои ин, мо мониторинги UI-ро аз санҷишҳо, ки дар Java, Selenium ва Jenkins навишта шудаанд (ҳамчун система барои оғоз ва тавлиди гузоришҳо истифода мешавад) анҷом додем.
Мо озмоишҳои зиёде доштем, аммо дар ниҳоят мо тасмим гирифтем, ки ба роҳи асосӣ, метрикаи сатҳи олӣ биравем. Ва агар мо бисёр санҷишҳои мушаххас дошта бошем, нигоҳ доштани маълумот душвор хоҳад буд. Ҳар як нашри минбаъда тамоми системаро ба таври назаррас вайрон мекунад ва мо танҳо онро ислоҳ мекунем. Аз ин рӯ, мо ба чизҳои хеле бунёдие, ки хеле кам тағир меёбанд, таваҷҷӯҳ кардем ва мо онҳоро танҳо назорат мекунем.
Ниҳоят, сеюм, манбаи маълумот системаи мутамаркази бақайдгирӣ мебошад. Мо Elastic Stack-ро барои гузоришҳо истифода мебарем ва он гоҳ мо метавонем ин маълумотро ба системаи мониторинги худ барои ченакҳои тиҷоратӣ кашем. Илова бар ин, мо хидмати мониторинги API-и худро дорем, ки дар Python навишта шудааст, ки ҳама гуна хидматҳоро тавассути API дархост мекунад ва аз онҳо дар Zabbix маълумот ҷамъ мекунад.
Хусусияти дигари муҳими мониторинг визуализатсия мебошад. Мо ба Графана асос ёфтааст. Он дар байни дигар системаҳои визуализатсия фарқ мекунад, ки он ба шумо имкон медиҳад ченакҳоро аз манбаъҳои гуногуни маълумот дар панели идоракунӣ тасаввур кунед. Мо метавонем ченакҳои сатҳи болоро барои як мағозаи онлайн ҷамъоварӣ кунем, масалан, шумораи фармоишҳо дар як соати охир аз DBMS, ченакҳои иҷрои OS, ки ин мағозаи онлайн аз Zabbix кор мекунад ва ченакҳо барои мисолҳои ин барнома аз Прометей. Ва ҳамаи ин дар як панели идоракунӣ хоҳад буд. Равшан ва дастрас.
Иҷозат диҳед дар бораи амният қайд намоям - мо ҳоло системаро ба анҷом мерасонем, ки баъдтар онро бо системаи ҷаҳонии мониторинг ҳамгиро хоҳем кард. Ба андешаи ман, мушкилоти асосие, ки тиҷорати электронӣ дар соҳаи амнияти иттилоотӣ дучор мешавад, бо ботҳо, таҳлилгарон ва қувваи бераҳмона алоқаманд аст. Мо бояд инро бодиққат нигоҳ дорем, зеро ҳамаи ин метавонад ҳам ба кори барномаҳои мо ва ҳам ба эътибори мо аз нуқтаи назари тиҷорат таъсири манфӣ расонад. Ва бо стек интихобшуда мо ин вазифаҳоро бомуваффақият иҷро мекунем.
Нуктаи дигари муҳим ин аст, ки қабати барномавӣ аз ҷониби Prometheus ҷамъ карда мешавад. Худи ӯ низ бо Zabbix муттаҳид шудааст. Ва мо инчунин sitespeed дорем, хидмате, ки ба мо имкон медиҳад, ки параметрҳоро аз қабили суръати боркунии саҳифаи мо, монеаҳо, намоиши саҳифа, боркунии скриптҳо ва ғайра бинем, он инчунин API ҳамгиро шудааст. Ҳамин тавр, ченакҳои мо дар Zabbix ҷамъ карда мешаванд ва мувофиқан мо низ аз он ҷо ҳушдор медиҳем. Ҳама огоҳиҳо дар айни замон ба усулҳои асосии ирсол фиристода мешаванд (ҳоло ин почтаи электронӣ ва телеграмма аст, MS Teams низ ба наздикӣ пайваст шудааст). Нақшаи такмил додани огоҳӣ ба чунин ҳолате вуҷуд дорад, ки ботҳои интеллектуалӣ ҳамчун хидмат кор мекунанд ва иттилооти мониторингро ба ҳама гурӯҳҳои манфиатдори маҳсулот пешниҳод мекунанд.
Барои мо ченакҳо на танҳо барои системаҳои иттилоотии инфиродӣ, балки ченакҳои умумӣ барои тамоми инфрасохторе, ки барномаҳо истифода мебаранд, муҳиманд: кластерҳои серверҳои физикӣ, ки дар онҳо мошинҳои виртуалӣ кор мекунанд, тавозуни трафик, баланси сарбории шабакавӣ, худи шабака, истифодаи каналҳои алоқа. . Плюс метрика барои марказҳои додаҳои шахсии мо (мо якчандтои онҳоро дорем ва инфрасохтор хеле калон аст).
Бартарии системаи мониторинги мо дар он аст, ки бо ёрии он мо вазъи саломатии ҳамаи системаҳоро мебинем ва метавонем таъсири онҳоро ба ҳамдигар ва захираҳои муштарак арзёбӣ кунем. Ва дар ниҳоят, он ба мо имкон медиҳад, ки бо банақшагирии захираҳо машғул шавем, ки ин масъулияти мо низ мебошад. Мо захираҳои серверро идора мекунем - ҳавз дар дохили тиҷорати электронӣ, таҷҳизоти навро ба кор меандозем ва аз кор мебарорем, таҷҳизоти нави иловагӣ мехарем, аудити истифодаи захираҳоро мегузаронем ва ғайра. Хар сол коллективхо лоихахои навро ба накша мегиранд, системахои худро тартиб медиханд ва бо захирахо таъмин кардани онхо барои мо мухим аст.
Ва бо ёрии метрика мо тамоюли истеъмоли захираҳоро аз ҷониби системаҳои иттилоотии худ мебинем. Ва дар асоси онҳо мо метавонем чизеро ба нақша гирем. Дар сатҳи виртуализатсия мо маълумот ҷамъ меорем ва маълумотро дар бораи миқдори мавҷудаи захираҳо аз ҷониби маркази додаҳо мебинем. Ва аллакай дар дохили маркази додаҳо шумо метавонед коркард, тақсимоти воқеӣ ва истеъмоли захираҳоро бубинед. Ғайр аз он, ҳам бо серверҳои мустақил ва ҳам мошинҳои виртуалӣ ва кластерҳои серверҳои физикӣ, ки дар онҳо ҳамаи ин мошинҳои виртуалӣ бо шиддат чарх мезананд.
Натиҷаҳо
Холо мо ядрои системаро умуман тайёр дорем, вале хануз бисьёр чизхое хастанд, ки дар болои онхо хануз кор кардан лозим меояд. Ҳадди ақал, ин як қабати амнияти иттилоотӣ аст, аммо барои расидан ба шабака, таҳияи огоҳӣ ва ҳалли масъалаи коррелятсия низ муҳим аст. Мо қабатҳо ва системаҳои зиёд дорем ва дар ҳар як қабат ченакҳои зиёд мавҷуданд. Маълум мешавад, ки матрешка ба дараҷаи матрешка будааст.
Вазифаи мо ин аст, ки дар ниҳоят огоҳиҳои дурустро эҷод кунем. Масалан, агар мушкилот бо сахтафзор вуҷуд дошта бошад, боз бо мошини виртуалӣ ва як барномаи муҳим вуҷуд дошт ва хидмат ба ҳеҷ ваҷҳ нусхабардорӣ карда нашудааст. Мо мефаҳмем, ки мошини виртуалӣ мурдааст. Он гоҳ ченакҳои тиҷоратӣ шуморо огоҳ мекунанд: корбарон дар ҷое нопадид шудаанд, табдил нест, UI дар интерфейс дастнорас аст, нармафзор ва хидматҳо низ мурданд.
Дар ин вазъият, мо аз огоҳиҳо спам мегирем ва ин дигар ба формати системаи дурусти мониторинг мувофиқат намекунад. Саволи таносуб ба миён меояд. Аз ин рӯ, идеалӣ, системаи мониторинги мо бояд бигӯяд: "Бачаҳо, мошини физикии шумо мурд ва дар баробари он ин барнома ва ин ченакҳо" бо ёрии як огоҳӣ, ба ҷои он ки моро бо сад ҳушдор шадидан бомбаборон кунад. Он бояд чизи асосиро гузориш диҳад - сабаб, ки ба зудӣ бартараф кардани мушкилот бо сабаби маҳаллисозии он кӯмак мекунад.
Системаи огоҳинома ва коркарди огоҳии мо дар атрофи хидмати XNUMX-соатаи боварӣ сохта шудааст. Ҳама огоҳиҳое, ки ҳатмӣ ҳисобида мешаванд ва ба рӯйхати санҷиш дохил карда шудаанд, ба он ҷо фиристода мешаванд. Ҳар як огоҳӣ бояд тавсиф дошта бошад: чӣ рӯй дод, он чӣ маъно дорад, чӣ таъсир мерасонад. Ва инчунин истинод ба панели идоракунӣ ва дастурҳо дар бораи чӣ кор кардан дар ин ҳолат.
Ин ҳама дар бораи талабот барои сохтани огоҳӣ аст. Он гох вазъият метавонад дар ду самт инкишоф ёбад - ё мушкилот вуҷуд дорад ва бояд ҳал шавад, ё дар системаи мониторинг нокомӣ ба амал омадааст. Аммо дар ҳар сурат, шумо бояд рафта, онро муайян кунед.
Ба ҳисоби миёна, мо ҳоло дар як рӯз тақрибан сад огоҳӣ мегирем, бо назардошти он, ки таносуби огоҳиҳо ҳанӯз дуруст танзим карда нашудааст. Ва агар ба мо лозим ояд, ки корҳои техникӣ анҷом диҳем ва мо чизеро маҷбуран хомӯш кунем, шумораи онҳо хеле зиёд мешавад.
Илова ба мониторинги системаҳое, ки мо кор мекунем ва ҷамъоварии ченакҳое, ки аз ҷониби мо муҳим ҳисобида мешаванд, системаи мониторинг ба мо имкон медиҳад, ки маълумотро барои гурӯҳҳои маҳсулот ҷамъоварӣ кунем. Онҳо метавонанд ба таркиби ченакҳо дар дохили системаҳои иттилоотие, ки мо назорат мекунем, таъсир расонанд.
Мумкин аст ҳамкасбони мо биёяд ва хоҳиш кунад, ки чанд ченак илова кунад, ки ҳам барои мо ва ҳам барои даста муфид бошад. Ё, масалан, даста метавонад аз ченакҳои асосие, ки мо дорем, кофӣ набошад; онҳо бояд баъзеи мушаххасро пайгирӣ кунанд. Дар Grafana, мо барои ҳар як даста фазо эҷод мекунем ва ҳуқуқи администраторро медиҳем. Инчунин, агар даста ба панели идоракунӣ ниёз дошта бошад, аммо онҳо худашон ин корро карда наметавонанд/ намедонанд, мо ба онҳо кӯмак мекунем.
Азбаски мо аз ҷараёни эҷоди арзишҳои даста, нашрҳо ва банақшагирии онҳо берун ҳастем, мо тадриҷан ба хулосае меоем, ки релизҳои ҳама системаҳо бефосилаанд ва метавонанд ҳамарӯза бидуни ҳамоҳангӣ бо мо паҳн карда шаванд. Ва барои мо муҳим аст, ки ин релизҳоро назорат кунем, зеро онҳо метавонанд ба кори барнома таъсир расонанд ва чизеро вайрон кунанд ва ин муҳим аст. Барои идоракунии релизҳо, мо Bamboo-ро истифода мебарем, ки аз он ҷо мо тавассути API маълумот мегирем ва метавонем бубинем, ки кадом релизҳо дар кадом системаҳои иттилоотӣ ва ҳолати онҳо интишор шудаанд. Ва аз ҳама муҳимаш дар кадом вақт аст. Мо маркерҳои релизро ба ченакҳои асосии интиқодӣ мегузорем, ки дар ҳолати мушкилот хеле визуалӣ нишон медиҳанд.
Бо ин роҳ мо метавонем таносуби байни релизҳои нав ва мушкилоти пайдошавандаро бубинем. Идеяи асосӣ фаҳмидани он аст, ки чӣ тавр система дар ҳама қабатҳо кор мекунад, мушкилотро зуд ҷойгир кунед ва онро зудтар ислоҳ кунед. Баъд аз ҳама, аксар вақт рӯй медиҳад, ки он чизе, ки вақти бештарро талаб мекунад, на ҳалли мушкилот, балки ҷустуҷӯи сабаб аст.
Ва дар ин самт дар оянда мо мехоҳем ба ташаббускорӣ таваҷҷӯҳ кунем. Идеалӣ, ман мехостам дар бораи мушкилоти наздикшуда пешакӣ огоҳ шавам, на баъд аз он, то ки ман онро пешгирӣ кунам, на онро ҳал кунам. Баъзан ҳушдорҳои бардурӯғи системаи мониторинг ҳам бо хатогиҳои инсонӣ ва ҳам аз сабаби тағир додани барнома ба амал меоянд.Ва мо дар ин бора кор мекунем, онро ислоҳ мекунем ва кӯшиш мекунем, ки корбаронеро, ки бо мо истифода мебаранд, пеш аз ҳама гуна таҳрики системаи мониторинг дар ин бора огоҳ созем. , ё ин фаъолиятҳоро дар равзанаи техникӣ иҷро кунед.
Инак, система ба кор даромад ва аз аввали бахор бомуваффакият кор мекунад... фоидаи хеле реалй нишон медихад. Албатта, ин версияи ниҳоии он нест; мо бисёр хусусиятҳои муфиди дигарро ҷорӣ хоҳем кард. Аммо дар айни замон, бо ин қадар ҳамгироӣ ва барномаҳо, автоматизатсияи мониторинг воқеан ногузир аст.
Агар шумо инчунин лоиҳаҳои калонро бо шумораи зиёди интегратсияҳо назорат кунед, дар шарҳҳо нависед, ки кадом тири нуқраро барои ин пайдо кардед.
Манбаъ: will.com