Nou te panse sou kreye yon sistèm siveyans nan etap nan fòme ekip pwodwi yo. Li te vin klè ke biznis nou an - eksplwatasyon - pa tonbe nan ekip sa yo. Poukisa se sa?
Reyalite a se ke tout ekip nou yo bati alantou sistèm enfòmasyon endividyèl, mikwosèvis ak devan, kidonk ekip yo pa wè sante an jeneral nan tout sistèm nan kòm yon antye. Pou egzanp, yo ka pa konnen ki jan kèk ti pati nan backend nan gwo twou san fon afekte fen devan an. Dimansyon enterè yo limite a sistèm ak sistèm yo entegre. Si yon ekip ak sèvis A li yo prèske pa gen okenn koneksyon ak sèvis B, Lè sa a, yon sèvis konsa prèske envizib pou ekip la.
Ekip nou an, nan vire, travay ak sistèm ki trè fòtman entegre youn ak lòt: gen anpil koneksyon ant yo, sa a se yon enfrastrikti trè gwo. Ak operasyon an nan magazen an sou entènèt depann sou tout sistèm sa yo (nan ki nou gen, nan chemen an, yon nimewo gwo).
Se konsa, li sanble ke depatman nou an pa fè pati nenpòt ekip, men li sitiye yon ti kras sou bò la. Nan tout istwa sa a, travay nou an se konprann byen ki jan sistèm enfòmasyon yo travay, fonksyonalite yo, entegrasyon yo, lojisyèl, rezo, pyès ki nan konpitè, ak ki jan tout bagay sa yo konekte youn ak lòt.
Platfòm nan kote magazen sou entènèt nou yo opere sanble sa a:
- devan
- biwo mwayen
- tounen biwo
Kèlkeswa kantite nou ta renmen, li pa rive ke tout sistèm travay san pwoblèm ak parfèt. Pwen an, ankò, se kantite sistèm ak entegrasyon - ak yon bagay tankou nou an, kèk ensidan yo inevitab, malgre kalite tès yo. Anplis, tou de nan yon sistèm separe ak an tèm de entegrasyon yo. Epi ou bezwen kontwole eta a nan tout platfòm la konplè, epi li pa sèlman nenpòt pati endividyèl nan li.
Idealman, siveyans sante nan tout platfòm yo ta dwe otomatize. Epi nou te vini nan siveyans kòm yon pati inevitab nan pwosesis sa a. Okòmansman, li te bati sèlman pou pati devan liy lan, pandan ke espesyalis rezo, lojisyèl ak administratè pyès ki nan konpitè te gen epi yo toujou gen pwòp sistèm siveyans kouch pa kouch yo. Tout moun sa yo te swiv siveyans la sèlman nan pwòp nivo yo; pèsonn pa te gen yon konpreyansyon konplè tou.
Pou egzanp, si yon machin vityèl aksidan, nan pifò ka sèlman administratè a responsab pou pyès ki nan konpitè a ak machin vityèl la konnen sou li. Nan ka sa yo, ekip premye liy lan te wè reyalite aksidan aplikasyon an, men li pa t gen done sou aksidan machin vityèl la. Ak administratè a ka konnen ki moun ki kliyan an epi gen yon lide ki graj sou sa ki kounye a ap kouri sou machin vityèl sa a, depi ke li se yon kalite gwo pwojè. Li gen plis chans pa konnen sou ti yo. Nan nenpòt ka, administratè a bezwen ale nan mèt kay la epi mande sa ki te sou machin sa a, sa ki bezwen retabli ak sa ki bezwen chanje. Men, si yon bagay ki vrèman grav te kraze, yo te kòmanse kouri nan ti sèk - paske pa gen moun ki te wè sistèm nan kòm yon antye.
Alafen, istwa diferan sa yo afekte tout entèfas, itilizatè yo ak fonksyon debaz biznis nou an - lavant sou entènèt. Piske nou pa fè pati yon ekip, men nou angaje nan operasyon tout aplikasyon ecommerce kòm yon pati nan yon magazen sou entènèt, nou te pran sou travay la nan kreye yon sistèm siveyans konplè pou platfòm la ecommerce.
Estrikti sistèm ak pile
Nou te kòmanse pa idantifye plizyè kouch siveyans pou sistèm nou yo, nan ki nou ta bezwen kolekte mezi. Ak tout sa a te bezwen konbine, ki se sa nou te fè nan premye etap la. Koulye a, nan etap sa a, nou ap finalize koleksyon an pi bon kalite nan mezi atravè tout kouch nou yo nan lòd yo bati yon korelasyon ak konprann ki jan sistèm yo enfliyanse youn ak lòt.
Mank siveyans konplè nan premye etap yo nan lansman aplikasyon an (depi nou te kòmanse bati li lè pifò nan sistèm yo te nan pwodiksyon) te mennen nan lefèt ke nou te gen siyifikatif dèt teknik yo mete siveyans nan tout platfòm la. Nou pa t 'kapab peye konsantre sou mete siveyans pou yon sèl IS ak travay sou siveyans pou li an detay, paske rès sistèm yo ta rete san siveyans pou kèk tan. Pou rezoud pwoblèm sa a, nou te idantifye yon lis mezi ki pi nesesè pou evalye eta a nan sistèm enfòmasyon an pa kouch epi yo te kòmanse aplike li.
Se poutèt sa, yo deside manje elefan an nan pati.
Sistèm nou an konsiste de:
- pyès ki nan konpitè;
- sistèm operasyon;
- lojisyèl;
- Pati UI nan aplikasyon an siveyans;
- mezi biznis;
- aplikasyon pou entegrasyon;
- sekirite enfòmasyon;
- rezo;
- balanse trafik.
Nan sant la nan sistèm sa a se siveyans tèt li. Pou konprann jeneralman eta tout sistèm nan, ou bezwen konnen sa k ap pase ak aplikasyon sou tout kouch sa yo ak atravè tout seri aplikasyon yo.
Se konsa, sou pil la.
Nou itilize lojisyèl sous louvri. Nan sant la nou gen Zabbix, ki nou itilize prensipalman kòm yon sistèm alerting. Tout moun konnen ke li se ideyal pou siveyans enfrastrikti. Ki sa sa a vle di? Egzakteman mezi sa yo ki ba nivo ke chak konpayi ki kenbe pwòp sant done li yo genyen (ak Sportmaster gen pwòp sant done li yo) - tanperati sèvè, estati memwa, atak, mezi aparèy rezo.
Nou te entegre Zabbix ak Telegram messenger ak Microsoft Teams, ki itilize aktivman nan ekip yo. Zabbix kouvri kouch rezo aktyèl la, pyès ki nan konpitè ak kèk lojisyèl, men se pa yon mirak. Nou anrichi done sa yo nan kèk lòt sèvis. Pou egzanp, nan nivo pyès ki nan konpitè, nou dirèkteman konekte atravè API ak sistèm Virtualization nou an ak kolekte done.
Kisa ankò. Anplis Zabbix, nou itilize Prometheus, ki pèmèt nou kontwole mezi nan yon aplikasyon anviwònman dinamik. Sa vle di, nou ka resevwa mezi aplikasyon atravè yon pwen final HTTP epi nou pa enkyete sou ki mezi yo chaje nan li ak ki pa. Ki baze sou done sa yo, demann analyse yo ka devlope.
Sous done pou lòt kouch, pou egzanp, mezi biznis, yo divize an twa konpozan.
Premyèman, sa yo se sistèm biznis ekstèn, Google Analytics, nou kolekte mezi nan mòso bwa. Nan men yo nou jwenn done sou itilizatè aktif, konvèsyon ak tout lòt bagay ki gen rapò ak biznis la. Dezyèmman, sa a se yon sistèm siveyans UI. Li ta dwe dekri an plis detay.
Yon fwa sou yon tan nou te kòmanse ak tès manyèl epi li te grandi nan tès otomatik nan fonksyonalite ak entegrasyon. Soti nan sa a nou te fè siveyans, kite sèlman fonksyonalite prensipal la, ak konte sou makè ki estab ke posib epi yo pa chanje souvan sou tan.
Nouvo estrikti ekip la vle di ke tout aktivite aplikasyon yo limite nan ekip pwodwi yo, kidonk nou sispann fè tès pi bon kalite. Olye de sa, nou te fè siveyans UI nan tès yo, ekri nan Java, Selenium ak Jenkins (itilize kòm yon sistèm pou lanse ak jenere rapò).
Nou te gen anpil tès, men nan fen nou deside ale nan wout prensipal la, metrik nan nivo siperyè. Men, si nou gen yon anpil nan tès espesifik, li pral difisil kenbe done yo ajou. Chak lage ki vin apre pral siyifikativman kraze tout sistèm nan, ak tout sa nou pral fè se ranje li. Se poutèt sa, nou konsantre sou bagay trè fondamantal ki raman chanje, epi nou sèlman kontwole yo.
Finalman, twazyèmman, sous done a se yon sistèm antre santralize. Nou itilize Elastic Stack pou mòso bwa, ak Lè sa a, nou ka rale done sa yo nan sistèm siveyans nou an pou mezi biznis. Anplis tout bagay sa yo, nou gen pwòp sèvis API Monitoring nou an, ki ekri an Python, ki mande nenpòt sèvis atravè API epi kolekte done nan men yo nan Zabbix.
Yon lòt atribi endispansab nan siveyans se vizyalizasyon. Nou baze sou Grafana. Li vle di soti nan mitan lòt sistèm vizyalizasyon nan ke li pèmèt ou vizyalize mezi ki soti nan diferan sous done sou tablodbò a. Nou ka kolekte mezi siperyè pou yon magazen sou entènèt, pou egzanp, kantite lòd yo mete nan dènye èdtan ki soti nan DBMS la, mezi pèfòmans pou OS kote magazen sou entènèt sa a ap kouri soti nan Zabbix, ak mezi pou egzanp aplikasyon sa a. soti nan Prometheus. Ak tout bagay sa yo pral sou yon sèl tablodbò. Klè ak aksesib.
Kite mon remarke konsernan sekirite – nou pe finalize sa sistenm, ki apre sa nou ava entegre avek sistenm global monitoring. Dapre mwen, pwoblèm prensipal yo ke e-commerce ap fè fas nan domèn sekirite enfòmasyon yo gen rapò ak bots, analizeur ak fòs brital. Nou bezwen veye sou sa, paske tout bagay sa yo ka afekte tou de operasyon aplikasyon nou yo ak repitasyon nou nan yon pwen de vi biznis. Ak pile a chwazi nou avèk siksè kouvri travay sa yo.
Yon lòt pwen enpòtan se ke kouch aplikasyon an reyini pa Prometheus. Li menm tou entegre ak Zabbix. Epi nou gen tou sitespeed, yon sèvis ki pèmèt nou wè paramèt tankou vitès loading paj nou an, blokaj, rann paj, loading scripts, elatriye, li se tou API entegre. Se konsa, mezi nou yo kolekte nan Zabbix, ak kòmsadwa, nou tou alèt soti nan la. Tout alèt yo kounye a voye nan metòd prensipal yo voye (pou kounye a li nan imel ak telegram, MS Teams te tou dènyèman te konekte). Gen plan pou ajou avètisman nan yon eta konsa ke robo entelijan travay kòm yon sèvis epi bay enfòmasyon siveyans bay tout ekip pwodwi ki enterese.
Pou nou, paramèt yo enpòtan non sèlman pou sistèm enfòmasyon endividyèl yo, men tou paramèt jeneral pou tout enfrastrikti aplikasyon yo itilize: grap sèvè fizik sou kote machin vityèl yo kouri, balanse trafik yo, balanse chaj rezo a, rezo a li menm, itilizasyon chanèl kominikasyon yo. . Plis mezi pou sant done pwòp nou yo (nou gen plizyè nan yo ak enfrastrikti a se byen gwo).
Avantaj ki genyen nan sistèm siveyans nou an se ke avèk èd li nou wè eta sante tout sistèm yo epi yo ka evalye enpak yo youn sou lòt ak sou resous pataje. E finalman i permet nou antre dan planifikasyon resours, ki osi nou responsabilite. Nou jere resous sèvè - yon pisin nan e-commerce, komisyone ak dezame nouvo ekipman, achte nouvo ekipman adisyonèl, fè yon odit sou itilizasyon resous, elatriye. Chak ane, ekip yo planifye nouvo pwojè, devlope sistèm yo, e li enpòtan pou nou bay yo resous.
Ak èd nan mezi, nou wè tandans nan konsomasyon resous pa sistèm enfòmasyon nou yo. E baze sou yo nou ka planifye yon bagay. Nan nivo Virtualization, nou kolekte done ak wè enfòmasyon sou kantite resous ki disponib pa sant done. Epi deja andedan sant done a ou ka wè resiklaj la, distribisyon aktyèl la, ak konsomasyon resous yo. Anplis, tou de ak sèvè otonòm ak machin vityèl ak grap nan serveurs fizik sou ki tout machin vityèl sa yo ap vire kouray.
Kandida
Koulye a, nou gen nwayo a nan sistèm nan kòm yon antye pare, men gen toujou yon anpil nan bagay ki toujou bezwen travay sou. Nan yon minimòm, sa a se yon kouch sekirite enfòmasyon, men li enpòtan tou pou rive nan rezo a, devlope alèt ak rezoud pwoblèm nan nan korelasyon. Nou gen anpil kouch ak sistèm, epi sou chak kouch gen anpil plis mezi. Li vire soti nan yon matryoshka nan degre nan yon matryoshka.
Travay nou an se finalman fè bon alèt yo. Pou egzanp, si te gen yon pwoblèm ak pyès ki nan konpitè, ankò, ak yon machin vityèl, e te gen yon aplikasyon enpòtan, ak sèvis la pa te fè bak nan okenn fason. Nou jwenn ke machin vityèl la te mouri. Lè sa a, mezi biznis yo pral avèti ou: itilizatè yo te disparèt yon kote, pa gen okenn konvèsyon, UI a nan koòdone a pa disponib, lojisyèl ak sèvis yo te mouri tou.
Nan sitiyasyon sa a, nou pral resevwa spam nan alèt, epi sa a pa anfòm ankò nan fòma yon sistèm siveyans apwopriye. Kesyon an nan korelasyon rive. Se poutèt sa, depreferans, sistèm siveyans nou an ta dwe di: "Mesye, machin fizik ou a te mouri, ak ansanm ak li aplikasyon sa a ak mezi sa yo," avèk èd nan yon sèl alèt, olye pou yo kòlè bonbade nou ak yon santèn alèt. Li ta dwe rapòte bagay prensipal la - kòz la, ki ede byen vit elimine pwoblèm nan akòz lokalizasyon li yo.
Sistèm notifikasyon nou yo ak pwosesis alèt nou yo bati alantou yon sèvis liy dirèk XNUMX èdtan. Tout alèt ki konsidere kòm yon bagay ki nesesè epi ki enkli nan lis verifikasyon an yo voye la. Chak alèt dwe gen yon deskripsyon: sa ki te pase, sa li vle di aktyèlman, sa li afekte. Epi tou yon lyen nan tablodbò a ak enstriksyon sou sa yo dwe fè nan ka sa a.
Sa a se tout sou kondisyon yo pou bati yon alèt. Lè sa a, sitiyasyon an ka devlope nan de direksyon - swa gen yon pwoblèm ak bezwen yo dwe rezoud, oswa te gen yon echèk nan sistèm nan siveyans. Men, nan nenpòt ka, ou bezwen ale ak kalkile li.
An mwayèn, kounye a nou resevwa apeprè yon santèn alèt chak jou, pran an kont lefèt ke korelasyon alèt yo poko byen konfigirasyon. Men, si nou bezwen fè travay teknik, epi nou lafòs fèmen yon bagay, nimewo yo ogmante anpil.
Anplis siveyans sistèm yo ke nou opere ak kolekte mezi ki konsidere kòm enpòtan sou bò nou an, sistèm siveyans la pèmèt nou kolekte done pou ekip pwodwi yo. Yo ka enfliyanse konpozisyon mezi nan sistèm enfòmasyon nou kontwole yo.
Kolèg nou an ka vin mande pou ajoute kèk metrik ki pral itil ni pou nou ni pou ekip la. Oswa, pou egzanp, ekip la ka pa gen ase nan mezi debaz ke nou genyen; yo bezwen swiv kèk espesifik. Nan Grafana, nou kreye yon espas pou chak ekip epi nou bay dwa admin. Epitou, si yon ekip bezwen tablodbò, men yo menm yo pa kapab / pa konnen ki jan fè li, nou ede yo.
Depi nou deyò koule nan kreyasyon valè ekip la, degaje yo ak planifikasyon, nou piti piti vini nan konklizyon ke degaje nan tout sistèm yo san pwoblèm epi yo ka woule soti chak jou san kowòdinasyon avèk nou. Epi li enpòtan pou nou kontwole degaje sa yo, paske yo kapab afekte operasyon aplikasyon an epi kraze yon bagay, e sa a se yon bagay ki enpòtan. Pou jere lage, nou itilize Banbou, kote nou resevwa done atravè API epi nou ka wè ki lage yo te pibliye nan ki sistèm enfòmasyon ak estati yo. Ak sa ki pi enpòtan an se nan ki lè. Nou sipèpoze makè lage sou mezi prensipal yo kritik, ki se vizyèlman trè indicatif nan ka ta gen pwoblèm.
Nan fason sa a nou ka wè korelasyon ki genyen ant nouvo degaje ak pwoblèm émergentes. Lide prensipal la se konprann ki jan sistèm nan travay nan tout kouch, byen vit lokalize pwoblèm nan epi ranje li menm jan byen vit. Apre yo tout, li souvan rive ke sa ki pran plis tan se pa rezoud pwoblèm nan, men chèche kòz la.
Ak nan zòn sa a nan fiti nou vle konsantre sou proaktivite. Idealman, mwen ta renmen konnen sou yon pwoblèm apwoche davans, epi pa apre reyalite a, pou mwen ka anpeche li olye ke rezoud li. Pafwa fo alam nan sistèm siveyans la rive, tou de akòz erè imen ak akòz chanjman nan aplikasyon an.Epi nou travay sou sa a, debug li, epi eseye avèti itilizatè ki sèvi ak li avèk nou sou sa anvan nenpòt manipilasyon nan sistèm nan siveyans. , oswa fè aktivite sa yo nan fenèt teknik la.
Se konsa, sistèm nan te lanse e li te travay avèk siksè depi kòmansman sezon prentan ... epi li montre pwofi trè reyèl. Natirèlman, sa a se pa vèsyon final li; nou pral prezante anpil plis karakteristik itil. Men, kounye a, ak anpil entegrasyon ak aplikasyon, siveyans automatisation se reyèlman inevitab.
Si ou kontwole tou gwo pwojè ak yon kantite siyifikatif entegrasyon, ekri nan kòmantè yo ki bal an ajan ou te jwenn pou sa a.
Sous: www.habr.com