Kodi kuwunika kwafa? - Kuwunika kwanthawi yayitali

Kuyambira 2008, kampani yathu yakhala ikugwira ntchito yoyang'anira zomangamanga komanso chithandizo chanthawi zonse pama projekiti apa intaneti: tili ndi makasitomala opitilira 400, omwe ndi pafupifupi 15% yazamalonda aku Russia. Chifukwa chake, zomanga zosiyanasiyana zimathandizidwa. Ngati china chake chagwa, timakakamizika kukonza mkati mwa mphindi 15. Koma kuti mumvetse kuti ngozi yachitika, muyenera kuyang'anitsitsa polojekitiyo ndikuyankha zochitikazo. Kodi kuchita zimenezi?

Ndikukhulupirira kuti pali vuto pakukonza dongosolo loyang'anira bwino. Zikadapanda kukhala zovuta, ndiye kuti zolankhula zanga zikadakhala ndi lingaliro limodzi: "Chonde ikani Prometheus + Grafana ndi mapulagini 1, 2, 3." Tsoka ilo, sizikugwiranso ntchito mwanjira imeneyo. Ndipo vuto lalikulu ndiloti aliyense akupitirizabe kukhulupirira chinachake chomwe chinalipo mu 2008, ponena za zigawo za mapulogalamu.

Pankhani ya kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe ka kayendetsedwe kake kulibe. Ndipo zinthu ndizovuta kwambiri kotero kuti ngati chinachake chigwa, pali chiopsezo kuti sichidzadziwika - pambuyo pake, aliyense ali wotsimikiza kuti "zonse zikuyang'aniridwa."
Mwina zonse zikuyang'aniridwa. Koma bwanji?

Tonse takumana ndi nkhani ngati iyi: ma devops ena, woyang'anira wina akugwira ntchito, gulu lachitukuko limabwera kwa iwo ndikuti - "tamasulidwa, tsopano fufuzani." Kuyang'anira chiyani? Zimagwira ntchito bwanji?

CHABWINO. Timayang'anira njira yachikale. Ndipo zikusintha kale, ndipo zikuwoneka kuti munayang'anira ntchito A, yomwe idakhala ntchito B, yomwe imagwirizana ndi utumiki C. Koma gulu lachitukuko likukuuzani kuti: "Ikani pulogalamuyo, iyenera kuyang'anira chirichonse!"

Ndiye nchiyani chasintha? - Zonse zasintha!

2008 Zonse zili bwino

Pali opanga angapo, seva imodzi, seva imodzi ya database. Zonse zimachokera apa. Tili ndi chidziwitso, timayika zabbix, Nagios, cacti. Kenako timayika zidziwitso zomveka bwino pa CPU, pa disk disk, ndi pa disk space. Timafufuzanso pamanja kangapo kuti tiwonetsetse kuti tsambalo layankhidwa komanso kuti maoda akufika munkhokwe. Ndipo ndizo - ndife otetezedwa mochulukirapo kapena pang'ono.

Tikayerekeza kuchuluka kwa ntchito yomwe woyang'anira adachita ndiye kuti apereke kuyang'anira, ndiye kuti 98% yake idangochitika zokha: munthu yemwe amayang'anira ayenera kumvetsetsa momwe angayikitsire Zabbix, momwe angakhazikitsire ndikusintha zidziwitso. Ndipo 2% - kwa macheke akunja: kuti malowa amayankha ndikupanga pempho ku database, kuti malamulo atsopano afika.

2010 Katundu akukula

Tikuyamba kukulitsa intaneti, ndikuwonjezera makina osakira. Tikufuna kuwonetsetsa kuti mndandanda wazogulitsa uli ndi zinthu zonse. Ndipo kufufuza kwazinthu kumeneko kumagwira ntchito. Kuti nkhokwe ikugwira ntchito, kuti malamulo akupangidwa, kuti malowa amayankha kunja ndikuyankha kuchokera ku ma seva awiri ndipo wogwiritsa ntchito samachotsedwa pa malo pamene akusinthidwanso ku seva ina, ndi zina zotero. Pali mabungwe ambiri.

Kuphatikiza apo, bungwe logwirizana ndi zomangamanga likadali lalikulu kwambiri pamutu wa manejala. M'mutu mwanga muli lingaliro loti munthu amene akuchita zowunikira ndi amene adzayike zabbix ndikutha kuyikonza.

Koma panthawi imodzimodziyo, ntchito ikuwoneka pakuchita macheke akunja, pakupanga mndandanda wa zolemba zamafunso osaka, seti ya zolemba kuti muwone ngati kusaka kukusintha panthawi ya indexing, seti ya zolemba zomwe zimayang'ana kuti katundu amasamutsidwa ku ntchito yobweretsera, etc. ndi zina zotero.

Zindikirani: Ndinalemba "zolemba" maulendo atatu. Ndiko kuti, munthu amene ali ndi udindo woyang'anira salinso amene amangoyika zabbix. Uyu ndi munthu amene amayamba kukopera. Koma palibe chomwe chasintha m'malingaliro a timuyi.

Koma dziko likusintha, kukhala lovuta kwambiri. Chigawo cha virtualization ndi machitidwe atsopano angapo akuwonjezeredwa. Amayamba kuyanjana wina ndi mzake. Ndani ananena "kununkhira ngati microservices?" Koma ntchito iliyonse ikuwonekabe ngati tsamba lililonse payekha. Titha kutembenukira kwa iyo ndikumvetsetsa kuti imapereka chidziwitso chofunikira ndipo imagwira ntchito yokha. Ndipo ngati ndinu woyang'anira nthawi zonse pulojekiti yomwe yakhala ikukula kwa zaka 5-7-10, chidziwitsochi chimachulukana: mulingo watsopano ukuwoneka - mwazindikira, mulingo wina umawonekera - mudazindikira ...

Koma kawirikawiri palibe amene amatsagana ndi polojekiti kwa zaka 10.

Kuyambiranso kwa Monitoringman

Tiyerekeze kuti mwabwera poyambira pomwe adalemba ganyu omanga 20, adalemba ma microservices 15, ndipo ndinu woyang'anira yemwe akuuzidwa kuti: "Pangani CI/CD. Chonde." Mwapanga CI / CD ndipo mwadzidzidzi mumamva kuti: "Zimakhala zovuta kuti tigwire ntchito ndi kupanga mu "cube", osamvetsetsa momwe ntchitoyo idzagwirira ntchito mmenemo. Tipangireni bokosi la mchenga mu "cube" yomweyo.
Mumapanga bokosi la mchenga mu cube iyi. Nthawi yomweyo amakuwuzani kuti: "Tikufuna nkhokwe yomwe imasinthidwa tsiku lililonse kuchokera pakupanga, kuti timvetsetse kuti imagwira ntchito pazosungidwa, koma nthawi yomweyo osawononga nkhokwe zopangira."

Inu mukukhala mu zonsezi. Kwatsala masabata a 2 asanatulutsidwe, amakuuzani kuti: "Tsopano tiyeni tiyang'ane zonsezi ..." Ndiko kuti. kuyang'anira zomangamanga zamagulu, kuyang'anira kamangidwe ka microservice, kuyang'anira ntchito ndi ntchito zakunja ...

Ndipo anzanga amachotsa chiwembu m'mutu mwawo ndikunena kuti: "Chabwino, zonse zamveka apa! Ikani pulogalamu yomwe imayang'anira zonsezi. ” Inde, inde: Prometheus + Grafana + mapulagini.
Ndipo akuwonjezera kuti: "Muli ndi milungu iwiri, onetsetsani kuti zonse zili zotetezeka."

Mu ntchito zambiri zomwe tikuziwona, munthu m'modzi amaperekedwa kuti aziwunika. Tiyerekeze kuti tikufuna kulemba ganyu munthu kuchita polojekiti kwa 2 milungu, ndipo ife kulemba pitilizani kwa iye. Kodi munthu ameneyu ayenera kukhala ndi luso lanji, malinga ndi zonse zomwe tanena mpaka pano?

• Ayenera kumvetsetsa kuwunika ndi kutsimikizika kwa magwiridwe antchito achitsulo.
• Ayenera kumvetsetsa zenizeni zowunikira Kubernetes (ndipo aliyense akufuna kupita ku "cube", chifukwa mutha kubisa chilichonse, kubisala, chifukwa olamulira athana ndi zina zonse) - palokha, zomangamanga zake, ndikumvetsetsa momwe mungayang'anire ntchito. mkati.
• Ayenera kumvetsetsa kuti mautumiki amalumikizana wina ndi mnzake m'njira zapadera, komanso kudziwa zenizeni za momwe mautumiki amagwirira ntchito. Ndizotheka kuwona polojekiti yomwe mautumiki ena amalumikizana molumikizana, chifukwa palibe njira ina. Mwachitsanzo, backend imadutsa REST, kudzera pa gRPC kupita ku catalogue, imalandira mndandanda wazogulitsa ndikuzibwezeranso. Simungadikire pano. Ndipo ndi mautumiki ena zimagwira ntchito mofanana. Tumizani dongosolo ku ntchito yobweretsera, tumizani kalata, ndi zina.
  Mwinamwake mwasambira kale kuchokera ku zonsezi? Ndipo admin yemwe akuyenera kuwunika izi adasokonezeka kwambiri.
• Ayenera kukhala wokhoza kukonzekera ndi kukonzekera bwino - pamene ntchito ikuchulukirachulukira.
• Choncho ayenera kupanga njira kuchokera ku ntchito yopangidwa kuti amvetse momwe angayang'anire mwachindunji. Ayenera kumvetsetsa kamangidwe ka polojekitiyo komanso kakulidwe kake + kamvekedwe kaukadaulo wogwiritsidwa ntchito popanga.

Tiyeni tikumbukire nkhani yabwinobwino: mautumiki ena ali mu PHP, mautumiki ena ali mu Go, ntchito zina zili mu JS. Iwo mwanjira ina amagwira ntchito wina ndi mzake. Apa ndipamene mawu oti "microservice" amachokera: pali machitidwe ambiri omwe omangamanga sangathe kumvetsa polojekiti yonse. Gawo limodzi la gululo limalemba mautumiki ku JS omwe amagwira ntchito okha ndipo samadziwa momwe dongosolo lonse limagwirira ntchito. Gawo lina limalemba ntchito ku Python ndipo silimasokoneza momwe ntchito zina zimagwirira ntchito; iwo amakhala kwaokha m'dera lawo. Chachitatu ndikulemba ntchito mu PHP kapena china.
Anthu 20 onsewa agawidwa m'magulu khumi ndi asanu, ndipo pali admin m'modzi yekha amene ayenera kumvetsetsa zonsezi. Imani! tangogawaniza dongosolo kukhala ma microservices 15 chifukwa anthu 15 sangamvetse dongosolo lonse.

Koma ziyenera kuyang'aniridwa mwanjira ina ...

Chotsatira chake nchiyani? Zotsatira zake, pali munthu m'modzi yemwe amabwera ndi zonse zomwe gulu lonse la omanga silingamvetse, ndipo nthawi yomweyo ayenera kudziwa ndikutha kuchita zomwe tawonetsa pamwambapa - zomangamanga za hardware, Kubernetes zomangamanga, ndi zina zotero.

Kodi ndinganene chiyani ... Houston, tili ndi mavuto.

Kuyang'anira pulojekiti yamakono yamakono ndi pulogalamu ya pulogalamu yokha

Kuchokera ku chikhulupiliro chabodza chakuti kuyang'anira ndi mapulogalamu, timakulitsa chikhulupiriro mu zozizwitsa. Koma zozizwitsa, tsoka, sizichitika. Simungathe kukhazikitsa zabbix ndikuyembekezera kuti zonse zigwire ntchito. Palibe chifukwa choyika Grafana ndikuyembekeza kuti zonse zikhala bwino. Nthawi zambiri zidzagwiritsidwa ntchito pokonza macheke a momwe ntchito zikuyendera komanso kuyanjana kwawo wina ndi mnzake, kuyang'ana momwe machitidwe akunja amagwirira ntchito. M'malo mwake, 90% ya nthawiyo idzagwiritsidwa ntchito osati polemba zolemba, koma kupanga mapulogalamu. Ndipo iyenera kusamaliridwa ndi gulu lomwe limamvetsetsa ntchito ya polojekitiyo.
Ngati pazimenezi munthu mmodzi ataponyedwa m'kuwunika, ndiye kuti tsoka lichitika. Zomwe zimachitika paliponse.

Mwachitsanzo, pali mautumiki angapo omwe amalumikizana wina ndi mzake kudzera ku Kafka. Lamulo lidafika, tidatumiza uthenga ku Kafka. Pali ntchito yomwe imamvetsera zambiri za dongosolo ndi kutumiza katunduyo. Pali ntchito yomwe imamvetsera zambiri za dongosololi ndikutumiza kalata kwa wogwiritsa ntchito. Ndiyeno mautumiki ambiri amawonekera, ndipo timayamba kusokonezeka.

Ndipo ngati muperekanso izi kwa olamulira ndi omanga pa siteji pamene patsala nthawi yochepa kuti atulutsidwe, munthuyo adzafunika kumvetsetsa ndondomeko yonseyi. Iwo. Pulojekiti ya sikeloyi imatenga nthawi yochuluka, ndipo izi ziyenera kuganiziridwa pakukula kwadongosolo.
Koma nthawi zambiri, makamaka poyambira, timawona momwe kuwunikira kumayimitsidwa mpaka mtsogolo. "Tsopano tipanga Umboni wa Lingaliro, tiyambitsa nawo, tisiye - takonzeka kupereka nsembe. Kenako tiziyang'anira zonse." Pamene (kapena ngati) polojekiti iyamba kupanga ndalama, bizinesi ikufuna kuwonjezera zina - chifukwa yayamba kugwira ntchito, choncho iyenera kupitilira! Ndipo muli pamalo pomwe muyenera kuyang'anira zonse zam'mbuyomu, zomwe sizitenga 1% ya nthawiyo, koma zina zambiri. Ndipo mwa njira, opanga adzafunika kuwunikira, ndipo ndizosavuta kuwalola kuti agwire ntchito zatsopano. Zotsatira zake, zatsopano zimalembedwa, zonse zimasokonekera, ndipo muli pachiwopsezo chosatha.

Ndiye momwe mungayang'anire polojekiti kuyambira pachiyambi, ndi choti muchite ngati mutapeza polojekiti yomwe ikuyenera kuyang'aniridwa, koma simukudziwa kuti mungayambe kuti?

Choyamba, muyenera kukonzekera.

Kuchepa kwanyimbo: nthawi zambiri amayamba ndi kuwunika kwa zomangamanga. Mwachitsanzo, tili ndi Kubernetes. Tiyeni tiyambe ndikuyika Prometheus ndi Grafana, ndikuyika mapulagini owunikira "kyubu". Osati omanga okha, komanso olamulira ali ndi chizolowezi chomvetsa chisoni: "Tikhazikitsa pulogalamu yowonjezera iyi, koma pulogalamu yowonjezerayo mwina ikudziwa momwe angachitire." Anthu amakonda kuyamba ndi zosavuta komanso zolunjika, osati ndi zochita zofunika. Ndipo kuyang'anira zomangamanga ndikosavuta.

Choyamba, sankhani zomwe mukufuna kuyang'anira ndi momwe mungayang'anire, kenako sankhani chida, chifukwa anthu ena sangakuganizireni. Ndipo ayenera? Anthu ena anadziganizira okha, za dongosolo la chilengedwe chonse - kapena sanaganize konse pamene pulogalamu yowonjezerayi inalembedwa. Ndipo chifukwa pulogalamu yowonjezera ili ndi 5 zikwi owerenga sizikutanthauza kuti ntchito iliyonse. Mwina mudzakhala 5001st chifukwa panali anthu 5000 kale.

Mukayamba kuyang'anira zomangamanga ndikumbuyo kwa pulogalamu yanu kusiya kuyankha, ogwiritsa ntchito onse amasiya kulumikizana ndi pulogalamu yam'manja. Vuto lidzawoneka. Adzabwera kwa inu ndikunena kuti "Kufunsira sikukugwira ntchito, mukuchita chiyani kuno?" - "Tikuyang'anira." - "Mumawunika bwanji ngati simukuwona kuti pulogalamuyo sikugwira ntchito?!"

1. Ndikukhulupirira kuti muyenera kuyamba kuyang'anira ndendende kuchokera pomwe wogwiritsa ntchito amalowa. Ngati wogwiritsa ntchito sakuwona kuti pulogalamuyo ikugwira ntchito, ndiye kuti, ndikulephera. Ndipo oyang'anira ayenera kuchenjeza za izi poyamba.
2. Ndipo pokhapo tingathe kuyang'anira zomangamanga. Kapena chitani mogwirizana. Ndizosavuta ndi zomangamanga - apa titha kungoyika zabbix.
3. Ndipo tsopano muyenera kupita ku mizu ya ntchito kuti mumvetse kumene zinthu sizikuyenda.

Lingaliro langa lalikulu ndiloti kuyang'anira kuyenera kuyendera limodzi ndi chitukuko. Ngati musokoneza gulu loyang'anira ntchito zina (kupanga CI/CD, sandboxing, kukonzanso zomangamanga), kuyang'anira kudzayamba kuchepa ndipo simungathe kupeza chitukuko (kapena posakhalitsa mudzazimitsa).

Chilichonse ndi milingo

Umu ndi momwe ndimawonera kukhazikitsidwa kwa njira yowunikira.

1) Mulingo wogwiritsa ntchito:

• kuyang'anira ndondomeko ya bizinesi yogwiritsira ntchito;
• kuyan'anila mayendedwe azaumoyo;
• kuwunika kophatikiza.

2) Mulingo wa zomangamanga:

• kuyang'anira mlingo wa orchestration;
• kuwunika kwa pulogalamu yamapulogalamu;
• kuwunika kwachitsulo.

3) Apanso mulingo wogwiritsa ntchito - koma ngati chinthu chauinjiniya:

• kusonkhanitsa ndi kuyang'anira zipika za ntchito;
• APM;
• kutsatira.

4) Chidziwitso:

• kulinganiza dongosolo lochenjeza;
• dongosolo la ntchito;
• bungwe la "chidziwitso" ndi kayendedwe ka ntchito pokonza zochitika.

chofunika: timakhala tcheru osati pambuyo, koma nthawi yomweyo! Palibe chifukwa choyambitsa kuyang'anira ndi "mwanjira ina" dziwani omwe adzalandira zidziwitso. Kupatula apo, ntchito yowunikira ndi yotani: kumvetsetsa komwe kuli kolakwika mu dongosolo, ndikudziwitsa anthu oyenera za izo. Ngati mutasiya izi mpaka mapeto, ndiye kuti anthu abwino adzadziwa kuti chinachake sichikuyenda bwino potchula kuti "palibe chomwe chikutithandiza."

Chigawo cha Ntchito - Kuwunika kwa Bizinesi Logic

Apa tikukamba za kuyang'ana kuti pulogalamuyi imagwira ntchito kwa wogwiritsa ntchito.

Mulingo uwu uyenera kuchitika panthawi yachitukuko. Mwachitsanzo, tili ndi Prometheus yokhazikika: imapita ku seva yomwe imayang'ana, imakoka mapeto, ndipo mapeto amapita ndikuyang'ana API.

Nthawi zambiri akafunsidwa kuti aziyang'anira tsamba lanyumba kuti atsimikizire kuti tsambalo likugwira ntchito, olemba mapulogalamu amapereka chogwirira chomwe chingathe kukokedwa nthawi iliyonse yomwe akufunikira kuti atsimikizire kuti API ikugwira ntchito. Ndipo opanga mapulogalamu pakadali pano amatengabe ndikulemba /api/test/helloworld
Njira yokhayo yotsimikizira kuti zonse zikuyenda? - Ayi!

• Kupanga macheke ngati amenewa kwenikweni ndi ntchito ya opanga. Mayeso a unit ayenera kulembedwa ndi olemba mapulogalamu omwe amalemba code. Chifukwa ngati mutayikira kwa admin, "Bwanawe, nayi mndandanda wa ma protocol a API pazochita zonse 25, chonde yang'anirani chilichonse!" - palibe chomwe chidzachitike.
• Ngati musindikiza "dziko lapansi moni", palibe amene angadziwe kuti API iyenera kugwira ntchito. Kusintha kulikonse kwa API kuyenera kubweretsa kusintha kwa macheke.
• Ngati muli ndi vuto loterolo, siyani mawonekedwewo ndikugawa opanga omwe angalembe macheke awa, kapena kuvomereza zotayika, vomerezani kuti palibe chomwe chafufuzidwa ndipo chidzalephera.

Malangizo Aukadaulo:

• Onetsetsani kuti mwakonza seva yakunja kuti mukonzekere macheke - muyenera kutsimikiza kuti polojekiti yanu ikupezeka ndi anthu akunja.
• Konzani macheke mu protocol yonse ya API, osati mathero amunthu payekha.
• Pangani prometheus-endpoint ndi zotsatira zoyesa.

Ntchito yosanjikiza - kuyang'anira ma metrics azaumoyo

Tsopano tikukamba za ma metric akunja azaumoyo a ntchito.

Tinaganiza kuti tiyang'ane "zogwirizira" zonse za pulogalamuyi pogwiritsa ntchito macheke akunja, omwe timawatcha kuchokera ku dongosolo lakunja loyang'anira. Koma awa ndi "zogwira" zomwe wogwiritsa ntchito "amawona". Tikufuna kutsimikizira kuti ntchito zathu zimagwira ntchito. Pano nkhaniyi ili bwino: K8s ali ndi macheke a thanzi, kuti osachepera "cube" yokhayo ikhale yotsimikiza kuti ntchitoyo ikugwira ntchito. Koma theka la macheke omwe ndawawona ndi ofanana ndi "hello world". Iwo. Chifukwa chake amakoka kamodzi atatumizidwa, adayankha kuti zonse zili bwino - ndizo zonse. Ndipo utumiki, ngati umapereka API yake, uli ndi chiwerengero chachikulu cha malo olowera ku API yomweyi, yomwe iyeneranso kuyang'aniridwa, chifukwa tikufuna kudziwa kuti ikugwira ntchito. Ndipo tikuziwunika kale mkati.

Momwe mungagwiritsire ntchito izi molondola mwaukadaulo: ntchito iliyonse imawonetsa mathero ake momwe ikugwirira ntchito, ndipo muzithunzi za Grafana (kapena ntchito ina iliyonse) timawona momwe ntchito zonse zilili.

• Kusintha kulikonse kwa API kuyenera kubweretsa kusintha kwa macheke.
• Pangani ntchito yatsopano nthawi yomweyo ndi zoyezetsa zaumoyo.
• Woyang'anira atha kubwera kwa opanga ndikufunsa "ndiwonjezereni zinthu zingapo kuti ndimvetsetse chilichonse ndikuwonjezera zambiri za izi pamakina anga owunikira." Koma opanga nthawi zambiri amayankha kuti, "Sitikuwonjezera chilichonse milungu iwiri isanatulutsidwe."
  Adziwitseni oyang'anira chitukuko kuti padzakhala zotayika zotere, dziwitsaninso oyang'anira oyang'anira chitukuko. Chifukwa chilichonse chikagwa, wina adzayimbabe foni ndikufunsa kuti aziyang'anira "ntchito yomwe ikugwa nthawi zonse" (c)
• Mwa njira, perekani opanga kuti alembe mapulagini a Grafana - izi zitha kukhala zothandiza kwa admins.

Ntchito Layer - Integration Monitoring

Kuyang'anira kaphatikizidwe kumayang'ana kwambiri kuyang'anira kulumikizana pakati pa machitidwe ovuta kwambiri abizinesi.

Mwachitsanzo, pali mautumiki 15 omwe amalankhulana wina ndi mzake. Awa salinso masamba osiyana. Iwo. sitingathe kukoka ntchitoyi pachokha, kupeza / helloworld ndikumvetsetsa kuti ntchitoyi ikugwira ntchito. Chifukwa ntchito yoyitanitsa ukonde iyenera kutumiza zambiri za dongosololi ku basi - kuchokera m'basi, ogwira ntchito yosungiramo katundu ayenera kulandira uthengawu ndikugwira nawo ntchito mopitilira. Ndipo ntchito yogawa maimelo iyenera kukonza izi mwanjira ina, ndi zina.

Chifukwa chake, sitingamvetsetse, poyang'ana pa ntchito iliyonse yamunthu, kuti zonse zimagwira ntchito. Chifukwa tili ndi basi inayake yomwe chilichonse chimalumikizana ndikulumikizana.
Chifukwa chake, gawo ili liyenera kuwonetsa gawo la ntchito zoyeserera kuti zigwirizane ndi ntchito zina. Sizingatheke kulinganiza kuyang'anira kulumikizana poyang'anira uthenga wa broker. Ngati pali ntchito yomwe imatulutsa deta ndi ntchito yomwe imalandira, poyang'anira broker tidzangowona deta yomwe imawulukira mbali ndi mbali. Ngakhale titakwanitsa kuyang'anira kuyanjana kwa detayi mkati - kuti wopanga wina amaika deta, wina amawerenga, kutuluka uku kumapitirira kupita ku Kafka - izi sizidzatipatsabe chidziwitso ngati ntchito imodzi itumiza uthenga mu mtundu umodzi. , koma utumiki wina sunayembekezere Baibulo limeneli ndipo analupha. Sitikudziwa za izi, chifukwa mautumiki adzatiuza kuti zonse zikuyenda.

Zomwe ndimalimbikitsa kuchita:

• Pakulumikizana kolumikizana: kumapeto kumapereka zopempha kuzinthu zogwirizana. Iwo. timatenga mapeto awa, kukoka zolemba mkati mwa utumiki, zomwe zimapita ku mfundo zonse ndikuti "Ndikhoza kukoka pamenepo, ndikukoka pamenepo, ndikhoza kukoka pamenepo ..."
• Pakulankhulana mosagwirizana: mauthenga obwera - mapeto amayang'ana basi kuti ayese mauthenga ndikuwonetsa momwe akugwirira ntchito.
• Pakulankhulana mosagwirizana: mauthenga otuluka - mapeto amatumiza mauthenga oyesera ku basi.

Monga zimachitika kawirikawiri: tili ndi ntchito yomwe imaponya deta mu basi. Tabwera ku msonkhanowu ndikufunsani kuti mutiuze za thanzi lake kuphatikiza. Ndipo ngati ntchitoyi ikufunika kutulutsa uthenga kwinakwake (WebApp), ndiye kuti itulutsa uthengawu. Ndipo ngati tiyendetsa ntchito kumbali ya OrderProcessing, imayamba kutumiza zomwe ingatumize paokha, ndipo ngati pali zinthu zina zomwe zimadalira, ndiye kuti imawerenga mauthenga oyesera kuchokera m'basi, ndikumvetsa kuti ikhoza kuwakonza, kuwafotokozera ndi , ngati kuli kofunikira, atumizenso, ndipo ponena za izi akuti - zonse ziri bwino, ndili ndi moyo.

Nthawi zambiri timamva funso "tingayese bwanji izi pazankhondo?" Mwachitsanzo, tikukamba za utumiki woyitanitsa womwewo. Lamuloli limatumiza mauthenga kumalo osungiramo katundu komwe katunduyo amalembedwa: sitingathe kuyesa izi pa data yankhondo, chifukwa "katundu wanga adzachotsedwa!" Yankho: Konzani mayeso onsewa poyambira. Mulinso ndi mayeso a mayunitsi omwe amapanga zonyoza. Chifukwa chake, chitani pamlingo wozama momwe muli ndi njira yolumikizirana yomwe siyikuwononga magwiridwe antchito.

Mulingo wa zomangamanga

Kuyang'anira zomangamanga ndi chinthu chomwe kwa nthawi yayitali chimaganiziridwa kuti chidziyang'anira chokha.

• Kuyang'anira zomangamanga kungathe ndipo kuyenera kukhazikitsidwa ngati njira ina.
• Simuyenera kuyamba ndi kuyang'anira zomangamanga pa ntchito yomwe ikuyenda, ngakhale mukufunadi. Izi ndi zowawa kwa ma devops onse. "Choyamba ndimayang'anira masango, ndimayang'anira zomangamanga" - i.e. Choyamba, idzayang'anira zomwe zili pansipa, koma sizingalowe mu pulogalamuyi. Chifukwa kugwiritsa ntchito ndi chinthu chosamvetsetseka kwa ma devops. Zinawukhira kwa iye, ndipo samamvetsa momwe zimagwirira ntchito. Ndipo amamvetsetsa zomangamanga ndikuyamba nazo. Koma ayi - nthawi zonse muyenera kuyang'anira ntchitoyo poyamba.
• Osapitirira ndi kuchuluka kwa zidziwitso. Poganizira zovuta za machitidwe amakono, zidziwitso zimawuluka nthawi zonse, ndipo muyenera kukhala mwanjira ina ndi gulu ili la zidziwitso. Ndipo munthu amene wayimbira foni, atayang'ana zidziwitso zana lotsatira, adzasankha "Sindikufuna kuganiza za izi." Zidziwitso ziyenera kungodziwitsa za zinthu zovuta.

Mulingo wofunsira ngati gawo labizinesi

Mfundo zazikuluzikulu:

• ELK. Uwu ndiye muyeso wamakampani. Ngati pazifukwa zina simukusonkhanitsa zipika, yambani kutero nthawi yomweyo.
• APM. Ma APM akunja ngati njira yotsekera mwachangu kuwunika kwa mapulogalamu (NewRelic, BlackFire, Datadog). Mutha kukhazikitsa chinthuchi kwakanthawi kuti mumvetsetse zomwe zikuchitika ndi inu.
• Kutsata. M'ma microservices ambiri, muyenera kutsatira chilichonse, chifukwa pempho silikhalanso lokha. Ndizovuta kwambiri kuwonjezera pambuyo pake, choncho ndi bwino kuti nthawi yomweyo muyambe kufufuza mu chitukuko - iyi ndi ntchito ndi zofunikira za omanga. Ngati simunakwaniritsebe, tsatirani! Onani Jaeger/Zipkin

Kuchenjeza

• Kukonzekera kwadongosolo lazidziwitso: poyang'anira zinthu zambiri, payenera kukhala dongosolo logwirizana lotumizira zidziwitso. Mukhoza ku Grafana. Kumadzulo, aliyense amagwiritsa ntchito PagerDuty. Zidziwitso ziyenera kukhala zomveka bwino (mwachitsanzo, komwe zidachokera ...). Ndipo ndikofunikira kuwongolera kuti zidziwitso zimalandiridwa konse
• Gulu lantchito: zidziwitso siziyenera kutumizidwa kwa aliyense (mwina aliyense achitepo kanthu pagulu, kapena palibe amene angayankhe). Madivelopa amafunikanso kuyitanidwa: onetsetsani kuti mwafotokozera madera omwe ali ndiudindo, perekani malangizo omveka bwino ndikulemba momwemo yemwe angatchule Lolemba ndi Lachitatu, ndi omwe angayitanire Lachiwiri ndi Lachisanu (kupanda kutero sangayitanire aliyense ngakhale zitachitika). za vuto lalikulu - adzawopa kukudzutsani kapena kusokoneza : anthu nthawi zambiri sakonda kuyimba ndi kudzutsa anthu ena, makamaka usiku). Ndipo fotokozani kuti kupempha thandizo si chizindikiro cha kusakhoza ("Ndikupempha thandizo, zikutanthauza kuti ndine wogwira ntchito woipa"), limbikitsani zopempha zothandizira.
• Kukonzekera kwa "chidziwitso" ndi kayendetsedwe ka ntchito pokonza zochitika: pazochitika zazikuluzikulu, post-mortem iyenera kukonzedwa, ndipo ngati njira yanthawi yochepa, zochita zomwe zidzathetse vutoli ziyenera kulembedwa. Ndipo chita kukhala chizolowezi kuti machenjezo mobwerezabwereza ndi tchimo; ziyenera kukhazikitsidwa mu code kapena ntchito za zomangamanga.

Technology stack

Tiyerekeze kuti katundu wathu ali motere:

• kusonkhanitsa deta - Prometheus + Grafana;
• kusanthula chipika - ELK;
• kwa APM kapena Tracing - Jaeger (Zipkin).

Kusankha zosankha sizofunikira. Chifukwa ngati pachiyambi munamvetsetsa momwe mungayang'anire dongosolo ndikulemba ndondomeko, ndiye kuti mumayamba kusankha zida zogwirizana ndi zomwe mukufuna. Funso ndiloti mwasankha kuwunika poyamba. Chifukwa mwina chida chomwe mwasankha poyambira sichikugwirizana ndi zomwe mukufuna.

Mfundo zingapo zaukadaulo zomwe ndimawona paliponse posachedwapa:

Prometheus akukankhidwa mkati mwa Kubernetes - ndani adabwera ndi izi?! Ngati gulu lanu lawonongeka, mutani? Ngati muli ndi masango ovuta mkati, ndiye kuti payenera kukhala mtundu wina wowunikira mkati mwa gululo, ndi ena kunja, omwe adzasonkhanitsa deta kuchokera mkati mwa gululo.

Mkati mwa tsango timasonkhanitsa zipika ndi zina zonse. Koma njira yowunikira iyenera kukhala kunja. Nthawi zambiri, m'gulu lomwe muli Promtheus yoyikidwa mkati, palinso machitidwe omwe amafufuza kunja kwa ntchito ya malo. Nanga bwanji ngati kulumikizana kwanu ndi dziko lakunja kwatsika ndipo kugwiritsa ntchito sikukugwira ntchito? Zikuwoneka kuti zonse zili bwino mkati, koma sizimapangitsa kuti zinthu zikhale zosavuta kwa ogwiritsa ntchito.

anapezazo

• Kuwunika koyang'anira sikukhazikitsa zofunikira, koma kupanga pulogalamu yamapulogalamu. 98% ya kuwunika kwamasiku ano ndikulemba. Kulembera mu mautumiki, kulembera macheke akunja, kuyang'ana ntchito zakunja, ndipo ndizo zonse.
• Osataya nthawi ya omwe akukutukulani pakuwunika: zitha kutenga 30% ya ntchito yawo, koma ndizofunikira.
• Devops, musadandaule kuti simungathe kuyang'anira chinachake, chifukwa zinthu zina zimakhala zosiyana kwambiri. Simunali wolemba mapulogalamu, ndipo ntchito yowunikira ndi ntchito yawo.
• Ngati ntchitoyo ikugwira ntchito kale ndipo siyikuyang'aniridwa (ndipo ndinu woyang'anira), perekani zothandizira kuti muwunikire.
• Ngati malondawo akupanga kale, ndipo ndinu odzipereka omwe adauzidwa kuti "akhazikitse kuyang'anira" - yesani kufotokozera kwa oyang'anira zomwe ndidalemba zonsezi.

Ili ndi mtundu wokulirapo wa lipoti pamsonkhano wa Saint Highload ++.

Ngati muli ndi chidwi ndi malingaliro anga ndi malingaliro anga pa izo ndi mitu yokhudzana, ndiye apa mungathe werengani tchanelo 🙂

Source: www.habr.com