Na monitoring e shoele? - Ho beha leihlo nako e telele

Ho tloha ka 2008, k'hamphani ea rona e 'nile ea sebetsana le tsamaiso ea litšebeletso tsa motheo le tšehetso ea botekgeniki ea bosiu le motšehare bakeng sa merero ea marang-rang: re na le bareki ba fetang 400, e leng hoo e ka bang 15% ea khoebo ea elektronike ea Russia. Ka lebaka leo, ho tšehetsoa mohaho o fapaneng haholo. Haeba ntho e oela, re tlamehile ho e lokisa nakong ea metsotso e 15. Empa ho utloisisa hore kotsi e etsahetse, u lokela ho shebella morero le ho arabela liketsahalong. Joang ho etsa see?

Ke lumela hore ho na le bothata ba ho hlophisa mokhoa o nepahetseng oa ho beha leihlo. Haeba ho ne ho se na mathata, puo ea ka e ne e tla kenyelletsa khopolo-taba e le 'ngoe: "Ka kopo, kenya Prometheus + Grafana le li-plugins 1, 2, 3." Ka bomalimabe, ha e sa sebetsa ka tsela eo. 'Me bothata bo boholo ke hore motho e mong le e mong o tsoela pele ho lumela ho ntho e neng e le teng ka 2008, ho latela likarolo tsa software.

Mabapi le organisation of the monitoring system, ke kopa hore ke re... project with competent monitoring ha e eo. 'Me boemo bo bobe hoo haeba ntho e ka oa, ho na le kotsi ea hore e ke ke ea hlokomeloa - ka mor'a moo, bohle ba na le bonnete ba hore "ntho e 'ngoe le e' ngoe e behiloe leihlo."
Mohlomong tsohle li beiloe leihlo. Empa joang?

Kaofela re kile ra kopana le pale e kang ena e latelang: motho ea itseng, mookameli ea itseng oa sebetsa, sehlopha sa nts'etsopele se tla ho bona 'me se re - "re lokolotsoe, joale beha leihlo." Sheba eng? E sebetsa joang?

HO LOKILE. Re hlokomela mokhoa oa khale. 'Me e se e ntse e fetoha,' me hoa bonahala hore u hlokometse tšebeletso ea A, e ileng ea fetoha tšebeletso ea B, e sebetsanang le tšebeletso ea C. Empa sehlopha sa nts'etsopele se re ho uena: "Kenya software, e lokela ho shebella ntho e 'ngoe le e' ngoe!"

Joale ke eng e fetohileng? - Tsohle li fetohile!

2008 Tsohle di lokile

Ho na le bahlahisi ba 'maloa, seva se le seng, seva se le seng sa database. Tsohle li tloha mona. Re na le lintlha tse ling, re kenya zabbix, Nagios, cacti. Ebe re beha litemoso tse hlakileng ho CPU, ts'ebetsong ea disk, le sebakeng sa disk. Re boetse re etsa licheke tse 'maloa ka letsoho ho netefatsa hore sebaka seo se araba le hore liodara li fihla polokelong ea litaba. 'Me ke eona - re sirelelitsoe ho feta kapa ka tlase.

Haeba re bapisa palo ea mosebetsi oo mookameli a ileng a o etsa ka nako eo ho fana ka tlhokomelo, joale 98% ea eona e ne e le ea boiketsetso: motho ea etsang tlhahlobo o tlameha ho utloisisa mokhoa oa ho kenya Zabbix, mokhoa oa ho e lokisa le ho lokisa litlhokomeliso. Le 2% - bakeng sa licheke tsa kantle: hore setša se arabela mme se etsa kopo ho database, hore litaelo tse ncha li fihlile.

2010 Mojaro o ntse o hola

Re qala ho holisa tepo, re kenya mochine oa ho batla. Re batla ho etsa bonnete ba hore lethathamo la lihlahisoa le na le lihlahisoa tsohle. 'Me lipatlisiso tseo tsa lihlahisoa lia sebetsa. Hore database e sebetsa, hore litaelo li ntse li etsoa, ​​hore setša se arabela ka ntle 'me se arabela ho li-server tse peli' me mosebeletsi ha a lelekoe sebakeng sa marang-rang ha a ntse a lekanngoa ho seva se seng, joalo-joalo. Ho na le mekhatlo e mengata.

Ho feta moo, mokhatlo o amanang le litšebeletso tsa motheo o ntse o le moholo ka ho fetisisa hloohong ea mookameli. Ho ntse ho e-na le maikutlo a ka hloohong ea ka hore motho ea etsang monitoring ke motho ea tla kenya zabbix le ho khona ho e lokisa.

Empa ka nako e ts'oanang, mosebetsi o hlaha mabapi le ho etsa licheke tsa kantle, mabapi le ho theha sete sa lingoloa tsa lipatlisiso tsa indexer, sete sa mangolo ho netefatsa hore lipatlisiso li fetoha nakong ea ts'ebetso ea indexing, sete sa mangolo a hlahlobang hore thepa e fetisetsoa ho tšebeletso ea ho fana, joalo-joalo. joalo joalo.

Tlhokomeliso: Ke ngotse "sete sa mangolo" makhetlo a 3. Ke hore, motho ea ikarabellang bakeng sa ho beha leihlo ha e sa le eena ea kenyang zabbix feela. Enoa ke motho ea qalang ho khouta. Empa ha ho letho le fetohileng likelellong tsa sehlopha.

Empa lefatše lea fetoha, le ntse le rarahana le ho feta. Ho eketsoa lera la virtualization le litsamaiso tse 'maloa tse ncha. Ba qala ho sebelisana hammoho. Ke mang ea itseng "ho nkha joalo ka li-microservices?" Empa tšebeletso ka 'ngoe e ntse e shebahala joaloka sebaka sa marang-rang ka bonngoe. Re ka retelehela ho eona ’me ra utloisisa hore e fana ka boitsebiso bo hlokahalang ’me e sebetsa ka bo eona. 'Me haeba u le mookameli ea lulang a kenya letsoho morerong o ntseng o tsoela pele ka lilemo tse 5-7-10, tsebo ena e bokellana: boemo bo bocha bo hlaha - u hlokometse, boemo bo bong bo hlaha - u bo hlokometse ...

Empa ke ka seoelo motho a tsamaeang le projeke ka lilemo tse 10.

qalella ea Monitoringman

Ha re re u fihlile setsing se secha se hirileng bahlahisi ba 20 hanghang, sa ngola li-microservices tse 15, 'me u motsamaisi ea bolelloang: “Haha CI/CD. Ka kopo." U hahile CI / CD mme ka tšohanyetso u utloa: "Ho thata hore re sebetse le tlhahiso ka "cube", ntle le ho utloisisa hore na kopo e tla sebetsa joang ho eona. Re etse lebokose la lehlabathe ka "cube" e tšoanang.
U etsa lebokose la lehlabathe ka har'a cube ena. Hang-hang ba u bolella: "Re batla polokelo ea boitsebiso ea sethala e nchafatsoang letsatsi le leng le le leng ho tloha tlhahiso, e le hore re utloisise hore e sebetsa ho database, empa ka nako e ts'oanang e se ke ea senya polokelo ea lihlahisoa."

O phela ho tsena tsohle. Ho setse libeke tsa 2 pele ho lokolloa, ba u bolella: "Joale a re shebelle sena sohle ..." Ke hore. lekola meaho ea lihlopha, ho lekola meralo ea microservice, ho beha leihlo mosebetsi ka lits'ebeletso tsa kantle ...

'Me basebetsi-'moho le 'na ba ntša morero o tloaelehileng lihloohong tsa bona' me ba re: "Joale, ntho e 'ngoe le e 'ngoe e hlakile mona! Kenya lenaneo le tla beha lintho tsena tsohle leihlo. ” E, e: li-plugins tsa Prometheus + Grafana +.
Mme ba eketsa: "U na le libeke tse peli, etsa bonnete ba hore tsohle li bolokehile."

Li- project tse ngata tseo re li bonang, ho abeloa motho a le mong hore a etse monitor. Nahana hore re batla ho hira motho ho etsa monitoring bakeng sa libeke tse 2, 'me re mo ngolla qalelle. Ke litsebo life tseo motho enoa a lokelang ho ba le tsona, ho latela tsohle tseo re li buileng ho fihlela joale?

• O tlameha ho utloisisa tlhokomelo le lintlha tse tobileng tsa ts'ebetso ea lisebelisoa tsa tšepe.
• O tlameha ho utloisisa lintlha tse tobileng tsa ho beha leihlo Kubernetes ('me e mong le e mong o batla ho ea "cube", hobane o ka ipata nthong e' ngoe le e 'ngoe, u ipate, hobane mookameli o tla sebetsana le tse ling kaofela) - ka boeona, lisebelisoa tsa eona, le ho utloisisa mokhoa oa ho beha leihlo lits'ebetso. ka hare.
• O tlameha ho utloisisa hore litšebeletso li buisana ka litsela tse khethehileng, le ho tseba ka ho hlaka hore na litšebeletso li sebelisana joang. Hoa khoneha ho bona morero moo litšebeletso tse ling li buisanang ka mokhoa o lumellanang, hobane ha ho na tsela e 'ngoe. Ka mohlala, backend e tsamaea ka REST, ka gRPC ho ea tšebeletsong ea lethathamo la libuka, e fumana lethathamo la lihlahisoa ebe e e khutlisa. O ka se eme mona. 'Me ka litšebeletso tse ling e sebetsa ka mokhoa o tšoanang. Fetisetsa odara ho tšebeletso ea thomello, romella lengolo, joalo-joalo.
  Mohlomong u se u sesa ho tsoa ho see sohle? Mme admin, ea hlokang ho beha sena leihlo, o ile a ferekana le ho feta.
• O tlameha ho tseba ho rera le ho rera ka nepo - ha mosebetsi o ntse o eketseha.
• Ka hona o tlameha ho theha leano ho tsoa tšebeletsong e entsoeng e le hore a utloisise hore na a ka e beha leihlo joang ka ho khetheha. O hloka kutloisiso ea meralo ea morero le nts'etsopele ea eona + kutloisiso ea mahlale a sebelisoang ntlafatsong.

Ha re hopoleng nyeoe e tloaelehileng: lits'ebeletso tse ling li ho PHP, lits'ebeletso tse ling li ho Go, lits'ebeletso tse ling li ho JS. Ka tsela e itseng ba sebetsa hammoho. Mona ke moo lentsoe "microservice" le tsoang teng: ho na le mekhoa e mengata ea batho ka bomong eo baetsi ba eona ba ke keng ba utloisisa morero ka kakaretso. Karolo e 'ngoe ea sehlopha e ngola litšebeletso ho JS tse sebetsang ka botsona' me ha li tsebe hore na tsamaiso eohle e sebetsa joang. Karolo e 'ngoe e ngola lits'ebeletso ho Python' me ha e kena-kenane le tsela eo litšebeletso tse ling li sebetsang ka eona; ba arotsoe sebakeng sa bona. Ea boraro ke ho ngola litšebeletso ho PHP kapa ntho e 'ngoe.
Batho bana bohle ba 20 ba arotsoe ka lits'ebeletso tse 15, 'me ho na le admin a le mong feela ea tlamehang ho utloisisa tsena tsohle. Ema! re sa tsoa arola tsamaiso ka li-microservices tse 15 hobane batho ba 20 ha ba utloisise tsamaiso eohle.

Empa e hloka ho beoa leihlo ka tsela e itseng ...

Phello ke efe? Ka lebaka leo, ho na le motho a le mong ea tlang le ntho e 'ngoe le e' ngoe eo sehlopha sohle sa bahlahisi se ke keng sa e utloisisa, 'me ka nako e ts'oanang o tlameha ho tseba le ho khona ho etsa seo re se bontšitseng ka holimo - lisebelisoa tsa thepa ea thepa, lisebelisoa tsa Kubernetes, joalo-joalo.

Nka reng ... Houston, re na le mathata.

Ho beha leihlo projeke ea sejoale-joale ea software ke projeke ea software ka bo eona

Ho tsoa tumelong e fosahetseng ea hore ho beha leihlo ke software, re hlaolela tumelo ea mehlolo. Empa mehlolo, oho, ha e etsahale. U ke ke ua kenya zabbix 'me u lebeletse hore ntho e' ngoe le e 'ngoe e sebetse. Ha ho na thuso ho kenya Grafana le ho tšepa hore tsohle li tla loka. Boholo ba nako bo tla sebelisoa ho hlophisa licheke tsa ts'ebetso ea lits'ebeletso le tšebelisano ea tsona, ho lekola hore na litsamaiso tsa kantle li sebetsa joang. Ebile, 90% ea nako e tla sebelisoa eseng ho ngola mangolo, empa ho nts'etsapele software. 'Me e lokela ho sebetsoa ke sehlopha se utloisisang mosebetsi oa morero.
Haeba boemong bona motho a le mong a lahleloa leihlo, joale tlokotsi e tla etsahala. E leng se etsahalang hohle.

Ka mohlala, ho na le litšebeletso tse 'maloa tse buisanang ka Kafka. Taelo e fihlile, re rometse molaetsa mabapi le taelo ho Kafka. Ho na le tšebeletso e mamelang tlhahisoleseding mabapi le taelo le ho romela thepa. Ho na le ts'ebeletso e mamelang tlhahisoleseling mabapi le taelo ebe e romella mosebelisi lengolo. Mme ebe ho hlaha bongata ba ditshebeletso tse ding, mme re qala ho ferekana.

'Me haeba u fana ka sena hape ho mookameli le bahlahisi sethaleng ha ho e-na le nako e khutšoanyane pele ho lokolloa, motho o tla hloka ho utloisisa protocol ena kaofela. Tseo. Morero oa sekala sena o nka nako e ngata, 'me sena se lokela ho kenyelletsoa ntlafatsong ea sistimi.
Empa hangata, haholo ha ho qala, re bona kamoo ho beha leihlo ho chechisoa ho fihlela hamorao. “Joale re tla etsa Proof of Concept, re tla qala ka eona, e tlohelle e oele - re itokiselitse ho itela. Ebe re tla e beha leihlo kaofela. ” Ha (kapa haeba) morero o qala ho etsa chelete, khoebo e batla ho eketsa likarolo tse ling - hobane e se e qalile ho sebetsa, kahoo e hloka ho fetisoa ho ea pele! 'Me u sebakeng seo u lokelang ho qala ho shebella ntho e' ngoe le e 'ngoe e fetileng, e sa nkeng 1% ea nako, empa ho feta moo. 'Me ka tsela, bahlahisi ba tla hlokahala bakeng sa ho beha leihlo,' me ho bonolo ho ba lumella hore ba sebetse ka likarolo tse ncha. Ka lebaka leo, likarolo tse ncha lia ngoloa, ntho e 'ngoe le e' ngoe e senyeha, 'me u le mothating o sa feleng.

Kahoo mokhoa oa ho beha leihlo morero ho tloha qalong, le seo u lokelang ho se etsa haeba u fumana morero o lokelang ho behoa leihlo, empa ha u tsebe hore na u qale hokae?

Pele, u lokela ho rera.

Ho kheloha ha mantsoe: hangata ba qala ka tlhahlobo ea lits'ebetso. Ka mohlala, re na le Kubernetes. Ha re qale ka ho kenya Prometheus le Grafana, ho kenya li-plugins bakeng sa ho lekola "cube". Ha se bahlahisi feela, empa le batsamaisi ba na le tloaelo e mpe ea: "Re tla kenya plugin ena, empa mohlomong plugin e tseba ho e etsa." Batho ba rata ho qala ka tse bonolo le tse otlolohileng, ho e-na le ka liketso tsa bohlokoa. 'Me ho lekola lits'ebetso ho bonolo.

Pele, etsa qeto ea hore na u batla ho beha leihlo joang le hore na u batla ho beha leihlo joang, ebe u khetha sesebelisoa, hobane batho ba bang ba ke ke ba u nahanela. Hona na ba lokela ho etsa joalo? Batho ba bang ba ile ba nahana ka bobona, ka tsamaiso ea bokahohle - kapa ha baa ka ba nahana ho hang ha plugin ena e ne e ngoloa. 'Me hobane feela plugin ena e na le basebelisi ba likete tse 5 ha e bolele hore e na le ts'ebeliso efe kapa efe. Mohlomong u tla ba 5001st hobane feela ho ne ho se ho ntse ho e-na le batho ba 5000 moo pele.

Haeba u qala ho beha leihlo ts'ebeliso ea lits'ebetso mme karolo e ka morao ea sesebelisoa sa hau e emisa ho araba, basebelisi bohle ba tla lahleheloa ke khokahano le sesebelisoa sa mohala. Phoso e tla hlaha. Ba tla ho uena ba re "Kopo ha e sebetse, u etsa'ng moo?" - "Re ntse re beha leihlo." — "U beha leihlo joang haeba u sa bone hore sesebelisoa ha se sebetse?!"

1. Ke lumela hore o hloka ho qala ho beha leihlo hantle ho tloha moo mosebelisi a kenang teng. Haeba mosebelisi a sa bone hore sesebelisoa se sebetsa, ho joalo, ke ho hloleha. 'Me tsamaiso ea tlhokomelo e lokela ho lemosa ka sena pele.
2. 'Me ke hona moo re ka behang leihlo meralo ea motheo. Kapa u e etse ka ho tšoana. Ho bonolo ka lisebelisoa tsa motheo - mona re ka qetella re kenya zabbix.
3. 'Me joale o hloka ho ea metso ea kopo ho utloisisa moo lintho li sa sebetseng.

Maikutlo a ka a maholo ke hore monitoring e tsamaee ka tsela e tšoanang le ea ntlafatso. Haeba u sitisa sehlopha sa ho beha leihlo bakeng sa mesebetsi e meng (ho theha CI/CD, sandboxing, ho hlophisa bocha meaho), ho beha leihlo ho tla qala ho qeaqea 'me ho ka etsahala hore le ka mohla u se ke ua fumana tsoelo-pele (kapa haufinyane u tla tlameha ho e emisa).

Tsohle ka mekhahlelo

Ke kamoo ke bonang ho hlophisoa ha mokhoa oa ho beha leihlo.

1) Boemo ba kopo:

• ho beha leihlo mokhoa oa khoebo oa kopo;
• ho hlokomela metrics ea litšebeletso tsa bophelo bo botle;
• tlhokomelo ea ho kopanya.

2) Boemo ba meralo:

• tlhokomelo ea boemo ba 'mino oa liletsa;
• ho lekola software ea sistimi;
• tlhokomelo ea boemo ba tšepe.

3) Hape boemo ba kopo - empa joalo ka sehlahisoa sa boenjiniere:

• ho bokella le ho beha leihlo lintlha tsa kopo;
• APM;
• ho latela.

4) Tlhokomeliso:

• mokhatlo oa tsamaiso ea temoso;
• mokhatlo oa tsamaiso ea mosebetsi;
• tlhophiso ea "setsi sa tsebo" le phallo ea mosebetsi bakeng sa ts'ebetso ea liketsahalo.

ea bohlokoa: re fumana tlhokomeliso eseng ka morao, empa hang-hang! Ha ho na tlhoko ea ho qala tlhahlobo le "ka tsela e itseng hamorao" ho tseba hore na ke mang ea tla fumana litemoso. Ha e le hantle, mosebetsi oa ho beha leihlo ke ofe: ho utloisisa hore na ho na le ntho e sa sebetseng hokae tsamaisong, le ho tsebisa batho ba nepahetseng ka eona. Haeba u tlohela sena ho fihlela qetellong, batho ba nepahetseng ba tla tseba hore ho na le ho hong ho sa tsamaeeng hantle feela ka ho bitsa "ha ho letho le re sebeletsang."

Lera la Kopo - Tlhokomelo ea Maiketsetso a Khoebo

Mona re bua ka ho hlahloba taba ea hore sesebelisoa se sebetsa bakeng sa mosebelisi.

Boemo bona bo lokela ho etsoa nakong ea mohato oa nts'etsopele. Ka mohlala, re na le Prometheus e nang le maemo: e ea ho seva e etsang licheke, e hula ntlha ea ho qetela, 'me ntlha ea ho qetela e ea ho hlahloba API.

Ha hangata ba botsoa hore ba shebe leqephe la lehae ho netefatsa hore sebaka sa marang-rang se sebetsa, baetsi ba mananeo ba fana ka sebapa se ka huloang nako le nako ha ba hloka ho etsa bonnete ba hore API ea sebetsa. Mme baetsi ba mananeo hajoale ba ntse ba nka le ho ngola /api/test/helloworld
Tsela feela ea ho netefatsa hore tsohle lia sebetsa? - Che!

• Ho theha licheke tse joalo ke mosebetsi oa bahlahisi. Liteko tsa yuniti li lokela ho ngoloa ke baetsi ba mananeo ba ngolang khoutu. Hobane ha u e ngolla admin, "Dude, ke lethathamo la liprothokholo tsa API bakeng sa mesebetsi eohle e 25, ka kopo hlokomela tsohle!" - ha ho letho le tla sebetsa.
• Haeba u hatisa "hello world", ha ho motho ea tla tseba hore API e lokela ho sebetsa. Phetoho e 'ngoe le e' ngoe ea API e tlameha ho lebisa phetohong ea licheke.
• Haeba u se u ntse u e-na le bothata bo joalo, emisa likarolo 'me u fane ka bahlahisi ba tla ngola licheke tsena, kapa ba amohele tahlehelo, amohela hore ha ho letho le hlahlojoang le le tla hlōleha.

Malebela a Tekheniki:

• Etsa bonnete ba hore o hlophisa seva sa kantle ho hlophisa licheke - o tlameha ho etsa bonnete ba hore projeke ea hau e ka fihlelleha lefatšeng le kantle.
• Hlophisa licheke ho pholletsa le protocol ea API, eseng feela liphetho tsa motho ka mong.
• Theha prometheus-endpoint ka liphetho tsa liteko.

Lera la kopo - tlhahlobo ea metrics ea bophelo bo botle

Hona joale re bua ka metrics ea ka ntle ea bophelo bo botle ba litšebeletso.

Re ile ra etsa qeto ea hore re behe leihlo "li-handles" tsohle tsa kopo ka ho sebelisa licheke tsa kantle, tseo re li bitsang ho tsoa ho sistimi ea ho beha leihlo kantle. Empa tsena ke "matšoaro" ao mosebelisi a "bonang". Re batla ho etsa bonnete ba hore litšebeletso tsa rona ka botsona lia sebetsa. Ho na le pale e ntle mona: Li-K8 li hlahloba bophelo bo botle, e le hore bonyane "cube" ka boeona e ka kholiseha hore tšebeletso e sebetsa. Empa halofo ea licheke tseo ke li boneng li tšoana le "hello world". Tseo. Kahoo o hula hang ka mor'a ho romelloa, o ile a araba hore ntho e 'ngoe le e' ngoe e lokile - ke phetho. 'Me tšebeletso, haeba e fana ka API ea eona, e na le palo e kholo ea lintlha tsa ho kena bakeng sa API eona eo, eo hape e lokelang ho behoa leihlo, hobane re batla ho tseba hore e sebetsa. 'Me re se re ntse re e beha leihlo ka hare.

Mokhoa oa ho kenya ts'ebetsong sena ka nepo ka botekgeniki: ts'ebeletso e 'ngoe le e' ngoe e pepesa pheletso mabapi le ts'ebetso ea eona ea hajoale, 'me ho li-graph tsa Grafana (kapa ts'ebeliso efe kapa efe) re bona boemo ba lits'ebeletso tsohle.

• Phetoho e 'ngoe le e' ngoe ea API e tlameha ho lebisa phetohong ea licheke.
• Theha tšebeletso e ncha hang hang ka metrics ea bophelo bo botle.
• Motsamaisi a ka tla ho bahlahisi mme a botsa "nkenyelle likarolo tse 'maloa e le hore ke utloisise ntho e' ngoe le e 'ngoe le ho eketsa tlhahisoleseling mabapi le sena tsamaisong ea ka ea ho beha leihlo." Empa hangata bahlahisi ba araba, "Re ke ke ra eketsa letho libeke tse peli pele ho tokollo."
  Batsamaisi ba ntshetsopele ba tsebe hore ho tla ba le litahlehelo tse joalo, le tsamaiso ea batsamaisi ba lintlafatso le bona ba tsebe. Hobane ha ntho e 'ngoe le e' ngoe e oa, motho o ntse a tla letsetsa 'me a batle ho beha leihlo "tšebeletso e oelang kamehla" (c)
• Ka tsela, abela batho ba ntlafatsang ho ngola li-plugins tsa Grafana - ena e tla ba thuso e ntle bakeng sa batsamaisi.

Lera la Kopo - Tlhokomelo ea Kopanyo

Tlhokomelo ea ho kopanya e shebane le ho beha leihlo likhokahano lipakeng tsa litsamaiso tsa bohlokoa tsa khoebo.

Ka mohlala, ho na le litšebeletso tse 15 tse buisanang. Tsena ha e sa le libaka tse arohaneng. Tseo. re ke ke ra hula tšebeletso ka boeona, fumana / helloworld le ho utloisisa hore tšebeletso e ntse e sebetsa. Hobane tšebeletso ea marang-rang ea ho laela e tlameha ho romela tlhahisoleseding mabapi le taelo ho bese - ho tloha bese, tšebeletso ea polokelo ea thepa e tlameha ho amohela molaetsa ona le ho sebetsa le eona ho ea pele. Mme ts'ebeletso ea kabo ea lengolo-tsoibila e tlameha ho sebetsana le sena ka tsela e itseng, joalo-joalo.

Ka hona, re ke ke ra utloisisa, ka ho ts'oara ts'ebeletso ka 'ngoe, hore tsohle lia sebetsa. Hobane re na le bese e itseng eo ntho e 'ngoe le e' ngoe e buisanang le ho sebelisana ka eona.
Ka hona, sethala sena se lokela ho tšoaea sethala sa lits'ebeletso tsa tlhahlobo bakeng sa tšebelisano le lits'ebeletso tse ling. Ho ke ke ha khoneha ho hlophisa tlhahlobo ea puisano ka ho beha leihlo morekisi oa molaetsa. Haeba ho na le ts'ebeletso e fanang ka data le ts'ebeletso e e fumanang, ha re beha leihlo broker re tla bona data feela e fofang ho tloha ka lehlakoreng le leng. Esita le haeba ka tsela e itseng re khonne ho shebella ho sebelisana ha data ena ka hare - hore mohlahisi ea itseng a beha data, motho e mong oa e bala, phallo ena e tsoela pele ho ea Kafka - sena se ntse se ke ke sa re fa tlhahisoleseding haeba tšebeletso e le 'ngoe e rometse molaetsa ka mokhoa o le mong. , empa tshebeletso e nngwe e ne e sa lebella phetolelo ena mme ya e tlola. Re ke ke ra tseba ka sena, kaha litšebeletso li tla re bolella hore ntho e 'ngoe le e' ngoe e sebetsa.

Seo ke khothaletsang ho se etsa:

• Bakeng sa puisano ea synchronous: pheletso e etsa likopo ho lits'ebeletso tse amanang. Tseo. re nka ntlha ena ea ho qetela, re hula script ka hare ho ts'ebeletso, e eang lintlheng tsohle ebe e re "Nka hula moo, 'me ke hula moo, nka hula moo ...."
• Bakeng sa puisano ea asynchronous: melaetsa e kenang - ntlha ea ho qetela e hlahloba bese bakeng sa melaetsa ea liteko mme e bonts'a boemo ba ho sebetsa.
• Bakeng sa puisano e sa tsitsang: melaetsa e tsoang - pheletso e romella melaetsa ea liteko beseng.

Joalo ka tloaelo ho etsahala: re na le ts'ebeletso e lahlelang data ka bese. Re tla tshebeletsong ena mme re kopa o re bolelle ka bophelo bo botle ba kopano. 'Me haeba tšebeletso e hloka ho hlahisa molaetsa kae-kae ho feta (WebApp), joale e tla hlahisa molaetsa ona oa teko. 'Me haeba re tsamaisa tšebeletso ka lehlakoreng la OrderProcessing, e qala ka ho ngola hore na e ka ngola eng e ikemetseng, 'me haeba ho na le lintho tse ling tse itšetlehileng ka eona, ebe e bala melaetsa ea liteko e tsoang beseng, e utloisisa hore e ka e sebetsa, e tlaleha le , haeba ho hlokahala, li romelle ho feta, 'me ka sena o re - ntho e' ngoe le e 'ngoe e lokile, kea phela.

Hangata re utloa potso e reng "re ka leka see joang ho data ea ntoa?" Ka mohlala, re bua ka tšebeletso e tšoanang ea ho laela. Taelo e romella melaetsa sebakeng sa polokelo moo thepa e ngoloang teng: re ke ke ra leka sena ho data ea ntoa, hobane "thepa ea ka e tla hlakoloa!" Tharollo: Rera tlhahlobo ena kaofela qalong. Hape o na le liteko tsa likarolo tse etsang litšeho. Kahoo, e etse boemong bo tebileng moo u nang le mocha oa puisano o sa senyeng ts'ebetso ea khoebo.

Boemo ba meaho

Infrastructure monitoring ke ntho eo e leng khale ho nahanoa hore e itebela ka bo eona.

• Tlhokomelo ea libopeho tsa motheo e ka thakholoa ebile e lokela ho thakholoa e le mokhoa o ikhethileng.
• Ha oa lokela ho qala ka tlhahlobo ea lits'ebetso tsa projeke e sebetsang, leha o hlile o batla. Sena ke bohloko ho li-devops tsohle. "Pele ke tla beha leihlo sehlopha, ke tla beha leihlo lisebelisoa" - i.e. Taba ea pele, e tla beha leihlo se larileng ka tlase, empa e ke ke ea kena ts'ebelisong. Hobane ts'ebeliso ke ntho e sa utloisiseheng bakeng sa li-devops. E ne e le ho eena, 'me ha a utloisise hore na e sebetsa joang. 'Me o utloisisa mekhoa ea motheo' me o qala ka eona. Empa che - kamehla o hloka ho beha leihlo ts'ebeliso pele.
• Se ke oa fetela holimo ka palo ea litlhokomeliso. Ha ho nahanoa ka ho rarahana ha litsamaiso tsa sejoale-joale, litlhokomeliso li lula li fofa, 'me ka tsela e itseng u tlameha ho phela le sehlopha sena sa litemoso. 'Me motho ea letetseng, ha a shebile litemoso tse lekholo tse latelang, o tla etsa qeto ea "Ha ke batle ho nahana ka eona." Litlhokomeliso li lokela ho tsebisa feela ka lintho tsa bohlokoa.

Boemo ba kopo joalo ka setsi sa khoebo

Lintlha tsa bohlokoa:

• ELK. Ena ke maemo a indasteri. Haeba ka lebaka le itseng u sa bokelle li-log, qala ho etsa joalo hang-hang.
• APM. Li-APM tsa kantle e le mokhoa oa ho koala kapele tlhahlobo ea lits'ebetso (NewRelic, BlackFire, Datadog). U ka kenya ntho ena ka nakoana hore bonyane u utloisise se etsahalang ka uena.
• Ho latela. Ho li-microservices tse ngata, u tlameha ho latela ntho e 'ngoe le e' ngoe, hobane kopo ha e sa phela e le mong. Ho thata haholo ho eketsa hamorao, kahoo ho molemo ho hlophisa hang-hang ho ts'oara nts'etsopele - ona ke mosebetsi le thuso ea bahlahisi. Haeba ha o so e kenye tshebetsong, e kenye tshebetsong! Sheba Jaeger/Zipkin

Ho lemosa

• Tlhophiso ea sistimi ea tsebiso: maemong a ho beha leihlo lintho tse ngata, ho tlameha ho ba le sistimi e kopaneng ea ho romella litsebiso. U ka khona ho Grafana. Ka Bophirimela, motho e mong le e mong o sebelisa PagerDuty. Ditemoso di lokela ho hlaka (mohlala, moo di tswang teng...). 'Me ho bohlokoa ho laola hore litsebiso li amoheloe ho hang
• Tlhophiso ea tsamaiso ea mosebetsi: litlhokomeliso ha lia lokela ho romelloa ho motho e mong le e mong (e mong le e mong o tla arabela ka har'a letšoele, kapa ha ho motho ea tla arabela). Bahlahisi ba boetse ba hloka ho ba oncall: etsa bonnete ba ho hlalosa libaka tsa boikarabello, ho fana ka litaelo tse hlakileng le ho ngola ho eona hore na ke mang ea lokelang ho letsetsa ka Mantaha le Laboraro, le hore na ke mang ea lokelang ho letsetsa ka Labobeli le Labohlano (ho seng joalo ba ke ke ba letsetsa mang kapa mang ketsahalo ea bothata bo boholo - ba tla tšaba ho u tsosa kapa ho u tšoenya : batho ka kakaretso ha ba rate ho letsetsa le ho tsosa batho ba bang, haholo-holo bosiu). 'Me u hlalose hore ho kopa thuso hase pontšo ea ho hloka tsebo ("Ke kopa thuso, ho bolela hore ke mosebeletsi ea khopo"), khothalletsa likōpo tsa thuso.
• Tlhophiso ea "setsi sa tsebo" le ts'ebetso ea ts'ebetso bakeng sa ts'ebetso ea liketsahalo: bakeng sa ketsahalo e 'ngoe le e' ngoe e tebileng, tlhahlobo ea post-mortem e lokela ho reroa, 'me e le tekanyo ea nakoana, liketso tse tla rarolla ketsahalo eo li lokela ho tlalehoa. 'Me u itloaetse hore litemoso tse pheta-phetoang ke sebe; li hloka ho lokisoa mosebetsing oa khoutu kapa oa meralo.

Sekhahla sa theknoloji

A re nahaneng hore na palo ea rona e shebahala tjena:

• pokello ea lintlha - Prometheus + Grafana;
• tlhahlobo ea log - ELK;
• bakeng sa APM kapa Tracing - Jaeger (Zipkin).

Khetho ea likhetho ha e bohlokoa. Hobane haeba qalong u ne u utloisisa mokhoa oa ho beha leihlo tsamaiso le ho ngola moralo, joale u qala ho khetha lisebelisoa ho lumellana le litlhoko tsa hau. Potso ke hore na u khethile ho beha leihlo pele. Hobane mohlomong sesebelisoa seo u se khethileng qalong ha se lumellane le litlhoko tsa hau ho hang.

Lintlha tse 'maloa tsa tekheniki tseo ke li bonang hohle morao tjena:

Prometheus o ntse a sutumelletsoa ka hare ho Kubernetes - ke mang ea tlileng ka see?! Haeba sehlopha sa hau se senyeha, u tla etsa joang? Haeba u na le sehlopha se rarahaneng ka hare, joale ho lokela ho ba le mofuta o mong oa tsamaiso ea ho shebella ka har'a sehlopha, 'me ba bang ba ka ntle, ba tla bokella data ho tsoa ka har'a sehlopha.

Ka har'a sehlopha re bokella lifate le lintho tse ling kaofela. Empa mokhoa oa ho beha leihlo o tlameha ho ba kantle. Hangata, sehlopheng moo ho nang le Promtheus e kentsoeng ka hare, ho boetse ho na le litsamaiso tse etsang licheke tsa kantle tsa ts'ebetso ea sebaka seo. Ho thoe'ng haeba likhokahano tsa hau le lefats'e le kantle li theohile 'me sesebelisoa se sa sebetse? Hoa fumaneha hore ntho e 'ngoe le e' ngoe e hantle ka hare, empa ha e nolofalletse basebelisi.

fumanoeng ke

• Nts'etsopele ea ho beha leihlo ha se ho kenya lisebelisoa, empa ke nts'etsopele ea sehlahisoa sa software. 98% ea tlhahlobo ea kajeno e kenyelletsa likhoutu. Ho ngolisa lits'ebeletso, ho ngolisa licheke tsa kantle, ho hlahloba lits'ebeletso tsa kantle, 'me ke phetho.
• Se ke oa senya nako ea bahlahisi ba hau ho beha leihlo: ho ka nka 30% ea mosebetsi oa bona, empa ho bohlokoa.
• Devops, u se ke oa tšoenyeha hore ha u khone ho beha leihlo ntho e itseng, hobane lintho tse ling ke tsela e fapaneng ka ho felletseng ea ho nahana. U ne u se moqapi, mme mosebetsi oa ho beha leihlo ke mosebetsi oa bona hantle.
• Haeba morero o se o ntse o sebetsa 'me o sa behoe leihlo ('me u mookameli), aba lisebelisoa bakeng sa ho beha leihlo.
• Haeba sehlahisoa se se se ntse se hlahisoa, 'me u devops ea ileng a bolelloa hore a "sete tlhahlobo" - leka ho hlalosetsa batsamaisi hore na ke ngotse sena sohle ka eng.

Ena ke mofuta o atolositsoeng oa tlaleho kopanong ea Saint Highload ++.

Haeba u thahasella maikutlo a ka le mehopolo ea ka ho eona le lihlooho tse amanang, joale mona u ka khona bala mocha 🙂

Source: www.habr.com