Lebitso la ka ke Anton Baderin. Ke sebetsa Setsing sa Theknoloji e Phahameng mme ke etsa tsamaiso ea tsamaiso. Khoeli e fetileng, seboka sa rona sa mekhatlo se ile sa fela, moo re ileng ra arolelana phihlelo ea rona e bokelitsoeng le sechaba sa IT sa toropo ea rona. Ke buile ka ho beha leihlo lits'ebetso tsa marang-rang. Boitsebiso bo ne bo reretsoe ho ba boemong bo tlaase kapa bo bohareng, ba sa kang ba haha mokhoa ona ho tloha qalong.
Lejoe la motheo le thehileng tsamaiso efe kapa efe ea ho beha leihlo ke ho rarolla mathata a khoebo. Ho beha leihlo molemong oa ho beha leihlo ha ho na thahasello ho mang kapa mang. Khoebo e batla eng? E le hore ntho e 'ngoe le e' ngoe e sebetse ka potlako le ntle le liphoso. Likhoebo li batla ho ba le ts'ebetso, e le hore rona ka borona re bone mathata a ts'ebeletso le ho a lokisa kapele kamoo ho ka khonehang. Ha e le hantle, ana ke mathata ao ke a rarollotseng selemong se fetileng ka morero oa e mong oa bareki ba rona.
Mabapi le morero
Morero ke le leng la mananeo a maholohali a ts'epahalo naheng. Re thusa liketane tsa mabenkele ho eketsa makhetlo a thekiso ka lisebelisoa tse fapaneng tsa ho bapatsa joalo ka likarete tsa bonase. Ka kakaretso, morero ona o kenyelletsa lits'ebetso tse 14 tse sebetsang ho li-server tse leshome.
Nakong ea lipuisano, ke hlokometse khafetsa hore li-admins ha li atamele ho beha leihlo lits'ebetso tsa webo ka nepo: ba bangata ba ntse ba tsepamisitse maikutlo ho metrics ea sistimi e sebetsang mme ka linako tse ling ba beha leihlo lits'ebeletso.
Tabeng ea ka, tsamaiso ea bareki e ne e thehiloe pele ho Icinga. Ha ea ka ea rarolla mathata a ka holimo ka tsela leha e le efe. Hangata moreki ka boeena o re tsebisitse ka mathata, 'me hangata ho feta moo, re ne re se na data e lekaneng ho fihla botebong ba lebaka.
Ho phaella moo, ho ne ho e-na le kutloisiso e hlakileng ea lefeela la tsoelo-pele ea eona e tsoelang pele. Ke nahana hore ba tloaelaneng le Icinga ba tla nkutloisisa. Kahoo, re nkile qeto ea ho hlophisa bocha sistimi ea tlhahlobo ea ts'ebeliso ea webo bakeng sa morero.
Prometheus
Re khethile Prometheus ho latela matšoao a mararo a mantlha:
- Palo e kholo ea metrics e fumanehang. Tabeng ea rona ho na le ba likete tse 60 ba bona. Ehlile, ke habohlokoa ho hlokomela hore ha re sebelise boholo ba bona (mohlomong hoo e ka bang 95%). Ka lehlakoreng le leng, kaofela ha tsona li batla li le theko e tlaase. Ho rona, ena ke e 'ngoe e feteletseng ha e bapisoa le Icinga e neng e sebelisoa pele. Ho eona, ho eketsa metrics e ne e le bohloko bo itseng: tse neng li le teng li ne li theko e boima (sheba feela mohloli oa mohloli oa plugin leha e le efe). Plugin leha e le efe e ne e le script ho Bash kapa Python, ho qala ha eona ho theko e boima ho latela lisebelisoa tse sebelisoang.
- Tsamaiso ena e ja lisebelisoa tse batlang li fokola. 600 MB ea RAM, 15% ea konokono e le 'ngoe le IOPS tse' maloa li lekane metrics eohle ea rona. Ehlile, o tlameha ho tsamaisa barekisi ba metrics, empa kaofela li ngotsoe ho Go mme hape ha ba lape matla haholo. Ha ke nahane hore linneteng tsa morao-rao sena ke bothata.
- E fana ka bokhoni ba ho fallela Kubernetes. Ha re nahana ka merero ea bareki, khetho e totobetse.
Elk
Nakong e fetileng, re ne re sa bokelle kapa ho sebetsana le likutu. Mefokolo e hlakile ho bohle. Re khethile ELK hobane re ne re se re ntse re e-na le phihlelo ka tsamaiso ena. Re boloka li-log tsa likopo feela moo. Mekhoa e ka sehloohong ea khetho e ne e le ho batla mongolo ka botlalo le lebelo la eona.
Сlickhouse
Qalong, khetho e ile ea oela ho InfluxDB. Re hlokometse tlhokahalo ea ho bokella lintlha tsa Nginx, lipalo-palo ho pg_stat_statements, le ho boloka lintlha tsa histori tsa Prometheus. Ha rea ka ra rata Influx hobane nako le nako e ne e qala ho hopola lintho tse ngata ebe e oa. Ho feta moo, ke ne ke batla ho hlophisa lipotso ka remote_addr, empa ho beha lihlopha ho DBMS ena ke feela ka li-tag. Li-tag li theko e boima (memori), palo ea tsona e lekanyelitsoe.
Re ile ra qala ho batla hape. Se neng se hlokahala e ne e le database ea tlhahlobo e nang le tšebeliso e fokolang ea lisebelisoa, haholo-holo ka compression ea data ho disk.
Clickhouse e kopana le litekanyetso tsena kaofela, 'me ha ho mohla re kileng ra ikoahlaela khetho ea rona. Ha re ngole lintlha tse ngata tse sa tloaelehang ho eona (palo ea tse kentsoeng e ka ba likete tse hlano feela ka motsotso).
NewRelic
NewRelic esale e na le rona hobane e ne e le khetho ea moreki. Re e sebelisa joalo ka APM.
Zabbix
Re sebelisa Zabbix ka ho khetheha ho beha leihlo Black Box ea li-API tse fapaneng.
Ho Hlalosa Mokhoa oa ho Bea Tekolo
Re ne re batla ho senya mosebetsi mme ka hona re hlophise mokhoa oa ho beha leihlo.
Ho etsa sena, ke arola sistimi ea rona ka mekhahlelo e latelang:
- hardware le VMS;
- mokhoa oa tšebetso;
- lits'ebeletso tsa sistimi, pokello ea software;
- kopo;
- logic ea khoebo.
Hobaneng mokhoa ona o le bonolo:
- rea tseba hore na ke mang ea ikarabellang bakeng sa mosebetsi oa boemo bo bong le bo bong 'me, ho itšetlehile ka sena, re ka romela litlhokomeliso;
- re ka sebelisa sebopeho ha re hatella litlhokomeliso - e ka ba ntho e makatsang ho romella tlhokomeliso mabapi le ho se fumanehe ha database ha mochini o hlakileng ka kakaretso o sa fumanehe.
Kaha mosebetsi oa rona ke ho tsebahatsa tlolo ea molao ts'ebetsong ea sistimi, boemong bo bong le bo bong re tlameha ho totobatsa sete e itseng ea metrics eo re lokelang ho e ela hloko ha re ngola melao e lemosang. Ka mor'a moo, ha re feteleng ka mekhahlelo "VMS", "Operating System" le "Systems, software stack".
Mechini ea Virtual
Hosting e re abela processor, disk, memori le marang-rang. Mme re bile le mathata ka tse pedi tsa pele. Kahoo, metrics:
Nako e utsoitsoeng ea CPU - ha o reka mochini o sebetsang ho Amazon (t2.micro, mohlala), o lokela ho utloisisa hore ha o abeloe karolo e felletseng ea processor, empa ke karolo ea nako ea eona feela. 'Me ha u e qeta, processor e tla tlosoa ho uena.
Metric ena e u lumella ho latela linako tse joalo le ho etsa liqeto. Mohlala, na hoa hlokahala ho nka litefiso tse mafura kapa ho tsamaisa ts'ebetso ea mesebetsi ea morao-rao le likopo tsa API ho li-server tse fapaneng?
IOPS + CPU iowait nako - ka lebaka le itseng, batho ba bangata ba amohelang maru ba etsa sebe ka ho se fane ka IOPS e lekaneng. Ho feta moo, kemiso e nang le IOPS e tlaase ha se khang bakeng sa bona. Ka hona, ho bohlokoa ho bokella CPU iowait. Ka para ena ea li-graph - tse nang le IOPS e tlase le I/O e phahameng e emetse - u ka se u ntse u bua le moamoheli le ho rarolla bothata.
tshebetso ya ho sebetsa
Metrics ea sistimi e sebetsang:
- palo ea memori e fumanehang ka%;
- ts'ebetso ea ts'ebeliso ea phetoho: vmstat swapin, swapout;
- palo ea li-inode tse fumanehang le sebaka sa mahala ho sistimi ea faele ho%
- mojaro o tloaelehileng;
- palo ea likhokahano maemong a mabeli;
- contrack botlalo tafoleng;
- Boleng ba marang-rang bo ka hlahlojoa ho sebelisoa ss utility, sephutheloana sa iproute2 - fumana pontšo ea likhokahano tsa RTT ho tsoa tlhahiso ea eona ebe u e hlophisa ka dest port.
Hape boemong ba sistimi ea ts'ebetso re na le setheo se joalo ka lits'ebetso. Ke habohlokoa ho khetholla tsamaisong ea mekhoa e mengata e phethang karolo ea bohlokoa ts'ebetsong ea eona. Haeba, ka mohlala, u na le li-pgpools tse 'maloa, joale u lokela ho bokella tlhahisoleseding bakeng sa e' ngoe le e 'ngoe ea tsona.
Sehlopha sa metrics se shebahala tjena:
- CPUs;
- memori e dula haholo;
- IO - ka ho khetheha ho IOPS;
- FileFd - bula le moeli;
- liphoso tse kholo tsa leqephe - ka tsela ena u ka utloisisa hore na ke ts'ebetso efe e fetotsoeng.
Re kenya lisebelisoa tsohle tsa ho beha leihlo ho Docker, 'me re sebelisa Advisor ho bokella lintlha tsa metrics. Mechineng e meng re sebelisa process-exporter.
Litšebeletso tsa sistimi, sephutheloana sa software
Sesebelisoa se seng le se seng se na le lintlha tsa sona, 'me ho thata ho khetholla sete e itseng ea metrics.
Sehlopha sa bokahohleng ke:
- tekanyo ea kopo;
- palo ea liphoso;
- ho lieha;
- kholiso.
Mehlala ea rona e makatsang ea ho beha leihlo boemong bona ke Nginx le PostgreSQL.
Ts'ebeletso e jereng haholo tsamaisong ea rona ke database. Nakong e fetileng, re ne re atisa ho ba le bothata ba ho fumana hore na database e etsa eng.
Re bone mojaro o phahameng holim'a li-disk, empa lifate tse liehang ha lia ka tsa bontša letho. Re rarolle bothata bona re sebelisa pg_stat_statements, pono e bokellang lipalo-palo tsa lipotso.
Ke sohle seo admin o se hlokang.
Re theha li-graph tsa mosebetsi oa ho bala le ho ngola likopo:
Ntho e 'ngoe le e' ngoe e bonolo ebile e hlakile, kopo e 'ngoe le e' ngoe e na le 'mala oa eona.
Mohlala o ts'oanang o makatsang ke li-log tsa Nginx. Ha ho makatse hore ebe ke batho ba fokolang ba li hlalosang kapa ba li bolelang lethathamong la lintho tseo u lokelang ho ba le tsona. Sebopeho se tloaelehileng ha se na tsebo e ngata 'me se hloka ho atolosoa.
Ka bonna, ke kentse kopo_nako, upstream_response_time, body_bytes_sent, request_length, request_id. Re rera nako ea karabo le palo ea liphoso:
Re etsa li-graph tsa nako ea karabo le palo ea liphoso. Hopola? Na ke buile ka merero ea khoebo? Ho ea kapele le ntle le liphoso? Litaba tsena re se re li koahetse ka lichate tse peli. 'Me u se u ka letsetsa balaoli ba mosebetsing u ba sebelisa.
Empa bothata bo bong hape bo ntse bo le teng - ho netefatsa hore ho felisoa ka potlako lisosa tsa ketsahalo ena.
Qeto ea ketsahalo
Ts'ebetso eohle ho tloha ho ho khetholla ho isa ho ho rarolla bothata e ka aroloa ka mehato e mengata:
- ho lemoha bothata;
- tsebiso ho mookameli oa mosebetsi;
- karabelo ketsahalong e itseng;
- phediso ya lisosa.
Ke habohlokoa hore re etse sena kapele kamoo ho ka khonehang. 'Me haeba methating ea ho khetholla bothata le ho romela tsebiso, re ke ke ra fumana nako e ngata - metsotso e' meli e tla sebelisoa ho bona ho sa tsotellehe boemo leha e le bofe, joale tse latelang ke tšimo e sa lengoang bakeng sa ntlafatso.
A re nke hore mohala oa ofisiri ea mosebetsi o ile oa lla. O tla etsa joang? Batla likarabo tsa lipotso - ke eng e robehileng, e robehile hokae, mokhoa oa ho itšoara joang? Re araba lipotso tsena ka tsela ena:
Re kenyelletsa tlhahisoleseling ena kaofela sengolong sa tsebiso, re e fe sehokelo sa leqephe la wiki le hlalosang mokhoa oa ho araba bothata bona, ho bo rarolla le ho bo eketsa.
Ha ke so bue letho ka lera la kopo le mohopolo oa khoebo. Ka bomalimabe, lits'ebetso tsa rona ha li e-so sebelise pokello ea litekanyetso. Mohloli o le mong oa tlhahisoleseling ho tsoa maemong ana ke li-log.
Lintlha tse 'maloa.
Ntlha ea pele, ngola likutu tse hlophisitsoeng. Ha ho hlokahale ho kenyelletsa moelelo oa taba mongolong oa molaetsa. Sena se etsa hore ho be thata ho li hlophisa le ho li sekaseka. Logstash e nka nako e telele ho etsa hore tsena tsohle li tloaelehe.
Taba ea bobeli, sebelisa maemo a thata ka nepo. Puo ka nngwe e na le tekanyetso ya yona. Ka bonna, ke khetholla maemo a mane:
- ha ho phoso;
- phoso ea lehlakore la moreki;
- phoso e ka lehlakoreng la rona, ha re lahleheloe ke chelete, ha re jare likotsi;
- Phoso e ka lehlakoreng la rona, re lahleheloa ke chelete.
E re ke akaretsa. U hloka ho leka ho aha tlhahlobo e thehiloeng ho logic ea khoebo. Leka ho beha leihlo kopo ka boeona le ho sebetsa ka metrics joalo ka palo ea thekiso, palo ea ngoliso e ncha ea basebelisi, palo ea basebelisi ba sebetsang hajoale, joalo-joalo.
Haeba khoebo ea hau kaofela e le konopo e le 'ngoe ho sebatli, o hloka ho beha leihlo hore na e tobetsa le ho sebetsa hantle. Tse ling kaofela ha li na taba.
Haeba u sena sena, u ka leka ho e fumana ka har'a li-logs tsa kopo, li-logs tsa Nginx, joalo-joalo, joalo ka ha re entse. U lokela ho ba haufi le kopo ka hohle kamoo ho ka khonehang.
Metrics ea sistimi ea ts'ebetso e bohlokoa ehlile, empa khoebo ha e na thahasello ho eona, ha re lefuoe bakeng sa eona.
Source: www.habr.com