Ny fihaonambe HighLoad++ manaraka dia hatao ny 6 sy 7 aprily 2020 any Saint-Pétersbourg Details sy tapakila . HighLoad++ Moscow 2018. Hall "Moscow". 9 Novambra, 15:00. Theses ary .
* Fanaraha-maso - an-tserasera sy analyse.
* Famerana fototra amin'ny sehatra ZABBIX.
* Vahaolana ho an'ny fitehirizana ny analytics.
* Fanatsarana ny mpizara ZABBIX.
* Optimization UI.
* Manandrama miasa amin'ny rafitra eo ambanin'ny entana mihoatra ny 40k NVPS.
* Fehiny fohy.
Mikhail Makurov (MM): - Salama daholo!
Maxim Chernetsov (manaraka izany - MCH): - Salama!
MM: – Avelao aho hampahafantatra an’i Maxim. Max dia injeniera manan-talenta, ny tambajotra tsara indrindra fantatro. Maxim dia mandray anjara amin'ny tambajotra sy ny serivisy, ny fivoarany sy ny asany.
MCH: – Ary te-hilaza aminareo momba an'i Mikhail aho. Mikhail dia mpamorona C. Nanoratra vahaolana fanodinana fifamoivoizana be dia be ho an'ny orinasanay izy. Mipetraka sy miasa any amin'ny Urals izahay, ao amin'ny tanànan'ny lehilahy henjana Chelyabinsk, ao amin'ny orinasa Intersvyaz. Ny orinasanay dia mpanome tolotra Internet sy fahitalavitra tariby ho an'ny olona iray tapitrisa any amin'ny tanàna 16.
MM: - Ary ilaina ny milaza fa ny Intersvyaz dia mihoatra lavitra noho ny mpamatsy, fa orinasa IT. Ny ankamaroan'ny vahaolana ataonay dia ataon'ny departemanta IT.
A: manomboka amin'ny lohamilina manodina ny fifamoivoizana mankany amin'ny foibe antso sy fampiharana finday. Ny departemanta IT dia manana olona 80 eo ho eo izay manana fahaiza-manao tena samihafa.
Momba an'i Zabbix sy ny maritranony
MCH: – Ary ankehitriny dia hiezaka ny hametraka firaketana manokana aho ary hilaza ao anatin'ny iray minitra hoe inona ny Zabbix (antsoina hoe "Zabbix" avy eo).
Zabbix dia mametraka ny tenany ho rafitra fanaraha-maso ivelan'ny boaty. Manana endri-javatra maro manamora ny fiainana izy io: fitsipika fisondrotana avo lenta, API ho an'ny fampidirana, fanakambanana ary fanaraha-maso mandeha ho azy ny mpampiantrano sy ny metrika. Zabbix dia manana fitaovana antsoina hoe scaling - proxy. Zabbix dia rafitra loharano misokatra.
Fohy momba ny architecture. Afaka milaza isika fa misy singa telo:
- Server. Voasoratra ao amin'ny C. Miaraka amin'ny fanodinana somary sarotra sy ny famindrana ny vaovao eo amin'ny kofehy. Ny fanodinana rehetra dia atao ao: manomboka amin'ny fandraisana ka hatramin'ny fitehirizana ny tahiry.
- Ny angona rehetra dia voatahiry ao anaty tahiry. Zabbix dia manohana MySQL, PostreSQL ary Oracle.
- Ny interface web dia voasoratra amin'ny PHP. Amin'ny ankamaroan'ny rafitra dia miaraka amin'ny mpizara Apache izy io, saingy miasa mahomby kokoa miaraka amin'ny nginx + php.
Androany izahay dia te-hitantara tantara iray momba ny fiainan'ny orinasanay mifandraika amin'ny Zabbix...
Tantara iray avy amin'ny fiainan'ny orinasa Intersvyaz. Inona no ananantsika ary inona no ilaintsika?
5 na 6 volana lasa izay. Indray andro rehefa avy niasa...
MCH: - Misha, salama! Faly aho fa nahavita nisambotra anao - misy resaka. Nisedra olana indray izahay tamin'ny fanaraha-maso. Nandritra ny lozam-pifamoivoizana lehibe iray dia niadana ny zava-drehetra ary tsy nisy fampahalalana momba ny toetry ny tambajotra. Indrisy anefa fa tsy vao sambany no nitrangan’izany. Mila ny Fanampianao Aho. Aoka hataontsika miasa ny fanaraha-maso na inona na inona toe-javatra!
MM: - Fa aleo atao synchronize aloha. Tsy nijery tany aho nandritra ny roa taona. Raha ny tadidiko dia nandao an'i Nagios izahay ary nifindra tany Zabbix tokony ho 8 taona lasa izay. Ary ankehitriny toa manana mpizara matanjaka 6 sy proxy eo amin'ny am-polony eo ho eo izahay. Mampisafotofoto ve aho?
MCH: - Saika. Mpizara 15, ny sasany dia milina virtoaly. Ny zava-dehibe indrindra dia ny hoe tsy mahavonjy antsika amin'ny fotoana tena ilantsika azy io. Toy ny lozam-pifamoivoizana - miadana ny mpizara ary tsy mahita na inona na inona ianao. Niezaka nanatsara ny fanamafisam-peo izahay, saingy tsy nanome ny fampiakarana tsara indrindra izany.
MM: - Mazava. Nijery zavatra ve ianao, efa nandavaka zavatra avy amin'ny diagnostika ve ianao?
MCH: - Ny zavatra voalohany tokony hataonao dia ny angon-drakitra. Ny MySQL dia feno entana tsy tapaka, mitahiry metrika vaovao, ary rehefa manomboka mamorona andian-dahatsary i Zabbix, dia lasa tafahoatra ny angon-drakitra mandritra ny ora vitsivitsy. Efa nolazaiko taminao ny momba ny fanatsarana ny fanamafisana, fa tamin'ity taona ity dia nanavao ny hardware izy ireo: manana fahatsiarovana maherin'ny zato gigabytes sy firaketana kapila amin'ny SSD RAIDs ny mpizara - tsy misy dikany ny mampitombo azy io amin'ny fotoana maharitra. Inona no ataontsika?
MM: - Mazava. Amin'ny ankapobeny, MySQL dia angona LTP. Toa tsy mety intsony ny fitehirizana arisivan'ny metrika mitovy habe amintsika. Andeha hojerentsika izany.
MCH: - Andao!
Fampidirana an'i Zabbix sy Clickhouse vokatry ny hackathon
Rehefa afaka kelikely dia nahazo angona mahaliana izahay:
Ny ankabeazan'ny habaka ao amin'ny angon-drakitray dia nofehezin'ny arisivan'ny metrika ary latsaky ny 1% no nampiasaina ho an'ny fanefena, ny maodely ary ny fanovana. Tamin'izany fotoana izany dia efa niasa ny vahaolana Big data mifototra amin'ny Clickhouse nandritra ny herintaona mahery izahay. Nazava taminay ny lalan'ny hetsika. Tamin'ny lohataona Hackathon, nanoratra ny fampidirana Zabbix miaraka amin'ny Clickhouse ho an'ny mpizara sy ny frontend aho. Tamin'izany fotoana izany dia efa nahazo fanohanana ny ElasticSearch i Zabbix, ary nanapa-kevitra ny hampitaha azy ireo izahay.
Fampitahana ny Clickhouse sy Elasticsearch
MM: – Ho fampitahana, niteraka entana mitovy amin'ny omen'ny mpizara Zabbix izahay ary nijery ny fomba fitondran'ireo rafitra. Nanoratra angona tamin'ny andalana 1000 izahay, tamin'ny fampiasana CURL. Noheverinay mialoha fa ny Clickhouse dia hahomby kokoa amin'ny mombamomba ny entana izay ataon'i Zabbix. Nihoatra ny nantenainay mihitsy aza ny vokatra:
Tao anatin'ny fepetra fitsapana mitovy, Clickhouse dia nanoratra angona avo telo heny. Nandritra izany fotoana izany, ny rafitra roa dia nandany tamin'ny fomba mahomby (vola kely) rehefa mamaky angon-drakitra. Saingy nitaky processeur be dia be ny Elastics rehefa nandrakitra:
Amin'ny fitambarany, Clickhouse dia ambony lavitra noho ny Elastix amin'ny resaka fanjifana sy hafainganam-pandeha. Mandritra izany fotoana izany, noho ny famatrarana data, ny Clickhouse dia mampiasa in-11 kely kokoa amin'ny kapila mafy ary manatanteraka hetsika kapila in-30 eo ho eo:
MCH: - Eny, ny asan'ny Clickhouse miaraka amin'ny subsystem kapila dia ampiharina amin'ny fomba mahomby. Afaka mampiasa kapila SATA goavana ho an'ny angon-drakitra ianao ary mahazo hafainganam-panoratana andalana an'hetsiny isan-tsegondra. Ny rafitra ivelan'ny boaty dia manohana sharding, replication, ary tena mora amboarina. Afa-po kokoa isika amin'ny fampiasana azy mandritra ny taona.
Mba hanamafisana ny loharanon-karena dia azonao atao ny mametraka Clickhouse eo akaikin'ny angon-drakitra lehibe misy anao ary mamonjy fotoana be dia be amin'ny CPU sy ny fiasan'ny kapila. Nafindranay ho any amin'ny cluster Clickhouse efa misy ny arisivan'ny metrika:
Nanamaivana ny angon-drakitra MySQL lehibe indrindra izahay ka afaka nampifangaro azy tamin'ny milina iray miaraka amin'ny mpizara Zabbix ary nandao ny mpizara natokana ho an'ny MySQL.
Ahoana no fiasan'ny fandatsaham-bato ao amin'ny Zabbix?
4 volana lasa izay
MM: – Eny, afaka manadino ny olana amin'ny fototra ve isika?
MCH: - Azo antoka izany! Olana iray hafa tokony hovahantsika ny fanangonana angon-drakitra miadana. Ankehitriny ny mpizara proxy 15 rehetra dia feno entana amin'ny SNMP sy ny fandatsaham-bato. Ary tsy misy fomba afa-tsy ny fametrahana server vaovao sy vaovao.
MM: - Tsara. Fa lazao anay ny fomba fiasan'ny fandatsaham-bato ao Zabbix?
MCH: - Raha fintinina dia misy karazana metrika 20 sy fomba ampolony hahazoana azy ireo. Zabbix dia afaka manangona angona na amin'ny fomba "fangatahana-valiny", na miandry angona vaovao amin'ny alàlan'ny "Trapper Interface".
Tsara ny manamarika fa ao amin'ny Zabbix tany am-boalohany io fomba (Trapper) io no haingana indrindra.
Misy mpizara proxy ho an'ny fizarana entana:
Ny proxy dia afaka manatanteraka ny asa fanangonana mitovy amin'ny mpizara Zabbix, mandray asa avy aminy ary mandefa ny metrika voaangona amin'ny alàlan'ny interface Trapper. Ity no fomba ofisialy aroso amin'ny fizarana ny entana. Ny proxy dia ilaina ihany koa amin'ny fanaraha-maso ny fotodrafitrasa lavitra miasa amin'ny alàlan'ny NAT na fantsona miadana:
MM: – Mazava ny zava-drehetra amin'ny maritrano. Mila jerena ny loharano...
Roa andro taty aoriana
Ny tantaran'ny nmap fping
MM: "Heveriko fa nandavaka zavatra aho."
MCH: - Teneno aho!
MM: – Hitako fa rehefa manamarina ny fisiany, Zabbix dia manamarina mpampiantrano 128 ambony indrindra amin'ny fotoana iray. Nanandrana nampitombo ity isa ity ho 500 aho ary nesoriko ny elanelan'ny packet amin'ny ping (ping) - izany dia nampitombo avo roa heny ny fampisehoana. Saingy mila isa lehibe kokoa aho.
MCH: – Amin'ny fanazaran-tenako, indraindray tsy maintsy manamarina ny fisian'ny mpampiantrano an'arivony aho, ary tsy mbola nahita zavatra haingana kokoa noho ny nmap momba izany aho. Azoko antoka fa ity no fomba haingana indrindra. Andeha hojerentsika! Mila mampitombo be ny isan'ny mpampiantrano isaky ny famerimberenana.
MM: – Manamarina mihoatra ny dimanjato? 600?
MCH: - Roa arivo farafahakeliny.
MM: - OK. Ny zava-dehibe indrindra tiako holazaina dia ny nahitako fa ny ankamaroan'ny fandatsaham-bato ao Zabbix dia atao miaraka. Tena mila ovaina amin'ny fomba asynchronous izany. Avy eo isika dia afaka mampitombo be ny isan'ny metrika nangonin'ny mpanao fanadihadiana, indrindra raha mampitombo ny isan'ny metrika isaky ny famerimberenana.
MCH: - Tsara! Ary rahoviana?
MM: – Toy ny mahazatra, omaly.
MCH: - Nampitahainay ny dikan-teny roa amin'ny fping sy nmap:
Amin'ny mpampiantrano marobe, nmap dia andrasana ho avo dimy heny kokoa. Koa satria ny nmap ihany no manamarina ny fisiana sy ny fotoana famaliana, dia nafindranay tamin'ny trigger ny kajy ny fatiantoka ary nampihena be ny elanelam-potoana fisavana. Hitanay ny isan'ny mpampiantrano tsara indrindra ho an'ny nmap dia manodidina ny 4 arivo isaky ny mandeha. Nmap dia namela anay hampihena in-telo ny vidin'ny CPU amin'ny fisavana ny fisiana ary hampihena ny elanelana 120 segondra ho 10.
Fanatsarana ny fifidianana
MM: “Dia nanomboka nanao fitsapan-kevitra izahay. Tena liana tamin'ny SNMP detection sy agents izahay. Ao amin'ny Zabbix, atao miaraka ny fandatsaham-bato ary nisy fepetra manokana noraisina mba hampitomboana ny fahombiazan'ny rafitra. Amin'ny fomba synchronous, ny tsy fisian'ny mpampiantrano dia miteraka fahasimbana lehibe amin'ny fifidianana. Misy rafi-panjakana iray manontolo, misy dingana manokana - ilay antsoina hoe mpanao fanadihadiana tsy azo tratrarina, izay miasa afa-tsy amin'ny mpampiantrano tsy azo tratrarina:
Ity dia fanehoan-kevitra mampiseho ny matrice-panjakana, ny fahasarotana rehetra amin'ny rafitry ny tetezamita izay takiana mba hahomby ny rafitra. Ankoatr'izay, ny fitsapan-kevitra synchronous dia tena miadana:
Izany no mahatonga ny onjam-panontaniana an'arivony amin'ny proxy am-polony tsy afaka manangona ny habetsaky ny angona ilaina ho antsika. Ny fampiharana asynchronous dia tsy vitan'ny hoe namaha ny olana amin'ny isan'ny kofehy, fa nanatsotra ihany koa ny rafi-panjakan'ny mpampiantrano tsy misy, satria ho an'ny isa voamarika amin'ny fandatsaham-bato iray, ny fotoana fiandrasana ambony indrindra dia 1 fe-potoana:
Fanampin'izany, novaina sy nohatsarainay ny rafi-pifidianana ho an'ny fangatahana SNMP. Ny zava-misy dia ny ankamaroan'ny olona dia tsy afaka mamaly ny fangatahana SNMP marobe amin'ny fotoana iray ihany. Noho izany, nanao fomba hybrid izahay, rehefa natao asynchronously ny fitsapan-kevitra SNMP an'ny mpampiantrano iray ihany:
Izany dia natao ho an'ny fonosana manontolo. Ity fomba ity amin'ny farany dia tsy miadana noho ny asynchronous tanteraka, satria ny fandatsaham-bato sanda SNMP zato sy sasany dia mbola haingana kokoa noho ny fe-potoana 1.
Nasehon'ny andranay fa eo amin'ny 8 arivo eo ho eo amin'ny fandatsaham-bato SNMP ny isa tsara indrindra amin'ny fangatahana indray mandeha. Amin'ny fitambarany, ny fifindrana mankany amin'ny maodely asynchronous dia namela anay hanafaingana ny fanatanterahana ny fifidianana in-200, in-jato maro.
MCH: - Nasehon'ny fanatsarana ny fandatsaham-bato vokatra fa tsy vitan'ny hoe manala ny proxy rehetra isika, fa mampihena ihany koa ny elanelan'ny fisavana maro, ary tsy ilaina intsony ny proxy ho toy ny fomba hizarana ny entana.
Telo volana lasa izay
Hanova ny maritrano - hampitombo ny entana!
MM: - Eny, ry Max, izao ve no fotoana hamokarana? Mila mpizara matanjaka sy injeniera mahay aho.
MCH: - Eny, andao hanomana izany. Fotoana lehibe izao hialana amin'ny teboka maty 5 arivo metrika isan-tsegondra.
Ny maraina aorian'ny fanavaozana
MCH: - Misha, nanavao ny tenanay izahay, fa tamin'ny maraina dia nihemotra izahay ... Eritrereto hoe inona ny hafainganam-pandeha azonay?
MM: – 20 arivo ambony indrindra.
MCH: -eny, 25! Indrisy anefa fa eo amin'ny toerana nanombohantsika isika.
MM: - Nahoana? Efa nanao diagnostika ve ianao?
MCH: - Eny, azo antoka! Ity, ohatra, misy tampony mahaliana:
MM: - Andeha isika hijery. Hitako fa nanandrana loha-pifidianana marobe izahay:
Saingy tamin'izany fotoana izany dia tsy afaka namerina ny rafitra izy ireo na dia tamin'ny antsasany aza:
Ary ny fampisehoana ankapobeny dia somary kely, manodidina ny 4 arivo metrika isan-tsegondra:
Misy zavatra hafa ve?
MCH: - Eny, sarin'ny iray amin'ireo mpanao fanadihadiana:
MM: – Hitanao tsara eto fa miandry “semaphore” ny fandatsaham-bato. Ireto ny hidin-trano:
MCH: - Tsy mazava.
MM: – Jereo, mitovitovy amin'ny toe-javatra misy andian-tady miezaka miasa amin'ny loharanon-karena izay iray ihany no afaka miasa amin'ny fotoana iray. Ny hany azon'izy ireo atao dia ny mizara ity loharano ity rehefa mandeha ny fotoana:
Ary ny fitambaran'ny fahombiazan'ny miasa amin'ny loharano toy izany dia voafetra amin'ny hafainganam-pandehan'ny fototra iray:
Misy fomba roa hamahana ity olana ity.
Havaozina ny fitaovan'ny milina, midira amin'ny cores haingana kokoa:
Na ovay ny maritrano ary ovay koa ny entana:
MCH: - Amin'ny lafiny iray, amin'ny milina fitsapana dia hampiasa cores vitsy kokoa noho ny amin'ny ady isika, saingy avo 1,5 heny noho ny hafainganana isaky ny core!
MM: - Mazava? Mila mijery ny code server ianao.
Lalan'ny data ao amin'ny mpizara Zabbix
MCH: – Mba hamantarana izany, dia nanomboka nandinika ny fomba famindrana angon-drakitra ao anatin'ny mpizara Zabbix izahay:
Sary mahafinaritra, sa tsy izany? Andeha hojerentsika tsikelikely izany mba hazava kokoa na tsy dia mazava loatra. Misy kofehy sy serivisy tompon'andraikitra amin'ny fanangonana data:
Mamindra ny metrika voaangona amin'ny alàlan'ny socket mankany amin'ny mpitantana Preprocessor izy ireo, izay voatahiry ao anaty filaharana:
Mampita angon-drakitra amin'ny mpiasany ny “mpiandraikitra mialoha ny fanodinana”, izay manatanteraka toromarika mialoha ny fanodinana ary mamerina azy ireo amin'ny socket iray ihany:
Aorian'izany, ny mpitantana preprocessor dia mitahiry azy ireo ao amin'ny cache tantara:
Avy eo izy ireo dia alain'ireo mpandefa tantara, izay manao asa maro be: ohatra, kajy ny trigger, famenoana ny cache sanda ary, indrindra indrindra, ny fitahirizana metrika ao amin'ny fitahirizana tantara. Amin'ny ankapobeny, sarotra ny dingana ary tena mampisafotofoto.
MM: - Ny zavatra voalohany hitanay dia ny ankamaroan'ny kofehy dia mifaninana amin'ny antsoina hoe "cache configuration" (ny faritra fitadidiana izay itahirizana ny configurations rehetra). Ny kofehy tompon'andraikitra amin'ny fanangonana angona dia manao fanakanana be dia be:
...satria tsy vitan'ny hoe mitahiry metrika miaraka amin'ny mason-tsivanany ihany ny configuration, fa koa filaharana izay andraisan'ny mpandinika vaovao ny zavatra tokony hatao manaraka. Rehefa maro ny mpanao fandatsaham-bato ary ny iray manakana ny fanitsiana dia miandry ny fangatahana ny hafa:
Tsy tokony hifandroritana ny mpifidy
Noho izany, ny zavatra voalohany nataonay dia nizarazara ho 4 ny filaharana ary namela ireo mpifidy hanakana ireo filaharana ireo, ireo faritra ireo amin'ny fotoana mitovy, ao anatin'ny fepetra azo antoka:
Nesoriny ny fifaninanana ho an'ny cache configuration, ary nitombo be ny hafainganam-pandehan'ny mpanao fanadihadiana. Saingy avy eo dia nahita ny zava-misy izahay fa nanomboka nanangona filaharana asa ny mpitantana preprocessor:
Ny mpitantana preprocessor dia tsy maintsy mahay manao laharam-pahamehana
Nitranga izany tamin'ny tranga tsy nahitana fahombiazana. Avy eo, ny hany azony atao dia ny manangona fangatahana avy amin'ny fizotran'ny fanangonana angon-drakitra ary manampy ny buffer azy ireo mandra-pandevona ny fahatsiarovana rehetra ary nianjera:
Mba hamahana ity olana ity dia nanampy socket faharoa natokana ho an'ny mpiasa izahay:
Noho izany, ny mpitantana ny preprocessor dia nanana fahafahana hanao laharam-pahamehana ny asany ary, raha mitombo ny buffer, ny asa dia ny mampiadana ny fanesorana, manome ny mpiasa ny fahafahana handray ity buffer ity:
Avy eo dia hitanay fa ny iray amin'ireo antony nahatonga ny fihenan'ny mpiasa dia ny tenany ihany, satria izy ireo dia nifaninana hahazoana loharano iray izay tsy dia misy dikany loatra amin'ny asany. Noraketinay ho famahana olana ity olana ity, ary efa voavaha tamin'ny dikan-teny Zabbix vaovao:
Mampitombo ny isan'ny socket isika - mahazo ny vokatra
Fanampin'izany, ny mpitantana ny preprocessor mihitsy no lasa bottleneck, satria kofehy iray izy io. Nijanona tamin'ny hafainganam-pandeha fototra izy io, manome ny hafainganam-pandeha ambony indrindra eo amin'ny 70 arivo metrika isan-tsegondra:
Noho izany, nanao efatra izahay, misy faladia efatra, mpiasa:
Ary izany dia namela anay hampitombo ny hafainganam-pandeha ho eo amin'ny 130 arivo metatra:
Ny tsy fitovian'ny fitomboana dia hazavain'ny zava-misy fa niseho ny fifaninanana ho an'ny cache tantara. Mpitantana préprocesseur 4 sy mpandefa tantara no nifaninana tamin’izany. Amin'izao fotoana izao dia nahazo metrika 130 arivo isan-tsegondra teo amin'ny milina fitsapana izahay, nampiasa azy io tamin'ny 95% amin'ny processeur:
Tokony ho 2,5 volana lasa izay
Ny fandavana avy amin'ny vondrom-piarahamonina snmp dia nampitombo ny NVP avo iray heny sy tapany
MM: – Max, mila fiara fitsapana vaovao aho! Tsy mifanaraka amin'ny ankehitriny intsony isika.
MCH: - Inona izao no anananao?
MM: - Ankehitriny - NVP 130k ary processeur efa vonona.
MCH: - Oay! Cool! Andraso fa manana fanontaniana roa aho. Raha ny kajikajy nataoko dia manodidina ny 15-20 arivo metrika isan-tsegondra ny filantsika. Nahoana isika no mila bebe kokoa?
MM: “Te hamita ny asa aho.” Te-hijery aho hoe ohatrinona no azontsika tsindriana amin'ity rafitra ity.
MCH: - Fa…
MM: "Saingy tsy ilaina amin'ny raharaham-barotra izany."
MCH: - Mazava. Ary ny fanontaniana faharoa: afaka manohana samirery izay ananantsika ve isika, raha tsy misy ny fanampian'ny mpamorona?
MM: - Tsy mieritreritra aho. Olana ny fanovana ny fomba fiasan'ny cache configuration. Misy fiantraikany amin'ny fiovana amin'ny ankamaroan'ny kofehy izany ary sarotra ny mitazona azy. Azo inoana fa ho sarotra be ny fikojakojana azy.
MCH: "Dia mila karazana safidy hafa izahay."
MM: - Misy safidy toy izany. Afaka mifamadika amin'ny cores haingana isika, raha mandao ny rafitra fanidy vaovao. Mbola hahazo vokatra 60-80 arivo izahay. Amin'izay fotoana izay ihany koa dia afaka mamela ny kaody sisa rehetra isika. Hahomby ny Clickhouse sy ny fitsapan-kevitra asynchronous. Ary ho mora ny fikojakojana.
MCH: - Mahagaga! Manoro hevitra aho hijanona eto.
Rehefa avy nanatsara ny lafiny mpizara izahay dia afaka namoaka ny code vaovao ho amin'ny famokarana. Nafoinay ny fanovana sasany ho an'ny fifindrana amin'ny milina manana cores haingana ary manamaivana ny isan'ny fanovana code. Nohamafisinay ihany koa ny fanefena ary nesorinay ny macros amin'ny singa data raha azo atao, rehefa mampiditra fanidy fanampiny izy ireo.
Ohatra, ny fialana amin'ny macro snmp-community, izay matetika hita ao amin'ny antontan-taratasy sy ohatra, amin'ny tranga misy antsika dia nahafahana nanafaingana ny NVP in-1,5 teo ho eo.
Rehefa afaka roa andro amin'ny famokarana
Esory ny pop-up tantaran'ny zava-nitranga
MCH: – Misha, nampiasa ny rafitra izahay nandritra ny roa andro, ary mandeha ny zava-drehetra. Saingy rehefa mandeha ny zava-drehetra! Efa nanomana asa tamin'ny famindrana ampahany lehibe amin'ny tambajotra izahay, ary nojerenay indray tamin'ny tananay hoe inona no niakatra sy inona.
MM: - Tsy mety! Nojerenay in-10 ny zava-drehetra. Ny mpizara dia mitantana na dia ny tsy fisian'ny tambajotra feno avy hatrany aza.
MCH: - Eny, azoko ny zava-drehetra: server, database, top, austat, logs - haingana ny zava-drehetra ... Fa mijery ny interface web izahay, ary misy processeur "ao amin'ny talantalana" ao amin'ny server ary izao:
MM: - Mazava. Andeha isika hijery ny tranonkala. Hitanay fa tao anatin'ny toe-javatra nahitana trangan-javatra maro be dia nanomboka niasa tsikelikely ny ankamaroan'ny widget mivantana:
Ny anton'izany dia ny famokarana pop-up momba ny tantaran'ny zava-nitranga izay novokarina ho an'ny singa tsirairay ao anaty lisitra. Noho izany, nandao ny famokarana ireo varavarankely ireo izahay (naneho hevitra tamin'ny andalana 5 tao amin'ny code), ary namaha ny olanay izany.
Ny fotoana famenoana ny widgets, na dia tsy misy tanteraka aza, dia nahena avy amin'ny minitra maromaro ho 10-15 segondra azo ekena ho antsika, ary mbola azo jerena ny tantara amin'ny fipihana ny ora:
Rehefa avy niasa. 2 volana lasa izay
MCH: - Misha, handeha ve ianao? Tsy maintsy miresaka isika.
MM: - Tsy nieritreritra aho. Misy zavatra miaraka amin'i Zabbix indray?
MCH: - Tsia, miala sasatra! Te-hiteny fotsiny aho hoe: mandeha ny zava-drehetra, misaotra! Manana labiera aho.
Zabbix dia mahomby
Zabbix dia rafitra sy fiasa mahazatra sy manankarena. Azo ampiasaina amin'ny fametrahana kely ivelan'ny boaty izy io, saingy rehefa mitombo ny filana dia tsy maintsy amboarina. Mba hitehirizana arisiva lehibe misy metrika, ampiasao fitahirizana mety:
- azonao atao ny mampiasa fitaovana namboarina amin'ny endrika fampidirana amin'ny Elasticsearch na mampakatra tantara amin'ny rakitra an-tsoratra (azo jerena amin'ny version 4);
- Azonao atao ny manararaotra ny traikefanay sy ny fampidiranay amin'ny Clickhouse.
Mba hampitomboana be ny hafainganam-pandehan'ny fanangonana metrika, angony amin'ny fomba asynchronous izy ireo ary ampita izany amin'ny alàlan'ny interface fandrika mankany amin'ny mpizara Zabbix; na azonao atao ny mampiasa patch mba hahatonga ny Zabbix pollers ho asynchronous.
Zabbix dia voasoratra amin'ny C ary tena mahomby. Ny famahana ny bottleneck amin'ny maritrano maro dia ahafahanao mampitombo bebe kokoa ny zava-bitany ary, araka ny traikefantsika, dia mahazo metrika mihoatra ny 100 arivo amin'ny milina fanodinana tokana.
Ny patch Zabbix mitovy
MM: – Te hanampy teboka roa aho. Ny tatitra manontolo amin'izao fotoana izao, ny fitsapana rehetra, ny isa dia omena ho an'ny fanamafisana izay ampiasainay. Manodidina ny 20 isan-tsegondra eo ho eo no alaintsika amin'izany. Raha miezaka hahatakatra ianao raha mety aminao izany, dia azonao atao ny mampitaha. Ny noresahina androany dia navoaka tao amin'ny GitHub amin'ny endrika patch:
Ny patch dia misy:
- fampidirana feno amin'ny Clickhouse (samy mpizara Zabbix sy frontend);
- famahana olana miaraka amin'ny mpitantana preprocessor;
- fitsapan-kevitra asynchronous.
Ny patch dia mifanaraka amin'ny version 4 rehetra, anisan'izany ny lts. Azo inoana fa, miaraka amin'ny fiovana kely indrindra dia hiasa amin'ny version 3.4.
Misaotra anao noho ny tsara.
Ny fanontanianao
Fanontanian'ny mpanatrika (manaraka izany – A): – Salama tompoko! Lazao ahy azafady, manana drafitra hifaneraserana amin'ny ekipa Zabbix ve ianao na miaraka amin'izy ireo miaraka aminao, ka tsy patch izany, fa fihetsika mahazatra an'i Zabbix?
MM: – Eny, tena hanao ny sasany amin'ireo fanovana izahay. Hisy hitranga, hisy hitoetra ao amin'ny patch.
A: - Misaotra indrindra tamin'ny tatitra tsara indrindra! Lazao ahy azafady, aorian'ny fampiharana ny patch dia hijanona ny fanohanana avy amin'i Zabbix ary ahoana no hanohizana ny fanavaozana amin'ny dikan-teny ambony kokoa? Azo atao ve ny manavao an'i Zabbix aorian'ny patch anao amin'ny 4.2, 5.0?
MM: – Tsy afaka milaza na inona na inona momba ny fanohanana aho. Raha mpanohana ara-teknika an'i Zabbix aho dia mety hiteny hoe tsia, satria code an'olon-kafa ity. Raha ny codebase 4.2, ny toerana misy antsika dia: "Hifindra amin'ny fotoana isika, ary hanavao ny tenantsika amin'ny dikan-teny manaraka." Noho izany, mandritra ny fotoana fohy dia handefa patch ho an'ny dikan-teny nohavaozina izahay. Efa nolazaiko tao amin'ny tatitra hoe: mbola kely ny isan'ny fanovana misy dikan-teny. Heveriko fa naharitra 3.4 minitra teo ho eo ny tetezamita avy amin'ny 4 ka hatramin'ny 15. Nisy zavatra niova tao, saingy tsy dia zava-dehibe loatra.
A: - Ka mikasa ny hanohana ny patch ianao ary azonao atao ny mametraka izany amin'ny famokarana ary mahazo fanavaozana amin'ny ho avy?
MM: – Manoro hevitra mafy izany izahay. Mamaha olana maro ho antsika izany.
MCH: – Indray mandeha aho dia te-hisarika ny saina ho amin'ny zava-misy fa ny fiovana izay tsy mahakasika ny maritrano ary tsy mahakasika ny fanakanana na filaharana dia modular, izy ireo dia ao amin'ny modules misaraka. Na dia misy fiovana kely aza dia azonao atao ny mitazona azy ireo mora foana.
MM: - Raha liana amin'ny antsipiriany ianao dia mampiasa ny antsoina hoe tranomboky tantara ny "Clickhouse". Voavaha izy io - dika mitovy amin'ny fanohanan'ny Elastics, izany hoe azo amboarina. Ny fandatsaham-bato ihany no manova ny mpifidy. Mino izahay fa haharitra ela izany.
A: - Misaotra betsaka. Lazao ahy, misy antontan-taratasy momba ny fanovana natao ve?
MM: - Ny antontan-taratasy dia patch. Mazava ho azy, miaraka amin'ny fampidirana ny Clickhouse, miaraka amin'ny fampidirana karazana pollers vaovao, misy safidy fanovana vaovao. Ny rohy avy amin'ny slide farany dia manana famaritana fohy momba ny fampiasana azy.
Momba ny fanoloana ny fping amin'ny nmap
A: – Ahoana no nampiharanao an’izany? Afaka manome ohatra manokana ve ianao: manana strappers sy script ivelany ve ianao? Inona no miafara amin'ny fanamarinana ireo mpampiantrano marobe toy izany haingana? Ahoana ny fomba hitrandrahanao ireo mpampiantrano ireo? Mila mamahana azy ireo amin'ny nmap ve isika, maka azy ireo any amin'ny toerana iray, mametraka azy ireo, mitantana zavatra?..
MM: - Mangatsiaka. Fanontaniana tena marina! Ny hevitra dia izao. Nanova ny tranomboky izahay (ping ICMP, ampahany amin'ny Zabbix) ho an'ny fanamarinana ICMP, izay manondro ny isan'ny fonosana - iray (1), ary manandrana mampiasa nmap ny code. Izany hoe, io no asa anatiny Zabbix, izay lasa asa anatiny ny pinger. Noho izany, tsy ilaina ny fampifanarahana na fampiasana fandrika. Natao fanahy iniana izany mba hamelana ny rafitra tsy ho simba sy tsy hifampiraharaha amin'ny fampifanarahana ny rafitra roa tonta: inona no tokony hojerena, ampidirina amin'ny alalan'ny mpanao fanadihadiana, ary tapaka ve ny fampiakaranay?.. Tsotra kokoa izany.
A: - Mety ho an'ny proxy koa ve izany?
MM: - Eny, saingy tsy nanamarina izahay. Ny kaody fandatsaham-bato dia mitovy amin'ny Zabbix sy ny mpizara. Tokony hiasa. Mamelà ahy hamafisiko indray: ny fahombiazan'ny rafitra dia toy izany ka tsy mila proxy isika.
MCH: - Ny valiny marina amin'ny fanontaniana dia: "Nahoana ianao no mila proxy misy rafitra toy izany?" Noho ny NAT na ny fanaraha-maso amin'ny alalan'ny karazana fantsona miadana ihany...
A: – Ary mampiasa Zabbix ho toy ny allertor ianao, raha azoko tsara. Na efa nafindra tany amin'ny rafitra hafa toa an'i Grafana ny saryo (izay misy ny sosona arisiva)? Sa tsy mampiasa an'io fampiasa io ianao?
MM: – Hamafisiko indray ny hoe : tafaray tanteraka isika. Mandrotsaka tantara ao amin'ny Clickhouse izahay, saingy tamin'izany fotoana izany dia nanova ny php frontend izahay. Ny Php frontend dia mandeha any amin'ny Clickhouse ary manao ny sary rehetra avy eo. Amin'izay fotoana izay ihany, raha ny marina, dia manana ampahany manangana angon-drakitra amin'ny rafitra fampisehoana sary hafa avy amin'ny Clickhouse mitovy izahay, avy amin'ny angon-drakitra Zabbix mitovy.
MCH: - Ao amin'ny "Grafan" ihany koa.
Ahoana no nandraisana fanapahan-kevitra momba ny fitsinjarana ny loharanon-karena?
A: – Zarao kely ny lakozia anatiny. Ahoana no nanapahan-kevitra fa ilaina ny fizarana loharanon-karena ho an'ny fanodinana matotra ny vokatra? Ireo dia, amin'ny ankapobeny, risika sasany. Ary azafady mba lazao ahy, ao anatin'ny tontolon'ny hoe hanohana dikan-teny vaovao ianao: ahoana no hanamarinan'ity fanapahan-kevitra ity amin'ny fomba fijery fitantanana?
MM: – Toa tsy notantarainay tsara ny tantara an-tsehatra. Tao anatin'ny toe-javatra nisy zavatra tsy maintsy natao izahay, ary niaraka tamin'ny ekipa roa mifanitsy izahay:
- Ny iray dia nanangana rafitra fanaraha-maso amin'ny fampiasana fomba vaovao: fanaraha-maso ho toy ny serivisy, andiana vahaolana amin'ny loharano misokatra izay atambatra ary avy eo manandrana manova ny fizotran'ny raharaham-barotra mba hiarahana amin'ny rafitra fanaraha-maso vaovao.
- Tamin'izay fotoana izay ihany koa dia nisy programmer nafana fo nanao an'io (momba ny tenany). Sendra nandresy izy.
A: – Ary inona ny haben'ny ekipa?
MCH: - Eo anoloanao izy.
A: – Noho izany, toy ny mahazatra, mila fitiavana?
MM: - Tsy fantatro izay atao hoe fitiavana.
A: - Amin'ity tranga ity, toa ianao. Misaotra indrindra, mahafinaritra ianao.
MM: - Misaotra anao.
Momba ny patch ho an'ny Zabbix
A: - Ho an'ny rafitra iray mampiasa proxy (ohatra, amin'ny rafitra zaraina sasany), azo atao ve ny mampifanaraka sy mametaka, ohatra, mpanao fanadihadiana, proxy ary ampahany ny preprocessor an'ny Zabbix; sy ny fifandraisany? Azo atao ve ny manatsara ny fivoarana efa misy ho an'ny rafitra misy proxy maro?
MM: – Fantatro fa ny mpizara Zabbix dia miangona amin'ny alàlan'ny proxy (ny code dia natambatra ary azo). Tsy nanandrana an'io izahay tamin'ny famokarana. Tsy azoko antoka izany, fa heveriko fa tsy ampiasaina amin'ny proxy ny mpitantana preprocessor. Ny andraikitry ny proxy dia ny maka andiana metrika avy amin'ny Zabbix, manambatra azy ireo (mirakitra an-tsoratra ihany koa ny fanamafisana, ny angon-drakitra eo an-toerana) ary mamerina izany amin'ny mpizara Zabbix. Ny mpizara mihitsy no hanao ny preprocessing rehefa mahazo izany.
Ny fahalianana amin'ny proxy dia azo takarina. Hojerentsika izany. Lohahevitra mahaliana ity.
A: – Ny hevitra dia izao: raha azonao atao ny mametaka ireo mpanao fanadihadiana dia azonao atao ny mametaka azy ireo amin'ny proxy ary mametaka ny fifandraisana amin'ny mpizara, ary mampifanaraka ny preprocessor amin'ireo tanjona ireo raha tsy amin'ny server.
MM: – Heveriko fa mbola tsotra kokoa izany. Raisinao ny kaody, ampiharo patch, dia amboary araka izay ilainao - manangona mpizara proxy (ohatra, miaraka amin'ny ODBC) ary zarao amin'ny rafitra rehetra ny code patched. Raha ilaina - manangona proxy, raha ilaina - mpizara.
A: - Azo inoana fa tsy mila mametaka ny fandefasana proxy amin'ny mpizara fanampiny ve ianao?
MCH: - Tsia, manara-penitra izany.
MM: – Raha ny marina, ny iray amin'ireo hevitra dia tsy naneno. Notazoninay foana ny fifandanjana eo amin'ny fipoahan'ny hevitra sy ny habetsahan'ny fanovana ary ny fanamorana ny fanohanana.
Ny doka sasany 🙂
Misaotra anao nijanona niaraka taminay. Tianao ve ny lahatsoratray? Te-hahita votoaty mahaliana kokoa? Tohano izahay amin'ny fametrahana baiko na fanolorana amin'ny namana, , analogue tsy manam-paharoa amin'ny mpizara ambaratonga fidirana, izay noforoninay ho anao: (misy miaraka amin'ny RAID1 sy RAID10, hatramin'ny 24 cores ary hatramin'ny 40GB DDR4).
Dell R730xd 2x mora kokoa amin'ny foibe data Equinix Tier IV any Amsterdam? Eto ihany any Holandy! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - manomboka amin'ny $99! Vakio ny momba ny
Source: www.habr.com