Конфронси навбатии HighLoad++ 6 ва 7 апрели соли 2020 дар Санкт-Петербург баргузор мешавад Тафсилот ва чиптаҳо . HighLoad++ Москва 2018. Толори «Москва». 9 ноябрь — соати 15. Тезисхо ва .
* Мониторинг - онлайн ва таҳлил.
* Маҳдудиятҳои асосии платформаи ZABBIX.
* Ҳалли барои миқёси нигаҳдории таҳлил.
* Оптимизатсияи сервери ZABBIX.
* Оптимизатсияи UI.
* Таҷрибаи кор кардани система дар зери бори зиёда аз 40k NVPS.
* Хулосаи мухтасар.
Михаил Макуров (минбаъд - ММ): - Салом ба ҳама!
Максим Чернецов (минбаъд - МЧХ): - Нимирӯзи ба хайр!
ММ: — Биёед Максимро шинос кунам. Макс муҳандиси боистеъдод аст, беҳтарин шабакачӣ, ки ман медонам. Максим дар шабакаҳо ва хидматҳо, рушд ва фаъолияти онҳо машғул аст.
MCH: — Ва ман мехостам ба шумо дар бораи Михаил накл кунам. Михаил таҳиягари C аст. Вай барои ширкати мо якчанд қарорҳои коркарди трафикро навишт. Мо дар Урал, дар шахри Челябинск, дар фирмаи «Интерсвязь» кору зиндагй мекунем. Ширкати мо провайдери хидматрасонии интернет ва телевизиони кабелӣ барои як миллион нафар дар 16 шаҳр мебошад.
ММ: - Ва бояд гуфт, ки Интерсвяз на танҳо як провайдер, балки як ширкати IT аст. Аксарияти қарорҳои мо аз ҷониби шӯъбаи IT-и мо таҳия карда мешаванд.
А: аз серверҳое, ки трафикро коркард мекунанд, то маркази тамос ва замимаи мобилӣ. Дар шӯъбаи IT ҳоло тақрибан 80 нафар дорои салоҳиятҳои хеле гуногун мебошанд.
Дар бораи Zabbix ва меъмории он
MCH: - Ва ҳоло ман кӯшиш мекунам рекорди шахсӣ гузорам ва дар як дақиқа бигӯям, ки Zabbix чист (минбаъд "Zabbix" номида мешавад).
Zabbix худро ҳамчун як системаи мониторинги берун аз қуттӣ дар сатҳи корхона ҷойгир мекунад. Он дорои хусусиятҳои зиёдест, ки ҳаётро осон мекунад: қоидаҳои пешрафтаи суръатбахшӣ, API барои ҳамгироӣ, гурӯҳбандӣ ва худкор муайянкунии ҳостҳо ва метрика. Zabbix дорои асбобҳои ба истилоҳ масштабкунӣ - прокси мебошад. Zabbix як системаи кушодаасос аст.
Дар бораи меъморӣ мухтасар. Мо гуфта метавонем, ки он аз се ҷузъ иборат аст:
- Сервер. Дар C навишта шудааст. Бо коркард ва интиқоли иттилоот байни риштаҳо хеле мураккаб. Ҳама коркард дар он сурат мегирад: аз қабул то захира кардан то базаи маълумот.
- Ҳама маълумотҳо дар пойгоҳи додаҳо нигоҳ дошта мешаванд. Zabbix MySQL, PostreSQL ва Oracle -ро дастгирӣ мекунад.
- Интерфейси веб дар PHP навишта шудааст. Дар аксари системаҳо он бо сервери Apache меояд, аммо дар якҷоягӣ бо nginx + php самараноктар кор мекунад.
Имрӯз мо мехоҳем як ҳикояеро аз ҳаёти ширкати мо вобаста ба Zabbix нақл кунем...
Хикоя аз хаёти ширкати «Интерсвязь». Мо чӣ дорем ва ба мо чӣ лозим аст?
5 ё 6 моҳ пеш. Як рӯз пас аз кор...
MCH: - Миша, салом! Ман шодам, ки ба ман муяссар шудам, ки туро дастгир кунам - сӯҳбате ҳаст. Мо боз бо назорат мушкилӣ доштем. Ҳангоми садамаи калон ҳама чиз суст буд ва дар бораи ҳолати шабака маълумоте набуд. Мутаассифона, ин бори аввал нест. Ба ман кӯмаки ту лозим аст. Мониторинги худро дар ҳар шароит кор кунем!
ММ: - Аммо биёед аввал синхронизатсия кунем. Ман чанд сол боз ба он ҷо нигоҳ накардаам. То ҷое ки ман дар ёд дорам, мо тақрибан 8 сол пеш Нагиосро партофта, ба Zabbix гузаштем. Ва ҳоло ба назар чунин мерасад, ки мо 6 сервери пурқувват ва тақрибан даҳҳо прокси дорем. Оё ман чизеро ошуфта мекунам?
MCH: - Қариб. 15 сервер, ки баъзеи онҳо мошинҳои виртуалӣ мебошанд. Муҳимтар аз ҳама он аст, ки он моро дар айни замон наҷот намедиҳад, ки мо ба он бештар ниёз дорем. Мисли садама - серверҳо суст мешаванд ва шумо ҳеҷ чизро дида наметавонед. Мо кӯшиш кардем, ки конфигуратсияро оптимизатсия кунем, аммо ин афзоиши беҳтаринро таъмин накард.
ММ: - Он равшан аст. Оё шумо ба чизе назар кардед, оё шумо аллакай аз ташхис чизе кофтаед?
MCH: - Аввалин чизе, ки шумо бояд бо он мубориза баред, базаи маълумотҳост. MySQL аллакай пайваста бор карда мешавад ва ченакҳои навро нигоҳ медорад ва вақте ки Zabbix ба тавлиди як қатор рӯйдодҳо шурӯъ мекунад, пойгоҳи додаҳо дар тӯли чанд соат аз ҳад зиёд кор мекунад. Ман аллакай ба шумо дар бораи оптимизатсияи конфигуратсия гуфта будам, аммо аслан дар ин сол онҳо сахтафзорро нав карданд: серверҳо зиёда аз сад гигабайт хотира ва массиви дискҳоро дар SSD RAID-ҳо доранд - ба таври хаттӣ афзоиш додани он маъно надорад. Мо чӣ кор мекунем?
ММ: - Он равшан аст. Умуман, MySQL як пойгоҳи додаҳои LTP мебошад. Эҳтимол, он дигар барои нигоҳ доштани бойгонии ченакҳои андозаи мо мувофиқ нест. Биёед инро фаҳмем.
MCH: — Биёед!
Интегратсияи Zabbix ва Clickhouse дар натиҷаи ҳакатон
Пас аз чанде мо маълумоти ҷолиб гирифтем:
Аксари фазои махзани моро бойгонии метрҳо ишғол мекард ва камтар аз 1% барои конфигуратсия, қолабҳо ва танзимот истифода мешуд. То он вақт, мо зиёда аз як сол ҳалли Big Data-ро дар асоси Clickhouse истифода мебурдем. Самти харакат ба мо маълум буд. Дар Ҳакатони баҳории мо, ман ҳамгироии Zabbix бо Clickhouse-ро барои сервер ва интерфейс навиштам. Он вақт Zabbix аллакай ElasticSearch-ро дастгирӣ мекард ва мо тасмим гирифтем, ки онҳоро муқоиса кунем.
Муқоисаи Clickhouse ва Elasticsearch
ММ: - Барои муқоиса, мо ҳамон сарбореро тавлид кардем, ки сервери Zabbix медиҳад ва дида баромадем, ки системаҳо чӣ гуна рафтор мекунанд. Мо бо истифода аз CURL маълумотро дар маҷмӯъҳои 1000 сатр навиштем. Мо пешакӣ тахмин мекардем, ки Clickhouse барои профили сарборӣ, ки Zabbix мекунад, самараноктар хоҳад буд. Натиҷаҳо ҳатто аз интизориҳои мо зиёдтар буданд:
Дар ҳамон шароити санҷиш, Clickhouse се маротиба бештар маълумот навишт. Дар айни замон, ҳарду система ҳангоми хондани маълумот хеле самаранок (микдори ками захираҳо) истеъмол мекунанд. Аммо Elastics ҳангоми сабт миқдори зиёди протсессорро талаб мекард:
Дар маҷмӯъ, Clickhouse аз ҷиҳати истеъмоли протсессор ва суръат аз Elastix хеле бартарӣ дошт. Дар айни замон, аз сабаби фишурдани маълумот, Clickhouse дар диски сахт 11 маротиба камтар истифода мебарад ва тақрибан 30 маротиба камтар амалиёти дискро иҷро мекунад:
MCH: – Бале, кори Clickhouse бо зерсистемаи диск хеле самаранок амалӣ карда мешавад. Шумо метавонед дискҳои азими SATA-ро барои пойгоҳи додаҳо истифода баред ва суръати навиштани садҳо ҳазор сатр дар як сонияро ба даст оред. Системаи берун аз қуттӣ sharding, такрориро дастгирӣ мекунад ва танзим кардан хеле осон аст. Мо аз истифодаи он дар давоми сол бештар қаноатмандем.
Барои оптимизатсияи захираҳо, шумо метавонед Clickhouse-ро дар паҳлӯи пойгоҳи асосии мавҷудаи худ насб кунед ва ба ин васила вақти CPU ва амалиёти дискро сарфа кунед. Мо бойгонии ченакҳоро ба кластерҳои мавҷудаи Clickhouse интиқол додем:
Мо базаи асосии MySQL-ро чунон сабук кардем, ки мо метавонем онро дар як мошин бо сервери Zabbix якҷоя кунем ва аз сервери бахшидашуда барои MySQL даст кашем.
Овоздиҳӣ дар Zabbix чӣ гуна кор мекунад?
моҳ пеш 4
ММ: — Хуб, мо метавонем проблемахои базаро фаромуш кунем?
MCH: - Ин бешубҳа! Масъалаи дигаре, ки мо бояд ҳал кунем, ҷамъоварии сусти маълумот аст. Ҳоло ҳама 15 прокси серверҳои мо бо равандҳои SNMP ва раъйпурсӣ пурбор шудаанд. Ва ҷуз насб кардани серверҳои нав ва нав ҳеҷ роҳе нест.
ММ: - Бузург. Аммо аввал ба мо бигӯед, ки овоздиҳӣ дар Zabbix чӣ гуна кор мекунад?
MCH: - Хулоса, 20 намуди метрика ва даҳҳо роҳи ба даст овардани онҳо вуҷуд дорад. Zabbix метавонад ё дар ҳолати "дархост-ҷавоб" маълумот ҷамъ кунад ё тавассути "Интерфейси Trapper" маълумоти навро интизор шавад.
Қобили зикр аст, ки дар Zabbix аслии ин усул (Trapper) зудтарин аст.
Барои тақсимоти бор серверҳои прокси вуҷуд доранд:
Проксиҳо метавонанд ҳамон вазифаҳои коллексияи сервери Zabbix -ро иҷро карда, аз он супоришҳоро қабул кунанд ва ченакҳои ҷамъшударо тавассути интерфейси Trapper ирсол кунанд. Ин роҳи расман тавсияшудаи тақсимоти бор аст. Проксиҳо инчунин барои мониторинги инфрасохтори дурдаст, ки тавассути NAT ё канали суст кор мекунанд, муфиданд:
ММ: — Бо меъморй хама чиз равшан аст. Мо бояд ба манбаъҳо назар кунем ...
Пас аз чанд рӯз
Ҳикоя дар бораи чӣ гуна nmap fping пирӯз шуд
ММ: "Ман фикр мекунам, ки ман чизе кофтам."
MCH: - Ба ман бигӯед!
ММ: - Ман фаҳмидам, ки ҳангоми тафтиши мавҷудият, Zabbix дар як вақт ҳадди аксар 128 ҳостро тафтиш мекунад. Ман кӯшиш кардам, ки ин рақамро то 500 зиёд кунам ва фосилаи байни пакетҳоро дар ping (ping) -и онҳо хориҷ кунам - ин корро дучанд кард. Аммо ман мехоҳам, ки рақамҳои бештар.
MCH: - Дар таҷрибаи худ, ман баъзан маҷбур мешавам, ки мавҷудияти ҳазорҳо ҳостҳоро тафтиш кунам ва ман ҳеҷ гоҳ чизеро аз nmap тезтар надидаам. Ман боварӣ дорам, ки ин роҳи зудтарин аст. Биёед кӯшиш кунем! Мо бояд шумораи ҳостҳоро дар як такрор хеле зиёд кунем.
ММ: – Зиёда аз панҷсадро тафтиш кунед? 600?
MCH: - Ҳадди ақал ду ҳазор.
ММ: - ДУРУСТ. Муҳимтарин чизе, ки ман мехостам бигӯям, ин аст, ки ман фаҳмидам, ки аксарияти овоздиҳӣ дар Zabbix синхронӣ анҷом дода мешаванд. Мо бешубҳа бояд онро ба ҳолати асинхронӣ иваз кунем. Он гоҳ мо метавонем шумораи ченакҳоеро, ки аз ҷониби пурсишгарон ҷамъоварӣ шудаанд, ба таври назаррас афзоиш диҳем, хусусан агар мо шумораи ченакҳоро дар як итератсия зиёд кунем.
MCH: - Аҷоиб! Ва кай?
ММ: — Чун одат, дируз.
MCH: - Мо ҳарду версияи fping ва nmap-ро муқоиса кардем:
Дар шумораи зиёди мизбонҳо интизор мерафт, ки nmap то панҷ маротиба самараноктар бошад. Азбаски nmap танҳо мавҷудият ва вақти вокунишро месанҷад, мо ҳисобкунии талафотро ба триггерҳо гузаронидем ва фосилаҳои санҷиши дастрасиро ба таври назаррас коҳиш додем. Мо шумораи оптималии ҳостҳоро барои nmap ёфтем, ки дар як такрор тақрибан 4 ҳазор аст. Nmap ба мо имкон дод, ки арзиши CPU-ро барои санҷиши мавҷудият се маротиба кам кунем ва фосиларо аз 120 сония то 10 сония кам кунем.
Оптимизатсияи овоздиҳӣ
ММ: “Баъд мо ба пурсишҳо шурӯъ кардем. Мо асосан ба ошкор ва агентҳои SNMP таваҷҷӯҳ доштем. Дар Заббикс овоздихй ба таври синхронй гузаронда мешавад ва барои баланд бардоштани самаранокии система тадбирхои махсус андешида шудаанд. Дар ҳолати синхронӣ, мавҷуд набудани мизбон боиси таназзули назарраси овоздиҳӣ мегардад. Як системаи томи давлатҳо вуҷуд дорад, равандҳои махсус вуҷуд доранд - ба истилоҳ поллерҳои дастнорас, ки танҳо бо ҳостҳои дастнорас кор мекунанд:
Ин тафсирест, ки матритсаи давлатӣ, тамоми мураккабии системаи гузаришро нишон медиҳад, ки барои самаранок боқӣ мондани система заруранд. Илова бар ин, худи овоздиҳии синхронӣ хеле суст аст:
Аз ин рӯ, ҳазорон ҷараёнҳои пурсишҳо дар даҳҳо шахсони боэътимод натавонистанд миқдори зарурии маълумотро барои мо ҷамъ кунанд. Татбиқи асинхронӣ на танҳо мушкилотро бо шумораи риштаҳо ҳал кард, балки системаи давлатии ҳостҳои дастнорасро ба таври назаррас содда кард, зеро барои ҳар рақаме, ки дар як итератсияи овоздиҳӣ тафтиш карда мешавад, вақти максималии интизорӣ 1 тайм-аутро ташкил дод:
Илова бар ин, мо системаи пурсишро барои дархостҳои SNMP тағир додем ва такмил додем. Далели он аст, ки аксари одамон наметавонанд дар як вақт ба якчанд дархостҳои SNMP ҷавоб диҳанд. Аз ин рӯ, мо як ҳолати гибридӣ сохтем, вақте ки назарсанҷии SNMP дар ҳамон ҳост асинхронӣ анҷом дода мешавад:
Ин барои тамоми бастаи ҳостҳо анҷом дода мешавад. Ин режим дар ниҳоят аз режими комилан асинхронӣ сусттар нест, зеро пурсиши якунимсад арзишҳои SNMP ҳоло ҳам аз 1 тайм хеле тезтар аст.
Таҷрибаҳои мо нишон доданд, ки шумораи оптималии дархостҳо дар як итератсия тақрибан 8 ҳазор бо пурсиши SNMP мебошад. Дар маҷмӯъ, гузаштан ба реҷаи асинхронӣ ба мо имкон дод, ки суръати овоздиҳиро 200 маротиба, якчанд сад маротиба суръат бахшем.
MCH: – Оптимизатсияҳои дар натиҷаи овоздиҳӣ нишон доданд, ки мо метавонем на танҳо аз ҳама проксиҳо халос шавем, балки фосилаҳои бисёр санҷишҳоро кам кунем ва прокси дигар ҳамчун роҳи тақсими сарборӣ лозим нахоҳад шуд.
Тақрибан се моҳ пеш
Меъмориро тағир диҳед - сарбориро зиёд кунед!
ММ: — Хуб, Макс, вакти сермахсул шудан аст? Ба ман сервери пурқувват ва муҳандиси хуб лозим аст.
MCH: — Хуб, биёед ба нақша гирем. Вақти он расидааст, ки аз нуқтаи мурдаи 5 ҳазор метр дар як сония ҳаракат кунед.
Субҳи пас аз навсозӣ
MCH: — Миша, мо худамонро нав карда будем, вале то субх ба акиб мегаштем... Тасаввур кунед, ки мо ба кадом суръат ноил гаштем?
ММ: - 20 ҳазор ҳадди аксар.
MCH: - Ҳа, 25! Мутаассифона, мо дар ҳамон ҷое, ки оғоз кардем.
ММ: - Чаро? Оё шумо ягон ташхис гузаронидаед?
MCH: - Ҳа, албатта! Дар ин ҷо, масалан, як боло ҷолиб аст:
ММ: - Биёед тамошо кунем. Ман мебинам, ки мо шумораи зиёди риштаҳои овоздиҳиро санҷидаем:
Аммо дар айни замон онҳо натавонистанд системаро ҳатто нисфи дубора коркард кунанд:
Ва иҷрои умумӣ хеле хурд аст, тақрибан 4 ҳазор метр дар як сония:
Оё чизи дигаре ҳаст?
MCH: – Бале, наќши яке аз пурсишкунандагон:
ММ: — Дар ин чо баръало мебинед, ки рафти овоздихй мунтазири «семафорхо» аст. Инҳо қулфҳо ҳастанд:
MCH: - Норавшан.
ММ: - Инак, ин ба вазъият монанд аст, ки як даста риштаҳо кӯшиш мекунанд, ки бо захираҳое кор кунанд, ки дар як вақт танҳо як кас кор карда метавонад. Он гоҳ онҳо танҳо метавонанд ин захираро бо мурури замон мубодила кунанд:
Ва иҷрои умумии кор бо чунин захира бо суръати як ядро маҳдуд аст:
Ду роҳи ҳалли ин мушкилот вуҷуд дорад.
Таҷҳизоти мошинро навсозӣ кунед, ба ядроҳои тезтар гузаред:
Ё меъмориро тағир диҳед ва ҳамзамон сарборро тағир диҳед:
MCH: - Дар омади гап, дар мошини озмоишӣ мо нисбат ба мошини ҷангӣ камтар ядроҳо истифода хоҳем кард, аммо онҳо дар басомади як ядро 1,5 маротиба тезтаранд!
ММ: - Равшан? Шумо бояд рамзи серверро бубинед.
Роҳи маълумот дар сервери Zabbix
MCH: - Барои фаҳмидани он, мо ба таҳлили интиқоли маълумот дар дохили сервери Zabbix шурӯъ кардем:
Сурати олиҷаноб, дуруст? Биёед онро зина ба зина аз назар гузаронем, то каму беш равшантар шавад. Барои ҷамъоварии маълумот риштаҳо ва хидматҳо масъуланд:
Онҳо ченакҳои ҷамъшударо тавассути розетка ба менеҷери Preprocessor интиқол медиҳанд, ки дар он ҷо онҳо дар навбат нигоҳ дошта мешаванд:
"Менеҷери пешакии коркардкунанда" маълумотро ба коргарони худ интиқол медиҳад, ки дастурҳои коркарди пешакиро иҷро мекунанд ва онҳоро тавассути як васлаки баргардонанд:
Пас аз ин, менеҷери пешазпротсессор онҳоро дар кэши таърих нигоҳ медорад:
Аз он ҷо онҳо аз ҷониби синкерҳои таърих гирифта мешаванд, ки вазифаҳои зиёдеро иҷро мекунанд: масалан, ҳисоб кардани триггерҳо, пур кардани кэши арзиш ва муҳимтар аз ҳама, нигоҳ доштани ченакҳо дар анбори таърих. Умуман, ин раванд мураккаб ва хеле печида аст.
ММ: – Аввалин чизе, ки мо дидем, ин буд, ки аксари риштаҳо барои ба истилоҳ “кэши конфигуратсия” (майдони хотира, ки дар он ҳама конфигуратсияҳои сервер нигоҳ дошта мешаванд) рақобат мекунанд. Риштаҳое, ки барои ҷамъоварии маълумот масъуланд, махсусан блокҳои зиёде мекунанд:
...зеро конфигуратсия на танҳо ченакҳоро бо параметрҳои худ нигоҳ медорад, балки навбатҳоро низ нигоҳ медорад, ки пурсишгарон аз онҳо маълумотро дар бораи чӣ кор кардан лозим аст. Вақте ки пурсишгарон зиёданд ва яке конфигуратсияро маҳкам мекунад, дигарон интизори дархостҳо мешаванд:
Интихобкунандагон набояд ихтилоф кунанд
Аз ин рӯ, аввалин коре, ки мо кардем, ин буд, ки навбатро ба 4 қисм тақсим кунем ва ба овоздиҳандагон имкон додем, ки ин навбатҳоро, ин қисмҳоро дар як вақт дар шароити бехатар банд кунанд:
Ин рақобат барои кэши конфигуратсияро нест кард ва суръати пурсишкунандагон ба таври назаррас афзоиш ёфт. Аммо пас аз он мо бо он вохӯрдем, ки менеҷери пешазпросессор ба ҷамъ кардани навбати ҷойҳои корӣ шурӯъ кард:
Менеҷери пешазпросессор бояд қодир бошад, ки афзалият диҳад
Ин дар ҳолатҳое рӯй дод, ки ӯ иҷро намекард. Он гоҳ ӯ танҳо метавонист кард, ки дархостҳо аз равандҳои ҷамъоварии маълумот ҷамъоварӣ кунад ва буфери онҳоро то он даме, ки тамоми хотираро истеъмол кунад ва шикаст хӯрад, илова кунад:
Барои ҳалли ин мушкилот мо розеткаи дуюмро илова кардем, ки махсус барои коргарон бахшида шудааст:
Ҳамин тариқ, менеҷери пешазпросессор имкон дошт, ки кори худро авлавият диҳад ва агар буфер афзоиш ёбад, вазифа ин аст, ки рафъро суст кунад ва ба коргарон имкони гирифтани ин буферро диҳад:
Баъд мо фахмидем, ки яке аз сабабхои сустшавй худи коргарон аст, зеро онхо барои захирае, ки барои корашон тамоман ахамият надорад, мусобика мекунанд. Мо ин мушкилотро ҳамчун ислоҳи хатогиҳо ҳуҷҷатгузорӣ кардем ва он аллакай дар версияҳои нави Zabbix ҳал карда шудааст:
Мо шумораи розеткахоро зиёд мекунем — натичаи он мегирем
Ғайр аз он, худи менеҷери пешазпросессор ба монеа табдил ёфт, зеро он як ришта аст. Он ба суръати аслӣ такя карда, суръати максималии тақрибан 70 ҳазор метр дар як сонияро дод:
Бинобар ин, мо чор, бо чор маҷмӯи розеткаҳо, коргарон:
Ва ин ба мо имкон дод, ки суръатро тақрибан ба 130 ҳазор метр расонем:
Набудани афзоишро бо он шарҳ медиҳад, ки рақобат барои кэши таърих пайдо шудааст. Барои он 4 менеҷери пешазпросессор ва ғарқкунандаи таърих рақобат карданд. Дар ин лаҳза, мо дар мошини санҷишӣ тақрибан 130 ҳазор метрика дар як сония мегирем, ки онро тақрибан 95% протсессор истифода мебурд:
Тақрибан 2,5 моҳ пеш
Даст кашидан аз снмп-чамъият NVP-хоро якуним баробар зиёд кард
ММ: – Макс, ба ман мошини нави озмоишӣ лозим аст! Мо дигар ба он ҷо мувофиқ нестем.
MCH: - Ҳоло чӣ доред?
ММ: - Ҳоло - 130k NVP ва протсессори барои раф омодашуда.
MCH: - Вой! Хуб! Интизор шавед, ман ду савол дорам. Тибқи ҳисобҳои ман, ниёзи мо тақрибан 15-20 ҳазор метр дар як сония аст. Чаро ба мо бештар лозим аст?
ММ: "Ман мехоҳам корро анҷом диҳам." Ман мехостам бубинам, ки мо аз ин система чӣ қадар фишурда метавонем.
MCH: — Аммо…
ММ: "Аммо ин барои тиҷорат бефоида аст."
MCH: - Он равшан аст. Ва саволи дуюм: оё мо метавонем чизеро, ки ҳоло дорем, бидуни кӯмаки таҳиягар дастгирӣ кунем?
ММ: - Ман фикр намекунам. Тағир додани тарзи кор кардани кэши конфигуратсия мушкилот аст. Он ба тағйирот дар аксари риштаҳо таъсир мерасонад ва нигоҳдорӣ хеле душвор аст. Эҳтимол, нигоҳ доштани он хеле душвор хоҳад буд.
MCH: "Пас ба мо як алтернатива лозим аст."
ММ: - Чунин вариант вуҷуд дорад. Мо метавонем ба ядроҳои зуд гузарем, дар ҳоле ки аз системаи нави қулф даст кашем. Мо хануз 60—80 хазор метр нишондиханда мегирем. Дар айни замон, мо метавонем ҳамаи рамзҳои боқимондаро тарк кунем. Clickhouse ва овоздиҳии асинхронӣ кор хоҳанд кард. Ва нигоҳубини он осон хоҳад буд.
MCH: - Аҷиб! Ман тавсия медиҳам, ки дар ин ҷо таваққуф кунем.
Пас аз оптимизатсияи тарафи сервер, мо ниҳоят тавонистем рамзи навро дар истеҳсолот оғоз кунем. Мо баъзе аз тағиротҳоро ба манфиати гузаштан ба мошини дорои ядроҳои тез ва кам кардани шумораи тағироти код даст додем. Мо инчунин конфигуратсияро содда кардем ва макросҳоро дар ҷузъҳои додаҳо нест кардем, зеро онҳо қулфи иловагиро ҷорӣ мекунанд.
Масалан, даст кашидан аз макроси snmp-ҷамоа, ки аксар вақт дар ҳуҷҷатҳо ва мисолҳо дида мешавад, дар ҳолати мо имкон дод, ки суръати NVP-ҳо тақрибан 1,5 маротиба зиёд карда шавад.
Пас аз ду рӯз дар истеҳсолот
Хориҷ кардани поп-апҳои таърихи ҳодиса
MCH: - Миша, мо ду рӯз боз системаро истифода мебарем ва ҳамааш кор мекунад. Аммо танҳо вақте ки ҳама чиз кор мекунад! Мо бо интиқоли як сегменти хеле калони шабака корҳоро ба нақша гирифта будем ва мо бори дигар бо дастони худ санҷидем, ки чӣ боло рафт ва чӣ не.
ММ: — Мумкин нест! Мо ҳама чизро 10 маротиба тафтиш кардем. Сервер ҳатто дастрасии пурраи шабакаро фавран ҳал мекунад.
MCH: - Бале, ман ҳама чизро мефаҳмам: сервер, пойгоҳи додаҳо, top, austat, logs - ҳама чиз зуд аст... Аммо мо ба веб-интерфейс назар мекунем ва дар сервер протсессори "дар раф" мавҷуд аст ва ин:
ММ: - Он равшан аст. Биёед вебро тамошо кунем. Мо дарёфтем, ки дар вазъияте, ки шумораи зиёди ҳодисаҳои фаъол вуҷуд доштанд, аксари виджетҳои зинда хеле суст кор мекунанд:
Сабаби ин тавлиди поп-апҳои таърихи ҳодисаҳо буд, ки барои ҳар як ҷузъи рӯйхат тавлид мешаванд. Аз ин рӯ, мо тавлиди ин тирезаҳоро тарк кардем (дар код 5 сатр шарҳ додем) ва ин мушкилоти моро ҳал кард.
Вақти боркунии виджетҳо, ҳатто вақте ки комилан дастнорас аст, аз чанд дақиқа то 10-15 сония барои мо қобили қабул кам карда шуд ва таърихро метавон бо клик кардани вақт дидан мумкин аст:
Баъди кор. 2 мох пеш
MCH: - Миша, меравӣ? Мо бояд гап занем.
ММ: - Ман ният надоштам. Боз чизе бо Zabbix?
MCH: - Не, истироҳат кунед! Ман танҳо мехостам бигӯям: ҳама чиз кор мекунад, ташаккур! Ман пиво дорам.
Zabbix самаранок аст
Zabbix як система ва функсияи хеле универсалӣ ва бой аст. Онро барои насбҳои хурд аз қуттӣ истифода бурдан мумкин аст, аммо бо афзоиши ниёзҳо, он бояд оптимизатсия карда шавад. Барои нигоҳ доштани бойгонии калони ченакҳо, нигоҳдории мувофиқро истифода баред:
- шумо метавонед асбобҳои дарунсохтро дар шакли ҳамгироӣ бо Elasticsearch ё боркунии таърих ба файлҳои матнӣ истифода баред (аз версияи XNUMX дастрас аст);
- Шумо метавонед аз таҷрибаи мо ва ҳамгироӣ бо Clickhouse истифода баред.
Барои ба таври назаррас баланд бардоштани суръати ҷамъоварии ченакҳо, онҳоро бо усулҳои асинхронӣ ҷамъ кунед ва тавассути интерфейси траппер ба сервери Zabbix интиқол диҳед; ё шумо метавонед як пачкаро барои асинхронии pollers Zabbix истифода баред.
Zabbix дар C навишта шудааст ва хеле самаранок аст. Халли якчанд душворихои меъморй ба шумо имкон медихад, ки махсулнокии онро боз хам баланд бардоред ва аз руи тачрибаи мо дар мошини як-процессорй зиёда аз 100 хазор метрика ба даст оред.
Ҳамон ямоқи Zabbix
ММ: — Мехохам як-ду нукта илова кунам. Тамоми гузориши ҷорӣ, ҳама санҷишҳо, рақамҳо барои конфигуратсияе, ки мо истифода мебарем, дода шудаанд. Мо ҳоло аз он тақрибан 20 ҳазор метрика дар як сония мегирем. Агар шумо кӯшиш кунед, ки фаҳмед, ки оё ин барои шумо кор хоҳад кард, шумо метавонед муқоиса кунед. Он чизе, ки имрӯз баррасӣ шуд, дар GitHub дар шакли часпак интишор шудааст:
Пахш дар бар мегирад:
- ҳамгироии пурра бо Clickhouse (ҳам сервери Zabbix ва ҳам интерфейс);
- ҳалли мушкилот бо менеҷери пешазпросессор;
- овоздиҳии асинхронӣ.
Ямоқи бо ҳама версияи 4, аз ҷумла lts мувофиқ аст. Эҳтимол, бо тағироти ҳадди ақал он дар версияи 3.4 кор хоҳад кард.
Ташаккур ба диққататон.
Саволҳои шумо
Саволи шунавандагон (минбаъд — А): — Субх ба хайр! Лутфан ба ман бигӯед, ки оё шумо нақшаи ҳамкории пуршиддат бо дастаи Zabbix ё бо онҳо бо шумо доред, то ин ямоқ нест, балки рафтори муқаррарии Zabbix бошад?
ММ: – Бале, мо ҳатман баъзе тағйиротҳоро ворид хоҳем кард. Чизе мешавад, чизе дар пачка мемонад.
А: - Ташаккури зиёд барои гузориши олӣ! Лутфан ба ман бигӯед, ки пас аз татбиқи патч, дастгирии Zabbix боқӣ мемонад ва чӣ гуна навсозӣ ба версияҳои баландтарро идома додан мумкин аст? Оё имкон дорад, ки Zabbix-ро пас аз ямоқи худ ба 4.2, 5.0 навсозӣ кунед?
ММ: - Дар бораи дастгирӣ чизе гуфта наметавонам. Агар ман дастгирии техникии Zabbix мебудам, эҳтимол ман мегуфтам, ки не, зеро ин рамзи каси дигар аст. Дар мавриди базаи коди 4.2, мавқеи мо ин аст: "Мо бо мурури замон ҳаракат хоҳем кард ва мо худро дар версияи оянда навсозӣ хоҳем кард." Аз ин рӯ, барои чанд вақт мо ямоқи версияҳои навшударо интишор хоҳем кард. Ман аллакай дар гузориш гуфта будам: шумораи тағирот бо версияҳо ҳанӯз хеле кам аст. Ман фикр мекунам, ки гузариш аз 3.4 ба 4 барои мо тақрибан 15 дақиқа вақт гирифт.Дар он ҷо чизе тағйир ёфт, аммо он қадар муҳим нест.
А: - Пас, шумо нақша доред, ки ямоқи худро дастгирӣ кунед ва шумо метавонед онро дар истеҳсолот бехатар насб кунед ва дар оянда навсозиҳо гиред?
ММ: - Мо онро сахт тавсия медиҳем. Ин барои мо бисьёр проблемахоро хал мекунад.
MCH: – Бори дигар мехоҳам таваҷҷӯҳро ба он ҷалб намоям, ки тағйироте, ки ба меъморӣ дахл надоранд ва ба басташавӣ ё навбатҳо дахл надоранд, модулӣ мебошанд, онҳо дар модулҳои алоҳида мебошанд. Ҳатто бо тағироти ночиз шумо метавонед онҳоро ба осонӣ нигоҳ доред.
ММ: - Агар шумо ба тафсилот таваҷҷӯҳ дошта бошед, пас "Clickhouse" китобхонаи ба истилоҳ таърихро истифода мебарад. Он кушода аст - он нусхаи дастгирии Elastics аст, яъне танзимшаванда аст. Овоздиҳӣ танҳо овоздиҳандагонро иваз мекунад. Мо боварӣ дорем, ки ин барои муддати тӯлонӣ кор хоҳад кард.
А: - Ташаккур. Ба ман бигӯед, ки оё ягон ҳуҷҷати тағйироти воридшуда мавҷуд аст?
ММ: – Ҳуҷҷатгузорӣ як пачка аст. Аён аст, ки бо ҷорӣ намудани Clickhouse, бо ҷорӣ намудани навъҳои нави пурсишкунандагон, имконоти нави конфигуратсия ба вуҷуд меоянд. Истиноди слайди охирин дорои тавсифи мухтасари истифодаи он мебошад.
Дар бораи иваз кардани fping бо nmap
А: – Ниҳоят ин корро чӣ гуна амалӣ кардед? Метавонед мисолҳои мушаххас оваред: оё шумо бандҳо ва скрипти беруна доред? Чӣ ба зудӣ тафтиш кардани шумораи зиёди мизбонҳо хотима меёбад? Шумо ин мизбонҳоро чӣ гуна истихроҷ мекунед? Оё ба мо лозим аст, ки ба онҳо ғизо диҳем, то nmap кунем, аз ҷое бигирем, ба он ҷо гузорем, чизеро идора кунем?..
ММ: - Хуб. Саволи хеле дуруст! Гап дар хамин аст. Мо китобхонаро (ICMP ping, қисми Zabbix) барои санҷишҳои ICMP, ки шумораи бастаҳоро нишон медиҳад - як (1) тағир додем ва код кӯшиш мекунад nmap-ро истифода барад. Яъне, ин кори дохилии Заббикс аст, ки ба кори дохилии пингер табдил ёфтааст. Мувофиқи он, ҳеҷ гуна ҳамоҳангсозӣ ё истифодаи траппер талаб карда намешавад. Ин дидаву дониста барои он анҷом дода шуд, ки система бетағйир боқӣ монад ва бо ҳамоҳангсозии ду системаи пойгоҳи додаҳо сарукор нашавед: чиро тафтиш кардан, тавассути пурсишкунанда бор кардан ва боркунии мо шикастааст?.. Ин хеле соддатар аст.
А: - Оё ин барои прокси низ кор мекунад?
ММ: — Бале, аммо тафтиш накардем. Рамзи овоздиҳӣ ҳам дар Zabbix ва ҳам дар сервер яксон аст. Бояд кор кунад. Бори дигар таъкид намоям: кори система чунон аст, ки ба мо прокси лозим нест.
MCH: - Ҷавоби дуруст ба савол ин аст: "Чаро ба шумо прокси бо чунин система лозим аст?" Танҳо аз сабаби NAT ё мониторинг тавассути ягон канали суст ...
А: - Ва шумо Zabbix-ро ҳамчун аллертор истифода мебаред, агар ман дуруст фаҳмам. Ё графикаи шумо (қабати бойгонӣ дар куҷост) ба системаи дигар, ба мисли Grafana кӯчонида шудааст? Ё шумо ин функсияро истифода намебаред?
ММ: — Бори дигар таъкид мекунам: мо ба интеграцияи комил ноил гардидем. Мо таърихро ба Clickhouse мерезем, аммо дар айни замон мо фронти php-ро иваз кардем. Пешниҳоди Php ба Clickhouse меравад ва ҳама графикаро аз он ҷо иҷро мекунад. Дар айни замон, ростқавлона, мо як қисме дорем, ки маълумотро дар дигар системаҳои намоиши графикӣ аз ҳамон Clickhouse, аз ҳамон маълумоти Zabbix месозад.
MCH: — Дар «Графан» хам.
Дар бораи таксим кардани ресурсхо чй тавр карорхо кабул карда шуданд?
А: - Каме аз ошхонаи дохилии худро мубодила кунед. Чй тавр карор кабул шуд, ки барои коркарди чиддии махсулот захирахо чудо кардан зарур аст? Инҳо, умуман, хатарҳои муайян мебошанд. Ва лутфан ба ман бигӯед, ки шумо версияҳои навро дастгирӣ мекунед: ин тасмим аз нуқтаи назари идоракунӣ чӣ гуна асоснок мекунад?
ММ: — Аз афташ, мо драмаи таърихро чандон хуб нагуфтаем. Мо худро дар вазъияте дидем, ки коре кардан лозим буд ва мо аслан бо ду дастаи мувозӣ рафтем:
- Яке аз онҳо системаи мониторингро бо истифода аз усулҳои нав роҳандозӣ мекард: мониторинг ҳамчун хидмат, маҷмӯи стандартии қарорҳои кушодаасос, ки мо якҷоя мекунем ва сипас кӯшиш мекунем, ки раванди бизнесро бо мақсади кор бо системаи нави мониторинг тағйир диҳем.
- Дар айни замон, мо як барномасози шавқманд доштем, ки ин корро мекард (дар бораи худ). Чунин шуд, ки ӯ ғолиб омад.
А: - Ва шумораи даста чанд аст?
MCH: - Вай дар пеши шумост.
А: - Пас, чун ҳамеша, ба шумо ҳавас лозим аст?
ММ: - Ман намедонам, ки ҳаваскор чист.
А: — Дар ин сурат, аз афташ, шумо. Ташаккури зиёд, шумо олӣ ҳастед.
ММ: - Ташаккур.
Дар бораи часпакҳо барои Zabbix
А: – Барои системае, ки прокси-проксиро истифода мебарад (масалан, дар баъзе системаҳои тақсимшуда), оё мумкин аст мутобиқ кардан ва часпак кардан, масалан, поллерҳо, проксиҳо ва қисман пеш аз протсессори худи Zabbix; ва таъсири мутақобилаи онҳо? Оё имконпазир аст, ки таҳаввулоти мавҷуда барои система бо проксиҳои сершумор оптимизатсия карда шавад?
ММ: – Ман медонам, ки сервери Zabbix бо истифода аз прокси ҷамъ карда мешавад (код тартиб дода ва гирифта мешавад). Мо инро дар истеҳсолот санҷидаем. Ман дар ин бора боварӣ надорам, аммо ман фикр мекунам, ки мудири протсессори прокси дар прокси истифода намешавад. Вазифаи прокси ин аст, ки маҷмӯи ченакҳоро аз Zabbix гирифта, онҳоро якҷоя кунед (он инчунин конфигуратсия, пойгоҳи додаҳои маҳаллиро сабт мекунад) ва онро ба сервери Zabbix баргардонед. Худи сервер пас аз қабули он коркарди пешакиро анҷом медиҳад.
Таваҷҷӯҳ ба шахсони боэътимод фаҳмо аст. Мо онро тафтиш мекунем. Ин як мавзӯи ҷолиб аст.
А: - Идея ин буд: агар шумо метавонед пурсишҳоро часпонед, шумо метавонед онҳоро дар прокси часпонед ва ҳамкории мутақобила бо серверро часпонед ва протсессорро барои ин мақсадҳо танҳо дар сервер мутобиқ кунед.
ММ: — Ман фикр мекунам, ки ин боз ҳам соддатар аст. Шумо кодро мегиред, пачкаро истифода мебаред ва сипас онро тавре танзим кунед, ки ба шумо лозим аст - серверҳои проксиро ҷамъ кунед (масалан, бо ODBC) ва рамзи часпондашударо дар системаҳо паҳн кунед. Дар ҳолати зарурӣ - проксиро ҷамъ кунед, дар ҳолати зарурӣ - сервер.
А: - Эҳтимол, ба шумо лозим нест, ки интиқоли проксиро ба сервер ба таври иловагӣ часпонед?
MCH: - Не, стандарт аст.
ММ: — Дар хакикат, як фикр садо надод. Мо ҳамеша тавозуни байни таркиши ғояҳо ва ҳаҷми тағирот ва осонии дастгирӣро нигоҳ медоштем.
Баъзе рекламаҳо 🙂
Ташаккур ба шумо барои бо мо мондан. Мақолаҳои мо ба шумо маъқуланд? Мехоҳед мундариҷаи ҷолибтарро бубинед? Бо фармоиш додан ё тавсия додан ба дӯстон моро дастгирӣ кунед, , аналоги беназири серверҳои сатҳи ибтидоӣ, ки аз ҷониби мо барои шумо ихтироъ шудааст: (бо RAID1 ва RAID10, то 24 ядро ва то 40 ГБ DDR4 дастрас аст).
Dell R730xd дар маркази додаҳои Equinix Tier IV дар Амстердам 2 маротиба арзонтар аст? Танҳо дар ин ҷо дар Нидерландия! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - аз $99! Дар бораи хондан
Манбаъ: will.com