Боз як системаи мониторинг

Боз як системаи мониторинг
16 модем, 4 оператори мобилӣ = Суръати баромад 933.45 Мбит/с

Муқаддима

Салом! Ин мақола дар бораи он аст, ки чӣ гуна мо системаи нави мониторингро барои худ навиштем. Он аз кобилияти ба даст овардани метрикаи синхронии басомади баланд ва сарфи хеле ками ресурсхо аз кобилияти мавчуда фарк мекунад. Суръати овоздиҳӣ метавонад ба 0.1 миллисония бо дақиқии ҳамоҳангсозӣ байни метрикаи 10 наносония мерасад. Ҳама файлҳои дуӣ 6 мегабайтро ишғол мекунанд.

Дар бораи лоиҳа

Мо маҳсулоти хеле мушаххас дорем. Мо ҳалли ҳамаҷониба барои ҷамъбасти интиқол ва таҳаммулпазирии хатогиҳои каналҳои интиқоли маълумотро истеҳсол мекунем. Ин дар ҳолест, ки чанд канал вуҷуд дорад, биёед бигӯем Operator1 (40Mbit/s) + Operator2 (30Mbit/s)+ Чизи дигар (5 Мбит/с), натиҷа як канали устувор ва зуд аст, ки суръати он ба монанди он хоҳад буд. ин: (40+ 30+5)x0.92=75×0.92=69 Мбит/с.

Чунин қарорҳо дар он ҷо талабот доранд, ки қобилияти ягон канал нокифоя аст. Масалан, нақлиёт, системаҳои назорати видеоӣ ва ҷараёни воқеии видео, пахши пахши мустақими телевизион ва радио, ҳама гуна иншооти наздишаҳрӣ, ки дар байни операторони алоқа танҳо намояндагони чаҳоргонаи калон мавҷуданд ва суръат дар як модем/канал кофӣ нест. .
Барои хар кадоми ин сохахо мо хатти алохидаи дастгоххо истехсол мекунем, вале кисми программавии онхо кариб як хел аст ва системаи назорати сифати баланд яке аз модулхои асосии он мебошад, ки бе татбики дурусти он махсулот имконнопазир аст.

Дар тӯли якчанд сол, мо тавонистем як системаи мониторинги бисёрсатҳа, зуд, кросс-платформа ва сабукро эҷод кунем. Ин аст он чизе ки мо мехоҳем бо ҷомеаи мӯҳтарами худ мубодила кунем.

Тартиб додани масъала

Системаи мониторинг ченакҳои ду синфи комилан гуногунро таъмин мекунад: метрикаи вақти воқеӣ ва ҳама дигарон. Системаи мониторинг танҳо талаботи зерин дошт:

  1. Гирифтани синхронии синхронии басомади баланд ва бе таъхир ба системаи идоракунии алоқа интиқол додани онҳо.
    Басомади баланд ва ҳамоҳангсозии ченакҳои гуногун на танҳо муҳим аст, балки барои таҳлили энтропияи каналҳои интиқоли маълумот муҳим аст. Агар дар як канали интиқоли маълумот таъхири миёна 30 миллисония бошад, пас хатогӣ дар ҳамоҳангсозӣ байни ченакҳои боқимондаи ҳамагӣ як миллисония боиси таназзули суръати канали натиҷавӣ тақрибан 5% мегардад. Агар мо вақтро 1 миллисония дар 4 канал хато кунем, пастшавии суръат метавонад ба осонӣ то 30% коҳиш ёбад. Илова бар ин, энтропия дар каналҳо хеле зуд тағйир меёбад, аз ин рӯ, агар мо онро дар ҳар 0.5 миллисония камтар аз як маротиба чен кунем, дар каналҳои зуд бо таъхири хурд мо таназзули суръати баландро ба даст меорем. Албатта, чунин дақиқӣ барои ҳама нишондиҳандаҳо лозим нест ва на дар ҳама шароит. Вақте ки таъхир дар канал 500 миллисония аст ва мо бо чунин кор мекунем, хатогии 1 миллисония тақрибан ба назар намерасад. Инчунин, барои метрикаи системаи дастгирии ҳаёт, мо суръати кофии овоздиҳӣ ва ҳамоҳангсозии 2 сония дорем, аммо худи системаи мониторинг бояд қодир бошад, ки бо суръати баландтарини овоздиҳӣ ва ҳамоҳангсозии ултра дақиқи метрика кор кунад.
  2. Истеъмоли ҳадди ақали захираҳо ва як стек.
    Дастгоҳи ниҳоӣ метавонад ё як маҷмааи пуриқтидори бортӣ бошад, ки метавонад вазъро дар роҳ таҳлил кунад ё сабти биометрии одамонро гузаронад ё компютери як бортӣ ба андозаи хурмо, ки сарбози нерӯҳои махсус барои интиқоли видео дар зери зиреҳи баданаш пӯшидааст. вақти воқеӣ дар шароити бади алоқа. Сарфи назар аз чунин меъморӣ ва қудрати ҳисоббарории гуногун, мо мехоҳем ҳамон як стек нармафзор дошта бошем.
  3. Меъмории чатр
    Метрикҳо бояд дар дастгоҳи ниҳоӣ ҷамъоварӣ ва ҷамъ карда шаванд, ба таври маҳаллӣ нигоҳ дошта шаванд ва дар вақти воқеӣ ва ретроспективӣ намоиш дода шаванд. Агар пайвастшавӣ мавҷуд бошад, маълумотро ба системаи марказии мониторинг интиқол диҳед. Ҳангоми мавҷуд набудани пайвастшавӣ, навбати фиристодан бояд ҷамъ шавад ва RAM-ро истеъмол накунад.
  4. API барои ҳамгироӣ ба системаи мониторинги муштарӣ, зеро ҳеҷ кас ниёз ба бисёре аз системаҳои мониторинг. Муштарӣ бояд маълумотро аз ҳама гуна дастгоҳҳо ва шабакаҳо дар як мониторинг ҷамъ оварад.

Чӣ шуд

Барои он ки хондани тӯлонии аллакай таъсирбахшро бор накунам, ман мисолҳо ва андозагирии ҳама системаҳои мониторингро намедиҳам. Ин ба мақолаи дигар оварда мерасонад. Ман танҳо мегӯям, ки мо натавонистем як системаи мониторингро пайдо кунем, ки қодир аст дар як вақт ду метрикаро бо хатогии камтар аз 1 миллисония қабул кунад ва ҳам дар меъмории ARM бо 64 МБ хотираи оперативӣ ва ҳам дар меъмории x86_64 бо 32 баробар самаранок кор кунад. ГБ RAM. Аз ин рӯ, мо тасмим гирифтем, ки худамонро нависем, ки ҳамаи ин корро карда метавонад. Ин аст он чизе ки мо гирифтем:

Ҷамъбасти интиқоли се канал барои топологияҳои гуногуни шабака


Намоиши баъзе нишондиҳандаҳои асосӣ

Боз як системаи мониторинг
Боз як системаи мониторинг
Боз як системаи мониторинг
Боз як системаи мониторинг

меъморӣ

Мо Голангро ҳамчун забони асосии барномасозӣ ҳам дар дастгоҳ ва ҳам дар маркази додаҳо истифода мебарем. Он бо татбиқи бисёр вазифаҳо ва қобилияти гирифтани як файли дуии иҷрошавандаи статикӣ алоқаманд барои ҳар як хидмат ҳаётро хеле содда кард. Дар натиҷа, мо захираҳо, усулҳо ва трафикро барои ҷойгиркунии хидмат ба дастгоҳҳои ниҳоӣ, вақти таҳия ва ислоҳи код ба таври назаррас сарфа мекунем.

Система аз рӯи принсипи модулии классикӣ амалӣ карда мешавад ва дорои якчанд зерсистемаҳои:

  1. Бақайдгирии нишондиҳандаҳо.
    Ҳар як метрика тавассути риштаи худ хидмат мекунад ва дар байни каналҳо ҳамоҳанг карда мешавад. Мо тавонистем дақиқии синхронизатсияро то 10 наносония ба даст орем.
  2. Нигоҳдории ченакҳо
    Мо байни навиштани анбори шахсии худ барои силсилаи вақт ё истифодаи чизе, ки аллакай дастрас буд, интихоб мекардем. Пойгоҳи додаҳо барои маълумоти ретроспективӣ, ки бояд визуализатсияи минбаъда бошанд, лозим аст.Яъне он маълумот дар бораи таъхири канал дар ҳар 0.5 миллисония ё хондани хатогиҳо дар шабакаи нақлиётро дар бар намегирад, аммо дар ҳар як интерфейс ҳар 500 миллисония суръат мавҷуд аст. Илова ба талаботи баланд барои кросс-платформа ва истеъмоли ками захираҳо, барои мо қобилияти коркард кардан бениҳоят муҳим аст. маълумот дар куҷо нигоҳ дошта мешавад. Ин захираҳои бузурги ҳисоббарориро сарфа мекунад. Мо аз соли 2016 инҷониб DBMS Tarantool-ро дар ин лоиҳа истифода мебарем ва то ҳол дар уфуқ ивазкунандаи онро намебинем. Фасеҳ, бо истеъмоли оптималии захираҳо, бештар аз дастгирии техникии мувофиқ. Tarantool инчунин модули GIS-ро амалӣ мекунад. Албатта, он мисли PostGIS пурқувват нест, аммо ин барои вазифаҳои мо оид ба нигоҳ доштани баъзе ченакҳои марбут ба макон (вобаста ба нақлиёт) кофӣ аст.
  3. Намоиши ченакҳо
    Дар ин ҷо ҳама чиз нисбатан оддӣ аст. Мо маълумотро аз анбор мегирем ва онро дар вақти воқеӣ ё ретроспективӣ намоиш медиҳем.
  4. Синхронизатсияи маълумот бо системаи марказии мониторинг.
    Системаи марказии мониторинг маълумотро аз ҳама дастгоҳҳо қабул мекунад, онро бо таърихи муайян нигоҳ медорад ва тавассути API ба системаи мониторинги муштарӣ мефиристад. Баръакси системаҳои мониторинги классикӣ, ки дар он "сар" дар гирду атроф давр мезанад ва маълумот ҷамъ мекунад, мо схемаи муқобил дорем. Худи дастгоҳҳо ҳангоми пайвастшавӣ маълумот мефиристанд. Ин як нуқтаи хеле муҳим аст, зеро он ба шумо имкон медиҳад, ки маълумотро аз дастгоҳ барои он давраҳое, ки дар давоми он дастрас набуданд, қабул кунед ва каналҳо ва захираҳоро ҳангоми мавҷуд набудани дастгоҳ бор накунед. Мо сервери мониторинги Influx ҳамчун системаи марказии мониторинг истифода мебарем. Баръакси аналогҳои худ, он метавонад маълумоти ретроспективиро ворид кунад (яъне бо тамғаи вақт аз лаҳзаи қабули ченакҳо) Метрикҳои ҷамъовардашуда аз ҷониби Grafana визуализатсия карда мешаванд ва бо файл тағир дода мешаванд. Ин стек стандартӣ низ интихоб шудааст, зеро он дорои ҳамгироии омодаи API бо қариб ҳама системаи мониторинги муштариён мебошад.
  5. Синхронизатсияи маълумот бо системаи марказии идоракунии дастгоҳ.
    Системаи идоракунии дастгоҳ Provisioning Zero Touch (навсозии нармафзор, конфигуратсия ва ғ.) -ро амалӣ мекунад ва бар хилофи системаи назорат, танҳо мушкилотро дар як дастгоҳ қабул мекунад. Инҳо триггерҳо барои кори хидматрасонии назорати сахтафзор дар борт ва ҳама ченакҳои системаҳои дастгирии ҳаёт мебошанд: ҳарорати CPU ва SSD, сарбории CPU, фазои холӣ ва саломатии SMART дар дискҳо. Анбори зерсистема инчунин дар Tarantool сохта шудааст. Ин ба мо суръати назаррасро дар ҷамъ кардани силсилаи вақтҳо дар байни ҳазорон дастгоҳҳо медиҳад ва инчунин масъалаи ҳамоҳангсозии маълумотро бо ин дастгоҳҳо комилан ҳал мекунад. Tarantool дорои навбати аъло ва системаи кафолати интиқол мебошад. Мо ин хусусияти муҳимро аз қуттӣ гирифтем, олӣ!

Системаи идоракунии шабака

Боз як системаи мониторинг

Ин чӣ аст?

То хол звенои сусттарини мо системаи марказии назорат мебошад. Он дар як стек стандартӣ 99.9% амалӣ карда мешавад ва як қатор камбудиҳо дорад:

  1. InfluxDB ҳангоми аз даст додани қувваи барқ ​​маълумотро гум мекунад. Чун қоида, муштарӣ ҳама чизеро, ки аз дастгоҳҳо меояд, зуд ҷамъ мекунад ва худи пойгоҳи додаҳо маълумоти аз 5 дақиқа калонтарро дар бар намегирад, аммо дар оянда ин метавонад дардовар бошад.
  2. Grafana як қатор мушкилот дар ҷамъкунии маълумот ва ҳамоҳангсозии намоиши он дорад. Мушкилоти маъмултарин дар он аст, ки пойгоҳи додаҳо силсилаи вақтро бо фосилаи 2 сония дар бар мегирад, масалан, аз соати 00:00:00 ва Grafana аз +1 сония нишон додани маълумотро дар ҷамъбаст оғоз мекунад. Дар натиҷа, корбар графики рақсро мебинад.
  3. Миқдори аз ҳад зиёди рамз барои ҳамгироии API бо системаҳои мониторинги тарафи сеюм. Онро метавон хеле зичтар кард ва албатта дар Go аз нав навишта шавад)

Ман фикр мекунам, ки ҳамаи шумо ба таври комил дидед, ки Графана чӣ гуна аст ва мушкилоти онро бидуни ман медонед, бинобар ин ман ин паёмро бо тасвирҳо зиёд намекунам.

хулоса

Ман дидаю дониста тафсилоти техникиро тасвир накардаам, балки танхо тарэи асосии ин системаро тавсиф кардам. Аввалан, барои аз ҷиҳати техникӣ пурра тавсиф кардани система, мақолаи дигар талаб карда мешавад. Сониян, на ҳама ба ин манфиатдор хоҳанд буд. Дар шарҳҳо нависед, ки кадом тафсилоти техникиро донистан мехоҳед.

Агар касе саволҳои берун аз доираи ин мақола дошта бошад, шумо метавонед ба ман дар a.rodin @ qedr.com нависед

Манбаъ: will.com

Илова Эзоҳ