Yon lòt sistèm siveyans

16 modèm, 4 operatè selilè = vitès sortan 933.45 Mbit/s

Entwodiksyon

Bonjou! Atik sa a se sou fason nou te ekri yon nouvo sistèm siveyans pou tèt nou. Li diferan de sa ki deja egziste nan kapasite li pou jwenn mezi synchrone wo-frekans ak konsomasyon resous ki ba anpil. Pousantaj biwo vòt la ka rive nan 0.1 milisgond ak yon presizyon senkronizasyon ant metrik 10 nanosegond. Tout dosye binè okipe 6 megabyte.

Sou pwojè a

Nou gen yon pwodwi olye espesifik. Nou pwodwi yon solisyon konplè pou rezime debi ak tolerans fay nan chanèl transmisyon done. Sa a se lè gen plizyè chanèl, an n di Operator1 (40Mbit/s) + Operator2 (30Mbit/s) + Yon lòt bagay (5 Mbit/s), rezilta a se yon sèl kanal ki estab ak rapid, vitès la ki pral yon bagay tankou sa a: (40+ 30+5)x0.92=75×0.92=69 Mbit/s.

Solisyon sa yo gen demann kote kapasite nenpòt chanèl pa ase. Pou egzanp, transpò, sistèm siveyans videyo ak difizyon videyo an tan reyèl, emisyon televizyon ap viv ak emisyon radyo, nenpòt enstalasyon banlye kote pami operatè telecom yo gen sèlman reprezantan Big Four ak vitès la sou yon sèl modèm / chanèl pa ase. .
Pou chak nan zòn sa yo, nou pwodwi yon liy separe nan aparèy, men pati lojisyèl yo se prèske menm bagay la tou ak yon sistèm siveyans-wo kalite se youn nan modil prensipal li yo, san yo pa aplikasyon ki kòrèk la nan ki pwodwi a pa ta posib.

Pandan plizyè ane, nou te jere yo kreye yon sistèm siveyans milti-nivo, rapid, kwa-platfòm ak ki lejè. Sa a se sa nou vle pataje ak kominote respekte nou an.

Deklarasyon sou pwoblèm nan

Sistèm siveyans la bay mezi de klas fondamantalman diferan: mezi an tan reyèl ak tout lòt. Sistèm siveyans lan te gen sèlman kondisyon sa yo:

1. Akizisyon synchrone segondè-frekans nan mezi an tan reyèl ak transfè yo nan sistèm jesyon kominikasyon an san reta.
   Segondè frekans ak senkronizasyon diferan mezi se pa sèlman enpòtan, li enpòtan anpil pou analize entropi chanèl transmisyon done yo. Si nan yon sèl kanal transmisyon done mwayèn reta a se 30 milisgond, Lè sa a, yon erè nan senkronizasyon ant mezi ki rete yo nan jis yon milisgond ap mennen nan degradasyon nan vitès la nan kanal la ki kapab lakòz pa apeprè 5%. Si nou mistime distribisyon an pa 1 milisgond atravè 4 chanèl, degradasyon an vitès ka fasil tonbe a 30%. Anplis de sa, antropi nan chanèl chanje trè vit, kidonk si nou mezire li mwens pase yon fwa chak 0.5 milisgond, sou chanèl vit ak yon ti reta nou pral jwenn degradasyon gwo vitès. Natirèlman, presizyon sa yo pa nesesè pou tout mezi epi yo pa nan tout kondisyon. Lè reta nan kanal la se 500 milisgond, epi nou travay ak sa yo, Lè sa a, yon erè nan 1 milisgond pral prèske pa aparan. Epitou, pou mezi sistèm sipò lavi, nou gen ase pousantaj biwo vòt ak senkronizasyon nan 2 segonn, men sistèm siveyans nan tèt li dwe kapab travay ak pousantaj biwo vòt ultra-wo ak senkronizasyon ultra-presi nan mezi.
2. Konsomasyon resous minimòm ak yon sèl pil.
   Aparèy nan fen a ka swa yon konplèks pwisan sou tablo ki ka analize sitiyasyon an sou wout la oswa fè anrejistreman byometrik moun, oswa yon òdinatè ki menm gwosè ak palmis ke yon sòlda fòs espesyal mete anba zam kò l 'transmèt videyo nan. tan reyèl nan move kondisyon kominikasyon. Malgre tankou yon varyete de achitekti ak pouvwa informatique, nou ta renmen gen menm pil lojisyèl an.
3. Achitekti parapli
   Metrics yo dwe kolekte epi rasanble sou aparèy final la, estoke lokalman, ak vizyalize an tan reyèl ak retrospektiv. Si gen yon koneksyon, transfere done nan sistèm siveyans santral la. Lè pa gen okenn koneksyon, keu voye a ta dwe akimile epi yo pa konsome RAM.
4. API pou entegrasyon nan sistèm siveyans kliyan an, paske pesonn pa bezwen anpil sistèm siveyans. Kliyan an dwe kolekte done ki sòti nan nenpòt aparèy ak rezo nan yon siveyans sèl.

Sak pase

Yo nan lòd yo pa chay long lekti a deja enpresyonan, mwen pa pral bay egzanp ak mezi nan tout sistèm siveyans. Sa ap mennen nan yon lòt atik. Mwen pral jis di ke nou pa t 'kapab jwenn yon sistèm siveyans ki kapab pran de metrik ansanm ak yon erè ki gen mwens pase 1 milisgond epi ki travay egalman efektivman tou de sou achitekti ARM ak 64 MB RAM ak sou achitekti x86_64 ak 32. GB RAM. Se poutèt sa, nou deside ekri pwòp pa nou, ki ka fè tout bagay sa yo. Men sa nou jwenn:

Rezime debi twa chanèl pou diferan topoloji rezo

Vizyalizasyon kèk paramèt kle

achitekti

Nou itilize Golang kòm lang prensipal pwogramasyon, tou de sou aparèy la ak nan sant done a. Li anpil senplifye lavi ak aplikasyon li nan Multitech ak kapasite nan jwenn yon sèl statikman lye ègzèkutabl dosye binè pou chak sèvis. Kòm yon rezilta, nou anpil ekonomize nan resous, metòd ak trafik pou deplwaye sèvis la nan fen aparèy, tan devlopman ak debogaj kòd.

Sistèm nan aplike dapre prensip modilè klasik la epi li gen plizyè sous-sistèm:

1. Enskripsyon metrik.
   Chak metrik sèvi pa pwòp fil li yo ak senkronize atravè chanèl yo. Nou te kapab reyalize senkronizasyon presizyon ki rive jiska 10 nanosegond.
2. Depo metrik
   Nou te chwazi ant ekri pwòp depo pa nou pou seri tan oswa itilize yon bagay ki te deja disponib. Baz done a nesesè pou done retrospektiv ki sijè a vizyalizasyon ki vin apre.Sa vle di, li pa gen done sou reta nan kanal la chak 0.5 milisgond oswa lekti erè nan rezo transpò a, men gen vitès sou chak koòdone chak 500 milisgond. Anplis de kondisyon ki wo pou kwa-platfòm ak konsomasyon resous ki ba, li trè enpòtan pou nou kapab travay. done se kote yo estoke. Sa a sove resous informatique menmen. Nou te itilize Tarantool DBMS nan pwojè sa a depi 2016 e jiskaprezan nou pa wè yon ranplasman pou li sou orizon an. Fleksib, ak pi bon konsomasyon resous, plis pase sipò teknik adekwat. Tarantool aplike tou yon modil GIS. Natirèlman, li pa osi pwisan ke PostGIS, men li ase pou travay nou yo nan estoke kèk mezi ki gen rapò ak kote (ki enpòtan pou transpò).
3. Vizyalizasyon mezi
   Tout bagay se relativman senp isit la. Nou pran done ki soti nan depo a epi montre yo swa an tan reyèl oswa ann afè.
4. Senkronizasyon done ak sistèm siveyans santral la.
   Sistèm siveyans santral la resevwa done ki sòti nan tout aparèy, estoke li ak yon istwa espesifye epi voye li nan sistèm siveyans Kliyan an atravè API. Kontrèman ak sistèm siveyans klasik, nan ki "tèt la" mache alantou ak kolekte done, nou gen konplo opoze a. Aparèy yo menm yo voye done lè gen yon koneksyon. Sa a se yon pwen trè enpòtan, paske li pèmèt ou resevwa done ki soti nan aparèy la pou peryòd sa yo pandan tan li pa t 'disponib epi yo pa chaje chanèl ak resous pandan y ap aparèy la pa disponib. Nou itilize sèvè siveyans Influx kòm yon sistèm siveyans santral. Kontrèman ak analogue li yo, li ka enpòte done retrospektiv (ki se, ak yon koupon lè diferan de moman sa a yo te resevwa mezi yo). Paramèt yo kolekte yo vizyalize pa Grafana, modifye ak yon dosye. Pile estanda sa a te chwazi tou paske li gen entegrasyon API pare ak prèske nenpòt sistèm siveyans kliyan.
5. Done senkronizasyon ak yon sistèm jesyon aparèy santral.
   Sistèm jesyon aparèy la aplike Zero Touch Provisioning (mete ajou firmwèr, konfigirasyon, elatriye) epi, kontrèman ak sistèm siveyans lan, resevwa sèlman pwoblèm pou chak aparèy. Sa yo se deklannche pou operasyon an nan sèvis gadyen pyès ki nan konpitè sou tablo ak tout mezi yo nan sistèm sipò lavi: CPU ak SSD tanperati, CPU chaj, espas gratis ak sante SMART sou disk. Se depo nan subsystem tou bati sou Tarantool. Sa a ban nou gwo vitès nan rasanble seri tan atravè plizyè milye aparèy, epi tou li konplètman rezoud pwoblèm nan nan senkronize done ak aparèy sa yo. Tarantool gen yon sistèm ekselan keu ak livrezon garanti. Nou te resevwa karakteristik enpòtan sa a soti nan bwat la, gwo!

Sistèm jesyon rezo

Ki sa ki nan pwochen an

Jiskaprezan, lyen ki pi fèb nou an se sistèm siveyans santral la. Li aplike 99.9% sou yon pil estanda e li gen yon kantite dezavantaj:

1. InfluxDB pèdi done lè yo pèdi pouvwa. Kòm yon règ, Kliyan an san pèdi tan kolekte tout bagay ki soti nan aparèy yo ak baz done a li menm pa gen done ki gen plis pase 5 minit, men nan lavni an sa ka vin yon doulè.
2. Grafana gen yon kantite pwoblèm ak agrégation done ak senkronizasyon nan ekspozisyon li yo. Pwoblèm ki pi komen an se lè baz done a gen yon seri tan ak yon entèval 2 segonn ki kòmanse apati, di, 00:00:00, epi Grafana kòmanse montre done an agrégasyon soti nan +1 segonn. Kòm yon rezilta, itilizatè a wè yon graf danse.
3. Twòp kantite kòd pou entegrasyon API ak sistèm siveyans twazyèm pati. Li ka fè pi plis kontra enfòmèl ant ak nan kou reekri nan Go)

Mwen panse ke nou tout te wè parfe sa Grafana sanble ak konnen pwoblèm li yo san mwen, kidonk mwen pa pral twòp pòs la ak foto.

Konklizyon

Mwen fè espre pa dekri detay teknik yo, men dekri sèlman konsepsyon debaz sistèm sa a. Premyèman, teknikman konplètman dekri sistèm nan, yo pral mande yon lòt atik. Dezyèmman, se pa tout moun ki pral enterese nan sa a. Ekri nan kòmantè yo ki detay teknik ou ta renmen konnen.

Si yon moun gen kesyon ki depase limit atik sa a, ou ka ekri m nan a.rodin @ qedr.com

Sous: www.habr.com