Monitorimi në Qendrën e të Dhënave: si e ndryshuam BMS-në e vjetër me të re. Pjesa 2

Monitorimi në Qendrën e të Dhënave: si e ndryshuam BMS-në e vjetër me të re. Pjesa 2

Në pjesën e parë, ne folëm për arsyen pse vendosëm të zëvendësonim sistemin e vjetër të BMS në të dhënat tona me një të re. Dhe jo vetëm ta zëvendësojmë, por ta zhvillojmë nga e para sipas kërkesave tona. Në pjesën e dytë tregojmë se si e bëmë këtë.

Analiza e tregut

Duke marrë parasysh ato që përmenden në pjesën e parë dëshirat e shprehura dhe vendimin për të hequr dorë nga përditësimi i sistemit ekzistues, ne shkruam një TëZ për të kërkuar zgjidhje në treg dhe bëmë kërkesa në disa kompani të mëdha që merreshin vetëm me krijimin e sistemeve industriale SCADA. 

Përgjigjet e para prej tyre treguan se liderët e tregut të sistemeve të monitorimit kryesisht vazhdojnë të punojnë në serverë fizikë, megjithëse procesi i migrimit në re në këtë segment ka nisur tashmë. Sa i përket rezervimit të makinave virtuale - këtë opsion asnjë nuk e përkrahte. Më shumë se kaq, shkaktohej mendimi se asnjë nga zhvilluesit e njohur në treg nuk tregonte madje edhe kuptimin e nevojës për rezervim: "re nuk bie" ishte përgjigja më e zakonshme. Në fakt, na u ofrua të vendosnim monitorimin e Qendrës së Dhënave në një re, fizikisht të vendosur në këtë Qendër të Dhënave.

KĂ«tu duhet bĂ«rĂ« njĂ« shkĂ«putje e vogĂ«l pĂ«r procesin e pĂ«rzgjedhjes sĂ« kontraktorit. Çmimi, sigurisht, ka rĂ«ndĂ«si, por gjatĂ« çdo tenderi pĂ«r realizimin e njĂ« projekti tĂ« ndĂ«rlikuar, nĂ« fazĂ«n e dialogut me ofruesit, fillon tĂ« ndihesh se kush nga kandidatĂ«t Ă«shtĂ« mĂ« i interesuar dhe i aftĂ« ta realizojĂ« atĂ«. 

Kjo është veçanërisht e dukshme në projekte të ndërlikuara. 

Duke u bazuar në natyrën e pyetjeve sqaruese për TëZ-në, mund të ndahet kontraktori në ata që janë të interesuar thjesht të shesin (ndjehet presioni standard i menaxherit të shitjeve) dhe ata që janë të interesuar në zhvillimin e produktit, duke dëgjuar dhe kuptuar porositësin, duke bërë ndryshime konstruktive në TëZ para përzgjedhjes përfundimtare (edhe pse përballë rrezikut real për të përmirësuar një TëZ të huaj dhe për të humbur tenderin), e në fund ishin thjesht të gatshëm të pranonin sfidën profesionale dhe të bënin një produkt cilësor.

TĂ« gjitha kĂ«to na bĂ«nĂ« tĂ« drejtojmĂ« vĂ«mendjen tonĂ« nga njĂ« zhvillues lokal relativisht i vogĂ«l – grupi i kompanive «Sanline», i cili iu pĂ«rgjigj shumicĂ«s sĂ« kĂ«rkesave tona menjĂ«herĂ« dhe ishte i gatshĂ«m tĂ« realizonte tĂ« gjitha nevojat pĂ«r sistemin e ri BMS. 

Rreziqet

Ndërsa lojtarët e mëdhenj po përpiqeshin të kuptonin se çfarë donim dhe po zhvillonin një bisedë të ngadaltë me ne duke përfshirë specialistë në nivelin presales, zhvilluesi lokal kishte caktuar një takim në zyrën tonë me pjesëmarrjen e ekipit të tij teknik. Në këtë takim, kontraktori përsëri demonstroi dëshirën për të marrë pjesë në projekt dhe - më e rëndësishmja - shpjegoi se si do të realizohej sistemi i kërkuar.    

Para takimit, ne kemi identifikuar dy rreziqe në punën me një ekip që nuk ka pasur mbështetje nga një kompani të madhe kombëtare ose ndërkombëtare:

  1. Specialistët mund të kenë tepruar me vlerësimin e mundësive të tyre dhe si rezultat mund të mos përballen dot, për shembull, do të përdorin softuer kompleks ose do të projektojnë algoritme rezervimi që nuk mund të realizohen.
  2. Pas përfundimit të projektit, ekipi i projektit mund të shpërbëhet dhe, për pasojë, mbështetja e produktit do të jetë nën kërcënim.

Për të minimalizuar këto rreziqe, ne ftuam në takim specialistët tanë të zhvillimit. Punonjësit e kontraktorit potencial u intervistuan me kujdes në lidhje me atë se si është ndërtuar sistemi, si planifikohet realizimi i rezervimit dhe për çështje të tjera në të cilat ne, si shërbimi i operimit, nuk ishim mjaft kompetent.

Verdikti ishte pozitiv: arkitektura e platformës BMS që ekziston tashmë është moderne, e thjeshtë dhe e besueshme, mund të përmirësohet, skema e propozuar e rezervimit dhe sinkronizimit është logjike dhe funksionale. 

Ne përballuam me rrezikun e parë. Të dytin e eliminuam, pasi morëm konfirmimin nga kontraktori për gatishmërinë e tij për të na dorëzuar kodin burimor të sistemit dhe dokumentacionin, si dhe duke zgjedhur gjuhën e programimit Python, të njohur mirë për specialistët tanë. Kjo na garantoi mundësinë për të mbajtur sistemin me forcat tona pa asnjë vështirësi dhe pa një periudhë të gjatë trajnimi të punonjësve në rast se kompania zhvilluese largohej nga tregu.

Një plus shtesë i platformës ishte se ajo u zbatua në kontejnerë Docker: në këtë mjedis funksionojnë bërthama, ndërfaqja e uebit dhe databaza e produktit. Ky qasje ofron shumë përfitime, duke përfshirë parainstallimin e konfigurimeve për shpejtësinë më të lartë të implementimit të zgjidhjes në krahasim me "klasiken" dhe shtimin e thjeshtë të pajisjeve të reja në sistem. Prinicpi i "të gjitha së bashku" e thjeshton maksimalisht implementimin e sistemit: mjafton të shkarkoni sistemin dhe mund ta përdorni menjëherë. 

Me një zgjidhje të tillë, është më e lehtë të bëni kopje të sistemit, ndërsa përmirësimi dhe realizimi i përditësimeve mund të bëhet në një mjedis të veçantë, pa ndalur punën e zgjidhjes në tërësi.  

Pas minimizimit të të dy rreziqeve, kontraktori paraqiti ofertën. Ajo përmbante të gjitha parametrat më të rëndësishëm për ne të sistemit BMS.

Rezervimi

Sistemi i ri BMS duhet të ishte në cloud, në një makinë virtuale. 

AsnjĂ« harduer, asnjĂ« server dhe tĂ« gjitha shqetĂ«simet e lidhura me kĂ«tĂ« model implementimi – zgjidhja cloud na lejoj tĂ« heqim dorĂ« nga to pĂ«rherĂ«. U vendos qĂ« sistemi do tĂ« funksiononte nĂ« cloud tonĂ« nĂ« dy lokacione tĂ« QendrĂ«s sĂ« tĂ« DhĂ«nave nĂ« ShĂ«n Petersburg dhe MoskĂ«. KĂ«to janĂ« dy sisteme plotesisht funksionale, qĂ« punojnĂ« nĂ« modin aktiv standby me qasje pĂ«r tĂ« gjithĂ« specialistĂ«t e autorizuar. 

Dy sistemet mbulojnë njëra-tjetrën, duke siguruar rezervë të plotë si në kapacitetet llogaritëse ashtu edhe në kanalet e transmetimit të të dhënave. Po ashtu janë konfiguruar masa të tjera sigurie, duke përfshirë kopje rezervë të të dhënave dhe kanaleve, sistemeve, makinave virtuale në tërësi, dhe një kopje rezervë të veçantë të DB një herë në muaj (burimi më i çmuar në perspektivën e menaxhimit dhe analizës). 

Dëshirojmë të theksojmë se rezervimi si një opsion i zgjidhjes BMS u zhvillua posaçërisht sipas kërkesës sonë. Vetë skema e rezervimit dukej kështu:

Monitorimi në Qendrën e të Dhënave: si e ndryshuam BMS-në e vjetër me të re. Pjesa 2

Mbështetje

Një moment i rëndësishëm për një funksionim efektiv të zgjidhjes BMS është mbështetje teknike. 

Këtu të gjitha janë të thjeshta: sistemi i ri do të na kushtonte 35 000 rubla në muaj për këtë tregues sipas SLA "reaksion brenda 8 orëve", domethënë 35 000 x 12 / 80 = $5 250 në vit. Viti i parë është falas. 

Për krahasim: mbështetje e sistemit të vjetër BMS nga tregtari kushtonte $18,000 në vit me rritjen e shumës për çdo pajisje të re të shtuar! Një menaxher i dedikuar nuk ishte në dispozicion nga kompania, të gjithë komunikimi ndodhte përmes menaxherit të shitjeve, i cili ishte i interesuar për ne si një blerës potencial me theks të caktuar në përpunimin e kërkesave. 

PĂ«r njĂ« çmim mĂ« tĂ« ulĂ«t morĂ«m mbĂ«shtetje tĂ« plotĂ« pĂ«r produktin, me njĂ« menaxher tĂ« llogarive, i cili do merrte pjesĂ« nĂ« zhvillimin e produktit, me njĂ« pikĂ« tĂ« vetme hyrjeje etj. MbĂ«shtetja bĂ«hej shumĂ« mĂ« fleksibile – falĂ« aksesit tĂ« drejtpĂ«rdrejtĂ« te zhvilluesit pĂ«r ndreqje tĂ« shpejta nĂ« çdo aspekt tĂ« funksionimit tĂ« sistemit, integrimit pĂ«rmes API etj.

Azhurnimet

Në ofertën për BMS-në e re, të gjitha azhornimet ishin të përfshira në kostot e mbështetjes, dmth. nuk kërkonin pagesë shtesë. Përjashtim bëjnë zhvillimi i funksionaliteteve shtesë, përtej atyre që janë përcaktuar në dokumentacionin teknik. 

Sistemi i vjetĂ«r parashikonte pagesĂ« si pĂ«r azhornimin e software-it tĂ« integruar falas (tipi Java), ashtu edhe pĂ«r korrigjimin e gabimeve. Nuk mund ta refuzonim kĂ«tĂ«, nĂ« mungesĂ« tĂ« azhornimeve, sistemi nĂ« pĂ«rgjithĂ«si ‘ngucitej’ pĂ«r shkak tĂ« versioneve tĂ« vjetra tĂ« komponenteve tĂ« brendshme.

Dhe, natyrisht, nuk mund të azhurnohej softueri pa blerjen e paketës së mbështetjes.

Qasje fleksibile

Një kërkesë tjetër thelbësore u lidhi me ndërfaqen. Ne donim të ofronim qasje përmes shfletuesit të internetit nga çdo pikë, pa nevojën e pranishëm të inxhinierëve në vendin e Qendrës së të Dhënave. Për më tepër, ne synonim krijimin e një ndërfaqe të animuar, në mënyrë që dinamika e funksionimit të infrastrukturës të ishte më e dukshme për inxhinierët në detyrë. 

Po ashtu në sistemin e ri duhej të sigurohej mbështetje për formula për llogaritjen e funksionimit të sensorëve virtual në sistemet inxhinierike - për shembull, për shpërndarjen optimale të fuqive elektrike në raftet me pajisje. Për këtë duhet të kemi në dispozicion të gjitha operacionet matematikore të zakonshme, të aplikueshme për treguesit e sensorëve. 

Më pas, ishte e nevojshme të kishte qasje në databazën SQL me mundësinë për të marrë të dhënat e nevojshme rreth funksionimit të pajisjeve - konkretisht, të gjitha regjistrimet e monitorimit të dy mijë pajisjeve dhe dy mijë sensorëve virtualë, të cilët gjeneronin rreth 20 mijë variabla. 

Ishte gjithashtu e nevojshme një moduli për llogaritjen e pajisjeve në raft, që ofronte një pamje grafike të vendndodhjes së pajisjeve në çdo njësisë me llogaritjen e peshës totale të 'harduerit', duke mbajtur një bibliotekë pajisjesh dhe informacion të detajuar për secilin element. 

Miratimi i Të Dhënave dhe nënshkrimi i kontratës

Në atë moment, kur ishte e nevojshme të fillohej puna mbi sistemin e ri, shkëmbimi i mesazheve me kompanitë 'të mëdha' ende ishte shumë larg diskutimit të kostove të ofertave të tyre, prandaj ne e krahasuam ofertën e marrë me shpenzimet për rinovimin e BMS së vjetër (shih. pjesën e parë), dhe si rezultat, ajo doli të ishte më tërheqëse në çmim dhe përputhej me kërkesat tona.

Zgjedhja u bë.

Pas zgjedhjes së kontraktorit, juristët filluan të përgatisin kontratën, ndërsa ekipet teknike nga të dyja anët po përmirësonin Të Dhënat. Siç dihet, një Të Dhëna e detajuar dhe e saktë është baza e suksesit të çdo pune. Sa më shumë konkretësi të ketë në Të Dhëna, aq më pak shpërthime zhgënjyese si 'ne donim ndryshe'.

Do të jap dy shembuj të nivelit të detajimit të kërkesave në Të Dhëna:

  1. Qendrat e të dhënave janë të autorizuara të shtojnë pajisje të reja në BMS, më së shumti kjo është PDU. Në BMS-në e vjetër, ky ishte niveli 'administrator', i cili gjithashtu lejonte ndryshimin e parametrave të të gjithë pajisjeve, dhe ndarja e funksioneve ishte e pamundur. Ne nuk ishim të kënaqur me këtë. Në versionin bazik të disponueshëm të platformës së re, skema ishte e ngjashme. Ne menjëherë shënuam në Të Dhëna se dëshironim të ndaheshin këto role: parametrat duhet të ndryshoheshin vetëm nga një punonjës i autorizuar, ndërsa rojet duhej të kishin ende mundësinë të shtonin pajisje. Kjo skemë u pranuar për realizim.
  2.  NĂ« çdo BMS standard, ka tre kategori tipike njoftimesh: E KUQ – duhet tĂ« reagoni menjĂ«herĂ«, E VERDHË – mund tĂ« monitorohet, E BARDHË – "Informative". Tradicionalisht, ne e kemi pĂ«rdorur njoftimin "e bardhĂ«" pĂ«r monitorimin e kalimeve tĂ« parametrave komercialĂ«, si kalimi i limitit tĂ« fuqisĂ« sĂ« raftit tĂ« klientit. Ky lloj njoftimi nĂ« rastin tonĂ« ishte i destinuar pĂ«r menaxherĂ«t dhe nuk ishte i interesit tĂ« shĂ«rbimit tĂ« operacioneve, por nĂ« BMS-nĂ« e vjetĂ«r rregullisht bllokonte listĂ«n e incidentĂ«ve aktivĂ« dhe pengonte punĂ«n operative. LogjikĂ«n dhe diferencimin vizual tĂ« ngjyrave tĂ« njoftimeve e konsideruam tĂ« suksesshme dhe e ruajtĂ«m, megjithatĂ« nĂ« TZ saktĂ«sisht e theksuam se njoftimet "e bardhĂ«" duhet, pa tĂ«rhequr vĂ«mendjen e rojeve, tĂ« "shpĂ«rndahen" nĂ« heshtje nĂ« njĂ« seksion tĂ« veçantĂ«, ku do tĂ« merret me to specialistĂ«t komercialĂ«.

Me një nivel të ngjashëm detajesh ishin shkruar format e ndërtimit të grafikëve dhe nxjerrjes së raporteve, konturet e ndërfaqeve, lista e pajisjeve që duhej të monitoroheshin dhe shumë gjëra të tjera. 

Ishte njĂ« punĂ« me tĂ« vĂ«rtetĂ« kreative e tri grupeve tĂ« punĂ«s – shĂ«rbimit tĂ« klientit, i cili diktonte kĂ«rkesat dhe kushtet e tij; specialistĂ«ve teknikĂ« nga tĂ« dyja anĂ«t, tĂ« cilĂ«t kishin pĂ«r detyrĂ« tĂ« shndĂ«rronin kĂ«to kushte nĂ« dokumentacion teknik; ekipit tĂ« programuesve tĂ« kontraktorit, tĂ« cilĂ«t realizonin kĂ«rkesat e klientit sipas dokumentacionit teknik tĂ« hartuar... Si rezultat, disa nga kĂ«rkesat tona tĂ« paqĂ«ndrueshme i pĂ«rshtatĂ«m me funksionalitetin e platformĂ«s ekzistuese, disa kontraktori u angazhua t'i shkruante pĂ«r ne. 

Punë paralele e dy sistemeve

Monitorimi në Qendrën e të Dhënave: si e ndryshuam BMS-në e vjetër me të re. Pjesa 2
Ka ardhur koha e realizimit. Në praktikë, kjo do të thoshte se i japim kontraktorit mundësinë të zhvillojë një prototip të BMS në retn tonë virtuale dhe të japim akses në rrjet për të gjitha pajisjet që kërkojnë monitorim.

Në këtë moment, megjithatë, sistemi i ri nuk ishte ende gati për punë. Në këtë fazë, ishte e rëndësishme për ne që të ruanim monitorimin në sistemin e vjetër dhe në të njëjtën kohë t'u jepnim akses pajisjeve në sistemin e ri. Nuk është e mundur të ndërtohet një sistem normalisht, pa parë brenda tij pajisjet, të cilat nga ana tjetër nuk mund të çaktivizohen nga monitorimi i sistemit të vjetër. 

A do devices withstand simultaneous polling by two systems, it was not obvious without real trials. There was a chance that dual simultaneous polling would lead to frequent response failures from the devices, resulting in numerous errors due to device unavailability, which would in turn block the operation of the old monitoring system.

The network department routed virtual paths from the prototype of the new BMS deployed in the cloud to the devices, and we received the results: 

  • devices connected via the SNMP protocol hardly dropped connections due to simultaneous requests, 
  • devices connected through gateways using the modbus-TCP protocols faced issues, which were resolved by reasonably reducing their polling frequency.  

And then we started to observe how a new system was being built before our eyes, with familiar devices appearing, but in a different interface – convenient, fast, and accessible even from a mobile phone.

We will discuss what we ultimately achieved in the third part of our article.

Burimi: habr.com

Blini hosting tĂ« besueshĂ«m pĂ«r faqe interneti me mbrojtje nga DDoS, serverĂ« VPS VDS đŸ”„ Blini hosting tĂ« besueshĂ«m pĂ«r faqe interneti me mbrojtje nga DDoS, serverĂ« VPS VDS | ProHoster