Monitorimi në Qendrën e të Dhënave: si e ndërruam BMS-në e vjetër me një të re. Pjesa 2

Monitorimi në Qendrën e të Dhënave: si e ndërruam BMS-në e vjetër me një të re. Pjesa 2

Në pjesën e parë, folëm për arsyet pse vendosëm të zëvendësojmë sistemin tonë të vjetër BMS në Qendrat tona të të Dhënave me një të re. E jo thjesht të zëvendësojmë, por ta zhvillojmë nga e para sipas kërkesave tona. Në pjesën e dytë, tregojmë se si e realizuam këtë.

Analiza e tregut

Duke marrë parasysh dëshirat e përmendura në pjesës së parë vendosëm të heqim dorë nga përmirësimi i sistemit ekzistues, për të shkruar një Të Dhëna për të gjetur zgjidhje në treg dhe bëmë kërkesa te disa kompani të mëdha që merreshin ekskluzivisht me krijimin e sistemeve industriale SCADA. 

Përgjigjet e para nga ata treguan se liderët e tregut të sistemeve të monitorimit kryesisht vazhdojnë të punojnë me servera fizikë, edhe pse procesi i migrimit në cloud ka filluar tashmë në këtë segmen. Sa i përket rezervimit të makinave virtuale - kjo opsion nuk ishte mbështetur nga askush. Për më tepër, dukej se askush nga zhvilluesit e njohur në treg nuk e kishte treguar as njëfarë kuptimi për nevojën për rezervim: "cloud-i nuk bie" ishte përgjigja më e shpeshtë. Në thelb, na u ofrua që të vendosnim monitorimin e Qendrës së të Dhënave në cloud, i cili ndodhej fizikisht në të njëjtën Qendër.

KĂ«tu duhet tĂ« bĂ«jmĂ« njĂ« kalim tĂ« vogĂ«l pĂ«r procesin e zgjedhjes sĂ« kontraktorit. Çmimi, sigurisht, ka rĂ«ndĂ«si, por gjatĂ« çdo tenderi pĂ«r realizimin e njĂ« projekti tĂ« komplikuar, nĂ« fazĂ«n e dialogut me furnizuesit, fillon tĂ« ndihesh se kush nga kandidatĂ«t Ă«shtĂ« mĂ« i interesuar dhe nĂ« gjendje ta realizojĂ« atĂ«. 

Kjo është veçanërisht e dukshme në projektet e komplikuara. 

Në bazë të natyrës së pyetjeve sqaruese për Të Dhënat, mund të ndahen kontraktorët në ata që janë të interesuar thjesht të shesin (ndjehet një presion standard nga menaxheri i shitjeve) dhe në ata që janë të interesuar në zhvillimin e produktit, duke dëgjuar dhe kuptuar klientin, duke bërë ndryshime konstruktive në Të Dhënat edhe para përzgjedhjes finale (madje pavarësisht rrezikut të vërtetë për të përmirësuar Të Dhënat e dikujt tjetër dhe humbur tenderin), përfundimisht të gatshëm të pranojnë sfidat profesionale dhe të krijojnë një produkt të mirë.

E gjithĂ« kjo na bĂ«ri tĂ« kushtojmĂ« vĂ«mendje njĂ« zhvilluesi lokal relativisht tĂ« vogĂ«l – grupit tĂ« kompanive "Sanline", i cili iu pĂ«rgjigj shumicĂ«s sĂ« kĂ«rkesave tona menjĂ«herĂ« dhe ishte i gatshĂ«m tĂ« realizonte tĂ« gjitha nevojat lidhur me BMS tĂ« re. 

Rreziqet

NdĂ«rsa lojtarĂ«t e mĂ«dhenj pĂ«rpiqeshin tĂ« kuptonin se çfarĂ« dĂ«shironim dhe zhvillonin njĂ« komunikim tĂ« ngadaltĂ« me specialistĂ« tĂ« nivelit presales, zhvilluesi lokal caktuar njĂ« takim nĂ« zyrĂ«n tonĂ« me pjesĂ«marrjen e ekipit tĂ« tij teknik. GjatĂ« kĂ«tij takimi, kontraktori demonstroi pĂ«rsĂ«ri dĂ«shirĂ«n pĂ«r tĂ« marrĂ« pjesĂ« nĂ« projekt dhe – mĂ« e rĂ«ndĂ«sishmja – shpjegoi se si do tĂ« realizohej sistemi i kĂ«rkuar.    

Para takimit, ne pamë dy rreziqe në punën me një ekip, që nuk kishte prapa burimet e një kompanie të madhe kombëtare apo ndërkombëtare:

  1. Specialistët mund të nënvlerësojnë kapacitetet e tyre dhe në rezultat të mos arrijnë, për shembull, mund të përdorin softuer të ndërlikuar ose të projektuan algoritme rezervimi të pamundura.
  2. Pas realizimit të projektit, ekipi i projektit mund të shqiptohet dhe, si rezultat, mbështetja e produktit do të ishte nën kërcënim.

Për të minimizuar këto rreziqe, ftuam në takim specialistët tanë të zhvillimit. Punonjësit e kontraktorit të mundshëm u pyetën hollësisht në lidhje me ndërtimin e sistemit, mënyrën si do të realizohet rezervimi dhe pyetje të tjera, në të cilat ne, si shërbim operativ, nuk ishim mjaft kompetent.

Verdikti ishte pozitiv: arkitektura e platformës ekzistuese BMS është moderne, e thjeshtë dhe e besueshme, mund të përmirësohet, skema e propozuar për rezervimin dhe sinkronizimin është logjike dhe funksionale. 

Me rrezikun e parë u përballëm. Të dytin e përjashtuam, duke marrë nga kontraktori konfirmimin e gatishmërisë për të na transferuar burimet e kodit të sistemit dhe dokumentacionit, dhe gjithashtu duke zgjedhur gjuhën e programimit Python, e cila i është njohur mirë specialistëve tanë. Kjo na garantoi mundësinë për të mbështetur sistemin me forcat tona pa ndonjë vështirësi dhe pa një periudhë të gjatë trajnimi për punonjësit në rast se kompania zhvilluese largohet nga tregu.

Një përfitim shtesë i platformës ishte se ajo ishte realizuar në konteinerë Docker: në këtë ambient funksionojnë bërthama, ndërfaqja web dhe DB e produktit. Ky qasje ofron shumë avantazhe, duke përfshirë paracaktimin e konfigurimeve për shpejtësinë më të lartë të shpërndarjes së zgjidhjes në krahasim me "klasikën" dhe shtimin e thjeshtë të pajisjeve të reja në sistem. Principi "të gjithë së bashku" thjeshton maksimalisht implementimin e sistemit: mjafton të nxjerrësh sistemin nga paketa dhe mund ta përdorësh menjëherë. 

Me një zgjidhje të tillë, është më e lehtë të bësh kopje të sistemit, ndërsa përmirësimet dhe realizimi i përditësimeve mund të bëhet në një mjedis të veçantë, pa ndërprerë funksionimin e zgjidhjes në tërësi.  

Pas minimizimit të të dy riskëve, kontraktori ofroi një propozim. Ai përfshinte të gjitha parametrat më të rëndësishëm për ne për sistemin BMS.

Kopjim rezervë

Sistemi i ri BMS duhet të ishte në re, në një makinë virtuale. 

Asnjë harduer, asnjë server dhe të gjitha inconveniencat dhe rreziqet e lidhura me këtë model të implementimit - zgjidhja në re na lejoi të shpëtonim prej tyre përfundimisht. U vendos që sistemi do të funksiononte në re tonën në dy lokacione të Qendrës të të Dhënave në Shënd Petersburg dhe Moskë. Këto janë dy sisteme plotësisht funksionale, që punojnë në modalitetin aktiv qëndrim me akses për të gjithë specialistët e autorizuar. 

Dy sistemet mbulojnë njëra-tjetrën, duke siguruar një rezervë të plotë si për kapacitetet llogaritëse, ashtu edhe për kanalet e transmetimit të të dhënave. Gjithashtu janë vendosur masa të tjera sigurie, duke përfshirë kopjimin e të dhënave dhe kanaleve, sistemeve, makinave virtuale në tërësi, dhe një kopjim të veçantë të DB çdo muaj (burimi më i çmuar në perspektivën e menaxhimit dhe analizës). 

Vlen të theksohet se rezervimi si një opsion për zgjidhjen BMS u zhvillua posaçërisht sipas kërkesës tonë. Schemi i rezervimit dukej kështu:

Monitorimi në Qendrën e të Dhënave: si e ndërruam BMS-në e vjetër me një të re. Pjesa 2

Mbështetje

NjĂ« moment thelbĂ«sor pĂ«r pĂ«rdorimin efektiv tĂ« zgjidhjes BMS – mbĂ«shtetje teknike. 

KĂ«tu gjithçka Ă«shtĂ« e thjeshtĂ«: sistemi i ri do tĂ« na kushtonte pĂ«r kĂ«tĂ« tregues 35,000 rubla nĂ« muaj pĂ«r SLA "reaksion brenda 8 orĂ«sh", pra 35,000 x 12 / 80 = $5,250 nĂ« vit. Viti i parĂ« – falas. 

Për krahasim: mbështetje e sistemit të vjetër BMS nga ofruesi na kushtonte $18,000 në vit me rritjen e shumës për çdo pajisje të re që shtohej! Megjithatë, kompania nuk ofronte menaxher të dedikuar, të gjitha ndërveprimet ndodhnin përmes menaxherit të shitjeve, i cili kishte interes për ne si një blerës potencial me perspektivën përkatëse në përpunimin e kërkesave. 

PĂ«r mĂ« pak para morĂ«m mbĂ«shtetje tĂ« plotĂ« pĂ«r produktin, me njĂ« menaxher llogarie qĂ« do tĂ« merrte pjesĂ« nĂ« zhvillimin e produktit, me njĂ« pikĂ« tĂ« vetme hyrjeje etj. MbĂ«shtetja u bĂ« shumĂ« mĂ« fleksibĂ«l – falĂ« qasjes direkte te zhvilluesit pĂ«r korigjime tĂ« menjĂ«hershme nĂ« çdo aspekt tĂ« funksionimit tĂ« sistemit, integrimit pĂ«rmes API etj.

Përditësime

Në propozimin e ofruar për BMS-në e re, të gjitha përditësimet përfshiheshin në koston e mbështetjes, domethënë nuk kërkonin pagesa shtesë. Përjashtimi është zhvillimi i funksionaliteteve shtesë, përtej asaj që tregohet në TKT. 

Sistemi i vjetër supozonte pagesë për përditësimin e programeve të integruara falas (si Java), si dhe për korrigjimin e gabimeve. Nuk mund të hiqeshim nga kjo, përndryshe në mungesë të përditësimeve sistemi në tërësi "ngadalësonte" për shkak të versioneve të vjetra të komponenteve të brendshme.

Dhe, natyrisht, nuk mund të përditësohej programi pa blerjen e paketës së mbështetjes.

Qasja fleksibile

Një kërkesë tjetër e rëndësishme kishte të bënte me ndërfaqen. Ne dëshironim të siguronim qasje në të përmes një shfletuesi nga çdo pikë, pa pasur nevojë për praninë e një inxhinieri në territorin e Qendrës së të Dhënave. Për më tepër, ne përpiqeshim për krijimin e një ndërfaqe animacioni, për të bërë dinamizmin e funksionimit të infrastrukturës më vizual për inxhinierët e turneve. 

Gjithashtu, nĂ« sistemin e ri duhej tĂ« sigurohej mbĂ«shtetje pĂ«r formulat pĂ«r llogaritjen e punĂ«s sĂ« senzorĂ«ve virtualĂ« nĂ« sistemet inxhinierike – pĂ«r shembull, pĂ«r shpĂ«rndarjen optimale tĂ« kapacitetit elektrik nĂ« raftet me pajisje. PĂ«r kĂ«tĂ«, duhej tĂ« kishim nĂ« dispozicion tĂ« gjitha operacionet matematikore tĂ« njohura, tĂ« aplikueshme pĂ«r treguesit e sensorĂ«ve. 

MĂ« tej, ishte e nevojshme qasje nĂ« bazĂ«n e tĂ« dhĂ«nave SQL me mundĂ«sinĂ« pĂ«r tĂ« marrĂ« tĂ« dhĂ«nat e nevojshme mbi funksionimin e pajisjeve – konkretisht, tĂ« gjitha regjistrimet mbi monitorimin e dy mijĂ« pajisjeve dhe dy mijĂ« sensorĂ«ve virtualĂ«, qĂ« gjeneronin rreth 20 mijĂ« variabla. 

Gjithashtu, na nevojitej një modul për llogaritjen e pajisjeve në raft, që do të jepte një paraqitje grafike të vendosjes së pajisjeve në çdo unit, duke llogaritur gjithashtu peshën totale të "harduerit", duke mbajtur një bibliotekë pajisjesh dhe informacion të detajuar mbi çdo element. 

Miratimi i TKT-së dhe nënshkrimi i kontratës

Në atë kohë, kur ishte e nevojshme të fillonim punën mbi sistemin e ri, korespondenca me "kompanitë e mëdha" ende ishte shumë larg diskutimit të kostove të propozuar prej tyre, prandaj krahasuam propozimin e pranuar me shpenzimet për përditësimin e BMS-së së vjetër (shih. pjesën e parë), dhe në rezultat ai rezultoi më tërheqës në çmim dhe përputhës me kërkesat tona.

U bë zgjedhja.

Pas pasjesh marrjen e kontraktuesit, avokatët filluan të përgatisin marrëveshjen, ndërsa ekipet teknike nga të dyja anët përfunduan detajet e specifikimeve teknike. Siç dihet, një specifikim teknik i detajuar dhe i saktë është baza e suksesit të çdo projekti. Sa më shumë detaje të jepen në specifikime, aq më pak zhgënjime do të ketë si «ne nuk e kishim parashikuar kështu».

Do të jap dy shembuj të nivelit të detajimit të kërkesave në specifikimet teknike:

  1. Qendrat e të dhënave kanë kompetencën për të shtuar pajisje të reja në BMS, zakonisht PDU. Në BMS-në e vjetër, kjo ishte një nivel «administratori», i cili, përfshirë, lejonte të ndiheshin parametrat e të gjitha pajisjeve, dhe ndarja e funksioneve ishte e pamundur. Kjo na shqetësoi. Në versionin bazë të platformës së re, skema ishte e ngjashme. Ne e kemi shënuar menjëherë në specifikimet që dëshironim të ndanim këto role: vetëm një punonjës i autorizuar duhet të ndante parametrat, por rojet e natës duhet të kishin ende mundësinë të shtonin pajisje. Kjo skemë u miratua për zbatim.
  2.  NĂ« çdo BMS standarde janĂ« tri kategori tipike tĂ« njoftimeve: TË KUQE – duhet tĂ« reagohet menjĂ«herĂ«, TË VERDHË – mund tĂ« vĂ«zhgohet, TË BLU – «Informuese». Ne tradicionalisht pĂ«rdorim njoftimet «blu» pĂ«r tĂ« monitoruar tejkalimin e parametrave tregtarĂ«, pĂ«r shembull, tejkalimin e kufijve tĂ« fuqisĂ« sĂ« raftit tĂ« klientit. Ky lloj njoftimi, nĂ« rastin tonĂ«, ishte pĂ«r menaxherĂ«t dhe nuk ishte i interesuar pĂ«r shĂ«rbimin e operimit, por nĂ« BMS-nĂ« e vjetĂ«r rregullisht mbushte listĂ«n e incidentĂ«ve aktiv dhe pengonte punĂ«n operative. Logjika dhe ngjyra dalluese e njoftimeve ne i konsideruam tĂ« suksesshme dhe e ruajtĂ«m, megjithatĂ« nĂ« specifikime e shĂ«nuam qartĂ« qĂ« njoftimet «blu» duhet, pa i shpĂ«rqendruar rojet, tĂ« «shkarkoheshin» pa zĂ« nĂ« njĂ« seksion tĂ« veçantĂ«, ku do tĂ« merreshin nga specialistĂ«t tregtarĂ«.

Me një nivel të ngjashëm detajimi, ishin përcaktuar format e ndërtimit të grafikëve dhe nxjerrjes së raporteve, konturet e ndërfaqeve, lista e pajisjeve që duhej të monitoroheshin dhe shumë gjëra të tjera. 

Ishte njĂ« punĂ« vĂ«rtet krijuese e tre grupeve tĂ« punĂ«s – shĂ«rbimi i porositĂ«sit, i cili diktonte kĂ«rkesat dhe kushtet e tij; specialistĂ«t teknikĂ« nga tĂ« dyja anĂ«t, tĂ« cilĂ«t kishin detyrĂ«n pĂ«r tĂ« shndĂ«rruar kĂ«to kushte nĂ« dokumentacion teknik; ekipi i programuesve tĂ« kontraktuesit, qĂ« zbatonte kĂ«rkesat e porositĂ«sit sipas dokumentacionit tĂ« zhvilluar teknik... NĂ« fund, disa nga kĂ«rkesat tona qĂ« nuk ishin thelbĂ«sore i pĂ«rshtatĂ«m pas funksionalitetit tĂ« platformĂ«s sĂ« ekzistueshme, ndĂ«rsa disa kontraktuesi u angazhua t'i shkruajĂ« pĂ«r ne. 

Puna paralele e dy sistemeve

Monitorimi në Qendrën e të Dhënave: si e ndërruam BMS-në e vjetër me një të re. Pjesa 2
Arriti koha për realizim. Në praktikë, kjo nënkuptonte se ne i japim kontraktuesit mundësinë për të zhvilluar një prototip BMS në cloud-in tonë virtual dhe ofrojmë qasje në rrjet për të gjitha pajisjet e nevojshme për monitorim.

Megjithatë, sistemi i ri ende nuk ishte gati për punë. Në këtë fazë, ishte e rëndësishme për ne të ruanim monitorimin në sistemin e vjetër dhe në të njëjtën kohë të ofronim qasje në pajisje për sistemin e ri. Nuk është e mundur të ndërtosh një sistem të përshtatshëm pa parë pajisjet që, në të njëjtën kohë, nuk mund të dislokojmë nga monitorimi në sistemin e vjetër. 

Këto pajisje do të ishin në gjendje të përballonin pyetjet nga dy sisteme, nuk ishte e qartë pa provë reale. Ekzistonte mundësia që pyetja e dyfishtë e përbashkët të sillte shpesh dështime në përgjigje nga pajisjet dhe ne do të merrnim shumë gabime për papërshtatshmërinë e pajisjeve, që do të bllokonte punën e sistemit të vjetër të monitorimit.

Departamenti i rrjetit krijoi rrugë virtuale nga prototipi i BMS-së së re, e vendosur në cloud, në pajisje, dhe ne morëm rezultatet: 

  • pajisjet e lidhura pĂ«rmes protokollit SNMP, praktikisht nuk shpĂ«rbĂ«heshin pĂ«r shkak tĂ« kĂ«rkesave tĂ« pĂ«rbashkĂ«ta, 
  • pajisjet e lidhura pĂ«rmes portave pĂ«r protokollet modbas-TCP, kishin probleme, tĂ« cilat u zgjidhĂ«n me njĂ« ulje tĂ« arsyeshme tĂ« frekuencĂ«s sĂ« pyetjes sĂ« tyre.  

Dhe pastaj filluam tĂ« shohim sesi po ndĂ«rtohej sistemi i ri para syve tanĂ«, aty po shfaqeshin pajisjet qĂ« na ishin tashmĂ« tĂ« njohura, por nĂ« njĂ« ndĂ«rfaqe tjetĂ«r – tĂ« rehatshme, tĂ« shpejtĂ«, tĂ« aksesueshme edhe nga telefoni.

Për atë që arritëm në fund, do të flasim në pjesën e tretë të artikullit tonë.

Burimi: habr.com

Bleni hostim tĂ« besueshĂ«m pĂ«r faqe me mbrojtje nga DDoS, serverĂ« VPS VDS đŸ”„ Bleni hostim tĂ« besueshĂ«m pĂ«r faqe me mbrojtje nga DDoS, serverĂ« VPS VDS | ProHoster