{"id":80952,"date":"2020-05-10T01:42:22","date_gmt":"2020-05-09T23:42:22","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/monitoring-v-czode-kak-my-menyali-staruyu-bms-na-novuyu-chast-2"},"modified":"2020-05-10T01:42:22","modified_gmt":"2020-05-09T23:42:22","slug":"monitoring-v-czode-kak-my-menyali-staruyu-bms-na-novuyu-chast-2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/monitoring-v-czode-kak-my-menyali-staruyu-bms-na-novuyu-chast-2","title":{"rendered":"\u00d6vervakning i datacentret: hur vi bytte ut det gamla BMS mot det nya. Del 2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"\u00d6vervakning<\/p>\n

I den f\u00f6rsta delen ber\u00e4ttade vi varf\u00f6r vi beslutade att byta ut v\u00e5rt gamla BMS-system i v\u00e5ra datacenter till ett nytt. Och inte bara byta, utan utveckla det fr\u00e5n grunden f\u00f6r att m\u00f6ta v\u00e5ra krav. I den andra delen ber\u00e4ttar vi hur vi gjorde det.
\n<\/a><\/noindex><\/p>\n

Marknadsanalys<\/h2>\n

\nMed h\u00e4nsyn till de \u00f6nskem\u00e5l som beskrivits i f\u00f6rsta delen<\/a><\/noindex> och beslutet att avst\u00e5 fr\u00e5n att uppgradera det befintliga systemet skrev vi en kravspecifikation f\u00f6r att hitta en l\u00f6sning p\u00e5 marknaden och gjorde f\u00f6rfr\u00e5gningar till flera stora f\u00f6retag som bara sysslar med skapandet av industriella SCADA-system.\u00a0<\/p>\n

De f\u00f6rsta svaren fr\u00e5n dem visade att marknadsledarna inom \u00f6vervakningssystem fr\u00e4mst fortsatt att jobba p\u00e5 fysiska servrar, \u00e4ven om migreringen till molnet i denna sektor redan hade inletts. N\u00e4r det g\u00e4ller reservdelning av virtuella maskiner - denna alternativ st\u00f6dde ingen. Dessutom fanns det en k\u00e4nsla av att ingen av de framst\u00e5ende utvecklarna p\u00e5 marknaden ens visade f\u00f6rst\u00e5else f\u00f6r behovet av reservdelning: \"molnet g\u00e5r ju inte ner\" var det vanligaste svaret. Faktiskt erbj\u00f6ds vi att placera \u00f6vervakningen av datacentret i ett moln som fysiskt befann sig i samma datacenter.<\/p>\n

H\u00e4r m\u00e5ste vi g\u00f6ra en liten avstickare om processen att v\u00e4lja entrepren\u00f6r. Priset spelar sj\u00e4lvklart en roll, men under varje anbud f\u00f6r genomf\u00f6randet av ett komplext projekt, i dialogen med leverant\u00f6rerna, b\u00f6rjar man k\u00e4nna vem av kandidaterna som \u00e4r mer intresserad och kapabel att genomf\u00f6ra det.\u00a0<\/p>\n

Detta m\u00e4rks s\u00e4rskilt tydligt i komplexa projekt.\u00a0<\/p>\n

Baserat p\u00e5 arten av f\u00f6rtydligande fr\u00e5gor till kravspecifikationen kan man dela upp entrepren\u00f6rerna i tv\u00e5 grupper: de som \u00e4r intresserade av att bara s\u00e4lja (man m\u00e4rker den standardiserade pressen fr\u00e5n f\u00f6rs\u00e4ljningschefen) och de som \u00e4r intresserade av att utveckla produkten genom att lyssna p\u00e5 kunden, f\u00f6rst\u00e5 deras behov, och g\u00f6ra konstruktiva \u00e4ndringar i kravspecifikationen redan innan det slutliga valet (\u00e4ven om det inneb\u00e4r en verklig risk att f\u00f6rb\u00e4ttra n\u00e5gon annans kravspecifikation och f\u00f6rlora anbudet), och till slut de som helt enkelt \u00e4r beredda att anta en professionell utmaning och skapa en bra produkt.<\/p>\n

Allt detta fick oss att rikta v\u00e5r uppm\u00e4rksamhet mot en relativt liten lokal utvecklare - f\u00f6retagsgruppen \"Sanline\", som omedelbart svarade p\u00e5 de flesta av v\u00e5ra krav och var beredda att m\u00f6ta alla behov g\u00e4llande det nya BMS.\u00a0<\/p>\n

Risker<\/h2>\n

\nMedan de stora akt\u00f6rerna f\u00f6rs\u00f6kte f\u00f6rst\u00e5 vad vi ville och f\u00f6rde ett l\u00e5ngsamt samtal med inblandning av specialister p\u00e5 presale-niv\u00e5, bokade en lokal utvecklare ett m\u00f6te p\u00e5 v\u00e5rt kontor med sin tekniska grupp. Under detta m\u00f6te visade entrepren\u00f6ren \u00e5terigen sin vilja att delta i projektet och - viktigt - f\u00f6rklarade hur det \u00f6nskade systemet skulle genomf\u00f6ras.\u00a0\u00a0\u00a0\u00a0<\/p>\n

Innan m\u00f6tet identifierade vi tv\u00e5 risker med att arbeta med ett team som inte har resurser fr\u00e5n ett stort nationellt eller internationellt f\u00f6retag:<\/p>\n

    \n
  1. Specialisterna kan ha \u00f6verskattat sina m\u00f6jligheter och misslyckas, till exempel genom att anv\u00e4nda komplex programvara eller designa orealistiska algoritmer f\u00f6r reservl\u00f6sningar.<\/li>\n
  2. Efter genomf\u00f6randet av projektet kan projektteamet uppl\u00f6sas och d\u00e4rmed kan produktst\u00f6det s\u00e4ttas i fara.<\/li>\n<\/ol>\n

    \nF\u00f6r att minimera dessa risker bj\u00f6d vi in v\u00e5ra egna utvecklingsspecialister till m\u00f6tet. Anst\u00e4llda fr\u00e5n den potentiella entrepren\u00f6ren blev noggrant tillfr\u00e5gade om hur systemet \u00e4r uppbyggt, hur reservl\u00f6sningar ska genomf\u00f6ras och andra fr\u00e5gor d\u00e4r vi, som driftavdelning, inte var tillr\u00e4ckligt insatta.<\/p>\n

    Uttalandet var positivt: arkitekturen f\u00f6r den redan existerande BMS-plattformen \u00e4r modern, enkel och p\u00e5litlig, kan utvecklas vidare, och den f\u00f6reslagna reserv- och synkroniseringsschemat \u00e4r logiskt och fungerar.\u00a0<\/p>\n

    Den f\u00f6rsta risken hanterades. Den andra eliminierades, efter att ha f\u00e5tt bekr\u00e4ftelse fr\u00e5n entrepren\u00f6ren om beredskap att \u00f6verl\u00e4mna k\u00e4llkoden till systemet och dokumentationen, samt genom att v\u00e4lja programmeringsspr\u00e5ket Python, som v\u00e5ra specialister \u00e4r v\u00e4l bekanta med. Detta garanterade oss m\u00f6jligheten att st\u00f6tta systemet med v\u00e5ra egna resurser utan n\u00e5gra sv\u00e5righeter och utan l\u00e5ng tr\u00e4ningsperiod f\u00f6r anst\u00e4llda i h\u00e4ndelse av att utvecklarf\u00f6retaget l\u00e4mnar marknaden.<\/p>\n

    En extra f\u00f6rdel med plattformen var att den var implementerad i Docker-containrar: i denna milj\u00f6 fungerar k\u00e4rna, webbgr\u00e4nssnitt och produktens databas. Denna metod ger m\u00e5nga f\u00f6rdelar, inklusive f\u00f6rinst\u00e4llda konfigurationer f\u00f6r h\u00f6gsta m\u00f6jliga hastighet vid drifts\u00e4ttning av l\u00f6sningen j\u00e4mf\u00f6rt med 'klassiska' metoder och enkel till\u00e4gg av nya enheter till systemet. Prinsipen 'allt tillsammans' f\u00f6renklar inf\u00f6randet av systemet maximalt: det r\u00e4cker med att packa upp systemet f\u00f6r att kunna b\u00f6rja anv\u00e4nda det direkt.\u00a0<\/p>\n

    Med en s\u00e5dan l\u00f6sning \u00e4r det enklare att skapa kopior av systemet, och att f\u00f6rb\u00e4ttra det samt utf\u00f6ra uppgraderingar kan ske i en separat milj\u00f6 utan att stoppa driften av l\u00f6sningen som helhet.\u00a0\u00a0<\/p>\n

    Efter att b\u00e5da riskerna hade minimerats, presenterade entrepren\u00f6ren en offert. I den hade alla de viktigaste parametrarna f\u00f6r v\u00e5rt BMS-system arbetats fram.<\/p>\n

    Reservkraft<\/h2>\n

    \nDet nya BMS-systemet skulle finnas i molnet, p\u00e5 en virtuell maskin.\u00a0<\/p>\n

    Ingen h\u00e5rdvara, inga servrar och alla de besv\u00e4r och risker som \u00e4r f\u00f6rknippade med denna distributionsmetod \u2013 molnl\u00f6sningen gjorde att vi kunde bli av med dem f\u00f6r alltid. Det beslutades att systemet skulle k\u00f6ras i v\u00e5rt moln p\u00e5 tv\u00e5 platser i datacentren i Sankt Petersburg och Moskva. Det r\u00f6r sig om tv\u00e5 fullt funktionella system som k\u00f6rs i aktiv standby-l\u00e4ge med tillg\u00e5ng f\u00f6r alla auktoriserade specialister.\u00a0<\/p>\n

    De tv\u00e5 systemen f\u00f6rs\u00e4krar varandra, vilket ger full redundans b\u00e5de n\u00e4r det g\u00e4ller ber\u00e4kningskraft och datakommunikationskanaler. Dessutom har ytterligare s\u00e4kerhets\u00e5tg\u00e4rder implementerats, inklusive s\u00e4kerhetskopiering av data och kanaler, system, virtuella maskiner och en separat backup av databasen en g\u00e5ng i m\u00e5naden (den mest v\u00e4rdefulla resursen ur f\u00f6rvaltnings- och analysperspektiv).\u00a0<\/p>\n

    Det \u00e4r v\u00e4rt att notera att reservplanering som en del av BMS-l\u00f6sningen utvecklades specifikt p\u00e5 v\u00e5r beg\u00e4ran. Sj\u00e4lva backup-schemat s\u00e5g ut s\u00e5 h\u00e4r:<\/p>\n

    \"\u00d6vervakning<\/p>\n

    Support<\/h2>\n

    En avg\u00f6rande punkt f\u00f6r en effektiv anv\u00e4ndning av BMS-l\u00f6sningen \u00e4r teknisk support.\u00a0<\/p>\n

    H\u00e4r \u00e4r det enkelt: det nya systemet skulle kosta oss 35 000 rubel per m\u00e5nad f\u00f6r SLA 'respons inom 8 timmar', det vill s\u00e4ga 35 000 x 12 \/ 80 = $5 250 per \u00e5r. F\u00f6rsta \u00e5ret \u2013 gratis.\u00a0<\/p>\n

    F\u00f6r j\u00e4mf\u00f6relse: st\u00f6det f\u00f6r den gamla BMS fr\u00e5n leverant\u00f6ren kostade $18 000 per \u00e5r med en \u00f6kning f\u00f6r varje ny enhet som lades till! Dessutom tillhandah\u00f6ll f\u00f6retaget ingen dedikerad chef, all interaktion skedde via en f\u00f6rs\u00e4ljningschef som var intresserad av oss som en potentiell kund med motsvarande betoning i hanteringen av f\u00f6rfr\u00e5gningar.\u00a0<\/p>\n

    F\u00f6r mindre pengar fick vi fullt produktst\u00f6d, med en account manager som deltog i produktutvecklingen, med en enda kontaktpunkt etc. St\u00f6det blev avsev\u00e4rt mer flexibelt \u2013 tack vare direkt tillg\u00e5ng till utvecklarna f\u00f6r snabba justeringar av alla aspekter av systemets funktionalitet, integration via API etc.<\/p>\n

    Uppdateringar<\/h2>\n

    \nEnligt det f\u00f6reslagna KP i den nya BMS ing\u00e5r alla uppdateringar i kostnaden f\u00f6r st\u00f6det, d.v.s. kr\u00e4ver ingen ytterligare betalning. Undantaget \u00e4r utvecklingen av ytterligare funktionalitet, ut\u00f6ver den som anges i TZ.\u00a0<\/p>\n

    Det gamla systemet innebar kostnader b\u00e5de f\u00f6r uppdatering av den inbyggda gratis programvaran (som Java) och f\u00f6r felkorrigeringar. Det gick inte att avst\u00e5 fr\u00e5n detta, och i avsaknad av uppdateringar blev systemet i allm\u00e4nhet 'l\u00e5ngsamt' p\u00e5 grund av gamla versioner av interna komponenter.<\/p>\n

    Och sj\u00e4lvklart kunde inte programvaran uppdateras utan att k\u00f6pa ett supportpaket.<\/p>\n

    Flexibelt tillv\u00e4gag\u00e5ngss\u00e4tt<\/h2>\n

    \nEtt annat grundl\u00e4ggande krav g\u00e4llde gr\u00e4nssnittet. Vi ville tillhandah\u00e5lla tillg\u00e5ng till det via webbl\u00e4sare fr\u00e5n vilken plats som helst, utan krav p\u00e5 att en ingenj\u00f6r m\u00e5ste vara p\u00e5 plats i datacentret. Dessutom str\u00e4vade vi efter att skapa ett animerat gr\u00e4nssnitt s\u00e5 att infrastrukturen skulle vara mer visuell f\u00f6r jouringenj\u00f6rer.\u00a0<\/p>\n

    Dessutom beh\u00f6vde det nya systemet st\u00f6dja formler f\u00f6r ber\u00e4kning av arbetet hos virtuella sensorer i tekniska system \u2013 till exempel f\u00f6r optimal f\u00f6rdelning av elektrisk effekt till utrustningsst\u00e4ll. F\u00f6r detta m\u00e5ste alla vanliga matematiska operationer som till\u00e4mpas p\u00e5 sensorernas indikatorer finnas tillg\u00e4ngliga.\u00a0<\/p>\n

    Dessutom kr\u00e4vdes \u00e5tkomst till SQL-databasen f\u00f6r att h\u00e4mta n\u00f6dv\u00e4ndig information om utrustningens prestanda \u2013 n\u00e4mligen alla registreringar av \u00f6vervakning f\u00f6r tv\u00e5 tusen enheter och tv\u00e5 tusen virtuella sensorer som genererar cirka 20 000 variabler.\u00a0<\/p>\n

    Det beh\u00f6vdes ocks\u00e5 en modulf\u00f6r utrustning i rack, som ger en grafisk representation av utrustningens placering i varje enhet, med ber\u00e4kning av den totala vikten av \"h\u00e5rdvara\", en enhetshuvudgrupp och detaljerad information om varje enhet.\u00a0<\/p>\n

    \u00d6verenskommelse om kravspecifikationen och undertecknande av kontrakt<\/h2>\n

    \nVid den tidpunkt d\u00e5 det var n\u00f6dv\u00e4ndigt att b\u00f6rja arbetet p\u00e5 det nya systemet var kommunikationen med de \"stora\" f\u00f6retagen fortfarande l\u00e5ngt ifr\u00e5n att diskutera deras erbjudanden, s\u00e5 vi j\u00e4mf\u00f6rde det mottagna erbjudandet med kostnaderna f\u00f6r att uppgradera det gamla BMS-systemet (se. den f\u00f6rsta delen<\/a><\/noindex>), och som ett resultat visade det sig vara mer prisv\u00e4rt och motsvara v\u00e5ra behov.<\/p>\n

    Valet var gjort.<\/p>\n

    Efter valet av entrepren\u00f6r b\u00f6rjade advokaterna att utarbeta kontraktet, medan de tekniska teamen fr\u00e5n b\u00e5da sidor arbetade p\u00e5 kravspecifikationen. Som bekant \u00e4r en detaljerad och noggrant uppr\u00e4ttad kravspecifikation grunden f\u00f6r framg\u00e5ngen i allt arbete. Ju mer konkret information i kravspecifikationen, desto mindre besvikelse s\u00e5som \"men vi ville ha det p\u00e5 ett annat s\u00e4tt\".<\/p>\n

    Jag kommer att ge tv\u00e5 exempel p\u00e5 niv\u00e5n av detaljrikedom i kravspecifikationen:<\/p>\n

      \n
    1. \u00d6vervakande datacenter har befogenhet att l\u00e4gga till nya enheter i BMS, oftast PDU-enheter. I det gamla BMS var det en \"administrat\u00f6rsniv\u00e5\" som ocks\u00e5 till\u00e4t att \u00e4ndra inst\u00e4llningarna f\u00f6r variablerna f\u00f6r alla enheter, och det var om\u00f6jligt att separera funktionerna. Detta tillfredsst\u00e4llde inte oss. I den befintliga grundversionen av den nya plattformen var schemat liknande. Vi angav genast i kravspecifikationen att vi ville separera dessa roller: inst\u00e4llningarna ska endast \u00e4ndras av en bemyndigad anst\u00e4lld, men de \u00f6vriga b\u00f6r fortfarande ha m\u00f6jlighet att l\u00e4gga till enheter. Detta schema antogs f\u00f6r genomf\u00f6rande.<\/li>\n
    2. \u00a0I varje standard BMS finns tre typiska kategorier av meddelanden: R\u00d6D \u2013 m\u00e5ste reageras omedelbart, GUL \u2013 kan \u00f6vervakas, BL\u00c5 \u2013 \"Informations\". Vi har traditionellt anv\u00e4nt \"bl\u00e5\" meddelanden f\u00f6r att \u00f6vervaka \u00f6verskridanden av kommersiella parametrar, till exempel \u00f6verskridande av effektuttaget f\u00f6r kundens rack. Denna typ av meddelanden var i v\u00e5rt fall avsedd f\u00f6r chefer och var ointressant f\u00f6r driftavdelningen, men i den gamla BMS:en fyllde den regelbundet listan \u00f6ver aktiva incidenter och st\u00f6rde det operativa arbetet. Sj\u00e4lva logiken och den f\u00e4rgkodade differentieringen av meddelandena tyckte vi var lyckad och beh\u00f6ll, men i kravspecifikationen angav vi s\u00e4rskilt att \"bl\u00e5\" meddelanden skulle, utan att distrahera de jourhavande, tyst \"regna\" ned i en separat sektion d\u00e4r kommersiella specialister skulle ta hand om dem.<\/li>\n<\/ol>\n

      \nMed samma detaljniv\u00e5 skapades format f\u00f6r grafritning och rapportering, gr\u00e4nssnittens konturer, en lista \u00f6ver enheter som beh\u00f6vde \u00f6vervakas och m\u00e5nga andra saker.\u00a0<\/p>\n

      Det var ett verkligt kreativt arbete av tre arbetsgrupper \u2013 best\u00e4llartj\u00e4nsten, som dikterade sina krav och villkor; tekniska specialister fr\u00e5n b\u00e5da sidor, vars uppgift var att omvandla dessa villkor till teknisk dokumentation; och programmerarteamet fr\u00e5n entrepren\u00f6ren, som implementerade best\u00e4llarens krav enligt den utvecklade tekniska dokumentationen\u2026 Slutligen anpassade vi n\u00e5got av v\u00e5ra mindre viktiga krav efter funktionaliteten i den redan existerande plattformen, medan entrepren\u00f6ren \u00e5tagit sig att skriva till n\u00e5got f\u00f6r oss.\u00a0<\/p>\n

      Samtidig drift av tv\u00e5 system<\/h2>\n

      \n\"\u00d6vervakning
      \nDet var dags f\u00f6r genomf\u00f6rande. I praktiken innebar det att vi gav entrepren\u00f6ren m\u00f6jlighet att drifts\u00e4tta en prototyp av BMS i v\u00e5r virtuella moln och gav n\u00e4tverks\u00e5tkomst till alla enheter som kr\u00e4vde \u00f6vervakning.<\/p>\n

      Vid denna tidpunkt var dock det nya systemet inte redo f\u00f6r drift. I detta skede var det viktigt f\u00f6r oss att beh\u00e5lla \u00f6vervakningen i det gamla systemet och samtidigt ge tillg\u00e5ng till enheterna i det nya systemet. Det \u00e4r om\u00f6jligt att bygga ett system ordentligt utan att se enheterna i det, vilket i sin tur inte kan kopplas bort fr\u00e5n \u00f6vervakningen av det gamla systemet.\u00a0<\/p>\n

      Om enheter skulle klara av samtidig beg\u00e4ran fr\u00e5n tv\u00e5 system var det inte uppenbart utan verkliga tester. Det fanns en risk att dubbel simultan beg\u00e4ran skulle leda till frekventa avbrott i svaren fr\u00e5n enheterna, vilket skulle resultera i m\u00e5nga felmeddelanden om otillg\u00e4ngliga enheter, vilket i sin tur skulle blockera den gamla \u00f6vervakningssystemets funktion.<\/p>\n

      N\u00e4tverksavdelningen har kopplat virtuella rutter fr\u00e5n prototypen av det nya BMS som distribuerades i molnet till enheterna, och vi fick resultaten:\u00a0<\/p>\n