Peamine transportprobleem Peterburi linnas on sillad. Öösel tuleb neist ära joosta, et õlut joodud ei saaks. Või maksta taksosse kaks korda rohkem kui tavaliselt. Hommikul tuleb hoolikalt arvutada aega, et kui sild on alla lastud, jõuda nagu osav mangust ja jaama. Variant «öelda kuskil kesklinnas, jaama lähedal» ei ole arutelu all, kuna see on ideoloogiliselt kahjulik.
…»Sapsan», mis lahkub kell 5:30, on välja mõeldud inimestelt, kes vihkavad öökulle. Jah, muidugi on väga mugav olla Moskvas kell üheksa hommikul ning Peterburi on hullult kaunis valgete ööde ajal, kuid kell pool viis, kui ma taksosse astusin, tahtsin ma 270 kraadi ümber pea keerata sellele lähedasele, kes selle varahommikuse rongi välja mõtles.
«Kõik head andmekeskused on teineteisega sarnased» — mõtlesin ma, kui kuulsin, et DataLine kutsub meid külla.
Oli see igal andmetsentris oma head (või halba) pisut erinev, eriti kui oled natuke kogemusi omandanud, kõiki takistusi tutvunud ja õppinud oma (ja natuke ka teiste) rikkalikest õppetundidest. Siin me (koos viie juhtiva linkmeup'i ja nende sõprade ja toetajatega) otsustasime uurida, kui head (või mitte nii head) on OST ja NORD andmekeskused.
Olles veidi teel töötanud (siia võiks olla üks mobiilsideoperaatori reklaam, aga ei — katvushäired on alles jäänud), välju me Peterburi raudteejaamas. Noh, vähemalt mitte Gazmanovi all.
Alustasime oma ekskursiooni 'salatirohelistes' andmekeskustes OST — 'toosamas', mis hiljuti 'põles'. Miks jutumärkides — see selgub hiljem. Praegu seisame, suitsetame, ootame hilinejaid. Teeme pilte naaberkontorist RT. Selle naabruse ümber on palju lõbusaid lugusid — alates värske asfaltkatte ladumise ja ääre kivide värvimise ajast enne Ülevate Isikute saabumist, kuni kohalike kohvikute pakkumiste, millega andmesideseltside töötajatele allahindlusi tehti, kuna nende nimede sildid olid sarnased.
Totalitarismi propagandakõlar
Tõsise (sissepääsukontrolliga) andmekeskus
Pilet, käitumisreeglid, sissetuleku kohviveski - midagi sarnast nägime . Ja kui palju kohvikuid olete andmekeskustes näinud? Meie, noh, nüüd teame paar. Töötajatel ja klientidel on nimede märkidel "kohvi" deposiidid, mida täiendatakse regulaarselt, seega mõistlikus ulatuses saab kohvi täiesti tasuta. Meid, kui kallid külalised, ka kostitati.
Kohvi kohta ei saa midagi halba öelda - täiesti tavaline "võrgukohvik", kuid asukoht on tahtmatult meeldiv, ja interjöör on tõeliselt kaasaegne.
Kohviku interjöör
NORD andmekeskuste fotod
Ekskursioon algab kontorist. Lisaks kogu Runi veebis tuntud seinakirjadele ja valge-rohelisele värvigammale leidub ka igasuguseid toredaid asju. Need on rekvisiidid, mis jäid üle ettevõtte teatri esinemistelt (kas saate ette kujutada andmekeskuse tehnilise direktori esitlemist? Me tunneme teda isiklikult).
Tõepoolest
Fotod etendustelt
Andmetsentrum (täpsemalt neli andmetsentrumit) asub tööstushoonete kompleksis, mis on ehitatud juba eelmisel sajandil (tol ajal - "Citroën" tehas, ja Nõukogude ajal - "Hüdroveo" tehas). Seega on siin ühelt poolt karm industrialism, metallkonstruktsioonid, loft-atmosfäär ja erinevate ajastute tööstuslikud artefaktid, mida ikka veel leidub eri tööde käigus. Teiselt poolt tuleb andmetsentri hermetilised tsoonid paigutada olemasolevasse konstruktsiooni ja aeg-ajalt tuleb reaalsuse nimel kompromisse teha. Siiski ei ütleks, et need kompromissid on kvaliteeti mõjutanud - kuid kindlasti on projekteerijatel olnud kõvasti vaeva. Kuuldavasti kulgeb kuskil läheduses ka Metro-2, kuid see ei ole kindel.
Peale teatri on siin ka oma muuseum. Ekspoonaadid on loomulikult arheoloogilised leiud.
Paari sõna . Jah, hoone (täpsemalt, katus) tõepoolest põles. Hävisid välised jahutussüsteemide blokid ja külmaveetorud. Kusagil põles ka juhtmestik läbi ja konditsioneerid jäid elektrita. Mõnes kohas plahvatasid freoonitorud. Kuid hoolimata sellest, pidasid hermozonid vastu tonnidele neile valatud veele, seadmed jäid ellu. Taastamist juhtis „peakorter“ kõrgeima juhtkonna näol, ja koos kõigi kokku tulnud - viidi välja kõik vasktorud Moskvas ja selle ümbruses (toodi isegi öösel BMW X5-ga) ja kõik kainet paigaldajat. Kriitilised seadmed kahjustatud andmehalli (mis kannatasid külma puudumise all, mitte tulekahju tõttu!) viidi kiiresti teistesse saalidesse, nii et juba kell viis hommikul tõsteti üles mitte ainult kõik oma teenused, vaid ka kliendid.
Me kontrollisime isiklikult seda saali, mis kõige rohkem „kannatas“ - peale suitsu lõhna ja vahetatud valepõranda plaate ei tuleta miski tulekahjust meelde (välja arvatud seadmete riiulid, mis „ajutiselt“ viidi teise andmehalli ja seal ka jäid).
Seisundi paneel
Koridorides ringi jalutades näeme puutetundlikku ekraani, mis meenutab andmekeskuse masinasaalide skeemi. See on staatusepaneel. Neid on koridorides piisavalt ja need aitavad kohalikke insenere kiiresti leida näiteks vajaliku kliimaseadme ning lihtsalt edastavad praegust staatust.
Jälgimine on üles ehitatud Nagios'ele (praegu on seal mitu sõltumatut klastrit) ja katab kõik andmekeskused (nii OST kui ka NORD). Lisaks on olemas rakendused Androidi ja iOSi jaoks (klientidele ja töötajatele), ning staatuseleht otse veebilehel.
Ekraanil täheldan ebatavaliselt kõrget PUE-d — Eestis ei ole seda alati tavaks arvesse võtta, kuid 1,90 on siiski üsna palju. Vastus on rangelt majanduslik — 2012–2013. aastal müüdi andmekeskuste riiuleid nagu soe pirukas, nii et energiatõhususe peale ei olnud aega mõelda. Panime paika selle, mis oli turul olemas, tegime kiiresti ja ei muretsenud nende PUE-de pärast, sest milleks? Juba projekteerimise faasis ostetakse ära 80–90% riiulitest, aga Venemaa seadusandlus ei taha energiaefektiivsuse osas midagi teada. Kuigi Amsterdami mõnes komisjonis oleks selliste numbrite peale tõenäoliselt vihahooge olnud.
Miski isnimene. Lihtsalt äri.
Veel üks omadus on kuupäeva hallide märgistus. Igal platsil on kuupäeva hallidel lisaks "ametlikule" numbritähe koodile ka "inimlikud" hüüdnimed, mis on saadud meretõlgetest (Alfa-Bravo-Charli-Delta…). Miksiganes, kõik kliendid armastavad viskit.
Klienditeeninduses ei ole väikeseid küsimusi.
Selliseid "aedu" ehitatakse mõnele kliendile. Meil ei lubatud masinasaalides fotosid teha, seetõttu on pilt DataLine ©
DataLine'i kliendid on enamasti suured ja respektitud ettevõtted, kes ei meeldi, kui nende varustust pildistatakse. Eriti kui kliendi nimi (või logo) on suurelt riiulile kirjutatud. Nad ei soovi seda — ja sellega on kõik. Seetõttu pildistasime tuntud seinu erinevate kirjutistega ning tehnilist infrastruktuuri. Tehnilisest infrastruktuurist ei saa ka mitte kõike ja mitte igal pool pildistada, aga me püüdsime. Kuna meie klientide seas on suured ja respektitud ettevõtted, on ka nende nõudmised spetsiifilised — erilised riiulid (või mõni ultraSDA mitmest tootjast), omatehtud piirangud, oma turvasüsteemid, oma videovalve ja kiirreageerimisrühm, kellel on relvad. Üks DataLine'i vaikne (ja avalik) reegel on hoolida klientidest ja teha nende jaoks head. Alates vestidest ja varustatud töökohtadest internetiühendusega ning laadimisjaamadest kuni erinevate klientidele mõeldud üritusteni. Viimased on väga kasulikud ka sellest küljest, et samad inimesed, liikudes ettevõttest ettevõttesse, toovad nad DataLine'i. Lihtsalt sellepärast, et siin on kõik mugav, mugav ja usaldusväärne. DataLine'i äri ei koosne ainult riiulikohtade rendist. See on ka pilv, mis on samaaegselt sertifitseeritud nii 152-FZ kui ka PCI-DSS (me kavatseme sellest teha podcasti, jälgige kuulutusi) ja sideteenuste pakkumine (oma kiudmaterjalide ühendamine paikade vahel ning igast paigast kuni M9, oma optiline ring linnas ja lõpuks isegi kliendi kontorisse viimase miili korraldamine).
M — motivatsioon
Muide, kirjutiste kohta — ideed tulevad mitte ainult töötajatelt, vaid ka partneritelt ja klientidelt, pärast mida saab parimatele anda hääle DataLine FB-s. Oma ideid saab seal samuti esitada.
Kohtumine Elbe juures
Krossover (foto on esitatud ettevõtte DataLine poolt)
Peatume Meet-Me-Roomis, kus asuvad operaatorid. MMR-is (neid on OST-s kolm paari, vastavalt peamistele optika ühendustele, aktiivsele ja passiivsele) koondatakse ühendused kõikidest andmekeskustest. Krossoveris on kõik igav ja korras. Aga seal, kus asub operaatori aktiivne varustus, meenutad parimaid aegu ja kaadreid kusagilt BM18-st: juhe vedeles ja erisugune varustus (DLink, Extreme, Juniper, Mikrotik… ja nii edasi ASR9k-ni). Siin on üle viiekümne operaatori, nii et kõik on värvikas. MMR-ist levib optika ja vask masinaruumidesse. Igaühe jaoks on vähemalt kaks ühendusteed (võimalikud variandid), nii et ühenduse usaldusväärsuse pärast pole põhjust muretseda. MMR kannab nime „Elbe“, mis on üsna peenetundeline.
IBM Power n-nä?
Veel üks leid on IBM P-seeria, mis pole kunagi töötanud ja seisab juba mitu aastat ühes koridoris. Masina (koos lintraamatukogu ja andmesalvestusega) tellis üks klient, aga see „ei osutunud vajalikuks”, seega kingiti see andmekeskusele. Sellest ajast on ta seal seisnud.
Hea on ilmselt olla jõukas ja teha selliseid kingitusi, eks? (Võib-olla ei kingitud, vaid unustati. Või kaotati mängus. Aga ta seisab seal juba ammu.)
Selline ilus masin seisab NORD-4.
Liigume energiapunkti — kolme (või isegi nelja) DGÜ iga andmekeskuse kohta (tuletan meelde, et OST-s on neid neli). Diisel jõuab täispööretesse 30-40 sekundi jooksul ja annab välja 1900 kVA. N+1 varustamine, sünkroniseerimine ja muu — kõik kaasas. Pikim diiselkasutuse aeg OST-s on 12 tundi. NORD-is on see 2,5 päeva (lõppude lõpuks ei ole 85 tonni salvestus nalja asi).
Muidugi on sõlmitud lepingud erinevate kütuseettevõtetega kütuse tarnimiseks. Dieselile üleminek toimub regulaarselt, seega kütust toodetakse ning lepingud kontrollitakse. Ütlen veel, et kolleegide sõnul roheliselt ruheline murutukk jõuab isegi talvel roheliseks kasvada, kui NORD testib DGÜ-d, mis tavaliselt võtab aega mitu tundi, seal, kuhu kuum õhk diislitest väljub.
Pärast lühikest vahepala juba tuttavas kohvikus suundume NORD-i platsile. See pole ainult üks andmekeskus, vaid neli iseseisvat hoonet samal territooriumil. Igal ühel on oma elektrivõrgu sisseveod, oma diislid ja oma jahutus. NORD-1 ja NORD-2 on läbinud Uptime Institute M&O auditi. Kõige uuem (ja parim andmekeskus DataLine'is) on NORD-4, nii et me suundume just siia.
Kuigi Moskvas on näiliselt tohutult andmekeskusi, on ikkagi puudus. Jah, muidugi, üks või kaks racki tarnitakse teile probleemideta. Kahekümne saamine ei ole keeruline. Rohkem kui see – on juba küsimus (ja DataLine'i klientide seas ei ole selliste nõudmistega mitte üks, vaid mitu). Konkreetsemalt on NORD-4-s (praegu) ruumi olemas, kuna üks suur klient lahkus oma värskelt ehitatud andmekeskusesse, kuid mujal võib see juba õnnestuda. Sellest hoolimata käib praegu aktiivselt NORD-5 projekteerimine, mille käivitamist lubatakse 2020. aasta alguseks.
Aga naaseme meie ekskursiooni juurde. Kuna me sõitsime autoga, lasti meid lukku, kus meid võeti automaatide sihikule, kontrolliti meie auto numbrit vastavalt taotlusele ja kõiki reisijaid paluti väljuda, et saada läbipääsulubasid (muidugi passi alusel). Sest B – turvalisus.
NORD-4 on uhkus meie ettevõttes, kogemus aastatepikkusest andmekeskuste ehitamisest ja haldamisest. Sellel on Uptime Institute'i Tier III sertifikaadid projekti ja rajatise (ehitatud andmekeskuse) disaini jaoks ning samuti Operational Sustainability — meeskond on lähenenud sellele võimalikult vastutustundlikult. Sisestruktuuris on neli üksteisest sõltumatut hermozonit, kus igas ühes on kaks saali sama hoone sees. Igal neist on oma energiakeskus (DGU, akutoad), jahutuskontuurid ja tulekustutussüsteemid. Ühiselt jagatakse optilisi sisendeid (neid on kaks hoone kohta) ja MMR.
Tervisliku inseneri modifitseerimine
Andmesaalis ootab meid juba tuttav kohvik (miks ka mitte?). Tõuseme monitooringu keskusesse. Suuri keskus on praegu kaks — OST ja NORD-4 (NORD-1, 2, 3-s on samuti omad vahetused). Iga keskuse kaudu saab jälgida mõlemaid asukohti, nii et isegi siin on tagatud redundancy n+1. Videoseinal on juba tuttavad sünkroonimispaneelid smaragdrohelises toonis (parameetreid on seal, nagu arvatud, palju rohkem kui staatilisel ekraanil). Räägime veidi monitooringust — mingeid moodsate Prometheus'e ja Grafana lahendusi pole, ainult Nagios, ainult hardcore ja isetehtud visuaalid. Kümne aasta jooksul (isegi rohkem) on kirjutatud juba palju kohandatud kontrollmooduleid ja skripte, mistõttu midagi muud kasutada tundub tõeliselt riskantne. Umbes kord kuus tuleb uus firma, kes pakub „kiiret ja valutut” lahendust kõikidele probleemidele, aga seni ei ole see kuidagi õnnestunud. Videosein, muide, töötab samuti isetehtud lahendusel, mis osutus palju odavamaks kui kaubanduslikud analoogid.
Siinne juhtimiskeskus
Kuna palju aastaid projekteerides, ehitades ja hallates andakeskusi, ei karda enam nii väga midagi ise teha, mitte lihtsalt valmis lahendusi osta. Näiteks DataLine ei kanna maski, et nad on lihtsalt oma mastaabi tõttu kogenud maksimumarvu kuku, ja iga uus andakeskus on tulnud läbi raskuste ja kogemustega, mis ulatuvad üle kümne aasta. Muidugi on igas uues andakeskuses omad uuendused ja kui ringi jalutada NORDis, siis jääd pidevalt mõtlema, et inimesed on lihtsalt võtnud ja teinud hästi. Mitte uhkuse pärast, mitte reitingute ja sertifikaatide nimel — tavaline inseneriprotsess, kus iga iteratsiooniga sa kasvad ja saad järjest paremaks. Väline vaatleja ütleb, et see on igav ja konservatiivne, kuid klient toetab vastupidiselt sellist stabiilsust oma raha eest. Ja selleks, et teha hästi, pole sugugi vajalik osta insenerisüsteeme või tarkvara meeletute summadega (kuigi mõnikord ei saa ka ilma selleta). Tihti otsustab kogemus, teadmised ja inseneritehniline nutikus.
Näiteks NORD-4 hoone koosneb 3,5 korrusest. Esimesed kolm on täiskorrused, mille laheightus on 4,5 meetrit, kus asuvad masinaruumid. Viimane korrus on tehniline, vaid 1,8 meetri kõrgune, ja on täielikult pühendatud jahutussüsteemile. Kuna korrus on tehniline, on nõuded sellele oluliselt madalamad, mis võimaldas projekti lihtsustada ja raha säästa.
Vaade kolmnurksest andmekeskusest
Maxil on eriline kung-fu, et mitte pilte rikkuda
Külastus katusel jõuab lõpule — siit avaneb suurepärane vaade kõrval asuvale tsoonipunktile ja elamupiirkonnale, samuti teistele NORDi hoonetele. Kahe neist kuju on kolmnurkne. Sellega seoses naljatasid kolleegid, et "DataLine on loll, ehitavad mingit kolmnurkset andmekeskust", et seal kolmnurksed riiulid ja serverid paigutada. Kuid miski — nad ehitasid selle ja kasutavad seda edukalt, samas tõhusalt kasutades olemasolevat territooriumi (mis Moskvas, tuleb tunnistada, ei ole tasuta). Veel üks üllatav fakt — enamik kommertskliente soovib paigutuda just Moskvasse. Kõik, mis on üle viiekümne kilomeetri Minskilehe ääres (isegi kui seal on kõik vajalikud ressursid ja kommunikatsioon), ei huvita enam kedagi. Nii nad kõik lähevad kitsasse kohta.
Konditsioneerimisjaamad — see ei ole enam andmekeskus, vaid tsoonipunkt.
Nüüd on meie järgmine reis lõppenud.
Pärast seda oli veel pikk ja produktiivne arutelu meie ühiste plaanide ja tulevaste podcastide üle (lootuses, et kaua oodata ei tule), seega jälgige uudiseid, varsti on veel rohkem huvitavat.
DataLine kutsub kõiki, kes soovivad kõik ise näha, ekskursioonile. Täiesti tasuta, kuid eelregistreerimisega. Need, kes nimetavad salajase sõna "linkmeup" — saavad boonusena karma.
Jälgige meid!
Allikas: habr.com
