Ekskursioon salatitoonides

Peamine transpordiprobleem Peterburis on sillad. Öösel tuleb neist välja pääsemiseks baarist kiiresti lahkuda, ilma et oleks aega õlut ära juua. Või tuleb taksoga sõites maksta kaks korda rohkem kui tavaliselt. Hommikul - peab hoolikalt aega arvestama, et just siis, kui sild on langetatud, oskaksid kiiresti ja osavaltjaama jõuda. Variant „ööbida kuskil kesklinnas, jaama lähedal“ ei tule meeles pidada, kuna see on ideoloogiliselt vale.

…"Sapsan", mis lahkub 5:30, on välja mõeldud inimestele, kes vihkavad ööliblikaid. Ei, muidugi on väga mugav olla Moskvas kell üheksa hommikul ja Peterburi valged ööd on äärmiselt kaunid, aga kell pool viis, kui sain taksosse, tahtsin keerata pea 270 kraadi toimekas jaoara juurde, kes selle hommikuse rongi välja mõtles.

"Kõik head andmekeskused näevad üksteisega sarnased välja" — mõtlesin, kui kuulsin, et meid kutsusid külalisena DataLine'i poisid.

Kuid selgus, et iga andmekeskus on omaette hea (või halb), eriti kui oled saanud litsentse, kogunud kõik takistused ümberringi ja õppinud enda (ja veidi ka teiste) rikkalikke kogemusi. Meie (koos viie juhtiva linkmeup'i ja nende sõprade ja kaastundlikega) otsustasime uurida, kui head (või mitte) on OST ja NORD andmekeskused.

Pärast natuke töötamist teel (siin võiks olla ühe mobiilioperaatori reklaam, aga ei - levi oli sama halb nagu alati), oleme jõudnud Peterburi jaamale. Noh, vähemalt ei olnud see Gazmanov.

Oma ekskursiooni „salatite“ andmekeskuses alustasime OST-st — „sellelt, mis hiljuti „üles leegitsema” läks. Miks jutumärkides - pärast. Aga praegu - seisame, suitsetame, ootame hilinejat. Pildistame RT kontorit naabruses. Selle naabrusega on palju lõbusaid lugusid - alustades värske asfaltkatte panemisest ja äärekivide värvimisest enne Kõrgete Isikute saabumist ning lõpetades allahindlustega piirkonna kohvikutes, mille nad andsid dataline'le sarnaste nimede tõttu.

Totalitaarse propagandamüra

Range (läbipääsu) režiimiga andmekeskus

Luba, käitumisreeglid, liha jahvatav masin sissepääsu juures - peaaegu sama, mida nägime Linxdatasenter'i ekskursiooni ajal. Kas olete palju kohvikuid andmekeskustes näinud? Me nüüd oleme paar avanud. Töötajate ja klientide nimetaldel on „kohvigrandid”, mida regulaarselt täiendatakse. Nii et mõistlikes piirides võib tasuta kohvi saada. Ka meid, kallite külalistena, pakuti kohviga.

Kohvi kohta ei saa ma midagi halba öelda — täiesti tavaline „kaubanduskohvik”, kuid asukoht on üllatavalt köitev ning sisustus vastab kõige parematele tänapäevastele traditsioonidele.

Kohviku sisemus

Piltidel on NORD andmekeskused

Ekskursioon algab kontorist. Peale tuntud kirjutistest seinadel ja valge-rohelisest värvigammas on seal ka igasuguseid huvitavaid asju. Need on rekvisiidid, mis on jäänud ettevõtte teatri etendustest (kas suudate ette kujutada, kuidas andmekeskuse tehniline direktor mängib lavastuses? Me tunneme teda isiklikult.).

Tõepoolest

Fotod etendustest

Andmekeskus (täpsemalt öeldes neli andmekeskust) asub tööstushoonete kompleksis, mis ehitati juba eelmisel sajandil (toona oli see „Citroen” tehas, ja Nõukogude ajal „Hüdroveo” tehas), nii et ühel pool on siin karm industriaal, metallist talad, lofti atmosfäär ja erinevate ajastute tööstuslikud artefaktid, mida praeguste tööde käigus endiselt leiate. Teiselt poolt peab andmekeskuse hermeetilised tsoonid olemasolevatesse konstruktsioonidesse sobitama ja aeg-ajalt kompromisse tegema reaalsusega. Siiski, ma ei ütleks, et need kompromissid on kvaliteedile halvasti mõjunud — aga kindlasti pidid poisid projekteerimisel vaeva nägema. Kuuldavasti kulgeb kuskil lähedal ka Metro-2, kuid seda ei saa kindlalt öelda.

Lisaks teatrile on siin ka oma muuseum. Eksponaadid on tõeliselt — arheoloogilised leiud.

Mõned sõnad tulekahjustJah, hoone (või pigem katus) tõepoolest põles. Õhu töötlemisüsteemi välisseadmed ja jahutus torud said kahjustada. Kusagil põles juhtmestik läbi ja konditsioneerid jäid ilma elektrita. Kuski läksid puruks freoonitorud. Kuid hoolimata sellest, hermetiseeritud tsoonid talusid tonni vett, mis nende peale valati, seadmed jäid ellu. Taastamisega tegeldi „pealiku“ juhtimisel, kes olid ettevõtte kõrgem juhtkond — viidi ära tegelikult kõik vasktorud Moskvast ja ümbrusest (toodid isegi öösel BMW X5-ga) ja kõik kained paigaldujad. Kritiseeritud seadmed põdenud andmehalli (mis kannatasid külma puudumise tõttu, mitte tulekahju tõttu!) viidi kiiresti teistesse saalidesse, nii et juba kell viis hommikul tõsteti mitte ainult kõik oma teenused, vaid ka klientide omad.

Me viisime isiklikult läbi kontrolli selle saali üle, mis enim „kannatas“ — peale põlemise lõhna ja vahetatud valeplaate ei meenuta tulekahjust sisuliselt enam midagi (peale seadmete stendide, mis on „ajutiselt“ viidud teise andmehalli ja sinna ka jäänud).

Olekupaneel

Käies koridorides, näeme puutetundlikku ekraani millegagi, mis on väga sarnane andmekeskuse masinaruumi skeemile. See on olekupaneel. Nendeid on koridorides palju ja need võimaldavad kohapealsetel inseneridel kiiresti leida näiteks vajaliku konditsioneeri ning lihtsalt teatavad praegust olekut.

Jälgimine on üles ehitatud Nagiosel (praegu juba mitu iseseisvat klastrit) ja katab kõik andmekeskused (nii OST kui NORD). Täiendavalt on olemas rakendused Androidi ja iOSi jaoks (klientide ja töötajate jaoks), ning olekupaneel on otse veebisaidil.

Ekraanil märkan ebatavaliselt kõrget PUEd — mitte igal pool Venemaa, et seda arvestatakse, kuid 1.90 on üsna palju. Vastus sellele on puhtalt majanduslik — 2012-2013 aastal kadusid riiulid andmekeskustes nagu soojad pirukad, nii et ei olnud aega tunnetele ja energiatõhususele. Paneme paika, mis turul on, viime kiiresti ellu ja ei mõtle nende PUEde peale, sest miks? Juba projekteerimise faasis ostetakse 80-90% riiulitest ära, kuid seadusandlus Venemaal ei soovi energiatõhususest midagi teada. Kuigi mingit komisjoni Amsterdamis võiks sellised numbrid küll ehmatada.

Ei midagi isiklikku. Lihtsalt äri.

Veel omadustega — see on andakeskuste märgistamine. Igal andakeskuse alal on ametlike numbrikoodide kõrval ka inimsõbralikud nimed, mis on saadud mereväe foonidelt (Alfa-Braavo-Charli-Delta…). Miks kõik kliendid armastavad viskit, on arusaamatu.

Kliendihoolduses ei ole väikesi asju.

Selliseid "aiu" pannakse mõnedele klientidele. Meil ei lubatud masinasaalides pildistada, seega on pilt DataLine ©.

DataLine'i kliendid on enamasti suured ja tuntud ettevõtted, kes ei armasta, kui nende varustust pildistatakse. Eriti siis, kui kliendi nimi (või logo) on suurtähtedega riiulil kirjas. Nad ei armasta seda — ja ongi kõik. Seetõttu pildistasime juba tuntud seinu erinevate siltidega ja inseneritehnika. Inseneritehnika pildistamine ei ole ka alati lubatud, kuid me püüdsime. Kuna kliendid on suured ja austatud, on ka nende nõudmised spetsiifilised — eraldi riiulid (või hoopis mõni uber SAN mitmest tarnijast), oma aiad, oma pääsukontroll, oma videovalve ja kiirreageerimisrühm automaatidega. Üks DataLine'i mitteformaalne (aga ka formaalne) reegel on hoolida kliendist ja pakkuda talle head teenust. Alates vestidest ja netiühendusest varustatud töökohtadest kuni erinevate klientidele suunatud üritusteni. Viimased on veel väga kasulikud, kuna need samad inimesed, kes ettevõttest ettevõttesse liiguvad, toovad nad DataLine'i. Lihtsalt sellepärast, et siin on kõik hubane, mugav ja usaldusväärne. DataLine'i äri ei seisne ainult riiulikohtade rendis. See hõlmab ka pilveteenuseid, mis on samaaegselt sertifitseeritud nii 152-FZ kui ka PCI-DSS (mille kohta plaanime teha taskuhäälingu, jälgige teadandeid), ja ühenduse pakkumist (oma kiudude abil alade vahel ja igast neist M9-le, oma optiline rõngas linnas ja lõpuks viimasest miilist kliendi kontorini).

M — motivatsioon

Kui rääkida siltidest — ideed tulevad mitte ainult töötajatelt, vaid ka partneritelt ja klientidelt, mille järel on parimate ideede eest võimalik hääletada. ametlikult lehelt DataLine FB-s. Samuti saab seal pakkuda oma ideed.

Kohtumine Elbajal

Crossroad (fotod on esitatud DataLine'i poolt)

Peatume Meeteruumis, kus paiknevad operaatorid. MMR-is (OST-s on neid kolm paari, optika pealsete numbrite järgi, aktiveerimise ja passiivsuse jaoks) koondatakse ühendused kõigist andmekeskustest. Ristmikus on kõik igav ja korralik. Küll aga, seal, kus operaatori aktiivsus asub, tuletad meelde paremaid aegu ja kaadreid mingist BM18-st: juhtmete nuudlid ja kirju varustus (DLink, Extreme, Juniper, Mikrotik… ja nii ASR9k-ni). Siin on üle viiekümne operaatori, nii et kõik on värvikas. MMR-ist liigub optika ja vask mööda masinaruumidesse. Igaühel vähemalt kaks rada (võimalikud variandid), nii et ühenduse usaldusvääruse pärast ei pea muretsema. MMR-i nimetatakse "Elbaks", mis on üsna peen.

IBM Power — kas seda on vaja?

Veel üks leid — see on IBM P-seeria, mida pole kordagi sisse lülitatud ja mis on juba mitu aastat ühes koridoris seisnud. Masina (koos lintbiblioteeka ja SXYD-ga) tellis üks klient, kuid "ei läinud vaja", seega annetati see andmekeskusele. Sellest ajast see seisabki.

Oleks tore olla jõukas tüüp ja teha selliseid kingitusi, eks? (Või pole seda võib-olla annetatud, vaid unustatud. Või kaardimängus kaotatud. Aga seisab see juba ammu.)

Selline iludus seisab NORD-4.

Liigume energiakeskusesse — kolm (võib-olla isegi neli) DGU-d iga andmekeskuse kohta (tuletan meelde, et OST-s on neid neli). Diisel jõuab täisvõimsusele 30–40 sekundiga ja annab välja 1900 kVA. Reserveerimine N+1, sünkroniseerimine ja muu — komplektis. Pikim tööaeg diiselgeneratoritega OST-s on 12 tundi. NORD-is on see 2,5 päeva (lõppude lõpuks, 85-tonnine hoiustamine, see pole naljaasi).

Loomulikult on sõlmitud lepingud erinevate kütuseettevõtetega kütuse tarnimiseks. Üleminek diiselgeneraatorile toimub regulaarselt, nii et kütust toodetakse ja lepinguid kontrollitakse. Üks huvitav detail: kolleegide sõnul, NORD-is diiselgeneraatori testimise ajal, mis tavaliselt kestab mitu tundi, kohas, kuhu visatakse sooja õhku diiselgeneraatoritest, hakkab isegi talvel rohi kiiresti kasvama.

Pärast lühikest pausikohviku juures suundume NORD-i platsile. See pole samuti ainult üks andmekeskus, vaid neli sõltumatut hoonet ühel territooriumil. Igaühel on oma elektrisissevoolud, oma diiselgeneraatorid ja oma jahutus. NORD-1 ja NORD-2 läbisid Uptime Institute M&O audiidi. Kõige uuem (ja parim DataLine andmekeskkond) — NORD-4, nii et suundume just siia.

Mal.GRAND, tundub, et Moskvas on tohutu arv andmekeskusi, kuid ikkagi on puudus. Loomulikult, ühe või kahe rackiga ei ole probleeme. Isegi kakskümmend annavad. Rohkem — see on juba küsimus (ja DataLine'i klientidel, kellel on sellised vajadused, ei ole mitte üks ega kaks). Konkreetset NORD-4's on (praegu) ruumi, kuna üks suur klient kolis oma uude, värskelt ehitatud andmekeskusesse, kuid mujal võib-olla nii hästi ei vea. Sellegipoolest käib praegu NORD-5 projekteerimine, mille avamist lubatakse 2020. aasta alguses.

Kuid naaseme meie ekskursiooni juurde. Kuna sõitsime autoga, siis lasti meid sisse väravasse, kus meid sihtisid automaadid, meie auto numbrit võrreldi taotlusega ning kõik reisijad paluti välja tulla, et saada pääsmeid (loomulikult, passi järgi). Sest B — turvalisus.

NORD-4 on ettevõtte uhkus ja aastatepikkuse kogemuse koondamine andmekeskuste ehitamises ja haldamises. Tal on Uptime Institute Tier III sertifikaadid projekteerimise ja rajatise (st valminud andmekeskus) eest, samuti Operational Sustainability — mehed on lähenenud tööle maksimaalse vastutustundega. Sisestruktuur koosneb neljast omavahel sõltumatust turvazoonist, igas on kaks saali ühe hoone sees. Igal on oma energiapunkt (DGU, akukambrid), jahutuspiirid ja tulekustutussüsteemid. Üksnes ühised on optika sisenemised (need on kaks hoone kohta) ja MMR.

Terve inseneri modifitseerimine

Andmehallituskeskuse sissejuhatuses ootab juba tuttav kohvik (miks ka mitte?). Tõuseme monitooringu keskusesse. Praegu on suurimaid kaks — OST ja NORD-4 (NORD-1, 2, 3 on samuti oma vahetused). Iga keskuse kaudu on võimalik jälgida mõlemat platsi, tagades seeläbi ka redundancy n+1. Videoseinal - juba tuttavad vähemalt erinevates rohelise varjundites dashboards (parameetreid on seal muidugi palju rohkem kui staatilisel ekraanil). Veidi mõtleme monitooringu üle — mingit moes olevat Prometheust või Grafanat ei ole, ainult Nagios, ainult hardcore ja isetootetud visualiseerimine. Kümne aastaga (isegi rohkem) on kirjutatud juba palju kohandatud kontrolle ja skripte, seega uuele lahendusele üleminek näib tõeliselt riskantne. Umbes kord kuus ilmub uus ettevõte, kes pakub "kiire ja valutut" lahendust kõikidele probleemidele, aga siiani ei ole see kuidagi kokku läinud. Videosein, muide, töötab ka isetehtud lahendusel, mis osutus kordades odavamaks kui kaubanduslikud analoogid.

Kohalik keskuses

Kui projekteerid, ehitad ja kasutad andmekeskusi aastaid, siis ei karda enam nii palju ise midagi teha, mitte ainult valmis lahendusi osta. DataLine ei häbene öelda, et nad on lihtsalt oma ulatuse tõttu kogenud maksimaalset hulka takistusi, ning iga uus andmekeskus on raskeid vigu ja üle kümne aasta kestnud kogemuse laps. Loomulikult on igas uues andmekeskuses omad uuendused ja ringi liikudes NORDis tabad end pidevalt mõtlemas, et inimesed lihtsalt võtsid ja tegid ära. Mitte näita, mitte reitingute ja sertifikaatide nimel — lihtsalt tavaline inseneriprotsess, kus igas iteratsioonis kasvatad end ja muutud üha paremaks. Väline vaatleja ütleb, et see on igav ja konservatiivne, kuid klient toetab sellist stabiilsust oma rahaga. Ja selleks, et teha hästi, ei pea sugugi ostma insenerisüsteeme või tarkvara tohutu raha eest (kuigi mõnikord on see hädavajalik). Pigem otsustavad kogemus, teadmised ja inseneri nutikus.

Näiteks, hoone NORD-4 ulatub 3,5 korruse kõrgusele. Esimesed kolm on täiskorrused, mille lae kõrgus on 4,5 meetrit, kus asuvad masinasaalid. Viimane on tehniline, vaid 1,8 meetri kõrgune ja pühendatud ainult jahutussüsteemile. Kuna korrus on tehniline, on nõuded sellele palju madalamad, mis võimaldas projekti lihtsustada ja raha säästa.

Vaade kolmnurksele andmekeskusele

Maxil on erilised oskused mitte jääda fotodel nähtavaks

Lõpetame ekskursiooni katusel — siit avaneb suurepärane vaade kõrvalasuvale TKK-le ja elamurajoonile, samuti teistele NORDi hoonetele. Kaks neist on kolmnurksed. Sellega seoses naljatasid kolleegid, et „DataLine on lollid, ehitavad ilmaasjata kolmnurkse andmekeskuse

Tõusud — see pole enam andmekeskus, vaid TKK

Käes on meie järgmise reisiseeria lõpp.

Pärast seda oli veel pikk ja sisukas vestlus koostööplaanidest ja tulevaste saadetega (loodan, et kaua ootama ei pea), seega püsige kursis, peagi on veelgi rohkem huvitavat.

Ja need, kes soovivad kõik oma silmaga näha, on DataLine kutsunud ekskursioonile. Täiesti tasuta, kuid eelregistreerimisega. Neile, kes nimetavad salajase sõna „linkmeup” — pluss karma.

Jälgige meid!

Allikas: habr.com