Najvažniji prometni problem u Sankt Peterburgu su mostovi. Noću zbog njih moraš bježati iz konobe, a da nisi popio pivo. Pa, ili platiti duplo više za taksi nego inače. Ujutro pažljivo izračunajte vrijeme kako biste, čim se most zatvori, stigli na stanicu kao okretni mungos. Opciju “noćiti negdje u centru, blizu kolodvora” ne smatramo ideološki štetnom.
..."Sivi sokol", polazak u 5:30, izmislili su ljudi koji mrze sove. Ne, naravno, vrlo je zgodno biti u Moskvi u devet ujutro, a Sankt Peterburg je nevjerojatno lijep za vrijeme bijelih noći, ali u pola pet, kad sam ušla u taksi, htjela sam okrenuti glavu 270 stupnjeva ševi koja je izmislila ovaj jutarnji vlak.
“Svi dobri podatkovni centri su slični”, pomislio sam kad sam saznao da su nas dečki iz DataLinea pozvali u posjet.
Ispostavilo se da je svaki podatkovni centar dobar (ili loš) malo na svoj način, pogotovo kada postignete veliki uspjeh, sakupite sve grablje u tom području i naučite lekcije od svojih (i, pomalo, tuđih) ) bogato iskustvo. Pa smo (sastavljeni od pet vodećih linkmeup-a i njihovih prijatelja i simpatizera) odlučili provjeriti koliko su dobri (ili ne baš) OST i NORD data centri.
Nakon što smo uspjeli malo poraditi na cesti (ovdje bi mogla biti reklama za jednog mobilnog operatera, ali ne - pokrivenost je i dalje bila loša), iskrcali smo se na stanici Lenjingradski. Pa, barem ne pod Gazmanovim.
Obilazak podatkovnih centara „lime“ započeli smo s OST-om - „onim istim“ koji je „izgorio“ ne tako davno. Zašto pod navodnicima – poslije. U međuvremenu stojimo, pušimo i čekamo one koji kasne. Slikanje susjednog ureda RT-a. Puno je smiješnih priča o ovom naselju - od postavljanja svježeg asfalta i bojanja rubnjaka prije dolaska uglednika, do popusta u obližnjim kafićima koji su davani stanovnicima Datalinea zbog sličnosti bedževa.
Glasnogovornik totalitarne propagande
Podatkovni centar strogog (pristupnog) načina rada
Propusnica, pravila ponašanja, stroj za mljevenje mesa na ulazu - gotovo isti onaj koji smo vidjeli . Jeste li vidjeli mnogo kafića u podatkovnim centrima? Sada znamo par. Zaposlenici i klijenti imaju depozite za “kavu” na svojim bedževima koji se redovito nadopunjuju. Dakle, u razumnim granicama, možete se počastiti kavom potpuno besplatno. Počastili smo se i mi kao dragi gosti.
Ne mogu reći ništa loše o kavi - to je sasvim normalno za "lanac" kafića, ali lokacija je nehotice zadivljujuća, a interijer je u skladu s najboljim modernim tradicijama.
Interijer lokalnog kafića
Fotografije prikazuju NORD podatkovne centre
Obilazak počinje iz ureda. Osim natpisa na zidovima i sheme bijele i limete boje poznate u cijelom Runetu, postoje i razne smiješne stvari. To su rekviziti zaostali od korporativnih kazališnih predstava (možete li zamisliti tehničkog direktora mreže podatkovnih centara kako igra u predstavi? A poznajemo ga osobno.).
I istina je
Fotografije s nastupa
Podatkovni centar (točnije, četiri podatkovna centra) nalazi se u kompleksu industrijskih zgrada izgrađenih još u pretprošlom stoljeću (tada tvornica Citroen, au sovjetsko vrijeme tvornica Gidroprivod), tako da s jedne strane postoji oštra industrijski izgled, metalne grede, atmosfera potkrovlja i industrijski artefakti iz različitih razdoblja koji se još uvijek nalaze tijekom raznih radova. S druge strane, hermetičke zone podatkovnog centra potrebno je uklopiti u postojeće strukture i s vremena na vrijeme napraviti kompromise sa stvarnošću. Međutim, ne bih rekao da su ti kompromisi utjecali na kvalitetu - ali dečki su se vjerojatno morali potruditi tijekom dizajna. Također, prema glasinama, Metro-2 prolazi negdje u blizini, ali to nije sigurno.
Osim kazališta, tu je i muzej. Eksponati, naravno - arheološki nalazi
Nekoliko riječi o . Da, zgrada (točnije krov) je stvarno gorjela. Oštećene su vanjske jedinice rashladnih sustava i rashladne cijevi. Negdje je pregorjela elektroinstalacija pa su klima uređaji ostali bez struje. Freonske cijevi su negdje eksplodirale. No, unatoč tome, hermetičke zone izdržale su tone vode koje su na njih izlivene, a oprema je preživjela. Obnovili su ga pod kontrolom "stožera" kojeg je predstavljalo najviše vodstvo cijelog svijeta - pograbili su sve bakrene cijevi u Moskvi i okolici (čak su ih noću dovezli u BMW-u X5) i sve trijezne instalateri. Kritična oprema iz oštećenih podatkovnih dvorana (oštećenih od nedostatka hladnoće, a ne od požara!) brzo je preseljena u druge dvorane, tako da su do pet ujutro ne samo sve njihove službe, već i njihovi klijenti bili u pogonu.
Osobno smo provjerili halu koja je “najviše stradala” - osim mirisa paljevine i zamijenjenih pločica podignutog poda, baš ništa ne podsjeća na požar (osim regala s opremom koji su “privremeno” odneseni u drugu podatkovnu dvoranu, i tamo ostao).
Statusna ploča
Hodajući hodnicima, vidimo zaslon osjetljiv na dodir s nečim vrlo sličnim dijagramu prostorija s turbinama podatkovnog centra. Ovo je statusna ploča. Ima ih dosta u hodnicima, a omogućuju inženjerima na licu mjesta da brzo pronađu npr. traženi klima uređaj i jednostavno dojave trenutno stanje.
Nadzor je izgrađen na Nagiosu (sada već postoji nekoliko neovisnih klastera) i pokriva sve podatkovne centre (i OST i NORD). Dodatno, tu su i aplikacije za Android i iOS (za klijente i zaposlenike), te statusna stranica izravno na web stranici.
Na zaslonu primjećujem neuobičajeno visok PUE - nije prihvaćen svugdje u Rusiji, ali ipak je 1.90 prilično visok. Odgovor na ovo je čisto ekonomski - u 2012.-2013., regali u podatkovnim centrima prodavali su se kao alva, tako da nije bilo vremena za sentimentalnost i energetsku učinkovitost. Instaliramo ono što je na tržištu, radimo to što je brže moguće i uopće ne marimo za vaš PUE, jer zašto? Čak iu fazi projektiranja kupuje se 80-90% regala, ali zakonodavstvo u Ruskoj Federaciji ne želi znati ništa o energetskoj učinkovitosti. Iako bi neka komisija u Amsterdamu bila zadovoljna takvim brojkama.
Ništa osobno. Samo posao.
Još jedna značajka je označavanje podatkovnih dvorana. Na svakom mjestu, podatkovne dvorane, osim "službenog" alfanumeričkog kodiranja, imaju "ljudske" pseudonime iz mornaričke abecede (Alpha-Bravo-Charlie-Delta...). Iz nekog razloga, svi klijenti vole Whisky room.
Nema sitnih detalja kada je u pitanju briga o korisnicima.
Takve se "ograde" postavljaju za neke klijente. Nije nam bilo dopušteno slikati u prostorijama turbina, pa je fotografija DataLine ©
Klijenti DataLinea uglavnom su velike i cijenjene tvrtke koje baš ne vole da im se oprema fotografira. Štoviše, ako je ime (ili logo) klijenta napisano velikim slovima izravno na pultu. Ne sviđa im se - to je sve. Stoga smo snimili već poznate zidove s raznim natpisima, te inženjera. Također nije moguće fotografirati cijelog inženjera i ne svugdje, ali smo pokušali. Budući da su naši klijenti veliki i cijenjeni, imaju i specifične zahtjeve - posebne regale (ili nekakav uber skladišni sustav iz više regala dobavljača), svoje ograde, svoje sustave kontrole pristupa, svoj video nadzor i tim za brzu reakciju s strojnice. Općenito, jedno od neizgovorenih (i javnih) pravila DataLinea je brinuti se o klijentu i činiti mu dobro. Počevši od prsluka i opremljenih radnih stanica s pristupom Internetu i punjačima, do raznih događanja za klijente. Potonji su također vrlo korisni jer ih isti ljudi, prelazeći iz tvrtke u tvrtku, dovode u DataLine. Jednostavno zato što je ovdje sve udobno, praktično i pouzdano. Posao DataLinea nije samo iznajmljivanje prostora u regalima. Ovo je također oblak, istovremeno certificiran prema 152-FZ i PCI-DSS (napravit ćemo podcast o tome, očekujte najave), i pruža povezanost (vlastita vlakna između stranica i od svake od njih do M9, vlastiti optički prsten preko grada i tako dalje do organizacije zadnje milje do ureda klijenta).
M - motivacija
Kad smo već kod natpisa, ideje ne dolaze samo od zaposlenika, već i od partnera i klijenata, nakon čega možete glasovati za one najuspješnije na DataLine na FB. Pa, tamo možete predložiti svoju ideju.
Susret na Elbi
Križ (fotografiju ustupio DataLine)
Zaustavljamo se u Meet-Me-Roomu, gdje su smješteni operateri. U MMR-u (u OST-u postoje tri para, prema broju glavnih optičkih ulaza, za aktivne i pasivne) spajaju se veze iz svih podatkovnih dvorana. U cipelama za trčanje sve je dosadno i uredno. Ali gdje je kamera active, sjećate se najboljih godina i snimaka iz nekog BM18: rezanci od žica i razna oprema (DLink, Extreme, Juniper, Mikrotik... i tako sve do ASR9k). Ovdje ima više od pedeset operatera, pa je sve šareno. Iz MMR-a se optika i bakar distribuiraju u strojarnice. Najmanje dvije rute za svaku (varijante su moguće), tako da ne morate brinuti o pouzdanosti veze. MMR se zove "Elbe", što je prilično suptilno.
IBM Power nema?
Drugi nalaz je IBM P-series, koji nikada nije bio uključen, a već nekoliko godina stoji u jednom od hodnika. Stroj (zajedno s bibliotekom trake i sustavom za pohranu) naručio je jedan od klijenata, ali "nije bio koristan", pa je doniran podatkovnom centru. Od tada stoji.
Vjerojatno je dobro biti imućni momci i davati takve darove, zar ne? (Ili ga možda nisu poklonili, nego zaboravili. Ili su izgubili na kartama. Ali postoji već dugo)
Ovaj zgodni momak stoji u NORD-4
Idemo u energetski centar - tri (ili čak četiri) dizel generatora za svaki podatkovni centar (da vas podsjetim, u OST-u ih ima četiri). Dizel motor postiže punu snagu za 30-40 sekundi i proizvodi 1900 kVA. N+1 redundantnost, sinkronizacija, itd. uključeni. Najduže vrijeme stajanja na dizelskim motorima u OST-u je 12 sati. u NORD-u - 2.5 dana (uostalom, skladište od 85 tona nije puno novca).
Naravno, postoje ugovori s raznim kompanijama za gorivo za nabavu goriva. Prelazak na dizel događa se redovito, tako da se i gorivo proizvodi i ugovori verificiraju. Inače, prema riječima kolega, u NORD-u, prilikom testiranja dizel agregata, što obično traje više od sat vremena, na mjestu gdje se ispušta vrući zrak iz dizel motora, čak i zimi trava uspije pozelenjeti.
Nakon kratkog zalogaja u poznatom kafiću, odlazimo do NORD stranice. Ovo također nije jedan podatkovni centar, već četiri neovisne zgrade na istom teritoriju. Svaki ima svoje ulaze električne energije, vlastite dizel motore i vlastito hlađenje. NORD-1 i NORD-2 revidirali su Uptime Institute M&O. Najnoviji (i najbolji DataLine podatkovni centar) je NORD-4, tako da tamo idemo.
Unatoč naizgled velikom broju podatkovnih centara u Moskvi, još uvijek postoji nedostatak. Ne, naravno, jedan ili dva stalka će vam biti poslana bez problema. Dat će ti i dvadeset. Više je pitanje (a DataLine ima više od jednog ili dva klijenta s takvim potrebama). Konkretno, u NORD-4 ima mjesta (za sada), jer je jedan veliki klijent uselio u vlastiti novoizgrađeni podatkovni centar, ali na drugim mjestima to možda neće biti te sreće. Međutim, sada je u punom zamahu dizajn NORD-5, čije je lansiranje obećano početkom 2020.
No, vratimo se našem izletu. Budući da smo putovali automobilom, pustili su nas u prolaz, gdje su nas nanišanili mitraljezi, provjeravali nam broj auta s aplikacijom i tražili od svih putnika da izađu po propusnicama (naravno s putovnicama). Jer B je sigurnost.
NORD-4 je ponos tvrtke i kompilacija dugogodišnjeg iskustva u izgradnji i radu podatkovnih centara, posjeduje Uptime Institute Tier III certifikate za dizajn projekta i objekta (tj. izgrađenog podatkovnog centra), kao i operativnu održivost - dečki su pristupili pitanju što je moguće odgovornije. Unutra se nalaze četiri hermetičke zone, neovisne jedna o drugoj, sa po dvije dvorane unutar jedne zgrade. Svaki ima svoj vlastiti energetski centar (dizel agregat, prostorije za baterije), rashladne krugove i sustave za gašenje požara. Općenito - optički ulazi (dva su po zgradi) i MMR.
Modiranje zdravog inženjera
Na ulazu u podatkovni centar čeka nas već poznati kafić (dobro, zašto ne?). Idemo do nadzornog centra. Sada postoje dva glavna - u OST-u i NORD-4 (NORD-1,2,3 također imaju svoje dežurne smjene). Iz svakog centra možete pogledati obje stranice, tako da je čak i ovdje osigurana redundancija n+1. Na videozidu se nalaze već poznate nadzorne ploče u svijetlozelenoj shemi boja (na njemu je, naravno, puno više parametara nego na prikazu statusa). Komuniciramo malo o monitoringu - nema fancy Prometheusa i Grafana, samo Nagios, samo hardcore i domaća vizualizacija. Tijekom deset (ali i više) godina korištenja već su napisane mnoge prilagođene provjere i skripte, tako da prelazak na nešto drugo izgleda kao kockanje. Otprilike jednom mjesečno pojavi se druga tvrtka koja ponudi sve probleme riješiti "brzo i bezbolno", ali nekako još ne ide. Videozid, inače, također radi na samostalno montiranom rješenju, koje se pokazalo nekoliko puta jeftinije od komercijalnih analoga.
Lokalni kontrolni centar
Kad godinama projektirate, gradite i upravljate podatkovnim centrima, više se ne bojite nešto učiniti sami nego kupiti nešto gotovo. Iz DataLinea, primjerice, ne libe se reći kako su jednostavno zbog razmjera nagazili na maksimalan broj pogrešaka, a svaki novi podatkovni centar rezultat je teških pogrešaka i iskustva koje traje više od deset godina. . Naravno, svaki novi podatkovni centar ima svoj know-how i dok hodate po NORD-u, svako malo uhvatite sebe kako mislite da su ljudi to jednostavno radili i to dobro. Ne radi razmetanja, ne radi ocjena i certifikata - normalan inženjerski proces, kada u svakoj iteraciji rasteš iznad sebe i postaješ sve bolji i bolji. Promatrač sa strane će reći da je to dosadno i konzervativno, ali klijent, naprotiv, održava takvu stabilnost vlastitim novcem. A da biste to učinili dobro, uopće nije potrebno kupiti inženjerske sustave ili softver za puno, puno novca (iako ponekad ne možete bez toga). Često odlučuju iskustvo, znanje i inženjerska domišljatost.
Na primjer, zgrada NORD-4 ima 3,5 kata. Prva tri su punopravna, sa stropovima od 4.5 metara, gdje su smještene turbinske prostorije. I posljednja je tehnička, visoka samo 1.8 metara, a namijenjena je isključivo sustavu hlađenja. Budući da je pod tehnički, zahtjevi za njega su znatno manji, što je pojednostavilo projekt i uštedjelo novac.
Pogled na trokutasti podatkovni centar
Max ima posebnu kung fu sposobnost da ne izgori na fotografijama
Obilazak završavamo na krovu - odavde imamo izvrstan pogled na obližnju termoelektranu i stambena naselja, kao i ostale zgrade NORD-a. Dvije od njih su trokutaste. O tome su se kolege čak smijali da su "DataLine kreteni, iz nekog razloga grade trokutasti podatkovni centar" kako bi tamo instalirali trokutaste police i trokutaste servere. Ali ništa - izgradili su i uspješno rade, a pritom učinkovito koriste postojeći teritorij (koji u Moskvi, mora se reći, nije slobodan). Još jedna iznenađujuća (za mene) činjenica je da većina komercijalnih klijenata želi biti smještena u Moskvi. Mjesto udaljeno pola stotine kilometara uz autocestu Minsk (čak i ako postoje svi potrebni kapaciteti i komunikacije) više nikome nije zanimljivo. Pa se svi skupe u negumenu.
Rashladni tornjevi više nisu podatkovni centri, već termoelektrane
Ovime je naše sljedeće putovanje završilo.
Nakon toga uslijedio je još jedan dug i produktivan razgovor o zajedničkim planovima i budućim podcastovima (nadam se da nećemo dugo čekati), pa ostanite s nama, bit će još zanimljivih stvari uskoro.
Pa, ako želite sve vidjeti vlastitim očima, DataLine vas poziva u obilazak. Potpuno besplatno, ali po dogovoru. Oni koji šifru nazivaju "linkmeup" dobit će plus u karmi.
Ostani u tunelu!
Izvor: www.habr.com