Najvažniji transportni problem u Sankt Peterburgu su mostovi. Noću, zbog njih, morate bježati iz kafane ne dospivši pivo. Pa, ili platiti duplo više za taksi nego inače. Ujutro pažljivo izračunajte vrijeme tako da čim se most zatvori, stignete do stanice poput okretnog mungosa. Opciju “prenoćiti negdje u centru, blizu stanice” ne smatramo ideološki štetnom.
..."Sov soko", koji polazi u 5:30, izmislili su ljudi koji mrze sove. Ne, naravno, veoma je zgodno biti u Moskvi u devet ujutru, a Sankt Peterburg je neverovatno lep tokom belih noći, ali u pola pet, kada sam ušao u taksi, hteo sam da okrenem glavu 270 stepeni do ševe koja je izmislila ovaj jutarnji voz.
„Svi dobri data centri su slični“, pomislio sam kada sam saznao da su nas momci iz DataLine-a pozvali u posetu.
Kako se ispostavilo, svaki data centar je dobar (ili loš) pomalo na svoj način, posebno kada pogodite veliku stvar, sakupite sve grablje u oblasti i naučite lekcije iz svojih (a pomalo i tuđih ) bogato iskustvo. Tako smo mi (sastavljeni od pet vodećih linkmeupa i njihovih prijatelja i simpatizera) odlučili provjeriti koliko su dobri (ili ne tako dobri) OST i NORD data centri.
Nakon što smo uspjeli malo poraditi na putu (ovdje je mogla biti reklama za jednog mobilnog operatera, ali ne - pokrivenost je i dalje bila loša), iskrcali smo se na stanici Lenjingradski. Pa, barem ne pod Gazmanovom.
Našu turneju po „krečnim“ data centrima započeli smo sa OST-om – „onim istim“ koji je „goreo“ ne tako davno. Zašto pod navodnicima - posle. U međuvremenu stojimo, pušimo i čekamo one koji kasne. Slikanje RT kancelarije u susjedstvu. Mnogo je smiješnih priča o ovom naselju - od postavljanja svježeg asfalta i farbanja ivičnjaka prije dolaska uglednika, do popusta u obližnjim kafićima koje su stanovnici Datalinea dobili zbog sličnosti njihovih bedževa.
Glasnogovornik totalitarne propagande
Data centar strogog (pristupnog) režima
Propusnica, pravila ponašanja, mlin za meso na ulazu - skoro isti koji smo vidjeli . Jeste li vidjeli mnogo kafića u data centrima? Sada znamo par. Zaposleni i klijenti na svojim bedževama imaju depozite „kafe“, koji se redovno dopunjuju. Dakle, u razumnim granicama možete se počastiti kafom potpuno besplatno. I mi smo, kao dragi gosti, bili počašćeni obrokom.
O kafi ne mogu reći ništa loše - sasvim je normalno za "lanac" kafića, ali lokacija nehotice očarava, a interijer je u skladu s najboljom modernom tradicijom.
Enterijer lokalnog kafića
Fotografije prikazuju NORD data centre
Obilazak počinje iz ureda. Osim natpisa na zidovima i sheme bijele i limete poznate širom Runeta, tu su i razne smiješne stvari. Ovo su rekviziti zaostali iz korporativnih pozorišnih predstava (možete li zamisliti tehničkog direktora mreže data centara koji igra u predstavi? A znamo ga lično).
I to je istina
Fotografije sa nastupa
Data centar (tačnije, četiri data centra) nalaze se u kompleksu industrijskih zgrada izgrađenih u pretprošlom veku (tada fabrika Citroen, a u sovjetsko vreme fabrika Gidroprivod), tako da je s jedne strane surova industrijski izgled, metalne grede, atmosfera potkrovlja i industrijski artefakti iz različitih epoha koji se i danas nalaze u raznim radovima. S druge strane, hermetičke zone data centra moraju se uklopiti u postojeće strukture, a kompromisi sa realnošću moraju se s vremena na vrijeme napraviti. Međutim, ne bih rekao da su ovi kompromisi utjecali na kvalitetu - ali momci su vjerovatno morali da se pomuče tokom dizajna. Također, prema glasinama, Metro-2 prolazi negdje u blizini, ali to nije sigurno.
Pored pozorišta, tu je i muzej. Eksponati, naravno - arheološki nalazi
Nekoliko riječi o . Da, zgrada (tačnije, krov) je zaista gorjela. Oštećene su spoljne jedinice sistema za hlađenje i rashladne cevi. Negdje su izgorjele žice i klima uređaji su ostali bez struje. Freonske cijevi su negdje eksplodirale. No, unatoč tome, hermetičke zone su izdržale tone vode izlivene na njih, a oprema je preživjela. Obnovili su je pod kontrolom „štaba“ koju predstavlja najviši menadžment celog sveta - izgrabili su sve bakarne cevi u Moskvi i okolini (čak su ih dovezli noću u BMW-u X5) i sve trijezne instalateri. Kritična oprema iz oštećenih datahala (oštećena nedostatkom hladnoće, a ne vatrom!) brzo je premještena u druge sale, tako da su do pet ujutro ne samo sve njihove službe, već i njihovi klijenti funkcionisali.
Lično smo provjerili halu koja je “najviše stradala” – osim mirisa paljevine i zamijenjenih pločica na podignutom podu, ništa ne podsjeća na požar (osim regala s opremom koji su “privremeno” odvezeni u drugu halu sa podacima, i ostao tamo).
Status panel
Šetajući hodnicima, vidimo ekran osetljiv na dodir sa nečim vrlo sličnim dijagramu turbinskih prostorija data centra. Ovo je statusna ploča. Ima ih dosta u hodnicima, a omogućavaju inženjerima na licu mjesta da brzo pronađu, na primjer, potrebnu klimu, i jednostavno prijave trenutno stanje.
Monitoring je izgrađen na Nagiosu (sada već postoji nekoliko nezavisnih klastera) i pokriva sve centre podataka (i OST i NORD). Dodatno, tu su i aplikacije za Android i iOS (za klijente i zaposlene), te statusna stranica direktno na web stranici.
Na displeju primjećujem neobično visok PUE - nije prihvaćen svuda u Rusiji, ali je ipak 1.90 nešto visoko. Odgovor na ovo je čisto ekonomski – 2012-2013. stalci u data centrima su se prodavali kao vrući kolači, tako da nije bilo vremena za sentimentalnost i energetsku efikasnost. Instaliramo ono što je na tržištu, radimo što je brže moguće i uopšte ne brinemo o vašem PUE-u, jer zašto? Čak iu fazi projektovanja kupuje se 80-90% regala, ali zakonodavstvo u Ruskoj Federaciji ne želi da zna ništa o energetskoj efikasnosti. Iako bi neka komisija u Amsterdamu bila zadovoljna takvim brojkama.
Ništa lično. Samo posao.
Još jedna karakteristika je označavanje hala sa podacima. Na svakoj lokaciji, hale podataka, pored „zvaničnog“ alfanumeričkog kodiranja, imaju „ljudske“ pseudonime iz pomorske abecede (Alpha-Bravo-Charlie-Delta...). Iz nekog razloga, svi klijenti vole Whisky room.
Nema sitnih detalja kada je u pitanju briga o kupcima.
Takve „ograde“ se podižu za neke klijente. Nije nam bilo dozvoljeno da se slikamo u turbinskim prostorijama, tako da je fotografija DataLine ©
Klijenti DataLine-a su uglavnom velike i cijenjene kompanije, koje zaista ne vole da im se slika oprema. Štaviše, ako je ime (ili logo) klijenta napisano direktno na pultu velikim slovima. Ne sviđa im se - to je sve. Stoga smo snimili već poznate zidove sa raznim natpisima i inženjera. Takođe nije moguće fotografisati celog inženjera i ne svuda, ali smo pokušali. Budući da su naši klijenti veliki i cijenjeni, imaju i specifične zahtjeve - posebne regale (ili neku vrstu uber sistema za skladištenje od nekoliko regala), vlastite ograde, svoje sisteme kontrole pristupa, svoj video nadzor i tim za brzu reakciju sa mitraljezi. Općenito, jedno od neizrečenih (i javnih) pravila DataLine-a je brinuti se o klijentu i činiti mu dobro. Počevši od prsluka i opremljenih radnih stanica sa pristupom internetu i punjačima, do raznih događanja za klijente. Potonji su također vrlo korisni jer ih isti ljudi, prelazeći iz kompanije u kompaniju, dovode u DataLine. Jednostavno zato što je ovdje sve ugodno, zgodno i pouzdano. Posao DataLine-a nije samo iznajmljivanje prostora za regove. Ovo je također oblak, istovremeno certificiran prema 152-FZ i PCI-DSS (napravit ćemo podcast o tome, pratite najave) i obezbjeđuje povezanost (sopstvena vlakna između lokacija i od svake od njih do M9, vlastiti optički prsten po gradu, i tako sve do organizacije posljednje milje do ureda klijenta).
M - motivacija
Kad smo kod natpisa, ideje ne dolaze samo od zaposlenih, već i od partnera i klijenata, nakon čega možete glasati za najuspješnije na DataLine na FB. Pa, tamo možete predložiti svoju ideju.
Sastanak na Elbi
Cross (fotografija ljubaznošću DataLine)
Zaustavljamo se u Meet-Me-Room, gdje se nalaze operateri. U MMR-u (postoje tri para u OST-u, prema broju glavnih optičkih ulaza, za aktivne i pasivne) spojene su veze iz svih data sala. U kros cipeli sve je dosadno i uredno. Ali tamo gdje je kamera aktivna, sjećate se najboljih godina i snimaka sa nekog BM18: rezanci od žica i razne opreme (DLink, Extreme, Juniper, Mikrotik... i tako dalje do ASR9k). Ovdje ima više od pedeset operatera, tako da je sve šareno. Od MMR-a se optika i bakar distribuiraju u mašinske prostorije. Najmanje dvije rute za svaku (moguće su varijante), tako da ne morate brinuti o pouzdanosti veze. MMR se zove "Elbe", što je prilično suptilno.
IBM Power nada?
Još jedno otkriće je IBM P-serija, koja nikada nije bila uključena, a već nekoliko godina stoji u jednom od hodnika. Mašinu (zajedno sa bibliotekom traka i sistemom za skladištenje) naručio je jedan od klijenata, ali “nije bila korisna” pa je donirana data centru. Od tada stoji.
Verovatno je dobro biti bogat momak i davati takve poklone, zar ne? (Ili ga možda nisu poklonili, već su zaboravili. Ili su izgubili na kartama. Ali postoji već dugo)
Ovaj zgodan momak stoji u NORD-4
Idemo u energetski centar - tri (ili čak četiri) dizel agregata za svaki data centar (da vas podsjetim, u OST-u ih ima četiri). Dizel motor dostiže punu snagu za 30-40 sekundi i proizvodi 1900 kVA. N+1 redundantnost, sinhronizacija, itd. uključeni. Najduže vrijeme sjedenja na dizel motorima u OST je 12 sati. u NORD-u - 2.5 dana (uostalom, skladište za 85 tona nije puno novca).
Naravno, postoje ugovori sa raznim kompanijama za snabdevanje gorivom. Prelazak na dizel se dešava redovno, tako da se i gorivo proizvodi i ugovori se verificiraju. Inače, prema riječima kolega, u NORD-u, prilikom testiranja dizel agregata, što obično traje više od jednog sata, na mjestu gdje se emituje vrući zrak iz dizel motora, čak i zimi trava uspijeva da pozeleni.
Nakon kratke užine u poznatom kafiću, krećemo na lokaciju NORD-a. Ovo takođe nije jedan data centar, već četiri nezavisne zgrade na istoj teritoriji. Svaki ima svoje ulaze za struju, svoje dizel motore i vlastito hlađenje. NORD-1 i NORD-2 su revidirani od strane Uptime Institute M&O. Najnoviji (i najbolji DataLine data centar) je NORD-4, tako da to idemo.
Uprkos naizgled ogromnom broju data centara u Moskvi, i dalje postoji nedostatak. Ne, naravno, jedan ili dva stalka će vam biti isporučeni bez ikakvih problema. Čak će ti dati i dvadeset. Više je pitanje (a DataLine ima više od jednog ili dva klijenta sa takvim potrebama). Naime, u NORD-4 ima mjesta (za sada), jer se jedan veliki klijent uselio u svoj novoizgrađeni data centar, ali na drugim mjestima to možda i nije te sreće. Međutim, dizajn NORD-5 je sada u punom jeku, za koji je obećano da će biti lansiran početkom 2020.
No, vratimo se našoj ekskurziji. Pošto smo putovali automobilom, pustili su nas na kapiju, gdje su nas mitraljesci nanišanili, provjerili broj našeg auta aplikacijom i zamolili sve putnike da izađu po propusnice (sa pasošima, naravno). Jer B je sigurnost.
NORD-4 je ponos kompanije i kompilacija dugogodišnjeg iskustva u izgradnji i funkcionisanju data centara, poseduje Uptime Institute Tier III sertifikate za projektni projekat i Facility (tj. izgrađen data centar), kao i operativnu održivost - momci su pristupili stvari što je bliže moguće odgovorno. U unutrašnjosti se nalaze četiri hermetičke zone, nezavisne jedna od druge, sa po dvije sale unutar jedne zgrade. Svaki ima svoj centar za napajanje (dizel agregat, prostorije za baterije), rashladna kola i sisteme za gašenje požara. Općenito - optički ulazi (ima ih dva po zgradi) i MMR.
Healthy Engineer Modding
Na ulazu u data centar čeka nam već poznat kafić (pa, zašto ne?). Idemo do centra za praćenje. Sada postoje dvije glavne - u OST-u i NORD-4 (NORD-1,2,3 također imaju svoje dežurne smjene). Iz svakog centra možete pogledati oba sajta, pa je i ovdje osigurana redundancija n+1. Na video zidu se nalaze već poznate kontrolne table u svetlo zelenoj šemi (na njoj je, naravno, mnogo više parametara nego na statusnom displeju). Malo komuniciramo o monitoringu - bez fensi Prometeja i Grafana, samo Nagios, samo hardkor i domaća vizualizacija. Preko deset godina (međutim, čak i više) upotrebe, mnoge prilagođene provjere i skripte su već napisane, tako da prelazak na nešto drugo izgleda kao kockanje. Otprilike jednom mjesečno se pojavi druga kompanija koja nudi rješavanje svih problema „brzo i bezbolno“, ali nekako još ne ide. Video zid, inače, radi i na samostalno montiranom rješenju, koje se pokazalo nekoliko puta jeftinijim od komercijalnih analoga.
Lokalni kontrolni centar
Kada već dugi niz godina dizajnirate, gradite i upravljate podatkovnim centrima, više se ne bojite da sami nešto uradite nego da kupite nešto gotovo. DataLine, na primjer, ne ustručava se reći da su, jednostavno zbog obima, nagazili na maksimalan broj grešaka, a svaki novi data centar rezultat je teških grešaka i iskustva koje traje već više od deset godina. . Naravno, svaki novi data centar ima svoj know-how, i dok šetate NORD-om, s vremena na vrijeme uhvatite sebe kako mislite da su ljudi to upravo uradili i to dobro. Ne radi pokazivanja, ne radi ocjena i certifikata - normalan inženjerski proces, kada na svakoj iteraciji rastete iznad sebe i postajete sve bolji i bolji. Spoljašnji posmatrač će reći da je to dosadno i konzervativno, ali klijent, naprotiv, održava takvu stabilnost svojim novcem. A da biste to uradili dobro, uopšte nije potrebno kupovati inženjerske sisteme ili softver za mnogo, mnogo novca (iako ponekad ne možete bez toga). Iskustvo, znanje i inženjerska domišljatost često odlučuju.
Na primjer, zgrada NORD-4 ima 3,5 sprata. Prve tri su punopravne, sa plafonima od 4.5 metara, gdje su smještene turbinske prostorije. I posljednji je tehnički, visok samo 1.8 metara i posvećen je isključivo sistemu hlađenja. Budući da je pod tehnički, zahtjevi za njim su znatno niži, što je pojednostavilo projekat i uštedjelo novac.
Pogled na trokutasti data centar
Max ima posebnu kung fu sposobnost da ne izgori na fotografijama
Obilazak završavamo na krovu - odavde se pruža odličan pogled na obližnju termoelektranu i stambeni prostor, kao i druge zgrade NORD-a. Dva od njih su trouglasta. U vezi s tim, kolege su se čak nasmijale da su “DataLine debili, iz nekog razloga grade trokutni data centar” kako bi tamo instalirali trouglaste rekove i trokutne servere. Ali ništa - izgradili su i uspješno posluju, a istovremeno efikasno koriste postojeću teritoriju (koja u Moskvi, mora se reći, nije besplatna). Još jedna iznenađujuća (za mene) činjenica je da većina komercijalnih klijenata želi da se nalazi u Moskvi. Lokacija udaljena pola stotine kilometara duž autoputa Minsk (čak i ako postoje svi potrebni kapaciteti i komunikacije) više nikoga ne zanima. Dakle, svi se stisnu u negumenu.
Rashladni tornjevi više nisu data centri, već termoelektrane
Ovim se naše sljedeće putovanje završilo.
Potom je uslijedio još jedan dug i produktivan razgovor o zajedničkim planovima i budućim podcastima (nadam se da nećemo dugo čekati), pa ostanite sa nama, uskoro će biti još zanimljivijih stvari.
Pa, ako želite sve vidjeti svojim očima, DataLine vas poziva u obilazak. Potpuno besplatno, ali po dogovoru. Oni koji nazovu šifru "linkmeup" dobiće plus u karmi.
Stay tuned!
izvor: www.habr.com