Ekskurzija u salatnim tonovima

Najveći problem u transportu u Sankt Peterburgu su mostovi. Noću zbog njih moraš pobjeći iz kafića ne popivši pivo. Ili platiti taxi dvostruko više nego obično. Ujutro — pažljivo proračunati vreme, kako bi, čim se most spusti, ti kao spretniji mungos stigao na stanicu. Opciju "nočiti negdje u centru, blizu stanice" ne smatramo, kao ideološki štetnu.

…"Sapsan", koji kreće u 5:30, smislili su ljudi koji mrze sove. Ne, naravno, vrlo je zgodno stići u Moskvu u devet ujutro, a Sankt Peterburg je ludilo predivan tokom belih noći, ali u pola pet, kada sam seo u taxi, želeo sam da vratim glavu za 270 stepeni onom zviždaču koji je smislio ovaj jutarnji voz.

Ekskurzija u salatnim tonovima

"Svi dobri data centri su slični jedni drugima" — mislio sam, kada sam saznao da su nas pozvali u goste momci iz DataLine.

Ispostavilo se da je svaki data centar dobar (ili loš) na svoj način, posebno kada skupite iskustva, pokupite sve zamke u okolini i naučite lekcije iz sopstvenog (i, pomalo, tuđeg) bogatog iskustva. Tako smo mi (u sastavu pet vodećih linkmeup i njihovih prijatelja i simpatizera) odlučili da proverimo koliko su dobri (ili ne baš) data centri OST i NORD.

Usput smo malo radili tokom puta (ovde bi mogla biti reklama jednog mobilnog operatera, ali nema — pokrivenost je ostala loša), izlazimo na Lenjingradskom vozu. Pa, bar ne pod Gazmanova.

Svoju turu po "zelene" data centre započeli smo od OST — "tog famoznog", koji je nedavno "goreo". Zašto pod navodnicima — to će biti kasnije. A za sada — stojimo, pušimo, čekamo kašnjenje. Fotografiramo kancelariju RT uz susedstvo. O tome susedstvu ima mnogo smešnih priča — počevši od postavljanja svežeg asfalta i farbanja ivica trotoara pred dolazak važnih ličnosti, i završavajući popustima u obližnjim kafićima koje su datalineci dobijali zbog sličnosti bedževa.

Ekskurzija u salatnim tonovima
Megafon totalitarne propagande

Ekskurzija u salatnim tonovima
Data centar strogo kontrolisanog režima

Propusnica, pravila ponašanja, mlin za meso na ulazu — skoro isto što smo videli tokom ture u Linxdatacenter. Koliko ste već vidjeli kafića u data centrima? Mi sada znamo za nekoliko. Na značkama zaposlenika i klijenata postoje «kafić» depoziti koji se redovno dopunjuju, tako da je kafu moguće dobiti potpuno besplatno u razumnim granicama. I nas su, kao dragih gostiju, takođe počastili.

O kafiću ne mogu reći ništa loše — sasvim je prosječan za «mrežni» kafić, ali sama lokacija neodoljivo privlači, a unutrašnjost je u pravim modernim tradicijama.

Ekskurzija u salatnim tonovima
Unutrašnjost lokalnog kafića

Ekskurzija u salatnim tonovima
Na fotografijama data centri NORD

Ekskurzija počinje u uredu. Osim poznatih natpisa na zidovima širom RUNET-a i bijelo-zelenih tonova, tu su i razne zanimljive stvari. Ovo je rekvizit koji je ostao od nastupa korporativnog pozorišta (možete li zamisliti tehničkog direktora mreže data centara kako igra u predstavi? A mi ga lično poznajemo.).

Ekskurzija u salatnim tonovima
Zaista

Ekskurzija u salatnim tonovima
Fotografije sa predstava

Data centar (ili preciznije, četiri data centra) nalazi se u kompleksu industrijskih zgrada koje su izgrađene još u prošlom veku (tada — fabrika «Citroën», a u vreme SSSR-a — fabrika «Gidropivot»), tako da s jedne strane — ovde je surov industrijski ambijent, metalne grede, atmosfera lofata i industrijski artefakti različitih epoha koje se i dalje pronalaze tokom različitih radova. S druge strane — hermetičke zone data centra treba uklopiti u postojeće konstrukcije, povremeno se trebaju praviti kompromisi sa stvarnošću. Ipak, ne bih rekao da su ti kompromisi uticali na kvalitet — ali dečkima je, sigurno, bilo teško prilikom projektovanja. Takođe, prema glasinama, negde blizu prolazi Metro-2, ali to nije tačno.

Ekskurzija u salatnim tonovima
Osim pozorišta, ovde se nalazi i vlastiti muzej. Ekspoziti su, naravno, arheološki nalazi

Nekoliko reči o požaru. Da, zgrada (ili, preciznije, krov) je zaista gorjela. Oštećeni su vanjski blokovi sistema hlađenja i hladotratnih cijevi. Negdje je izgorio električni kabl, a klima uređaji su ostali bez struje. Negdje su eksplodirali freonski cijevi. No, uprkos tome, hermetičke zone su izdržale tone izlivene na njih vode, oprema je preživjela. Obnova se sprovodila pod upravom 'štaba' na čelu sa višim rukovodstvom zajedničkim snagama — skupili su čak sve bakarne cijevi u Moskvi i okolini (donijeli su čak i noću na BMW X5) i sve trezne montere. Kritična oprema iz oštećenih data centara (oštećenih usljed nedostatka hladnoće, ne od požara!) hitno je premještena u druge sale, tako da su već u pet ujutro podigli ne samo sve svoje servise, već i klijente.

Lično smo proverili onu salu koja je najviše 'stradala' — osim mirisa spaljenog i zamenjenih ploča lažnog poda, o požaru ne podseća apsolutno ništa (osim stalaka s opremom, 'privremeno' odvedenih u drugi data centar, pa zadržanih tamo).

Ekskurzija u salatnim tonovima
Statusna ploča

Šetajući hodnicima, vidimo dodirni ekran s nečim što veoma liči na šemu mašinskih sala data centra. To je statusna ploča. Njih ima po hodnicima, i omogućavaju on-site inženjerima da brzo pronađu, na primer, potrebnu klimu, a jednostavno javljaju trenutni status.

Monitoring je izgrađen na Nagios-u (sada već nekoliko nezavisnih klastera) i pokriva sve data centre (i OST i NORD). Pored toga, postoje aplikacije za Android i iOS (za klijente i zaposlene), a statusna stranica je direktno na sajtu.

Na ekranu primjećujem neobično visok PUE — nije svuda u Rusiji uobičajeno izračunavati to, ali svejedno 1.90 je pomalo previše. Odgovor na to je isključivo ekonomski — 2012-2013. godine, ormarići u data centrima su se prodavali kao vruće krofne, tako da nije bilo vremena za sentimentalnost i energetsku efikasnost. Uzimamo ono što imamo na tržištu, radimo maksimalno brzo i ne brinemo se o tom vašem PUE-u, jer zašto? Već tokom projektovanja se otkupljuje 80-90% ormarića, a zakonodavstvo u RF-u ne želi ništa da zna o energetskoj efikasnosti. Ipak, bila bi potrebna neka komisija u Amsterdamu da bi se uverila u ovakve brojeve.

Ničega ličnog. Samo biznis.

Ekskurzija u salatnim tonovima

Još jedna karakteristika su oznake data centra. Na svakom mestu, data centri osim "zvanične" alfanumeričke kodifikacije imaju "ljudske" nadimke iz mornaričkog alfabeta (Alfa-Bravo-Čarli-Delta…). Izgleda da svi klijenti vole da zovu po Whiskey-u.

Ekskurzija u salatnim tonovima
U brizi za klijente nema sitnica.

Ekskurzija u salatnim tonovima
Takvi "ograde" se postavljaju za neke klijente. U našim mašinskim salama, nismo imali dozvolu za fotografisanje, zato je slika DataLine ©.

Klijenti DataLine su isključivo velike i ugledne kompanije, veoma ne vole kada se fotografiše njihova oprema. Pogotovo kad je naziv (ili logo) klijenta napisano velikim slovima na stalku. Ne vole – i to je to. Zato smo fotografisali te sada već poznate zidove sa raznim natpisima i inženjersku opremu. Inženjersku opremu takođe ne možeš slikaš svuda, ali smo se trudili. Kako među klijentima ima mnogo uglednih, njihove potrebe su takođe specifične – posebna stalka (ili čak neka uber SCD iz nekoliko vendorovskih stalaka), svoje ograde, svoje SKUD, svoje video nadgledanje i brzu reakciju sa automatskim oružjem. U principu, jedan od nepisanih (a i pisanih) pravila DataLine-a je briga o klijentu i pružanje dobrog iskustva. Počevši od prsluka i opremljenih radnih mesta sa internet pristupom i punjačima, do raznih događaja za klijente. Ovi događaji su veoma korisni jer isti ljudi, prelazeći iz kompanije u kompaniju, dovode ih u DataLine. Jednostavno zato što je ovde sve udobno, praktično i pouzdano. Posao DataLine-a nije samo iznajmljivanje stakala. To je takođe i oblak, koji je istovremeno sertifikovan i prema 152-FZ i prema PCI-DSS (o kome planiramo da snimimo podcast, pratite obaveštenja), kao i obezbeđenje povezivosti (sopstvena vlakna između lokacija i sa svake do M9, sopstveni optički prsten po gradu, i sve do organizacije poslednje milje do kancelarije klijenta).

Ekskurzija u salatnim tonovima
M – motivacija

Što se tiče natpisa – ideje dolaze ne samo od zaposlenih, već i od partnera i klijenata, nakon čega se za najuspešnije može glasati na službenoj stranici DataLine na FB. Pa i svoju ideju možete predložiti tamo.

Ekskurzija u salatnim tonovima
Sastanak na Elbi

Ekskurzija u salatnim tonovima
Kros fotografija (fotografiju obezbedila kompanija DataLine)

Zaustavljamo se u Meet-Me-Room, gde se nalaze operateri. U MMR (ima ih tri para u OST, po broju glavnih optičkih veza, za aktivaciju i pasivnu) povezuju se konekcije iz svih data holova. U prekidaču je sve dosadno i uredno. Ipak, tamo gde se nalazi operativna aktivacija, setite se najboljih godina i scena sa nekog BM18: slika sa kablovima i raznoliko opremanje (DLink, Extreme, Juniper, Mikrotik… i tako do ASR9k). Ovde je više od pedeset operatera, pa je sve raznoliko. Iz MMR-a optika i bakar se raspodeljuju po mašinskim salama. Minimum dve trase za svaki (mogući su varijante), tako da za pouzdanost veze ne treba brinuti. MMR se zove "Elba", što je prilično suptilno.

Ekskurzija u salatnim tonovima
Treba li IBM Power?

Još jedan otkriće — to je IBM P-series, koji nikada nije bio uključen, i on već nekoliko godina stoji u jednom od hodnika. Mašinu (zajedno sa trakom bibliotekom i SAN-om) je naručio jedan od klijenata, ali "nije bila potrebna", pa su je poklonili data centru. Od tada je tu.

Dobro je, verovatno, biti bogat momak i praviti takve poklone, zar ne? (A možda i nisu poklonili, nego su zaboravili. Ili su izgubili na kartu. Ali je tu već dugo.)

Ekskurzija u salatnim tonovima
Ovako lepi primerak stoji u NORD-4

Idemo u energetski centar — tri (ili čak četiri) DGUs za svaki data centar (podsećam, u OST ih ima četiri). Dizel postiže punu snagu za 30-40 sekundi i daje 1900kVA. Rezervisanje N+1, sinhronizacija i ostalo — u paketu. Najduže vreme rada na dizelu u OST — 12 sati. u NORD — 2.5 dana (s obzirom na to da skladište od 85 tona nije šala).

Naravno, postoje ugovori sa različitim kompanijama za gorivo za dopremanje goriva. Prebacivanje na dizel se dešava redovno, tako da se gorivo koristi, a ugovori proveravaju. Inače, prema rečima kolega, u NORD-u, prilikom testiranja DGUs, koje obično traje više od jednog sata, na mestu gde se baca vreo vazduh od dizela, čak i zimi stigne da zazeleni trava.

Posle kratkog užine u već poznatom kafiću, idemo na lokaciju NORD. Ovo takođe nisu jedan data centar, već četiri nezavisne zgrade na istoj teritoriji. Svaki ima svoje napajanje, svoje dizel agregate i svoje hlađenje. NORD-1 i NORD-2 su prošli audit Uptime Institute M&O. Najnoviji (i najbolji data centar DataLine) — NORD-4, tako da idemo baš ovde.

Iako se čini da u Moskvi postoji ogroman broj data centara, i dalje se primjećuje njihov nedostatak. Naravno, lako će vam dodijeliti jedan ili dva ormara, čak i dvadeset, ali kada se radi o većim potrebama, tu nastaje pitanje (a u DataLine imamo klijente s takvim potrebama — ne jedan ili dva). Konkretno, u NORD-4 trenutno ima mjesta, jer je jedan veliki klijent prešao u svoj vlastiti novi data centar, ali se u drugim mjestima možda nećete posrećiti. Ipak, trenutno se intenzivno projektuje NORD-5, koji obećavaju pokrenuti početkom 2020. godine.

No, vratimo se našoj ekskurziji. Budući da smo putovali autom, proveli su nas kroz šuplji prolaz gdje su nas na meti imali vojnici, provjeravajući broj našeg automobila sa prijavom, a sve putnike su zamolili da izađu radi dobijanja propusnica (naravno, uz pokazivanje pasoša). Zbog sigurnosti.

NORD-4 je ponos kompanije i rezultat višegodišnjeg iskustva u izgradnji i održavanju data centara. Ima certifikate Uptime Institute Tier III za projekt i objekat (tj. izgrađeni data centar), kao i Operational Sustainability — tim je pristupio zadatku maksimalno odgovorno. Unutra se nalaze četiri nezavisne hermetičke zone sa po dva sale unutar jedne zgrade. Svaka od njih ima svoj energetski centar (DGU, sobe za akumulatore), sisteme hlađenja i protivpožarne zaštite. Zajednički su samo optički ulazi (dva za zgradu) i MMR.

Ekskurzija u salatnim tonovima

Ekskurzija u salatnim tonovima
Modding zdravog inženjera

Na ulazu u podatkovni centar već nas čeka poznata kafić (zašto ne?). Penjemo se u centar za nadzor. Glavna su sada dva — u OST-u i NORD-4 (u NORD-1, 2, 3 takođe se nalaze svoje smjene). Iz svakog centra može se pratiti oba objekta, tako da se čak i ovdje osigurava redundantnost n+1. Na videowall-u — već poznate nam nadzorne table u salatnoj paleti (parametara na njoj, razumije se, mnogo je više nego na statusnom displeju). Malo razgovaramo o nadzoru — bez modernih Prometheus-a i grafane, samo Nagios, samo hardcore i vlastita vizualizacija. Tokom deset godina (uostalom, čak i više) korišćenja napisano je već mnogo prilagođenih provera i skripti, tako da preći na nešto drugo izgleda kao prava avantura. Otprilike jednom mjesečno se pojavljuje nova firma koja nudi "brzo i bezbolno" rešenje svih problema, ali za sada to ne uspeva. Videowall, inače, takođe radi na samoskupljenom rešenju koje je ispalo mnogo jeftinije od komercijalnih analoga.

Ekskurzija u salatnim tonovima
Ovdješnji CUPS

Kada dugi niz godina projektuješ, gradiš i eksploatišeš podatkovne centre, više se ne bojiš raditi nešto sam, a ne kupovati već gotovo. DataLine, na primjer, ne ustručava se reći da su, samo zbog razmjera, naišli na maksimalan broj zamki, i svaki novi podatkovni centar je sin teških grešaka i iskustva koje već broji više od deset godina. Naravno, u svakom novom podatkovnom centru postoje svoja inovativna rešenja, i dok hodate po NORD-u, često se uhvatite u razmišljanju o tome kako su ljudi jednostavno uzeli i uradili dobro. Ne radi se o pretencioznosti, ne radi se o rejtingu i sertifikatima — običan inženjerski proces, kada na svakoj iteraciji rasteš iznad sebe i postaješ sve bolji i bolji. Spoljašnji posmatrač bi rekao da je to dosadno i konzervativno, dok klijent, naprotiv, podržava takvu stabilnost sopstvenim novcem. A da bi se uradilo dobro, nije uvek neophodno kupovati inženjerske sisteme ili softver za mnogo, mnogo novca (iako se to ponekad ne može izbjeći). Često više odlučuje iskustvo, znanje i inženjerska snalažljivost.

Na primjer, zgrada NORD-4 ima 3,5 spratova. Prva tri su puna, sa stropovima visinama od 4,5 metra, gdje se nalaze mašinske sale. Posljednji je tehnički sprat, visok samo 1,8 metara, i u potpunosti je posvećen sistemu hlađenja. Kako je sprat tehnički, zahtjevi za njega su mnogo niži, što je omogućilo pojednostavljenje projekta i uštedu novca.

Ekskurzija u salatnim tonovima
Pogled na trokutasti Data Center

Ekskurzija u salatnim tonovima
Max ima poseban kung-fu da se ne ističe na slikama

Završavamo obilazak na krovu - odavde se pruža odličan pogled na obližnju termoelektranu i stambenu oblast, kao i na druge zgrade NORD. Dvije od njih su trokutaste. Povodom toga, kolege su se čak šalile da «DataLine - budale, grade trokutasti Data Center» kako bi postavljali trokutaste racks i trokutaste servere. No, ništa - sagradili su i uspješno eksploatišu, a povrh toga efikasno koriste dostupni prostor (koji u Moskvi, moram reći, nije besplatan). Još jedna fascinantna činjenica (za mene) je da većina komercijalnih klijenata želi da se smjesti upravo u Moskvi. Lokacija na više od pedeset kilometara po Minjskom autoputu (čak i ako postoje svi potrebni kapaciteti i komunikacije) više ne zanima mnoge. Tako se svi gužvaju na malenoj površini.

Ekskurzija u salatnim tonovima
Hladnjaci - to više nije Data Center, već termoelektrana

Time je naše novo putovanje došlo do kraja.

Nakon toga, uslijedila je duga i produktivna diskusija o zajedničkim planovima i budućim podkastima (nadam se da neće dugo čekati), pa pratite vijesti, uskoro će biti još više zanimljivog sadržaja.

Oni koji žele vidjeti sve svojim očima, DataLine poziva na obilazak. Potpuno besplatno, ali uz prethodnu rezervaciju. Onima koji spomenu kodnu riječ «linkmeup» - plus za karamu.

Pratite nas!

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster