Het belangrijkste transportprobleem in Sint-Petersburg zijn de bruggen. Vanwege hen moet je 's nachts wegrennen uit de taverne zonder je bier op te drinken. Nou ja, of betaal twee keer zoveel voor een taxi als normaal. Bereken 's ochtends zorgvuldig de tijd, zodat je, zodra de brug gesloten is, als een behendige mangoest het station bereikt. De optie “ergens in het centrum, vlakbij het station” overnachten vinden wij niet ideologisch schadelijk.
..."Slechtvalk", die om 5 uur vertrekt, is uitgevonden door mensen die uilen haten. Nee, natuurlijk is het erg handig om om negen uur 's ochtends in Moskou te zijn, en Sint-Petersburg is ongelooflijk mooi tijdens de witte nachten, maar toen ik om half vier in de taxi stapte, wilde ik mijn hoofd omdraaien. graden voor de leeuwerik die deze ochtendtrein heeft uitgevonden.
“Alle goede datacenters zijn hetzelfde”, dacht ik toen ik hoorde dat de jongens van DataLine ons hadden uitgenodigd voor een bezoek.
Het blijkt dat elk datacenter op zijn eigen manier een beetje goed (of slecht) is, vooral als je een grote hit maakt, alle harken in de omgeving verzamelt en lessen leert van je eigen datacenter (en een beetje van die van anderen). ) rijke ervaring. Daarom besloten wij (bestaande uit vijf toonaangevende linkmeup en hun vrienden en sympathisanten) om te kijken hoe goed (of niet zo goed) de OST- en NORD-datacenters zijn.
Nadat we wat werk op de weg hadden kunnen doen (er zou hier een advertentie kunnen zijn voor één mobiele operator, maar nee - de dekking was nog steeds slecht), hebben we gelost bij het Leningradsky-station. Nou ja, in ieder geval niet onder Gazmanov.
We begonnen onze rondleiding door de "lime" datacenters met OST - "dezelfde" die nog niet zo lang geleden "verbrandde". Waarom tussen aanhalingstekens - na. Ondertussen staan we, roken en wachten op degenen die te laat zijn. Foto's maken van het naastgelegen RT-kantoor. Er zijn veel grappige verhalen over deze buurt - van het aanleggen van vers asfalt en het schilderen van stoepranden vóór de komst van hoogwaardigheidsbekleders, tot kortingen in nabijgelegen cafés die aan inwoners van Dataline werden gegeven vanwege de gelijkenis van hun badges.
De spreekbuis van totalitaire propaganda
Datacenter met strikte (toegangs)modus
Pas, gedragsregels, vleesmolen bij de ingang - bijna dezelfde die we zagen . Heb je veel coffeeshops in datacenters gezien? Nu kennen we er een paar. Medewerkers en klanten hebben een “koffie”-statiegeld op hun badges, dat regelmatig wordt aangevuld. Binnen redelijke grenzen kunt u uzelf dus volledig gratis trakteren op koffie. Ook wij, lieve gasten, werden getrakteerd op een maaltijd.
Ik kan niets slechts zeggen over de koffie - het is heel normaal voor een 'keten'-coffeeshop, maar de locatie is onwillekeurig boeiend en het interieur past precies in de beste moderne tradities.
Interieur van een plaatselijke koffieshop
Foto's tonen NORD-datacenters
De rondleiding start vanaf het kantoor. Naast de inscripties op de muren en het in de hele Runet bekende wit-limoenkleurenschema zijn er ook allerlei grappige dingen. Dit zijn rekwisieten die zijn overgebleven van bedrijfstheatervoorstellingen (kun je je voorstellen dat de technisch directeur van een datacenternetwerk in een toneelstuk speelt? En wij kennen hem persoonlijk.).
en de waarheid
Foto's van optredens
Het datacenter (of beter gezegd: vier datacenters) bevindt zich in een complex van industriële gebouwen dat al in de vorige eeuw is gebouwd (toen de Citroen-fabriek en in de Sovjettijd de Gidroprivod-fabriek), dus aan de ene kant is er sprake van een harde industriële look, metalen balken, een loftsfeer en industriële artefacten uit verschillende tijdperken die nog steeds terug te vinden zijn bij diverse werkzaamheden. Aan de andere kant moeten de hermetische zones van het datacenter in bestaande structuren worden ingepast en moeten er van tijd tot tijd compromissen met de werkelijkheid worden gesloten. Ik zou echter niet zeggen dat deze compromissen de kwaliteit aantasten, maar de jongens moesten waarschijnlijk hard werken tijdens het ontwerp. Volgens geruchten passeert Metro-2 ook ergens in de buurt, maar dit is niet zeker.
Naast het theater is er ook een museum. Exposities natuurlijk - archeologische vondsten
Een paar woorden over . Ja, het gebouw (of beter gezegd: het dak) stond echt in brand. De externe eenheden van de koelsystemen en koudeleidingen raakten beschadigd. Ergens was de bedrading doorgebrand en zaten de airconditioners zonder elektriciteit. Freonpijpen ontploften ergens. Maar ondanks dit weerstonden de hermetische zones tonnen water die erop werden gegoten, en de apparatuur overleefde. Ze herstelden het onder de controle van het ‘hoofdkwartier’, vertegenwoordigd door het topmanagement van de hele wereld – ze harkten alle koperen leidingen in Moskou en omgeving eruit (ze brachten ze zelfs ‘s nachts in een BMW X5) en al het nuchtere installateurs. Kritische apparatuur uit de beschadigde datahallen (beschadigd door het gebrek aan kou, niet door de brand!) werd snel naar andere hallen verplaatst, zodat om vijf uur 's ochtends niet alleen al hun diensten, maar ook hun klanten operationeel waren.
We hebben persoonlijk de hal gecontroleerd die “het meest te lijden had” - behalve de geur van brandende en vervangen tegels van de verhoogde vloer, doet niets aan de brand denken (behalve rekken met apparatuur die “tijdelijk” naar een andere datahal werden gebracht, en bleef daar).
Statuspaneel
Als we door de gangen lopen, zien we een aanraakscherm met iets dat erg lijkt op het diagram van de turbinekamers van het datacenter. Dit is het statuspaneel. Er zijn er voldoende in de wandelgangen en ze zorgen ervoor dat monteurs ter plaatse bijvoorbeeld snel de benodigde airconditioner kunnen vinden en eenvoudig de huidige status kunnen doorgeven.
De monitoring is gebouwd op Nagios (nu zijn er al verschillende onafhankelijke clusters) en omvat alle datacenters (zowel OST als NORD). Daarnaast zijn er applicaties voor Android en iOS (voor klanten en medewerkers) en een statuspagina direct op de website.
Op het display zie ik een ongewoon hoge PUE - deze wordt niet overal in Rusland geaccepteerd, maar toch is 1.90 enigszins hoog. Het antwoord hierop is puur economisch: in 2012-2013 verkochten racks in datacenters als warme broodjes, dus er was geen tijd voor sentimentaliteit en energie-efficiëntie. Wij installeren wat er op de markt is, doen het zo snel mogelijk en geven helemaal niets om uw PUE, want waarom? Zelfs in de ontwerpfase wordt 80-90% van de racks gekocht, maar de wetgeving in de Russische Federatie wil niets weten over energie-efficiëntie. Al zou een commissie in Amsterdam tevreden zijn met zulke cijfers.
Niks persoonlijks. Gewoon zaken.
Een ander kenmerk is de markering van datahallen. Op elke locatie hebben de datahallen, naast de “officiële” alfanumerieke codering, “menselijke” pseudoniemen uit het maritieme alfabet (Alpha-Bravo-Charlie-Delta...). Om de een of andere reden zijn alle klanten dol op de Whiskykamer.
Er zijn geen kleine details als het gaat om klantenservice.
Voor sommige klanten worden dergelijke “hekken” geplaatst. We mochten geen foto's maken in de turbinekamers, dus de foto is DataLine ©
De klanten van DataLine zijn veelal grote en gerespecteerde bedrijven; zij houden er niet van om hun apparatuur te laten fotograferen. Bovendien als de naam (of het logo) van de klant direct in grote letters op de toonbank wordt geschreven. Ze vinden het niet leuk - dat is alles. Daarom hebben we de toch al beroemde muren met verschillende inscripties en de ingenieur gefilmd. Het is ook niet mogelijk om de hele machinist te fotograferen en niet overal, maar we hebben het geprobeerd. Omdat onze klanten groot en gerespecteerd zijn, hebben ze ook specifieke verzoeken: speciale racks (of een soort uber-opslagsysteem van verschillende leveranciersracks), hun eigen hekken, hun eigen toegangscontrolesystemen, hun eigen videobewaking en een rapid response-team met machine geweren. Over het algemeen is een van de onuitgesproken (en publieke) regels van DataLine: zorg dragen voor de cliënt en goed voor hem doen. Van vesten en ingerichte werkplekken met internettoegang en opladers tot diverse evenementen voor klanten. Deze laatste zijn ook erg nuttig omdat dezelfde mensen, die van bedrijf naar bedrijf verhuizen, ze naar DataLine brengen. Simpelweg omdat alles hier gezellig, handig en betrouwbaar is. De activiteiten van DataLine draaien niet alleen om het verhuren van rackruimte. Dit is ook een cloud, gelijktijdig gecertificeerd volgens 152-FZ en PCI-DSS (we gaan er een podcast over maken, houd ons in de gaten voor aankondigingen) en biedt connectiviteit (eigen vezels tussen de sites en van elk van hen naar M9, een eigen optische ring door de stad, enzovoort tot de organisatie van de laatste kilometer naar het kantoor van de klant).
M - motivatie
Over inscripties gesproken, ideeën komen niet alleen van medewerkers, maar ook van partners en klanten, waarna je kunt stemmen op de meest succesvolle op DataLine in FB. Welnu, u kunt daar uw idee voorstellen.
Bijeenkomst op de Elbe
Kruis (foto met dank aan DataLine)
We stoppen bij de Meet-Me-Room, waar de operators gevestigd zijn. In MMR (er zijn drie paren in OST, afhankelijk van het aantal optische hoofdingangen, voor actief en passief) worden verbindingen van alle datahallen gecombineerd. In de langlaufschoen is alles saai en netjes. Maar waar de camera actief is, herinner je je de beste jaren en beelden van sommige BM18: noedels gemaakt van draden en diverse apparatuur (DLink, Extreme, Juniper, Mikrotik... enzovoort tot ASR9k). Er zijn hier meer dan vijftig operators, dus alles is kleurrijk. Vanuit MMR worden optica en koper gedistribueerd naar de machinekamers. Minimaal twee routes per route (varianten zijn mogelijk), zodat u zich geen zorgen hoeft te maken over de betrouwbaarheid van de verbinding. MMR heet "Elbe", wat vrij subtiel is.
IBM Power nada?
Een andere vondst is een IBM P-serie, die nooit is ingeschakeld en al enkele jaren in een van de gangen staat. De machine (samen met de bandenbibliotheek en het opslagsysteem) was besteld door een van de klanten, maar “was niet bruikbaar”, dus werd hij aan het datacenter gedoneerd. Sindsdien staat het.
Het is waarschijnlijk goed om rijke jongens te zijn en zulke geschenken te geven, toch? (Of misschien hebben ze het niet cadeau gegeven, maar zijn ze het vergeten. Of hebben ze verloren met kaarten. Maar het bestaat al een hele tijd)
Deze knappe kerel staat in NORD-4
We gaan naar het energiecentrum - drie (of zelfs vier) dieselgeneratorsets voor elk datacenter (laat me je eraan herinneren dat er vier zijn in OST). De dieselmotor bereikt binnen 30-40 seconden het volledige vermogen en produceert 1900 kVA. N+1 redundantie, synchronisatie, etc. inbegrepen. De langste zittijd op dieselmotoren in OST is 12 uur. in NORD - 2.5 dagen (een opslagplaats voor 85 ton is immers niet veel geld).
Uiteraard zijn er afspraken met diverse brandstofbedrijven voor de levering van brandstof. Er wordt regelmatig overgeschakeld op diesel, waardoor zowel brandstof wordt geproduceerd als contracten worden gecontroleerd. Overigens, volgens collega's bij NORD, bij het testen van dieselgeneratorsets, wat doorgaans meer dan een uur duurt, op de plek waar warme lucht van dieselmotoren wordt uitgestoten, slaagt het gras er zelfs in de winter in om groen te worden.
Na een korte snack in een bekend koffietentje gaan we naar de NORD-site. Dit is ook niet één datacenter, maar vier onafhankelijke gebouwen op hetzelfde grondgebied. Ze hebben allemaal hun eigen elektriciteitstoevoer, hun eigen dieselmotoren en hun eigen koeling. NORD-1 en NORD-2 zijn geauditeerd door Uptime Instituut M&O. Het nieuwste (en beste DataLine-datacenter) is NORD-4, dus daar gaan we naartoe.
Ondanks het schijnbaar enorme aantal datacenters in Moskou is er nog steeds een tekort. Nee, uiteraard worden één of twee racks zonder problemen naar u verzonden. Ze geven je er zelfs twintig. Meer is een vraag (en DataLine heeft meer dan een of twee klanten met dergelijke behoeften). Concreet is er in NORD-4 (voorlopig) wel plek, omdat één grote klant zijn intrek heeft genomen in een eigen nieuw gebouwd datacenter, maar op andere plekken zal dit misschien niet zo gelukkig zijn. Het ontwerp van NORD-5 is inmiddels echter in volle gang, die naar verwachting begin 2020 gelanceerd zal worden.
Maar laten we teruggaan naar onze excursie. Omdat we met de auto reisden, lieten ze ons de poort binnen, waar machinegeweren op ons mikten, ons autonummer controleerden met de aanvraag en alle passagiers vroegen uit te stappen om een pasje te halen (uiteraard met hun paspoort). Omdat B beveiliging is.
NORD-4 is de trots van het bedrijf en een compilatie van vele jaren ervaring in de bouw en exploitatie van datacenters. Het beschikt over Uptime Institute Tier III-certificaten voor ontwerpproject en faciliteit (d.w.z. gebouwd datacenter), evenals operationele duurzaamheid - de jongens benaderden de zaak zo goed mogelijk op verantwoorde wijze. Binnen zijn er vier hermetische zones, onafhankelijk van elkaar, met elk twee hallen in één gebouw. Elk heeft zijn eigen energiecentrale (dieselgeneratorset, batterijruimten), koelcircuits en brandblussystemen. Algemeen - optische ingangen (er zijn er twee per gebouw) en MMR.
Gezonde ingenieur-modding
Bij de ingang van het datacenter wacht een voor ons al bekende coffeeshop (nou ja, waarom niet?). We gaan naar het controlecentrum. Er zijn nu twee belangrijke - in OST en NORD-4 (NORD-1,2,3 hebben ook hun eigen dienstdiensten). Vanuit elk centrum kun je naar beide sites kijken, dus ook hier is redundantie n+1 verzekerd. Op de videowall staan al bekende dashboards in een lichtgroene kleurstelling (er staan uiteraard veel meer parameters op dan op het statusdisplay). We communiceren een beetje over monitoring - geen fancy Prometheus en Grafan, alleen Nagios, alleen hardcore en zelfgemaakte visualisatie. In de loop van tien jaar (maar zelfs meer) gebruik zijn er al veel aangepaste controles en scripts geschreven, dus overstappen naar iets anders lijkt een gok. Ongeveer één keer per maand verschijnt er een ander bedrijf dat aanbiedt alle problemen ‘snel en pijnloos’ op te lossen, maar op de een of andere manier lukt het nog niet. De videomuur werkt trouwens ook op een zelfgeassembleerde oplossing, die meerdere keren goedkoper bleek te zijn dan commerciële tegenhangers.
Lokaal controlecentrum
Wanneer u al jaren datacenters ontwerpt, bouwt en exploiteert, bent u niet meer zo bang om zelf iets te doen in plaats van iets kant-en-klaar te kopen. DataLine aarzelt bijvoorbeeld niet om te zeggen dat ze, simpelweg vanwege de schaalgrootte, op het maximale aantal fouten zijn gestapt, en dat elk nieuw datacenter het resultaat is van moeilijke fouten en ervaringen die al meer dan tien jaar aan de gang zijn. . Natuurlijk heeft elk nieuw datacenter zijn eigen knowhow, en als je door NORD loopt, betrap je jezelf er zo nu en dan op dat je denkt dat mensen het gewoon hebben gedaan en het goed hebben gedaan. Niet om te pronken, niet om de beoordelingen en certificaten - een normaal engineeringproces, waarbij je bij elke iteratie boven jezelf uitgroeit en steeds beter wordt. Een waarnemer van buitenaf zal zeggen dat dit saai en conservatief is, maar de klant daarentegen handhaaft een dergelijke stabiliteit met zijn eigen geld. En om het goed te doen, is het helemaal niet nodig om voor heel veel geld technische systemen of software te kopen (hoewel je soms niet zonder kunt). Ervaring, kennis en technisch vernuft beslissen vaak.
Het gebouw NORD-4 heeft bijvoorbeeld 3,5 verdiepingen. De eerste drie zijn volwaardig, met plafonds van 4.5 meter, waar de turbinekamers zich bevinden. En de laatste is technisch, slechts 1.8 meter hoog, en is puur bedoeld voor het koelsysteem. Omdat de vloer technisch is, zijn de eisen eraan veel lager, wat het project vereenvoudigde en geld bespaarde.
Uitzicht op het driehoekige datacenter
Max heeft een speciaal kungfu-vermogen om niet verbrand te worden op foto's
We eindigen de rondleiding op het dak - vanaf hier hebben we een uitstekend zicht op de nabijgelegen thermische energiecentrale en woonwijk, evenals op andere NORD-gebouwen. Twee ervan zijn driehoekig. Hierover lachten collega's zelfs dat "DataLine idioten zijn, om de een of andere reden bouwen ze een driehoekig datacenter" om daar driehoekige racks en driehoekige servers te installeren. Maar niets - ze hebben gebouwd en opereren met succes, en gebruiken tegelijkertijd effectief het bestaande grondgebied (dat in Moskou, het moet gezegd worden, niet gratis is). Een ander verrassend (voor mij) feit is dat de meerderheid van de commerciële klanten in Moskou gevestigd wil zijn. Een locatie een halve honderd kilometer verderop langs de snelweg van Minsk (zelfs als er alle benodigde capaciteiten en communicatiemogelijkheden zijn) is voor niemand meer interessant. Dus iedereen kruipt in een niet-rubberen exemplaar.
Koeltorens zijn niet langer datacenters, maar thermische energiecentrales
Hiermee is onze volgende reis ten einde.
Daarna was er nog een lang en productief gesprek over gezamenlijke plannen en toekomstige podcasts (ik hoop dat we niet lang hoeven te wachten), dus houd ons in de gaten, er zullen binnenkort nog meer interessante dingen zijn.
Welnu, als u alles met eigen ogen wilt zien, nodigt DataLine u uit voor een rondleiding. Geheel gratis, maar wel op afspraak. Degenen die het codewoord ‘linkmeup’ noemen, krijgen een plus in karma.
Stay tuned!
Bron: www.habr.com