Het grootste transportprobleem in St. Petersburg zijn de bruggen. 's Nachts moet je vanwege hen vluchten uit de kroeg zonder je bier op te drink. Of je moet betalen voor een taxi die twee keer zo duur is als normaal. 's Ochtends moet je zorgvuldig de tijd berekenen, zodat je, zodra de brug is neergelaten, als een behendige mangoe op tijd op het station bent. De optie om āergens in het centrum nabij het station te overnachtenā beschouwen we niet, omdat dat ideologisch verkeerd is.
ā¦"De Sapsan", die om 5:30 vertrekt, is bedacht door mensen die een hekel hebben aan uilen. Nee, het is natuurlijk heel handig om om negen uur 's ochtends in Moskou te zijn, en Petersburg is waanzinnig mooi tijdens de witte nachten, maar om half vijf, toen ik in de taxi stapte, wilde ik die vroege vogel die deze ochtendtrein had bedacht, een koprol van 270 graden geven.
"Alle goede datacenters lijken op elkaar" - dacht ik toen ik hoorde dat we bezoek kregen van de jongens van DataLine.
Het bleek dat elk datacenter op zijn eigen manier goed (of slecht) is, vooral als je wat ervaring opdoet, alle valkuilen in de omgeving verzamelt en lessen leert uit je eigen (en een beetje andermans) rijke ervaring. Dus besloten we (met een groep van vijf leidende linkmeup en hun vrienden en sympathisanten) uit te zoeken hoe goed (of niet zo goed) de datacenters OST en NORD zijn.
Na een beetje te hebben gewerkt onderweg (hier had een advertentie van een mobiele operator kunnen staan, maar nee - het netwerk was net zo slecht als altijd), komen we aan op het Leningradstation. Nou, gelukkig niet onder Gazmanov.
We begonnen onze rondleiding door de āgroeneā datacenters met OST - ādezelfdeā die niet zo lang geleden in brand stond. Waarom tussen aanhalingstekens - dat bespreken we later. Maar voorlopig staan we, roken we en wachten we op de laatkomers. We fotograferen het kantoor van RT ernaast. Met deze nabijheid zijn er veel grappige verhalen - van het leggen van nieuw asfalt en het schilderen van de stoepranden vlak voor de komst van Hooggeplaatsten, tot kortingen in de nabijgelegen cafĆ©s die de dataline-medewerkers kregen vanwege de overeenkomsten in de badges.
De luidspreker van totalitaire propaganda
Datacenter met strikte (toegangs)regels
Toegangspas, gedragsregels, een vleesmolentje bij de ingang - bijna net als die we zagen . Heb je veel koffiehuizen in datacenters gezien? Wij kennen er nu een paar. Werknemers en klanten hebben 'koffie' tegoeden op hun badges, die regelmatig worden bijgevuld. Dus binnen redelijke grenzen kun je gratis koffie krijgen. Ook wij, als gewaardeerde gasten, kregen een gratis kopje.
Over de koffie kan ik niets slechts zeggen - het is vrij standaard voor een 'keten' koffiezaak, maar de locatie is zeker aantrekkelijk en het interieur is in lijn met de beste moderne tradities.
Het interieur van de lokale koffiezaak
Op de foto's de datacenters van NORD
De rondleiding begint op kantoor. Naast de bekende inscripties op de muren en het wit-groene kleurenpalet zijn er ook allerlei grappige dingen. Dit is rekwisiet dat is overgebleven van optredens van het bedrijfstheater (kun je je een technisch directeur van een datacenter voorstellen die in een voorstelling speelt? Wij kennen hem persoonlijk).
Inderdaad
Foto's van de voorstellingen
De datacenters (of beter gezegd, vier datacenters) bevinden zich in een complex van industriĆ«le gebouwen, gebouwd in de vorige eeuw (toen was het de 'CitroĆ«n' fabriek, en in de Sovjetperiode de 'Hydrodrive' fabriek), dus aan de ene kant is er hier een stevige industriĆ«le sfeer, metalen balken, loft-achtige atmosfeer en industriĆ«le artefacten uit verschillende tijdperken die nog steeds worden gevonden tijdens werkzaamheden. Aan de andere kant moeten de hermetische zones van het datacenter in bestaande structuren worden geĆÆntegreerd, wat soms compromissen met de realiteit vereist. Toch zou ik niet zeggen dat deze compromissen de kwaliteit hebben beĆÆnvloed - maar voor de jongens was het waarschijnlijk zweten bij het ontwerpen. Volgens geruchten gaat er ergens in de buurt een Metro-2, maar dat is niet zeker.
Naast het theater is er ook een eigen museum. De exposities zijn natuurhistorische vondsten.
Een paar woorden over Ja, het gebouw (of beter gezegd, het dak) heeft daadwerkelijk vlam gevat. De externe koelunits en koelleidingen hebben schade opgelopen. Op sommige plekken is de bedrading doorgebrand, waardoor de airco's zonder stroom kwamen te zitten. Op andere plaatsen zijn de koelmiddelleidingen geĆ«xplodeerd. Maar ondanks dat hebben de hermetische zones enorme hoeveelheden water weerstaan, en de apparatuur heeft het overleefd. Onder leiding van de 'staf' in de vorm van het hogere management hebben we alles aangepakt ā alle koperen buizen in Moskou en omgeving zijn opgehaald (zelfs 's nachts met een BMW X5) en we hebben alle nuchtere monteurs ingezet. Kritische apparatuur uit de beschadigde datacentra (beschadigd door een gebrek aan kou, niet door de brand!) is tijdig naar andere zalen verplaatst, zodat we al om vijf uur niet alleen al onze eigen diensten hebben hersteld, maar ook die van klanten.
We hebben persoonlijk de zaal gecontroleerd die het meest 'beschadigd' is ā behalve de geur van verbrande dingen en de vervangen tegels van de valsvloer, herinnert er eigenlijk niets meer aan de brand (behalve de racks met apparatuur, die 'tijdelijk' naar een andere datacentrum zijn verhuisd en daar ook zijn gebleven).
Statuspaneel
Terwijl we door de gangen lopen, zien we een touchscreen met iets dat heel erg lijkt op een schema van de machinekamers van het datacentrum. Dit is het statuspaneel. Ze zijn op verschillende plaatsen in de gangen geplaatst en stellen on-site ingenieurs in staat om snel bijvoorbeeld de benodigde airco te vinden, en ze geven gewoon de huidige status aan.
De monitoring is gebouwd op Nagios (nu zijn er al verschillende onafhankelijke clusters) en dekt alle datacentra (zowel OST als NORD). Daarnaast zijn er apps voor Android en iOS (voor klanten en medewerkers), en er is een statuspagina direct op de website.
Op de display merk ik een ongewoon hoge PUE op ā het wordt niet overal in Rusland berekend, maar toch is 1,90 behoorlijk veel. De reden hiervoor is puur economisch ā in de jaren 2012-2013 gingen de racks in datacentra als warme broodjes, dus er was geen ruimte voor sentimentele overwegingen en energie-efficiĆ«ntie. We zetten in wat er op de markt is, doen het zo snel mogelijk en maken ons helemaal geen zorgen over die PUE, want waarom? Zelfs in de ontwerpfase wordt 80-90% van de racks al aangekocht, en de wetgeving in Rusland wil niets weten over energie-efficiĆ«ntie. Hoewel een commissie in Amsterdam van zulke cijfers wel een klap zou krijgen.
Niets persoonlijk. Gewoon zaken.
Een andere functie is de labeling van datacenters. Op elke site hebben datacenters naast de 'officiĆ«le' alfanumerieke codering ook 'menselijke' aliassen uit het fonetisch alfabet (Alfa-Bravo-Charlie-Deltaā¦). Om de een of andere reden vinden alle klanten het leuk om Whiskey-ruimte.
Bij klantenzorg zijn er geen kleine dingen.
Dergelijke 'hekken' worden voor bepaalde klanten geplaatst. In onze machinehallen was het niet toegestaan om te fotograferen, daarom de foto DataLine Ā©.
Klanten van DataLine zijn uitsluitend grote en gerespecteerde bedrijven; zij houden niet van het fotograferen van hun apparatuur. Vooral niet als de naam (of het logo) van de klant groot op de serverrack is geschreven. Ze houden er niet van - en dat is dat. Daarom hebben we ons gefocust op de inmiddels beroemde muren met verschillende teksten en de technische infrastructuur. Van de technische infrastructuur kon niet alles en niet overal worden gefotografeerd, maar we hebben ons best gedaan. Omdat de klanten groot en gerespecteerd zijn, hebben ze ook specifieke verzoeken - speciale racks (of zelfs een hoogwaardige storage-oplossing van meerdere leveranciers), hun eigen hekken, hun eigen toegangscontrolesystemen, hun eigen bewakingssystemen en een snelle interventiegroep met geweren. Over het algemeen is een van de ongeschreven (en ook geschreven) regels van DataLine om voor de klant te zorgen en hem goed te bedienen. Van vesten en goed uitgeruste werkplekken met internetverbindingen en oplaadmogelijkheden, tot diverse evenementen voor klanten. Deze zijn ook heel nuttig omdat dezelfde mensen, terwijl ze van bedrijf naar bedrijf gaan, hen naar DataLine brengen. Gewoon omdat alles hier comfortabel, praktisch en betrouwbaar is. Het bedrijfsmodel van DataLine is niet alleen het verhuren van serverlocaties. Het omvat ook cloudoplossingen, die zowel gecertificeerd zijn onder 152-FZ als PCI-DSS (waarvan we van plan zijn een podcast te maken, houd de aankondigingen in de gaten), en het verstrekken van connectiviteit (eigen vezels tussen de locaties en van elk daarvan naar M9, een eigen optisch ringnetwerk in de stad, en zo verder tot de laatste mijl naar het kantoor van de klant).
M - Motivatie
Over teksten gesproken - ideeƫn komen niet alleen van medewerkers, maar ook van partners en klanten, waarna de beste ideeƫn kunnen worden gestemd op DataLine op FB. En je kunt daar ook je eigen idee indienen.
Ontmoeting aan de Elbe
Cross-country (foto verstrekt door DataLine)
We stop at the Meet-Me-Room, where the operators are located. In the MMR (there are three pairs in OST, corresponding to the number of fiber optic main inputs, for active and passive) all the connections from the data halls converge. In the cross-section, everything is neat and tidy. However, where the operator's active equipment is located, you remember the best years and some footage from a BM18: a spaghetti mess of wires and a variety of equipment (DLink, Extreme, Juniper, Mikrotikā¦ and so on up to ASR9k). There are over fifty operators here, so it all looks colorful. From the MMR, fiber and copper are distributed across the machine rooms. There are at least two routes for each (variations are possible), so you donāt have to worry about connection reliability. The MMR is called 'Elba', which is quite subtle.
Need IBM Power?
Another find is the IBM P-series, which has never been powered on, and it has been standing for several years in one of the corridors. The machine (along with a tape library and storage system) was ordered by one of the clients but was 'not needed', so it was donated to the data center. It has been sitting there ever since.
Itās probably nice to be wealthy guys and make such gifts, right? (Or maybe they didn't donate it, but forgot. Or lost it in a card game. But it's been standing there for a long time.)
This handsome guy is located in NORD-4.
We head to the power center ā three (or even four) DGUs for each data center (I remind you, there are four in OST). Diesel reaches full capacity in 30-40 seconds and generates 1900 kVA. Thereās N+1 redundancy, synchronization, and other features included. The longest time running on diesel in OST is 12 hours. In NORD ā 2.5 days (after all, a storage capacity of 85 tons is no small feat).
Of course, there are contracts with different fuel companies for fuel delivery. Switching to diesel occurs regularly, so the fuel is consumed, and contracts are checked. By the way, according to colleagues, during the testing of DGUs in NORD, which usually takes several hours, grass even manages to turn green in the place where hot air is expelled from the diesel, even in winter.
After a quick bite at the familiar coffee shop, we head to the NORD site. This is also not just one data center but four independent buildings on the same territory. Each has its own electricity inputs, its own diesels, and its own cooling systems. NORD-1 and NORD-2 have passed the audit by the Uptime Institute M&O. The newest (and best DataLine data center) is NORD-4, so we are heading there.
Ondanks het ogenschijnlijk grote aantal datacenters in Moskou, is er nog steeds een tekort waarneembaar. Natuurlijk kunnen ze een of twee racks zonder problemen leveren. Zelfs twintig kunnen ze aanbieden. Maar meer - dat is al een vraag (en bij DataLine hebben klanten met dergelijke behoeften niet Ć©Ć©n of twee). Specifiek in NORD-4 is er (voorlopig) plek, omdat een grote klant naar zijn eigen nieuw gebouwde datacenter is verhuisd, maar op andere plekken kan dat al minder geluk hebben. Desondanks is men momenteel druk bezig met het ontwerpen van NORD-5, dat beloofd wordt begin 2020 in gebruik te worden genomen.
Maar laten we terugkeren naar onze excursie. Aangezien we met de auto reden, werden we in een sluis toegelaten, waar gewapende beveiligers onze kentekenplaat controleerden met de aanvraag, en alle passagiers moesten uitstappen voor het verkrijgen van toegangsdocumenten (natuurlijk op basis van hun paspoort). Dit is vanwege B - veiligheid.
NORD-4 is de trots van het bedrijf en een samensmelting van vele jaren ervaring in de bouw en exploitatie van datacenters. Het heeft certificaten van het Uptime Institute Tier III voor het ontwerp en de faciliteit (d.w.z. het gebouwde datacenter), evenals voor Operationele Duurzaamheid - het team heeft een maximale verantwoordelijkheid genomen. Binnen zijn er vier onafhankelijke luchtdichte zones met twee zalen binnen Ć©Ć©n gebouw. Elke zone heeft zijn eigen energiecentrum (noodbatterijen, accu kamers), koelsystemen en brandbestrijdingssystemen. Gezamenlijke ingangen zijn de optische verbindingen (geheel twee voor het gebouw) en het MMR.
De modding van een gezonde ingenieur
Bij de ingang van de datacenter wacht een bekende koffiebar op ons (waarom ook niet?). We gaan naar het monitoringcentrum. Er zijn er momenteel twee ā in OST en NORD-4 (in NORD-1,2,3 zijn er ook teams aanwezig). Vanuit elk centrum kan toezicht gehouden worden op beide locaties, zodat hier ook redundantie n+1 is gewaarborgd. Op de videowand staan al bekende dashboards in groene tinten (de parameters daarop zijn, zoals te verwachten, veel talrijker dan op het statusdisplay). We praten even over de monitoring ā geen trendy Prometheus en Grafana, alleen Nagios, puur en zelfgeschreven visualisatie. Gedurende tien jaar (of zelfs meer) gebruik zijn er al talloze aangepaste controles en scripts geschreven, dus overstappen naar iets anders lijkt ons een riskante onderneming. Ongeveer eens per maand verschijnt er weer een bedrijf dat aanbiedt om al onze problemen 'snel en pijnloos' op te lossen, maar tot nu toe zijn we daar niet in geslaagd. De videowand, trouwens, werkt ook met een zelfgebouwde oplossing die vele malen goedkoper was dan commerciĆ«le alternatieven.
Hier is het DCU
Wanneer je jarenlang datacenters ontwerpt, bouwt en exploiteert, ben je niet zo bang om zelf iets te doen in plaats van kant-en-klaar te kopen. DataLine, bijvoorbeeld, schaamt zich niet te zeggen dat zij, gewoon door de schaal, op het maximale aantal obstakels zijn gestoten, en elk nieuw datacenter is een zoon van moeilijke fouten en een ervaring van meer dan tien jaar. Uiteraard heeft elk nieuw datacenter zijn eigen innovaties, en tijdens een wandeling door NORD merk je steeds weer dat mensen het gewoon goed hebben gedaan. Niet om de show, niet voor ranking en certificaten ā gewoon een normaal engineeringproces, waarbij je bij elke iteratie groeit en steeds beter wordt. Een externe waarnemer kan zeggen dat het saai en conservatief is, maar de klant ondersteunt die stabiliteit met zijn eigen geld. En om het goed te doen, is het helemaal niet noodzakelijk om dure engineering systemen of software aan te schaffen (hoewel dat soms ook nodig is). Vaak zijn ervaring, kennis en ingenieuze oplossingen de doorslaggevende factoren.
Bijvoorbeeld, het gebouw NORD-4 heeft 3,5 verdiepingen. De eerste drie zijn volwaardig, met plafonds van 4,5 meter, waar de machinekamers zich bevinden. De laatste verdieping is technisch, met een hoogte van slechts 1,8 meter, en is volledig bestemd voor het koelsysteem. Aangezien het een technische verdieping is, zijn de eisen ervoor veel lager, wat de projectvereisten eenvoudiger maakte en geld bespaarde.
Uitzicht op de driehoekige datacenter
Max heeft een bijzondere kungfu om niet op foto's op te vallen
We eindigen de rondleiding op het dak ā hier heb je een geweldig uitzicht op de naastgelegen stroomcentrale en de woonwijken, evenals op andere gebouwen van NORD. Twee daarvan zijn driehoekig. Collega's lachten daarover, dat 'DataLine dom is, omdat ze een driehoekig datacenter bouwen' om daar driehoekige racks en driehoekige servers te plaatsen. Maar niets ā ze hebben het gebouwd en gebruiken het succesvol, en maken tegelijkertijd effectief gebruik van de beschikbare ruimte (die in Moskou, moet ik zeggen, niet gratis is). Nog een verrassend feit (voor mij) ā de meeste commerciĆ«le klanten willen zich precies in Moskou vestigen. Een locatie meer dan vijftig kilometer langs de Minsk-snelweg (zelfs als er alle benodigde capaciteiten en communicaties zijn) is al nauwelijks interessant voor iemand. Daarom proppen iedereen zich in de beperkte ruimte.
Koeltorens ā dat is al geen datacenter meer, maar een warmtecentrale
Dit keer is onze reis ten einde.
Daarna was er nog een lange en productieve discussie over gezamenlijke plannen en toekomstige podcasts (ik hoop dat het niet te lang duurt), dus houd ons in de gaten, er komt snel nog meer interessants aan.
En degenen die alles met eigen ogen willen zien, nodigt DataLine uit voor een rondleiding. Volledig gratis, maar met voorafgaande afspraak. Degenen die het wachtwoord 'linkmeup' noemen ā verdienen extra karma.
Blijf op de hoogte!
Bron: habr.com
