Det viktigaste transportproblemet i S:t Petersburg är broar. På nätterna, på grund av dem, måste du fly från krogen utan att avsluta din öl. Tja, eller betala dubbelt så mycket för en taxi som vanligt. På morgonen, beräkna noggrant tiden så att du så fort bron är stängd tar dig till stationen som en smidig mangust. Vi anser inte alternativet "att tillbringa natten någonstans i centrum, nära stationen" som ideologiskt skadligt.
..."Peregrine Falcon", som åker 5:30, uppfanns av människor som hatar ugglor. Nej, det är såklart väldigt bekvämt att vara i Moskva klockan nio på morgonen och St Petersburg är otroligt vackert under de vita nätterna, men vid halv fem när jag satte mig i taxin ville jag vända på huvudet 270 grader till lärkan som uppfann detta morgontåg.
"Alla bra datacenter är lika", tänkte jag när jag fick reda på att killarna från DataLine hade bjudit in oss på besök.
Som det visar sig är varje datacenter bra (eller dåligt) lite på sitt eget sätt, speciellt när du slår på den stora tiden, samlar alla rakes i området och drar lärdomar av dina egna (och lite andras ) rik erfarenhet. Så vi (som består av fem ledande linkmeup och deras vänner och sympatisörer) bestämde oss för att kontrollera hur bra (eller inte så bra) OST och NORD datacenter är.
Efter att ha lyckats göra lite arbete på vägen (det kan finnas en annons för en mobiloperatör här, men nej - täckningen var fortfarande dålig), lastade vi av vid Leningradsky-stationen. Tja, åtminstone inte under Gazmanov.
Vi började vår rundtur i "lime" datacenter med OST - "samma" som "brände" för inte så länge sedan. Varför inom citattecken - efter. Under tiden står vi, röker och väntar på dem som är sena. Tar bilder på RT-kontoret bredvid. Det finns många roliga historier om det här området - från att lägga ny asfalt och måla trottoarkanter innan dignitärernas ankomst, till rabatter på närliggande kaféer som gavs till Dataline-invånare på grund av likheten mellan deras märken.
Den totalitära propagandans språkrör
Datacenter med strikt (åtkomst) läge
Pass, förhållningsregler, köttkvarn vid entrén - nästan samma som vi såg . Har du sett många kaféer i datacenter? Nu känner vi ett par. Anställda och kunder har "kaffe" på sina märken, som regelbundet fylls på. Så inom rimliga gränser kan du unna dig kaffe helt kostnadsfritt. Vi som kära gäster bjöds också på en måltid.
Jag kan inte säga något dåligt om kaffet - det är ganska normalt för en "kedja"-kafé, men läget är ofrivilligt fängslande, och interiören är helt i linje med de bästa moderna traditionerna.
Interiör av ett lokalt kafé
Bilder visar NORDs datacenter
Turen startar från kontoret. Förutom inskriptionerna på väggarna och den vita och limefärgade färgsättningen som är känd i hela Runet, finns det också alla möjliga roliga saker. Det här är rekvisita som blivit över från företagsteaterföreställningar (kan du föreställa dig den tekniska chefen för ett datacenternätverk som spelar i en pjäs? Och vi känner honom personligen.).
Och sanningen
Bilder från föreställningar
Datacentret (eller snarare fyra datacenter) är beläget i ett komplex av industribyggnader som byggdes förr förra seklet (då Citroen-fabriken, och på sovjettiden Gidroprivod-fabriken), så å ena sidan finns det en hård industriellt utseende, metallbjälkar, loftatmosfär och industriella artefakter från olika epoker som fortfarande finns under olika arbeten. Å andra sidan måste de hermetiska zonerna i datacentret passas in i befintliga strukturer, och kompromisser med verkligheten måste göras då och då. Jag skulle dock inte säga att dessa kompromisser påverkade kvaliteten - men killarna fick nog jobba hårt under designen. Dessutom, enligt rykten, passerar Metro-2 någonstans i närheten, men detta är inte säkert.
Förutom teatern finns även ett museum. Utställningar, naturligtvis - arkeologiska fynd
Några ord om . Ja, byggnaden (eller snarare taket) brann verkligen. De yttre enheterna av kylsystemen och kalla rören skadades. Någonstans brann kablarna ut och luftkonditioneringsapparaterna lämnades utan elektricitet. Freonrör exploderade någonstans. Men trots detta tålde de hermetiska zonerna massor av vatten som hälldes på dem, och utrustningen överlevde. De återställde det under kontroll av "högkvarteret" representerat av den högsta ledningen i hela världen - de krattade ut alla kopparrör i Moskva och omgivningarna (de tog dem till och med på natten i en BMW X5) och allt nykter installatörer. Kritisk utrustning från de skadade datahallarna (skadad av bristen på kyla, inte av branden!) flyttades snabbt till andra hallar, så att klockan fem på morgonen inte bara alla deras tjänster, utan även deras kunder var igång.
Vi kontrollerade personligen hallen som "led mest" - förutom lukten av brinnande och utbytta plattor på det upphöjda golvet, ingenting alls påminner om branden (förutom ställ med utrustning som "tillfälligt" togs till en annan datahall, och stannade där).
Statuspanel
När vi går längs korridorerna ser vi en pekskärm med något som liknar diagrammet över datacentrets turbinrum. Detta är statuspanelen. Det finns gott om dem i korridorerna, och de tillåter ingenjörer på plats att snabbt hitta till exempel den nödvändiga luftkonditioneringen och helt enkelt rapportera aktuell status.
Övervakningen är byggd på Nagios (nu finns det redan flera oberoende kluster) och täcker alla datacenter (både OST och NORD). Dessutom finns det applikationer för Android och iOS (för kunder och anställda), och en statussida direkt på hemsidan.
På displayen märker jag en ovanligt hög PUE - den accepteras inte överallt i Ryssland, men ändå är 1.90 något högt. Svaret på detta är rent ekonomiskt - 2012-2013 sålde rack i datacenter som smör, så det fanns ingen tid för sentimentalitet och energieffektivitet. Vi installerar det som finns på marknaden, gör det så snabbt som möjligt och bryr oss inte alls om din PUE, för varför? Även på designstadiet köps 80-90% av ställningarna, men lagstiftningen i Ryska federationen vill inte veta något om energieffektivitet. Även om någon kommission i Amsterdam skulle vara nöjd med sådana siffror.
Inget personligt. Bara affärer.
En annan funktion är märkningen av datahallar. På varje plats har datahallar, förutom den "officiella" alfanumeriska kodningen, "mänskliga" pseudonymer från marinalfabetet (Alpha-Bravo-Charlie-Delta...). Av någon anledning älskar alla kunder Whiskeyrummet.
Det finns inga små detaljer när det kommer till kundvård.
Sådana "stängsel" sätts upp för vissa kunder. Vi fick inte ta bilder i turbinrummen, så bilden är DataLine ©
DataLines kunder är mestadels stora och respekterade företag, de gillar verkligen inte att få sin utrustning fotograferad. Dessutom, om kundens namn (eller logotyp) är skrivet direkt på disken med stora bokstäver. De gillar det inte - det är allt. Därför filmade vi de redan kända väggarna med olika inskriptioner, och ingenjören. Det går inte heller att fotografera hela ingenjören och inte överallt, men vi försökte. Eftersom våra kunder är stora och respekterade har de också specifika önskemål - speciella rack (eller något slags uber-lagringssystem från flera leverantörsställ), sina egna staket, sina egna passersystem, sin egen videoövervakning och ett snabbinsatsteam med maskingevär. I allmänhet är en av de outtalade (och offentliga) reglerna för DataLine att ta hand om kunden och göra gott mot honom. Från västar och utrustade arbetsstationer med internetuppkoppling och laddare, till olika event för kunder. De senare är också mycket användbara eftersom samma personer, som flyttar från företag till företag, tar dem till DataLine. Helt enkelt för att allt här är mysigt, bekvämt och pålitligt. DataLines verksamhet handlar inte bara om att hyra ut rackutrymme. Detta är också ett moln, samtidigt certifierat enligt 152-FZ och PCI-DSS (vi kommer att göra en podcast om det, håll ögonen öppna för tillkännagivanden) och tillhandahåller anslutning (sin egen fibrer mellan sajterna och från var och en av dem till M9, sin egen optiska ring tvärs över staden, och så vidare tills organisationen av den sista milen till kundens kontor).
M - motivation
På tal om inskriptioner kommer idéer inte bara från anställda utan också från partners och kunder, varefter du kan rösta på de mest framgångsrika på DataLine i FB. Tja, du kan föreslå din idé där.
Möte på Elbe
Cross (foto med tillstånd av DataLine)
Vi stannar till vid Meet-Me-Room, där operatörerna finns. I MMR (det finns tre par i OST, enligt antalet optiska huvudingångar, för aktiva och passiva) kombineras anslutningar från alla datahallar. I längdskon är allt tråkigt och snyggt. Men var den aktiva kameran är placerad minns du de bästa åren och filmerna från någon BM18: nudlar gjorda av trådar och diverse utrustning (DLink, Extreme, Juniper, Mikrotik... och så vidare upp till ASR9k). Det finns mer än femtio operatörer här, så allt är färgglatt. Från MMR distribueras optik och koppar till maskinrummen. Minst två rutter för varje (varianter är möjliga), så du behöver inte oroa dig för anslutningens tillförlitlighet. MMR kallas "Elbe", vilket är ganska subtilt.
IBM Power nada?
Ett annat fynd är en IBM P-serie, som aldrig varit påslagen, och som har stått i en av korridorerna i flera år. Maskinen (tillsammans med bandbiblioteket och lagringssystemet) beställdes av en av kunderna, men "den var inte användbar", så den donerades till datacentret. Den har stått sedan dess.
Det är nog bra att vara rika killar och ge sådana gåvor, eller hur? (Eller kanske de inte gav det i present, men glömde. Eller så förlorade de på kort. Men det har funnits länge)
Den här snygga killen står i NORD-4
Vi går till energicentret - tre (eller till och med fyra) dieselgeneratorer för varje datacenter (låt mig påminna dig om att det finns fyra av dem i OST). Dieselmotorn når full effekt på 30-40 sekunder och producerar 1900 kVA. N+1 redundans, synkronisering etc. ingår. Den längsta sitttiden på dieselmotorer i OST är 12 timmar. i NORD - 2.5 dagar (ett lager för 85 ton är trots allt inte mycket pengar).
Givetvis finns det avtal med olika drivmedelsföretag för leverans av drivmedel. Byte till diesel sker regelbundet, så att både bränsle produceras och kontrakt verifieras. Förresten, enligt kollegor på NORD, när man testar dieselgeneratoraggregat, vilket vanligtvis tar mer än en timme, på den plats där het luft från dieselmotorer släpps ut, lyckas gräset även på vintern bli grönt.
Efter ett litet mellanmål på ett välbekant kafé beger vi oss till NORD-platsen. Detta är inte heller ett datacenter, utan fyra oberoende byggnader på samma territorium. Var och en har sina egna elingångar, sina egna dieselmotorer och sin egen kylning. NORD-1 och NORD-2 granskades av Uptime Institute M&O. Det senaste (och bästa DataLine-datacentret) är NORD-4, så det är dit vi är på väg.
Trots det till synes enorma antalet datacenter i Moskva råder det fortfarande brist. Nej, självklart kommer ett eller två ställ att skickas till dig utan problem. De ger dig till och med tjugo. Mer är en fråga (och DataLine har fler än en eller två kunder med sådana behov). Specifikt, i NORD-4 finns det en plats (för nu), eftersom en stor klient har flyttat in i sitt eget nybyggda datacenter, men på andra ställen är det kanske inte så lyckligt. Nu är designen av NORD-5 dock i full gång, som utlovas lanseras i början av 2020.
Men låt oss återgå till vår utflykt. Eftersom vi färdades med bil släppte de in oss i gatewayen, där maskingevärsskyttar siktade på oss, kollade vårt bilnummer med ansökan och bad alla passagerare att gå ut för att hämta pass (med sina pass förstås). Eftersom B är säkerhet.
NORD-4 är företagets stolthet och en sammanställning av många års erfarenhet av konstruktion och drift av datacenter, den har Uptime Institute Tier III-certifikat för designprojekt och Facility (dvs byggt datacenter), samt Operational Sustainability – killarna tog sig an frågan så nära som möjligt på ett ansvarsfullt sätt. Inuti finns fyra hermetiska zoner, oberoende av varandra, med två salar vardera i en byggnad. Var och en har sin egen kraftcentral (dieselgenerator, batterirum), kylkretsar och brandsläckningssystem. Allmänt - optiska ingångar (det finns två av dem per byggnad) och MMR.
Frisk ingenjör Modding
Vid ingången till datacentret väntar ett kafé som redan är bekant för oss (tja, varför inte?). Vi går upp till övervakningscentralen. Det finns nu två huvudsakliga - i OST och NORD-4 (NORD-1,2,3 har också sina egna tjänstgöringsskift). Från varje center kan du titta på båda platserna, så även här säkerställs redundans n+1. På videoväggen finns det redan välbekanta instrumentpaneler i ett ljusgrönt färgschema (det finns naturligtvis mycket fler parametrar på den än på statusdisplayen). Vi kommunicerar lite om övervakning - inga fancy Prometheus och Grafan, bara Nagios, bara hardcore och hemmagjord visualisering. Under tio års (men ännu mer) användning har många anpassade kontroller och skript redan skrivits, så att byta till något annat ser ut som en chansning. Ungefär en gång i månaden dyker ett annat företag upp som erbjuder sig att lösa alla problem "snabbt och smärtfritt", men på något sätt fungerar det inte än. Videoväggen fungerar för övrigt också på en självmonterad lösning, som visade sig vara flera gånger billigare än kommersiella analoger.
Lokal kontrollcentral
När du har designat, byggt och drivit datacenter i många år är du inte längre så rädd för att göra något själv snarare än att köpa något färdigt. DataLine, till exempel, tvekar inte att säga att de helt enkelt på grund av skalan har trampat på det maximala antalet misstag, och varje nytt datacenter är resultatet av svåra misstag och erfarenheter som har pågått i mer än tio år . Naturligtvis har varje nytt datacenter sitt eget kunnande, och när man går runt i NORD får man då och då på sig att man tror att folk bara gjorde det och gjorde det bra. Inte för att visa upp sig, inte för betyg och certifikat - en normal ingenjörsprocess, när du vid varje iteration växer över dig själv och blir bättre och bättre. En utomstående observatör kommer att säga att detta är tråkigt och konservativt, men klienten, tvärtom, upprätthåller sådan stabilitet med sina egna pengar. Och för att göra det bra är det inte alls nödvändigt att köpa tekniska system eller programvara för mycket, mycket pengar (även om du ibland inte kan göra det utan det). Erfarenhet, kunskap och ingenjörskonst avgör ofta.
Till exempel har NORD-4-byggnaden 3,5 våningar. De tre första är fullvärdiga, med tak på 4.5 meter, där turbinrummen finns. Och den sista är teknisk, bara 1.8 meter hög, och är enbart tillägnad kylsystemet. Eftersom golvet är tekniskt är kraven på det mycket lägre, vilket förenklade projektet och sparade pengar.
Vy över det triangulära datacentret
Max har en speciell kung fu-förmåga att inte brännas på bilder
Vi avslutar turen på taket - härifrån har vi en utmärkt utsikt över det närliggande värmekraftverket och bostadsområdet, samt andra NORD-byggnader. Två av dem är triangulära. Om detta skrattade kollegor till och med att "DataLine är idioter, av någon anledning bygger de ett triangulärt datacenter" för att installera triangulära rack och triangulära servrar där. Men ingenting - de byggde och fungerar framgångsrikt, och samtidigt effektivt använder det befintliga territoriet (som i Moskva, det måste sägas, inte är gratis). Ett annat överraskande (för mig) faktum är att majoriteten av kommersiella kunder vill vara placerade i Moskva. En plats ett halvt hundra kilometer bort längs Minsk Highway (även om det finns all nödvändig kapacitet och kommunikation) är inte längre av intresse för någon. Så alla tränger ihop sig i en icke-gummi.
Kyltorn är inte längre datacenter, utan värmekraftverk
Med detta har vår nästa resa tagit slut.
Efteråt blev det ytterligare ett långt och produktivt samtal om gemensamma planer och framtida podcasts (jag hoppas att vi inte behöver vänta länge), så håll utkik, det kommer snart ännu mer intressanta saker.
Tja, om du vill se allt med dina egna ögon bjuder DataLine in dig på en rundtur. Helt gratis men efter överenskommelse. De som kallar kodordet "linkmeup" får ett plus i karma.
Håll dig igång!
Källa: will.com