Det största transportproblemet i St. Petersburg Àr broarna. PÄ natten mÄste man fly frÄn puben utan att ha druckit upp ölen. Annars fÄr man betala dubbelt sÄ mycket för en taxi. PÄ morgonen mÄste man noggrant rÀkna tiden sÄ att man, sÄ fort broarna fÀlls, hinner till stationen som en smidig mangust. Alternativet "att övernatta nÄgonstans i centrum, nÀra stationen" övervÀger vi inte, som ideologiskt skadligt.
âŠâSapsanâ, som avgĂ„r 5:30, uppfanns av personer som hatar ugglor. Visst, det Ă€r vĂ€ldigt bekvĂ€mt att befinna sig i Moskva klockan nio pĂ„ morgonen, och Petersburg Ă€r oerhört vackert under de vita nĂ€tterna, men klockan halv fem, nĂ€r jag satte mig i taxin, ville jag vĂ€nda huvudet 270 grader mot den tidiga fĂ„geln som kom pĂ„ den hĂ€r morgontĂ„get.
"Alla bra datacenter liknar varandra" â tĂ€nkte jag nĂ€r jag fick veta att vi blivit inbjudna till DataLine.
Det visade sig att varje datacenter Àr bra (eller dÄligt) pÄ sitt eget lilla sÀtt, speciellt nÀr man har fÄtt kÀnna pÄ nÄgra missöden, plockat upp alla fÀllor i omrÄdet och lÀrt sig lÀxorna av sin egen (och lite andras) rika erfarenhet. SÄ vi (i sÀllskap av fem ledande linkmeup och nÄgra vÀnner och sympatisörer) bestÀmde oss för att kolla hur bra (eller inte sÄ bra) datacentren OST och NORD Àr.
Efter att ha jobbat lite pĂ„ vĂ€gen (hĂ€r skulle det kunna vara en reklam för en mobiloperatör, men nej â tĂ€ckningen var och Ă€r fortfarande dĂ„lig), kliver vi av vid Leningradska jĂ€rnvĂ€gsstation. NĂ„vĂ€l, Ă„tminstone inte under Gazmanov.
Vi inledde vĂ„r rundturs exkursion pĂ„ "de gröna" datacentren med OST â "det dĂ€r", som nyligen "brann". Varför inom citat â förklaras senare. Just nu stĂ„r vi, röker, vĂ€ntar pĂ„ de försenade. Vi fotograferar kontoret för RT intill. Det finns mĂ„nga roliga historier om detta grannskap â allt frĂ„n att lĂ€gga ny asfalt och mĂ„la kantverk före ankomsten av Höga Personer, till rabatter i nĂ€rliggande kafĂ©er som datalaynarna fick pĂ„ grund av likheten i sina ID-brickor.
Högtalare för totalitÀr propaganda
Datacenter med strikt (kontroll) regim
Pass, beteenderegler, köttkvarn vid ingĂ„ngen â nĂ€stan exakt sĂ„ sĂ„g vi det . Har du sett mĂ„nga cafĂ©er i datacenter? Vi kĂ€nner numera till ett par stycken. AnstĂ€llda och kunder har "kaffe"-depositer pĂ„ sina namnskyltar som regelbundet fylls pĂ„, sĂ„ man kan fĂ„ kaffe helt gratis inom rimliga grĂ€nser. Vi, som Ă€r hĂ€r som gĂ€ster, fick ocksĂ„ en kopp.
Jag kan inte sÀga nÄgot dÄligt om kaffet - det Àr ganska vanligt för ett "kedjecaferi", men lÀget Àr verkligen tilltalande, och interiören följer de bÀsta moderna traditionerna.
Interiören i det lokala kaféet
PÄ bilderna Àr datacentren NORD
Utflykten börjar pÄ kontoret. Förutom de vÀlkÀnda inskriptionerna pÄ vÀggarna och den vit-gröna fÀrgskalan finns det ocksÄ mÄnga roliga detaljer. Detta Àr rekvisita som har blivit kvar frÄn företagsteaterns förestÀllningar (kan du förestÀlla dig tekniska chefen för datacenters, som spelar i en pjÀs? Vi kÀnner honom personligen.).
Och det stÀmmer verkligen
Bilder frÄn förestÀllningar
Datacentret (eller, mer exakt, fyra datacenter) ligger i en komplex av industriella byggnader som byggdes för mer Àn ett sekel sedan (dÄ var det fabriken "Citroën", och under Sovjetunionen - fabriken "Hydrodriv"), sÄ pÄ ena sidan Àr det rÄ industriell stil, metallbjÀlkar, en loft-liknande atmosfÀr och industriella artefakter frÄn olika epoker som fortfarande hittas vid olika arbeten. à andra sidan mÄste datacentrets hermetiska zoner integreras i de befintliga konstruktionerna, och man fÄr ibland kompromissa med verkligheten. Jag skulle dock inte sÀga att dessa kompromisser har pÄverkat kvaliteten - men killarna mÄste ha arbetat hÄrt bara för att fÄ designen att fungera. Dessutom, enligt rykten, gÄr nÄgonstans i nÀrheten Metro-2, men det Àr inget sÀkert.
Förutom teatern finns det ocksÄ ett eget museum. UtstÀllningarna Àr naturligtvis - arkeologiska fynd.
NĂ„gra ord om Ja, byggnaden (eller snarare taket) brann verkligen. De externa delarna av kylsystemen och köldrören skadades. NĂ„gonstans brann ledningarna ut och luftkonditioneringarna blev strömlösa. NĂ„gonstans exploderade kylrören. Men trots detta klarade hermetiska zoner av tonvis med vatten som hĂ€lldes över dem, utrustningen överlevde. Ă terstĂ€llningen skedde under ledning av «staben» i form av högsta ledningen med hjĂ€lp av andra â de plockade verkligen alla kopparrör i Moskva och omgivningarna (de kom till och med pĂ„ natten med BMW X5) och alla nyktra installatörer. Kritiskt utrustning frĂ„n de drabbade datacentren (som drabbats av bristen pĂ„ kyla, inte av brand!) flyttades snabbt till andra hallar, sĂ„ redan klockan fem pĂ„ morgonen hade de Ă„terupptagit inte bara alla sina tjĂ€nster utan Ă€ven kunderna.
Vi kontrollerade personligen den hall som drabbades mest â förutom lukten av rök och de bytta plattorna av det falska golvet pĂ„minner ingenting om branden (förutom stĂ€llen med utrustning som «tillfĂ€lligt» flyttades till en annan datalokal, och som fortfarande Ă€r dĂ€r).
Statuspanel
NÀr vi promenerar lÀngs korridorerna ser vi en pekskÀrm med nÄgot som mycket liknar en kartschema för maskinhallar i datacentret. Detta Àr statuspanelen. Det finns mÄnga av dem i korridorerna, och de gör det möjligt för on-site tekniker att snabbt hitta, exempelvis, den nödvÀndiga luftkonditioneringen, och informerar helt enkelt om det aktuella statuset.
Ăvervakningen Ă€r byggd pĂ„ Nagios (det finns nu flera oberoende kluster) och tĂ€cker alla datacenter (bĂ„de OST och NORD). Dessutom finns det appar för Android och iOS (för kunder och anstĂ€llda), och status sidan direkt pĂ„ webbplatsen.
PĂ„ skĂ€rmen lĂ€gger jag mĂ€rke till en ovanligt hög PUE â det Ă€r inte alltid vanligt att rĂ€kna det i Ryssland, men Ă€ndĂ„ Ă€r 1,90 lite för mycket. Svaret pĂ„ detta Ă€r rent ekonomiskt â under 2012-2013 spreds racken i datacentren som varma bullar, sĂ„ det fanns ingen tid för sentiment och energieffektivitet. Vi sĂ€tter in det som finns pĂ„ marknaden, gör det sĂ„ snabbt som möjligt och bryr oss inte om dessa PUE överhuvudtaget, för varför? Redan i designfasen köps 80-90% av racken, och lagstiftningen i Ryssland vill inte veta nĂ„got om energieffektivitet. Men nĂ„gon kommission i Amsterdam skulle definitivt ha fĂ„tt en kĂ€nsla av sĂ„dana siffror.
Inget personligt. Bara affÀrer.
En annan funktion Ă€r mĂ€rkningen av datacenter. PĂ„ varje anlĂ€ggning har datacenter förutom den "officiella" alfanumeriska kodningen Ă€ven "mĂ€nskliga" smeknamn frĂ„n det militĂ€rnaval alfabetet (Alfa-Bravo-Charlie-DeltaâŠ). Av nĂ„gon anledning gillar alla kunder att kalla det Whiskey.
NÀr det gÀller kundvÄrd finns det inga smÄ detaljer.
SÄdana "staket" sÀtts upp för vissa kunder. Vi fick inte filma i maskinrummen, dÀrför Àr bilden frÄn DataLine ©.
Kunderna hos DataLine Àr alla stora och respekterade företag, och de gillar verkligen inte nÀr deras utrustning fotograferas. SÀrskilt om namnet (eller logotypen) stÄr skrivet med stora bokstÀver pÄ hyllan. Det Àr helt enkelt nÄgot de inte gillar. DÀrför tog vi bilder pÄ de numera berömda vÀggarna med olika inskriptioner samt ingenjörsutrymmet. Det gÄr inte heller att fotografera ingenjörsutrymmet överallt och alltid, men vi försökte. Eftersom vÄra kunder Àr stora och respekterade har de ocksÄ specifika krav - speciella hyllor (eller en super lagringslösning med flera leverantörshyllor), egna staket, egna accesskontrollsystem, eget videoövervakningssystem och en snabbreaktionsteams med automatkarbiner. En av de oskrivna (och skrivna) reglerna pÄ DataLine Àr att ta hand om kunden och göra det bra för dem. FrÄn vÀstar och utrustade arbetsstationer med internetanslutning och laddare, till olika evenemang för kunder. Dessa Àr ocksÄ mycket anvÀndbara eftersom samma personer, nÀr de byter företag, ofta vÀljer DataLine. Bara för att allt hÀr Àr bekvÀmt, praktiskt och pÄlitligt. DataLines verksamhet handlar inte bara om att hyra ut rackplatser. Det handlar ocksÄ om molntjÀnster som har bÄde 152-FZ och PCI-DSS certifiering (om vilket vi planerar att göra en podcast, hÄll utkik efter kunskapsannonser), och att tillhandahÄlla bredband (egna fiberförbindelser mellan anlÀggningarna och frÄn vart och ett av dem till M9, eget optiskt ringvÀg i staden, och Ànda fram till att organisera sista mile till kundens kontor).
M - motivation
För att tala om inskriptionerna - idéerna kommer inte bara frÄn anstÀllda utan Àven frÄn partners och kunder, och de mest framgÄngsrika kan man rösta pÄ pÄ DataLine pÄ FB. Och man kan ocksÄ föreslÄ sin egen idé dÀr.
Möte pÄ Elbe
Cross photo (bilden tillhandahÄlls av DataLine)
Vi stannar vid Meet-Me-Room, dÀr operatörerna finns. I MMR (det finns tre par i OST, i antal huvudanslutningar av optik, för aktiv och passiv) konvergerar anslutningar frÄn alla datacenter. I krossen Àr allt trÄkigt och prydligt. Men dÀr operatörernas aktivering stÄr, pÄminner man sig om de bÀsta Ären och bilder frÄn nÄgot BM18: en sladdtrassel och en brokig utrustning (DLink, Extreme, Juniper, Mikrotik⊠och sÄ vidare till ASR9k). HÀr finns mer Àn femtio operatörer, sÄ det Àr fÀrgglatt. FrÄn MMR fördelas optik och koppar till maskinrummen. Minst tvÄ spÄr för varje (varianter kan förekomma), sÄ man kan vara lugn angÄende pÄlitligheten av anslutningen. MMR kallas "Elba", vilket Àr ganska subtilt.
IBM Power n- behövs?
Ănnu en upptĂ€ckte Ă€r IBM P-series, som aldrig har startats och har stĂ„tt i en av korridorerna i flera Ă„r. Maskinen (tillsammans med en bandbibliotek och ett lagringssystem) bestĂ€lldes av en av kunderna, men "var inte anvĂ€nd", sĂ„ den skĂ€nktes till datacentret. SĂ„ har den stĂ„tt.
Det Àr nog bra att vara vÀlbÀrgade killar och göra sÄdana gÄvor, eller? (Eller kanske de inte gav bort den, utan glömde den. Eller förlorade den i kortspel. Men den har stÄtt lÀnge)
SÄ hÀr ser en skönhet ut i NORD-4
Vi gĂ„r till energicentrum â tre (eller till och med fyra) dieselaggregat för varje datacenter (kom ihĂ„g, i OST finns det fyra). Dieseln gĂ„r upp pĂ„ full kapacitet pĂ„ 30-40 sekunder och levererar 1900 kVA. N+1 reservkraft, synkronisering och liknande â ingĂ„r. Den lĂ€ngsta tiden med diesel i OST Ă€r 12 timmar. I NORD â 2,5 dagar (hĂ€r finns det faktiskt ett lager pĂ„ 85 ton, det Ă€r inte bara sĂ„ dĂ€r).
Naturligtvis finns det avtal med olika brĂ€nsleföretag för brĂ€nsleleveranser. ĂvergĂ„ngen till diesel sker regelbundet, sĂ„ brĂ€nslet utnyttjas och kontrakten kontrolleras. För övrigt, enligt kollegor, blev grĂ€set till och med grönt pĂ„ platsen dĂ€r den heta luften frĂ„n dieselaggregaten blĂ„ser ut under testningen, som vanligtvis tar mer Ă€n en timme, Ă€ven pĂ„ vintern.
Efter en snabb paus pÄ det bekanta kaféet Äker vi till NORD-omrÄdet. Detta Àr ocksÄ inte ett datacenter, utan fyra oberoende byggnader pÄ samma omrÄde. Var och en har sina egna strömförsörjningar, egna dieslar och egen kylning. NORD-1 och NORD-2 har genomgÄtt granskning av Uptime Institute M&O. Den senaste (och bÀsta datacenter DataLine) Àr NORD-4, sÄ vi gÄr just hit.
Trots det stora antalet datacenter i Moskva finns det fortfarande en brist. Visst, en eller tvÄ rack kan du fÄ utan problem. Till och med tjugo kan de erbjuda. Mer Àn sÄ blir en frÄga (och DataLines kunder med sÄdana behov Àr inte bara en eller tvÄ). Specifikt i NORD-4 finns det (för tillfÀllet) plats, eftersom en stor kund flyttade till sitt eget nybyggda datacenter, men i andra lokaler kanske det inte Àr lika lyckligt. Trots detta pÄgÄr nu designen av NORD-5, som de lovar att lansera i början av 2020.
Men lÄt oss ÄtergÄ till vÄr rundtur. Eftersom vi Äkte bil slÀpptes vi in i en port dÀr sÀkerhetsvakterna tog sikte pÄ vÄr bil och kontrollerade registreringsnumret mot anmÀlan, medan alla passagerare blev ombedda att stiga ur för att fÄ sina passerkort (sÄ klart, med legitimation). SÀkerhet Àr viktig.
NORD-4 Ă€r stoltheten hos företaget och en sammansĂ€ttning av flera Ă„rs erfarenhet i byggande och drift av datacenter. Det har certifikat frĂ„n Uptime Institute Tier III för bĂ„de design och infrastruktur (dvs det byggda datacentret), samt Operational Sustainability â dessa killar har nĂ€rmat sig uppgiften pĂ„ ett ytterst ansvarsfullt sĂ€tt. Inuti finns fyra oberoende hermetiska zoner med tvĂ„ hallar i varje byggnad. Varje zon har sitt eget energicentrum (dieselgeneratorer, batterirum), kylsystem och brandskyddssystem. Gemensamt Ă€r fiberoptiska ingĂ„ngar (det finns tvĂ„ för byggnaden) och MMR.
En hÀlsosam ingenjörs modding
Vid ingĂ„ngen till datacentret finns ett bekant kafĂ© (och varför inte?). Vi tar oss upp till övervakningscentralen. Det finns nu tvĂ„ huvudcentraler â i OST och NORD-4 (i NORD-1, 2, 3 finns ocksĂ„ sina egna vakter). FrĂ„n varje central kan man övervaka bĂ„da platserna, sĂ„ Ă€ven hĂ€r sĂ€kerstĂ€lls redundans n+1. PĂ„ videovĂ€ggen finns redan kĂ€nda dashboards i gröna fĂ€rgtoner (parameterarna pĂ„ den Ă€r, förstĂ„s, betydligt fler Ă€n pĂ„ statusdisplayer). Vi pratar lite om övervakning â inga trendiga Prometheus-system och Grafana, bara Nagios, bara hardcore och egenutvecklad visualisering. Under de tio Ă„r (eller snarare mer) av anvĂ€ndning har mĂ„nga skrĂ€ddarsydda kontroller och skript skrivits, sĂ„ att byta till nĂ„got annat verkar vara ett stort Ă€ventyr. Cirka en gĂ„ng i mĂ„naden dyker det upp ett nytt företag som erbjuder att "snabbt och smidigt" lösa alla problem, men hittills har det inte riktigt fungerat. VideovĂ€ggen, förresten, Ă€r ocksĂ„ baserad pĂ„ en egenbyggd lösning som visade sig vara betydligt billigare Ă€n kommersiella alternativ.
Den lokala kommandocentralen
NĂ€r man under mĂ„nga Ă„r designar, bygger och driver datacenter, blir man inte lika rĂ€dd för att göra nĂ„got sjĂ€lv istĂ€llet för att köpa fĂ€rdiga lösningar. DataLine, till exempel, tvekar inte att berĂ€tta att de, just pĂ„ grund av sin storlek, har snubblat pĂ„ max antal hinder, och varje nytt datacenter Ă€r en produkt av svĂ„ra misstag och erfarenheter som strĂ€cker sig över mer Ă€n tio Ă„r. SjĂ€lvklart har varje nytt datacenter sina egna innovationer, och nĂ€r man gĂ„r runt i NORD, fĂ„ngar man sig sjĂ€lv med tanken att mĂ€nniskor bara har tagit sig tid och gjort det bra. Inte för att skryta, inte för betyg eller certifikat â det Ă€r en vanlig ingenjörsprocess, dĂ€r man vĂ€xer med varje iteration och blir allt bĂ€ttre. En utomstĂ„ende observatör skulle sĂ€ga att det Ă€r trĂ„kigt och konservativt, medan kunden, tvĂ€rtom, stöder en sĂ„dan stabilitet med sina egna pengar. Och för att göra nĂ„got bra, Ă€r det lĂ„ngt ifrĂ„n nödvĂ€ndigt att köpa ingenjörssystem eller mjukvara för mycket pengar (Ă€ven om det ibland Ă€r omöjligt utan det). Oftast Ă€r det erfarenheten, kunskaperna och ingenjörsmĂ€ssigt förnuft som avgör.
Till exempel har byggnaden NORD-4 3,5 vÄningar. De första tre Àr fullvÀrdiga, med takhöjd pÄ 4,5 meter, dÀr maskinrummen ligger. Den sista Àr teknisk, med en höjd pÄ bara 1,8 meter, och Àr helt reserverad för kylsystemet. Eftersom vÄningen Àr teknisk, Àr kraven pÄ den mycket lÀgre, vilket har gjort att man kunnat förenkla projektet och spara pengar.
Utsikt över den triangulÀra datacentret
Max har en speciell kung-fu nÀr det gÀller att inte synas pÄ bilder
Vi avslutar rundturen pĂ„ taket â hĂ€rifrĂ„n har vi en fantastisk utsikt över det intilliggande kraftverket och bostadsomrĂ„det, liksom andra byggnader i NORD. TvĂ„ av dem Ă€r triangulĂ€ra. Kollegorna skĂ€mtade till och med om att "DataLine Ă€r dumma, bygger ett triangulĂ€rt datacenter" för att kunna stĂ€lla ut triangulĂ€ra skĂ„p och triangulĂ€ra servrar. Men det spelar ingen roll â de byggde och driver det framgĂ„ngsrikt, samtidigt som de effektivt utnyttjar den tillgĂ€ngliga marken (vilket, mĂ„ste jag sĂ€ga, inte Ă€r gratis i Moskva). En annan överraskande (för mig) fakta â de flesta kommersiella kunder vill just förlĂ€gga sin verksamhet i Moskva. Platsen som ligger en och en halv mil bort lĂ€ngs MinskautvĂ€gen (Ă€ven om alla nödvĂ€ndiga resurser och kommunikationer finns) intresserar knappt nĂ„gon. SĂ„ alla trĂ€ngs pĂ„ den begrĂ€nsade ytan.
Kyltorn Àr inte lÀngre datacenter, utan kraftverk
Det hÀr avslutar vÄrt nÀsta Àventyr.
EfterÄt följde en lÄng och produktiv diskussion om gemensamma planer och framtida poddar (jag hoppas att vi inte behöver vÀnta lÀnge), sÄ hÄll utkik efter nyheter, snart kommer det mer intressant.
Och för dem som vill se allt med egna ögon bjuder DataLine in till rundtur. Helt gratis, men med förhandsbokning. De som nÀmner kodordet "linkmeup" fÄr plus i karma.
Stay tuned!
KĂ€lla: habr.com
