Går gjennom datasentre og telekom i St. Petersburg

De første sommerdagene er fine for en lærerik tur til St. Petersburg.
Vi skal besøke Miran, linxdatacenter, RETN og Metrotek.

5, Moskovsky stasjon, KFC, Moika voll, Plate, duer fra takene, St. Isaac's, Field of Mars, Yandex drive Capture, og her er den - Miran.

Miran

Vår lab med Eva, en kringkastingsserver, en virtuell Mikrotik Routeros, linkmeup-hosting med IPv6-tilgjengelighet, og nå podcast-hosting har bodd i Mirana i flere år nå.

Går gjennom datasentre og telekom i St. Petersburg

Ved inngangen til Miran ble vi først møtt av et imponerende stort dieselgeneratoranlegg.

Går gjennom datasentre og telekom i St. Petersburg

De fleste dieselgeneratorsett er på hjul av to grunner:

  • Mobilitet - det er flere Mirana-moduler et par hundre meter unna. De har sine egne generatorer - men du vet aldri - du må rulle dem.
  • Mobilitet - de trenger ikke å være registrert som stasjonære kraftverk, og følgelig er det ikke nødvendig med designdokumentasjon.

DGU Mirana om vinteren og sommeren starter om noen få sekunder. I løpet av denne tiden blir hele datasenteret drevet av batterier.

Både jern-HP i Mirans holdning og ekskursjonen ble mulig takket være Fedor Rusakov.

Går gjennom datasentre og telekom i St. Petersburg

Hele ekskursjonen foregikk i en koselig hjemmekoselig atmosfære. Kaffe med informasjonskapsler, en samtale om telekom, om opprinnelsen til selskapet, om transport av to hundre vkshechka-servere fra Moskva til St. Petersburg i ly av mørket. Vi gikk rolig gjennom de to datasenterbygningene. Begge er BrownField-ombygginger fra fabrikklokaler. I den første, eid av Miran, hvor vi startet og hvor vi i andre etasje ladet opp etter en fire timers spasertur rundt St. Petersburg, var det en gang et anlegg for dieselaggregater, virkelig gigantiske dieselaggregater. Faktisk var det ingen andre etasje - det var enorme porter som kunne gå frem og tilbake. Alt ble demontert, andre etasje ble bygget, aktiv kjøling, redundant strømforsyning, gass brannslukningsanlegg.

En klassisk varmgang, hvorfra luft tilføres klimaanlegg og under et hevet gulv inn i en lukket kaldgang.

Strømkablene er også skjult under det hevede gulvet.

Miran ble ikke født som en plattform for én ankerklient, men utviklet systematisk tilbudet sitt i et marked hvor det er etterspørsel.

En gang var det en stor bank her med alle nødvendige sikkerhetsvakter og adgangskontrollsystemer, men den har allerede flyttet ut.

Går gjennom datasentre og telekom i St. Petersburg

Etterspørselen fortsatte å vokse, også Miran, en annen bygning dukket opp - allerede til leie - også BrownField - to hundre meter fra den første. Veien går langs Bolshaya Nevka-vollen forbi Nobels hus.

Går gjennom datasentre og telekom i St. Petersburg

Nybygget er bygget etter et modulprinsipp med mulighet for å frakte hele modulen ved problemer med utleier. De to første boksene ble kjøpt fra produsenten, den tredje var allerede satt sammen med hensyn til gamle feil.

Modulær arkitektur viste seg å ha ulemper - de er relativt smale - den varme korridoren er 60 cm - to personer kan ikke skilles. Og viktigst av alt, kostnadene ved å flytte, som det viste seg ved den første beregningen, er sammenlignbare med å bygge en ny.

Men de ser friske og fasjonable ut både ute og inne.

NOC for gutta på ortodoks Linux, stabil Debian.

Går gjennom datasentre og telekom i St. Petersburg

Selskapet har forresten fått navnet sitt fra Meridian Integrated Recorded Announcement (MIRAN) systemkort i Meridian-telefonsvitsjen. Og etter det ble datasenteret kalt det.

Går gjennom datasentre og telekom i St. Petersburg

De bestemte seg for å bygge datasenteret i det vanskelige året 2008.

Siden den gang har gutta skaffet dedik og bjelle. Operatørutstyr er installert i spesialrom.

Og dette legger visse begrensninger og funksjoner på arbeidet. For eksempel inneholder stativene det mest varierte utstyret, både når det gjelder maskiner og når det gjelder nettverk. I Miran så jeg bare ikke Arista og Mellanox. Alt utstyr har forskjellige krav til temperaturen i den kalde korridoren, så det må holdes på et veldig lavt nivå - ca 20 ° C, det vil si at det ikke er nødvendig å snakke om lav PUE - Miran har det 1,5.
En annen nyanse er med slangebryllup på stands. Så snart du slipper eksterne kamerater inn i rommet med deres forbindelser, skriv "skjønnheten er borte." Ingen har unntak.

Går gjennom datasentre og telekom i St. Petersburg

Akk, det kan være til skade for deg å innføre drakoniske tiltak her.

Går gjennom datasentre og telekom i St. PetersburgGår gjennom datasentre og telekom i St. Petersburg
Går gjennom datasentre og telekom i St. Petersburg
Siste bilder.

Og så varer fra vårt bord til ditt og fra ditt til vårt. Hele mengden lastet inn i drosjer og inn i lenker.

linxdatasenter

Dette er seriøse karer, hvis midlertidige pass sier til og med "Security Matters." Dette blir ledemotivet for hele ekskursjonen.

Etter pepperkakene Miran på linxdatacenter forstår du at det har kommet en luksus DC. På fridagen kom 4 personer sammen, ærlig talt, ikke i sentrum for å fortelle om seg selv til andre fem personer som neppe blir deres klienter :)

Maria Svistunova møtte oss og tok oss med til et stort forhandlingsbord. Litt ledig prat over guatemalansk kaffe og så drar vi.

Går gjennom datasentre og telekom i St. Petersburg

Utflukter er i gang her. Maxim og Oleg kan tingene sine: de forteller det som de vet det: tydelig og med lidenskap. Der det er nødvendig, understreker de, og hvor ikke, går de utenom. Sansen for humor er også i perfekt orden, så mer enn to timer fløy ubemerket forbi.

Stoltheten til datasenteret er 100 % oppetid siden lanseringen i 2011.

Selvtilliten er så høy at det ikke en gang er plass på resultattavlen for tideler.

Går gjennom datasentre og telekom i St. Petersburg

Linx er et eksempel på en DC i GreenField-formatet. Bygningen ble spesielt bygget for å huse en DC. Derfor ble høyden på takene, styrken på gulvene, strømforsyningsinngangene, dens redundans, SCS - inkludert i prosjektet og tatt i betraktning på byggestadiet.

Går gjennom datasentre og telekom i St. Petersburg

Så som standard tåler gulvet et stativ på 800 kg, men vekten kan økes ytterligere etter ytterligere forsterkning. De sier at Oracle-stativ som koster Falcon9 krever spesiell behandling.

Selve DC-en drives av en gassstempelinstallasjon, og byelektrisitet er bare en reserve. Ifølge Maxim var dette en veldig riktig avgjørelse, for under den berømte blackouten i St. Petersburg ble kontoret og det nærliggende forretningssenteret skadet, men datasenteret fortsatte å fungere.

Dieselaggregatet her er ikke lenger en tilhenger på hjul, men et helt stasjonært rom med skorsteiner som hever seg høyt over landskapet.

Oppstartstiden er ikke mer enn to minutter, og hele datasenteret kan operere på batterier i omtrent en time. Dieselmotorer kan fungere i 3 dager uten å fylle drivstoff.

Det er orden og omtanke i alt her.

Dette er for eksempel Klyuchintsa, hvor datasenterklienter kan ta nøklene til stativene sine ved hjelp av fingeravtrykket.

Går gjennom datasentre og telekom i St. Petersburg

Og dette er et rom hvor kundene kan utføre ethvert ingeniørarbeid de trenger, som det henger et forankringsverktøy på veggen til.

Går gjennom datasentre og telekom i St. Petersburg

Går gjennom datasentre og telekom i St. Petersburg

Dette er allerede hyller for lokal bruk med alt som er viktig for det daglige arbeidet:

Går gjennom datasentre og telekom i St. Petersburg

Går gjennom datasentre og telekom i St. Petersburg

Den er alltid ladet og klar til bruk.

Baseballcapsen til den ambisiøse hiphopperen på bildet over reddet hodet til mer enn én person. Det er like vanskelig som en naturlig hjelm - det beste du kan gjøre er å klatre under et halvannen meter høyt gulv, der, nei, nei, et skarpt stykke jern stikker ut.

Faktisk ansatte fra drift:

Går gjennom datasentre og telekom i St. Petersburg

Denne umerkelige enheten er en differensialtrykkmåler.

Går gjennom datasentre og telekom i St. Petersburg

Den er designet for å løse et enkelt problem - å opprettholde trykkforskjellen mellom korridoren og maskinrommet. For eksempel slik at det er litt høyere inne og når døren åpnes flyr ikke støv inn, men flyr heller vekk fra døren.

Brannslokkingssystemet er også gass - i tilfelle problemer fortrenger gassen oksygen og stopper forbrenningen.

Går gjennom datasentre og telekom i St. Petersburg

Bare seriøse og veldig seriøse karer som har grunner til paranoia på størrelse med Ararat står i lenkene.

Griller og et eget adgangskontrollsystem fra datasenteret er bare begynnelsen.

Når to personer kommer for å løse et problem eller lage nye forbindelser – den ene med en materialnøkkel, den andre med en elektronisk – blir dette mer interessant. Og når en brillebrillekontrollør kommer fra en klient, går ned under det hevede gulvet, drar fra hverandre to ark med stenger og sier at et barns hode vil passe gjennom her, forstår du at personen har sett noen interessante ting i livet sitt.

Det var morsomme situasjoner da de, når de designet et bur, tok hensyn til alt mulig, alle sikkerhetssystemene, alle dimensjonene som lar deg importere et stativ og sette utstyr i det, men på en eller annen måte tenkte de ikke på dimensjonene til ingeniørene som skulle jobbe med det. Men de passer ikke mellom buret og stativet verken foran eller i profil.

Hvis jeg var FSB, ville jeg installert maskinvaren min i linx :)

Etter ekskursjonen satt vi ganske lenge og pratet hjertelig over pizza.
Fra dette riket av sikkerhet og orden flyttet vi til RETN.

RETN

Vi har kjent disse gutta tett i lang tid. Derfor er det ikke overraskende at vi endelig samlet oss på taket deres for å grille og fortelle historier.

Går gjennom datasentre og telekom i St. Petersburg

Vi har også vært hos dem før, selv om jeg ikke tror vi har fortalt deg om det. I fjor mislyktes planene om å beslaglegge takene i St. Petersburg på grunn av Fifa.

RETN er faktisk den største ryggradsoperatøren med fiber over hele planeten. Nettet deres vil misunne enhver edderkopp.

Og DC på Obvodny er et hjemmeprosjekt for sjelen som har funnet sin nisje i et voksende marked. Det er her de som trenger sterk tilkobling til verden og tilgang til andre lokale operatører kommer inn.

For eksempel inneholder RETN Netflixs CDN.

Går gjennom datasentre og telekom i St. Petersburg

Går gjennom datasentre og telekom i St. Petersburg

Jeg ble overrasket over å høre at hver av nodene deres var individuelt håndsignert med en frase.
Og disse ferieboksene blir slått i forskjellige byer på RETNs POP-er (og, åpenbart, ikke bare det), og leverer "Black Mirror" og "Peaky Blinders" til deg så raskt som mulig.

Det er også Googles CDN og en haug med operatører, både lokale og føderale.

RETN har to bittesmå (i forhold til Miranovs) dieselgeneratorer og en bil med bokser for å gå til en bensinstasjon ved siden av bygningen. Høres nesten ut som en familiebedrift.

Vel, kveldsforhandlingene på taket brakte oss til det punktet at RETN ville gi oss en virtuell boks for en sikkerhetskopiside for hosting av podcaster og bilder.
World guys, et super-lampe datasenter, et nettverk som overrasker med sin skala.

Går gjennom datasentre og telekom i St. Petersburg

For noen ble denne dagen avsluttet med en duke nukem-turnering, for andre med en etterlengtet søvn på hotell.

Dagen etter hadde vi ikke mange planer: Metrotek og podcasten live - linkmeup IRL.

Metrotek

For bare en måned siden besøkte vi en telekom-podcast kom Misha Sokolov og Denis Gabidullin fra STC Metrotek kutter Plumspace, og vi diskuterte hva Smart SFP er. Og nå var vi i stand til å røre dem levende.

Denis, som ga en omvisning på St. Petersburg-kontoret til Metrotek (som forresten ikke har endret seg siden vårt siste besøk hos dem), overleverte faktisk en av prøvene rett fra døråpningen.
Først ble jeg overrasket over hvor grovt den var laget - som om den var skåret ut av en 32 mm skiftenøkkel med stikksag og fil.

Går gjennom datasentre og telekom i St. Petersburg

Det viste seg at prototypens kropp var 3D-printet fra metallpulver, som man kan se fra den ru overflaten. Andre – de som er klare for serien – er i perfekt orden.

Går gjennom datasentre og telekom i St. Petersburg

Men generelt sett, når du ser på dem, blir du overrasket over hvordan de fortsatt klarte å skjule så mange hjerner i en nesten standard sak.

Går gjennom datasentre og telekom i St. Petersburg

Jeg råder deg til å lytte podcast om Rosa, Tozu og søsteren deres Boza. Det viste seg interessant for min smak.

Kontordesignet er så ordinært som mulig. De relativt små rektangulære kontorene, strukket mot vinduet, er ganske mørke, noe som var litt trykkende. Men stemningen, til tross for fridagen, var jobbaktig.

Går gjennom datasentre og telekom i St. Petersburg

Designet har ikke endret seg på to år. Jeg var fornøyd med noen av plakatene og tavlene.

Vi gikk gjennom flere rom: FoU, systemingeniører, FPGA-spesialister, holdt i hendene forskjellige typer SFP, programmerere, så den første modellen der Smart ble fjernet fra SFP på en ledning - et av de første eksperimentene - snarere en Proof of Concept at det fungerer i det hele tatt.

De sier at noen klienter til og med synes det er praktisk å ha en slik hale som stikker ut av jernet.
Det aller første målet for to år siden var å sette sammen en vanlig optisk SFP som i det minste skulle sende et signal.

Deretter satte de sammen Smart-delen separat med en annens SFP (bare på ledningen) for å sikre at de var i stand til å sette sammen brikkene.

Metrotek har gjort en god jobb. Bare tenk at de på 2 år samlet en fullt fungerende optisk modul som kan kapsle inn, telemetri, en eksakt tidsserver og en grensesnittomformer.

Og samtidig feilsøke til perfeksjon (selv om dette gjenstår å bli testet med tiden) den grunnleggende funksjonaliteten for signaloverføring. Det skal ikke være noen demping, det skal ikke engang være sjeldne dråper på grunn av feilen til SFP. Og det bør ikke bli varmt, til tross for pakken med ASIC-er, FPGA-er og CPUer inni.
Bravo!

Komplett datasystem:

  • CPU: NXP i.MX6 ARM opp til 900 MHz
  • FPGA: Gitter ECP5 opp til 85K LUTs
  • RAM: DDR3 opptil 1 GB

Denis bemerket at selskapet praktiserer og oppmuntrer til utveksling av kunnskap og erfaring. Og så tenkte jeg: «Kan det virkelig være annerledes? 0_o". — Ja, ofte kommer det folk til dem som på sitt forrige arbeidssted stuvet inn sin egen saft, ikke kommuniserte, gjorde dobbelt- og trippelarbeid og generelt unngikk forsøk på kommunikasjon.

Og så husket jeg at jeg generelt for ikke mer enn to år siden jobbet i et internasjonalt, vidt forbudt selskap, der konferanser var forbudt og kunnskapsutveksling var fraværende som klasse. Og jeg var en av evangelistene på de ukentlige utvekslingsmøtene som så ut til å redde ensomme ingeniører i avsidesliggende områder.

Generelt gjennomfører Metrotek jevnlig interne opplæringer og forelesninger, og derfor er de kjempebra.

Og så ble vi tatt med til et fantastisk installasjonsverksted. Uansett hvor mange ganger jeg besøker dem, ser det ut til at min barndoms glede ikke blekner.

Metrotek har utstyr for utskrift på kretskort rett på kontoret.

En sjablong for påføring av loddepellets, en skriver for SMD-komponenter (jeg kan rett og slett ikke kalle det noe annet), en liten komfyr for baking av kretskort og arbeidsstasjoner i nærheten for manuell installasjon.

Går gjennom datasentre og telekom i St. Petersburg

Går gjennom datasentre og telekom i St. Petersburg

Går gjennom datasentre og telekom i St. Petersburg

Til min overraskelse fikk jeg vite at mikrobrikker med hundrevis av ben også loddes for hånd. Denis sier at gutta deres lodder de minste delene med utrolig nøyaktighet og hastighet, og noen ganger er det ingen vits i å kjøre shaitan-maskinen - en person vil gjøre det raskere.

Går gjennom datasentre og telekom i St. Petersburg

Vi kalte produksjonslinjen Metrotek Eltex-Verilight oss imellom, i kjølvannet av en relativt nylig utflukt til dem.

I tillegg har kontoret en 3D-printer og en fresemaskin for interne behov, som imidlertid allerede ble brukt til å gravere medaljer for i fjor Kaoskonstruksjon.

Går gjennom datasentre og telekom i St. Petersburg

Derfra dro vi til Krang Pizza, fantastisk i sitt ideologiske innhold, hvor hele teamet av linkmeup svelget en pizzaburger som var mutert i både størrelse og betydning og flyttet til IQ opsjonskontoret, hvor vi spilte inn den første episoden linkmeup IRL.

Dagen etter kikket vi også inn på Lasersenteret på et tips fra Mammoth, hvor vi opplevde teknokratisk ekstase og en liten grådighetsbetennelse, men det får være en egen historie.

Avslutningsvis vil jeg si at alle ekskursjonene og møtene viste seg å være svært forskjellige, både i handlingsskala og i fokus.

Miran, som gjestfritt var vertskap for vår hosting, vokser raskt, men er fortsatt vennlig og enkel.

Links er et virkelig kult datasenter, med sikkerhet i forkant og erfarne markedsførere.
RETN er unge, blide gutter "fra garasjer" som bygger et gigantisk nettverk og et fortsatt lite datasenter og ikke er uvillige til å bygge brann på taket.

Metrotek er et relativt lite team av russiske maskinvare- og programvareutviklere, som nesten «med disse hendene» lager en haug med måleutstyr som er mer enn konkurransedyktig, og går nå inn i et nytt marked med en ambisiøs oppgave.

Og Lasersenteret, som går utover interessene til linkmeup, men er gjenstand for våre personlige interesser. Jeg etterlot et veldig hyggelig inntrykk og inngraveringen av mikrofonen på opptakeren.

Kilde: www.habr.com

Legg til en kommentar