De eerste zomerdagen zijn ideaal voor een leerzame reis naar St. Petersburg.
We bezoeken Miran, linxdatacenter, RETN en Metrotek.
5 uur, Moskovsky station, KFC, Moika-dijk, Plate, duiven van de daken, St. Isaac's, Field of Mars, Yandex drive Capture, en hier is het - Miran.
Miran
Ons lab met Eva, een broadcastserver, een virtuele Mikrotik Routeros, linkmeup-hosting met IPv6-toegankelijkheid en nu podcast-hosting wonen al enkele jaren in Mirana.
Bij de ingang van Miran werden we eerst begroet door een dieselgeneratorfabriek van indrukwekkend formaat.
De meeste dieselgeneratorsets staan om twee redenen op wielen:
- Mobiliteit - er zijn nog een paar Mirana-modules op een paar honderd meter afstand. Ze hebben hun eigen generatoren, maar je weet maar nooit, je zult ze moeten laten rollen.
- Mobiliteit - ze hoeven niet te worden geregistreerd als stationaire energiecentrales en er is dus geen ontwerpdocumentatie nodig.
DGU Mirana in winter en zomer start binnen enkele seconden. Gedurende deze tijd wordt het gehele datacenter van stroom voorzien door batterijen.
Zowel de ijzeren HP in Mirans houding als de excursie werden mogelijk dankzij Fedor Rusakov.
De gehele excursie vond plaats in een gezellige huiselijke sfeer. Koffie met koekjes, een gesprek over telecom, over de oorsprong van het bedrijf, over het onder dekking van de duisternis vervoeren van tweehonderd vkshechka-servers van Moskou naar Sint-Petersburg. We liepen op ons gemak door de twee datacentergebouwen. Beide zijn BrownField-conversies van een fabrieksterrein. In de eerste, eigendom van Miran, waar we begonnen en waar we op de tweede verdieping oplaadden na een vier uur durende wandeling door Sint-Petersburg, stond ooit een fabriek voor dieseleenheden, werkelijk gigantische dieseleenheden. Eigenlijk was er geen tweede verdieping - er waren enorme poorten om heen en weer te gaan. Alles werd gedemonteerd, de tweede verdieping werd gebouwd, actieve koeling, redundante stroomvoorziening, gasbrandblusinstallatie.
Een klassiek warm gangpad, vanwaar lucht wordt aangevoerd naar airconditioners en onder een verhoogde vloer naar een gesloten koud gangpad.
Ook de stroomkabels zijn verborgen onder de verhoogde vloer.
Miran is niet geboren als platform voor één vaste klant, maar heeft zijn aanbod systematisch ontwikkeld in een markt waar vraag naar is.
Ooit stond hier een grote bank met alle benodigde beveiligers en toegangscontrolesystemen, maar die is inmiddels verhuisd.
De vraag bleef groeien, Miran ook, er verscheen een tweede gebouw - al te huur - ook BrownField - tweehonderd meter van het eerste. De weg loopt langs de Bolsjaja Nevka-dijk langs het huis van Nobel.
Het nieuwe gebouw is gebouwd volgens een modulair principe met de mogelijkheid om de gehele module te transporteren in geval van problemen met de verhuurder. De eerste twee dozen zijn bij de fabrikant gekocht, de derde was al in elkaar gezet, rekening houdend met oude fouten.
Modulaire architectuur bleek nadelen te hebben - ze zijn relatief smal - de warme gang is 60 cm - twee mensen kunnen niet uit elkaar. En het allerbelangrijkste: de kosten van verhuizen, zoals bij de eerste berekening bleek, zijn vergelijkbaar met het bouwen van een nieuwe.
Maar ze zien er zowel van buiten als van binnen fris en modieus uit.
NOC voor de jongens op orthodoxe Linux, stabiel Debian.
Het bedrijf dankt zijn naam overigens aan het Meridian Integrated Recorded Announcement (MIRAN)-systeembord in de Meridian-telefooncentrale. En daarna werd het datacenter zo genoemd.
In het moeilijke jaar 2008 besloten ze het datacenter te bouwen.
Sindsdien zorgen de jongens voor dedik en bel. Bedieningsapparatuur wordt geïnstalleerd in speciale ruimtes.
En dit legt bepaalde beperkingen en kenmerken op aan het werk. Zo bevatten de racks de meest uiteenlopende apparatuur, zowel qua machines als qua netwerkmogelijkheden. In Miran heb ik alleen Arista en Mellanox niet gezien. Alle apparatuur stelt verschillende eisen aan de temperatuur in de koude gang, dus deze moet op een zeer laag niveau worden gehouden - ongeveer 20 ° C, dat wil zeggen dat het niet nodig is om over een lage PUE te praten - Miran heeft deze 1,5.
Een andere nuance is bij slangenbruiloften op stands. Zodra je externe kameraden met hun connecties de kamer binnenlaat, schrijf je ‘de schoonheid is verdwenen’. Niemand heeft uitzonderingen.
Helaas kan het introduceren van draconische maatregelen hier in uw nadeel zijn.
Laatste foto's.
En dan merchandise van onze tafel naar die van jou en van jou naar die van ons. De hele menigte stapte in taxi's en in links.
linxdatacenter
Dit zijn serieuze jongens, op wiens tijdelijke pas zelfs ‘Security Matters’ staat. Dit zal de rode draad zijn van de hele excursie.
Na de peperkoek Miran bij linxdatacenter begrijp je dat er een luxe DC is gearriveerd. Op hun vrije dag kwamen 4 mensen samen, eerlijk gezegd, niet in het stadscentrum om over zichzelf te vertellen aan andere vijf mensen die waarschijnlijk niet hun klant zullen worden :)
Maria Svistunova ontmoette ons en nam ons mee naar een grote onderhandelingstafel. Nog even een praatje bij de Guatemalteekse koffie en daar gaan we.
Er worden hier excursies georganiseerd. Maxim en Oleg weten waar ze het over hebben: ze vertellen het zoals ze het weten: duidelijk en met passie. Waar nodig benadrukken ze, en waar niet, omzeilen ze. Ook het gevoel voor humor is tiptop in orde, waardoor ruim twee uur onopgemerkt voorbij vlogen.
De trots van het datacenter is de 100% uptime sinds de lancering in 2011.
Het vertrouwen is zo hoog dat er voor tienden niet eens een plek op het scorebord is.
Linx is een voorbeeld van een DC in het GreenField-formaat. Het gebouw is speciaal gebouwd om een DC te huisvesten. Daarom werden de hoogte van de plafonds, de sterkte van de vloeren, de voedingsingangen, de redundantie ervan, SCS - opgenomen in het project en werd er in de bouwfase rekening mee gehouden.
Standaard is de vloer dus bestand tegen een stand van 800 kg, maar na extra versteviging kan het gewicht verder worden verhoogd. Ze zeggen dat Oracle-racks die Falcon9 kosten een speciale behandeling vereisen.
Het DC zelf wordt aangedreven door een gaszuigerinstallatie, en stadselektriciteit is slechts een reserve. Volgens Maxim was dit een zeer correcte beslissing, omdat tijdens de beroemde stroomstoring in Sint-Petersburg het kantoor en het nabijgelegen zakencentrum beschadigd raakten, maar het datacenter bleef functioneren.
De dieselgenerator is hier niet langer een aanhangwagen op wielen, maar een volledig stilstaande ruimte met schoorstenen die hoog boven het landschap uitstijgen.
De opstarttijd bedraagt niet meer dan twee minuten en het hele datacenter kan ongeveer een uur op batterijen werken. Dieselmotoren kunnen 3 dagen draaien zonder te tanken.
Er heerst hier orde en bedachtzaamheid in alles.
Dit is bijvoorbeeld Klyuchintsa, waar datacenterklanten met hun vingerafdruk de sleutels van hun racks kunnen meenemen.
En dit is een ruimte waar opdrachtgevers alle benodigde ingenieurswerkzaamheden kunnen uitvoeren, waarvoor een graafwerktuig aan de muur hangt.
Dit zijn al planken voor lokaal gebruik met alles wat essentieel is voor het dagelijkse werk:
Hij is altijd opgeladen en klaar voor gebruik.
De baseballpet van de aspirant-hiphopper op de foto hierboven redde het hoofd van meer dan één persoon. Het is net zo moeilijk als een natuurlijke helm - het beste wat je kunt doen is onder een anderhalve meter verhoogde vloer klimmen, waar, nee, nee, een scherp stuk ijzer uitsteekt.
Eigenlijk medewerkers uit de exploitatie:
Dit onopvallende apparaat is een drukverschilmeter.
Het is ontworpen om een eenvoudig probleem op te lossen: het drukverschil tussen de gang en de machinekamer behouden. Bijvoorbeeld zodat het binnen wat hoger staat en als de deur geopend wordt, vliegt er geen stof naar binnen, maar juist weg van de deur.
Het brandblussysteem is ook gas: in geval van problemen verdringt het gas zuurstof en stopt de verbranding.
Alleen serieuze en zeer serieuze jongens die redenen hebben voor paranoia ter grootte van Ararat staan in de links.
Roosters en een apart toegangscontrolesysteem vanuit het datacenter zijn nog maar het begin.
Als twee mensen een probleem komen oplossen of nieuwe verbindingen leggen – de één met een materiële sleutel, de ander met een elektronische sleutel – wordt dit interessanter. En wanneer een bebrilde auditor van een cliënt arriveert, onder de verhoogde vloer afdaalt, twee vellen tralies uit elkaar trekt en zegt dat het hoofd van een kind hier doorheen past, begrijp je dat de persoon een aantal interessante dingen in zijn leven heeft gezien.
Er waren grappige situaties waarin ze bij het ontwerpen van een kooi rekening hielden met al het mogelijke, alle beveiligingssystemen, alle afmetingen waarmee je een rek kunt importeren en er apparatuur in kunt plaatsen, maar op de een of andere manier dachten ze niet na over de afmetingen van de ingenieurs die ermee zouden werken. Maar ze passen niet tussen de kooi en de standaard, noch aan de voorkant, noch in profiel.
Als ik de FSB was, zou ik mijn hardware in Linux installeren :)
Na de excursie zaten we nog een hele tijd gezellig te kletsen onder het genot van een pizza.
Vanuit dit rijk van veiligheid en orde zijn we naar RETN verhuisd.
RET
Wij kennen deze jongens al heel lang van dichtbij. Het is dan ook geen verrassing dat we uiteindelijk op hun dak samenkwamen om te barbecueën en verhalen te vertellen.
We zijn er ook al eerder geweest, al hebben we je er volgens mij niet over verteld. Vorig jaar mislukten plannen om de daken van Sint-Petersburg in beslag te nemen vanwege de FIFA.
RETN is feitelijk de grootste backbone-operator met glasvezel over de hele wereld. Hun web zal de afgunst van elke spin zijn.
En het DC op Obvodny is een thuisproject voor de ziel dat zijn plek heeft gevonden in een groeiende markt. Dit is waar degenen die een sterke connectiviteit met de wereld en toegang tot andere lokale operators nodig hebben, in beeld komen.
RETN bevat bijvoorbeeld het CDN van Netflix.
Ik was verrast toen ik hoorde dat elk van hun knooppunten individueel met de hand was ondertekend met een zin.
En deze vakantiedozen worden in verschillende steden op de POP's van RETN (en uiteraard niet alleen daar) vernield, waardoor u zo snel mogelijk “Black Mirror” en “Peaky Blinders” krijgt.
Er is ook het CDN van Google en een aantal operators, zowel lokaal als federaal.
RETN heeft twee kleine (vergeleken met die van Miranov) dieselgeneratoren en een auto met blikjes om naar een benzinestation naast het gebouw te gaan. Klinkt bijna als een familiebedrijf.
Welnu, de avondonderhandelingen op het dak brachten ons op het punt dat RETN ons een virtuele box zou geven voor een back-upsite voor het hosten van podcasts en foto's.
Wereldjongens, een datacenter met superlampen, een netwerk dat verbaast door zijn schaal.
Voor sommigen eindigde deze dag met een duke nukem-toernooi, voor anderen met een langverwachte slaap in een hotel.
De volgende dag hadden we niet veel plannen: Metrotek en de podcast live - .
Metrotechniek
Nog maar een maand geleden bezochten we een telecompodcast Misha Sokolov en Denis Gabidullin van STC Metrotek snijden Plumspace aan, en we bespraken wat Smart SFP is. En nu konden we ze levend aanraken.
Denis, die een rondleiding gaf door het kantoor van Metrotek in Sint-Petersburg (dat overigens niet is veranderd sinds ons laatste bezoek aan hen), overhandigde feitelijk een van de monsters direct vanuit de deuropening.
In eerste instantie was ik verrast hoe grof het gemaakt was - alsof het met een decoupeerzaag en een vijl uit een 32 mm sleutel was gesneden.
Het bleek dat de body van het prototype 3D-geprint was uit metaalpoeder, zoals te zien is aan het ruwe oppervlak. Anderen – degenen die klaar zijn voor de serie – zijn in perfecte staat.
Maar over het algemeen ben je, als je ernaar kijkt, verbaasd over hoe ze er nog steeds in slaagden zoveel hersens te verbergen in een bijna standaard geval.
Ik raad je aan om te luisteren . Het bleek interessant voor mijn smaak.
De kantoorinrichting is zo gewoon mogelijk. De relatief kleine rechthoekige kantoren, uitgestrekt richting het raam, zijn vrij donker, wat toch wel een beetje benauwd was. Maar de sfeer was, ondanks de vrije dag, werkachtig.
Het ontwerp is in twee jaar niet veranderd. Ik was tevreden met sommige posters en borden.
We liepen door verschillende kamers: R&D, systeemingenieurs, FPGA-specialisten, die verschillende soorten SFP in onze handen hielden, programmeurs, zagen het eerste model waarin Smart via een draad uit de SFP werd verwijderd - een van de eerste experimenten - eerder een Proof of Concept dat het überhaupt werkt.
Ze zeggen dat sommige cliënten het zelfs handig vinden om zo’n staart uit hun strijkijzer te laten steken.
Het allereerste doel twee jaar geleden was om een gewone optische SFP in elkaar te zetten die op zijn minst een signaal zou uitzenden.
Vervolgens monteerden ze het Smart-onderdeel afzonderlijk met de SFP van iemand anders (alleen op het snoer) om er zeker van te zijn dat ze de chips konden monteren.
Metrotek heeft uitstekend werk verricht. Bedenk eens dat ze in twee jaar tijd een volledig werkende optische module hebben samengesteld die telemetrie, een exacte tijdserver en een interfaceconverter kan inkapselen.
En debug tegelijkertijd tot in de perfectie (hoewel dit in de loop van de tijd nog moet worden getest) de basisfunctionaliteit voor signaaloverdracht. Er mag geen verzwakking zijn, er mogen zelfs geen zeldzame druppels optreden als gevolg van de fout van SFP. En het mag niet heet worden, ondanks het pakket ASIC’s, FPGA’s en CPU’s erin.
Bravo!
Compleet computersysteem:
- CPU: NXP i.MX6 ARM tot 900 MHz
- FPGA: Lattice ECP5 tot 85K LUT's
- RAM: DDR3 tot 1 GB
Denis merkte op dat het bedrijf de uitwisseling van kennis en ervaring beoefent en stimuleert. En toen dacht ik: “Kan het echt anders? 0_o". – Ja, er komen vaak mensen naar hen toe die op hun vorige werkplek in hun eigen sappen kookten, niet communiceerden, dubbel- en drievoudig werk deden en over het algemeen pogingen tot communicatie vermeden.
En toen herinnerde ik me dat ik over het algemeen niet meer dan twee jaar geleden in een internationaal, algemeen verboden bedrijf werkte, waar conferenties verboden waren en kennisuitwisseling als klas afwezig was. En ik was een van de evangelisten van de wekelijkse uitwisselingsbijeenkomsten die eenzame ingenieurs in afgelegen gebieden leken te redden.
Over het algemeen geeft Metrotek regelmatig interne trainingen en lezingen, en daarom zijn ze geweldig.
En toen werden we meegenomen naar een geweldige installatieworkshop. Hoe vaak ik ze ook bezoek, het lijkt erop dat de vreugde uit mijn kindertijd niet vervaagt.
Metrotek heeft apparatuur voor het printen op printplaten op kantoor.
Een stencil voor het aanbrengen van soldeerkorrels, een printer voor SMD-componenten (ik kan het gewoon niet anders noemen), een klein fornuis voor het bakken van printplaten en nabijgelegen werkplekken voor handmatige installatie.
Tot mijn verbazing ontdekte ik dat microchips met honderden pootjes ook met de hand worden gesoldeerd. Denis zegt dat hun jongens de kleinste onderdelen met verbazingwekkende nauwkeurigheid en snelheid solderen, en soms heeft het geen zin om de Shaitan-machine te laten draaien - een persoon zal het sneller doen.
We hebben de productielijn onder elkaar Metrotek Eltex-Verilight genoemd, naar aanleiding van een relatief recent bezoek aan hen.
Daarnaast beschikt het kantoor over een 3D-printer en een freesmachine voor interne behoeften, die vorig jaar echter al werd gebruikt om medailles te graveren .
Van daaruit gingen we naar Krang Pizza, geweldig qua ideologische inhoud, waar het volledige team van linkmeup een pizzaburger doorslikte die zowel qua grootte als qua betekenis mutant was en verhuisde naar het IQ Option-kantoor, waar we de eerste aflevering opnamen. .
De volgende dag keken we ook het Lasercentrum binnen op een tip van Mammoth, waar we technocratische extase en een kleine ontsteking van hebzucht ervoeren, maar dat zal een verhaal apart zijn.
Tot slot zou ik willen zeggen dat alle excursies en bijeenkomsten heel verschillend bleken te zijn, zowel qua omvang van de actie als qua focus.
Miran, die onze hosting gastvrij heeft gehost, groeit snel, maar is nog steeds vriendelijk en eenvoudig.
Links is een echt gaaf datacenter, met beveiliging voorop en ervaren marketeers.
RETN zijn jonge, vrolijke jongens ‘uit garages’ die een gigantisch netwerk en een nog klein datacenter aan het bouwen zijn en er niet vies van zijn om een vuurtje op het dak te bouwen.
Metrotek is een relatief klein team van Russische hardware- en softwareontwikkelaars, dat bijna “met deze handen” een hoop meetapparatuur maakt die meer dan concurrerend is, en nu een nieuwe markt betreedt met een ambitieuze taak.
En het Lasercentrum, dat verder gaat dan de belangen van linkmeup, maar het voorwerp is van onze persoonlijke belangen. Ik heb een zeer aangename indruk achtergelaten en de gravure van de microfoon op de recorder.
Bron: www.habr.com