De eerste dagen van de zomer zijn perfect voor een ontwikkelingsreis naar St. Petersburg.
We bezoeken Miran, linxdatacenter, RETN en MetroTek.
Vijf uur 's ochtends, Moskovski-vokzal, KFC, de Moika-rivier, de schaal, duiven op de daken, de Isaak-kathedraal, het Marsveld, de capture van yandexodrive, en daar is het — Miran.
Miran
Onze lab met Eva woont al enkele jaren in Miran, een streamingserver, een virtuele MikroTik RouterOS, en hosting linkmeup met IPv6-beschikbaarheid en tegenwoordig podcast hosting.
Bij de ingang van Miran verwelkomde ons in eerste instantie een indrukwekkende DGU.
De meeste Diesel-Generatorinstallaties staan op wielen om twee redenen:
- Mobiliteit — binnen enkele honderden meters zijn er nog een paar modules van Miran. Zij hebben hun eigen generators — maar wie weet — misschien moeten we ze verplaatsen.
- Mobiliteit — ze hoeven niet geregistreerd te worden als vaste elektriciteitscentrales, en daarom is er geen projectdocumentatie nodig.
De DGU van Miran start in de winter en zomer binnen enkele seconden. Gedurende deze tijd worden alle datacenters gevoed door accu's.
Zowel de ijzeren HP in de rekken van Miran als de rondleiding werden mogelijk gemaakt door Fyodor Rusakov.
De hele rondleiding vond plaats in een gezellige huiselijke sfeer. Koffie met koekjes, gesprekken over telecom, de oorsprong van het bedrijf, over het transport van tweehonderd servers in het geheim van Moskou naar St. Petersburg onder de dekens van de nacht. Zonder haast wandelden we door twee gebouwen van het datacenter. Beide waren BrownField — omgebouwd uit fabrieksruimten. In de eerste, eigendom van Miran, waarmee we begonnen en waar we op de tweede verdieping opladen na een vier uur durende wandeling door St. Petersburg, was ooit een fabriek voor dieselinstallaties, werkelijk gigantische dieselinstallaties. Eigenlijk was er geen tweede verdieping — er waren enorme poorten om heen en weer te gaan. Alles is afgebroken, de tweede verdieping is gemaakt, actieve koeling, redundante voeding, een gasbrandblussysteem.
Een klassieke warme gang, van waaruit lucht naar de airconditioners wordt geleid en onder de valse vloer naar de afgesloten koude gang.
Onder de valse vloer zijn ook voedingskabels verborgen.
Miran is niet ontstaan als een locatie voor één ankerklant, maar heeft zijn aanbod op de markt geleidelijk ontwikkeld, waar vraag is.
Eertijds was hier een grote bank gevestigd met alle bijbehorende hekken en beveiligingssystemen, maar deze is inmiddels vertrokken.
De vraag bleef groeien, net als Miran, en er kwam een tweede gebouw — ook te huur — eveneens BrownField — op twee honderd meter van het eerste. De weg loopt langs de oever van de Grote Neva langs het huis van Nobel.
Het nieuwe gebouw is gebouwd volgens het modulaire principe met de mogelijkheid om het hele module te verplaatsen in geval van problemen met de verhuurder. De eerste twee doosjes zijn gekocht bij de fabrikant, de derde is al samengesteld met inachtneming van eerdere fouten.
Modulaire architectuur heeft nadelen — ze zijn relatief smal — de warme gang is 60 cm — twee mensen kunnen daar niet langs elkaar. En het belangrijkste — de kosten van de verhuizing, zoals bij de eerste berekening bleek, zijn vergelijkbaar met de bouw van een nieuw gebouw.
Maar ze zien er zowel van buiten als van binnen fris en modern uit.
NOC bij de jongens draait op orthodox Linux, een stabiele Debian.
De naam van het bedrijf is trouwens afgeleid van de kaart Systeem Meridian Integrated Recorded Announcement (MIRAN) in de telefoonschakelaar van Meridian. En daar is ook de datacentrum naar vernoemd.
De datacenter besloot te bouwen in het moeilijke jaar 2008.
Sindsdien bieden de jongens dedicated servers en bellen aan. In speciale ruimtes is apparatuur van operators geïnstalleerd.
En dat brengt bepaalde beperkingen en bijzonderheden met zich mee. Bijvoorbeeld, in de rekken staat het materiaal zo divers mogelijk, zowel qua machines als qua netwerken. In Miran heb ik eigenlijk alleen Arista en Mellanox niet gezien. Alle apparatuur heeft verschillende eisen aan de temperatuur in de koude gang, dus het moet op een zeer laag niveau worden gehouden — rond de 20°C, wat betekent dat er niet gesproken kan worden over een lage PUE — die is bij Miran 1,5.
Een ander punt — met slanghuwelijks in de rekken. Zodra je externe jongens met hun verbindingsmaterialen de ruimte binnenlaat, is het afgelopen met de schoonheid. Niemand is hier uitgezonderd.
Helaas kan het invoeren van draconische maatregelen tot jezelf schaden.
De laatste foto’s.
En dan merchandise van onze tafel naar de jouwe en van jouw naar de onze. We stapten met de hele groep in een taxi — en naar Linx.
linxdatacenter
Dit zijn serieuze gasten, op hun tijdelijke toegangspas staat zelfs: ‘Security Matters’. Dit zal de rode draad van de rondleiding zijn.
Na het speculaasachtige Miran besef je bij linxdatacenter dat je in een luxe datacenter bent aangekomen. Op hun vrije dag kwamen 4 mensen samen, om eerlijk te zijn, niet in het centrum van de stad, om over zichzelf te vertellen aan vijf andere mensen die waarschijnlijk nooit hun klanten zullen worden 🙂
We were greeted by Maria Svistunova, who led us to a large conference table. A bit of idle chatter over Guatemalan coffee, and then we were off.
Excursions here are organized like clockwork. Maxim and Oleg know their stuff: they tell their stories smoothly and with enthusiasm. Where necessary, they emphasize points, and where not, they move on. Their sense of humor is great too, so the two-plus hours flew by unnoticed.
The pride of the data center is the 100% uptime since its launch in 2011.
The confidence is so high that not even a space for tenths is allocated on the scoreboard.
Linx is an example of a data center in the GreenField format. The building was specifically constructed to house the data center. Therefore, the ceiling height, the strength of the floors, power supply inputs, and their redundancy, as well as the structured cabling system, were all designed and accounted for during the construction phase.
Thus, by default, the floor can support a load of 800 kg, but the capacity can be further increased with additional reinforcement. They say that Oracle racks costing as much as a Falcon9 require special handling.
The data center is powered by a gas-piston installation, while the city electric supply serves only as a backup. According to Maxim, this was a very wise decision because during the well-known blackout in St. Petersburg, the office and the nearby business center suffered, while the data center continued to operate.
The diesel generator here is no longer a towable unit but rather a fully stationary facility with smoke stacks rising high above the landscape.
The startup time is no more than two minutes, and on batteries, the entire data center can operate for about an hour. The diesel can run for 3 days without refueling.
Everything here exudes order and careful planning.
For example, here’s a key cabinet where clients of the data center can take keys to their racks using their fingerprints.
And this is a room where clients can carry out any necessary engineering work, for which a utility tool is hung on the wall.
These are already shelves for local operations with all the essentials for daily work:
It’s always charged and ready to work.
The baseball cap of a budding hip-hop artist in the photo above has saved more than one head. It’s as solid as a real hard hat—perfect for crawling under a one-and-a-half-meter false floor, where occasionally sharp metal parts protrude.
These are actually the staff from operations:
Dit onopvallende apparaat is een differentiële manometer.
Het is bedoeld om een eenvoudige taak te vervullen: het handhaven van het drukverschil tussen de gang en de machinekamer. Bijvoorbeeld, zodat de druk binnen iets hoger is en bij het openen van de deur stof naar buiten wordt geblazen in plaats van naar binnen.
Het brandblussysteem is ook gasvormig - in geval van nood verdringt het gas zuurstof en stopt het de verbranding.
Bij Linx komen alleen serieuze en zeer serieuze mensen, die redenen hebben voor een paranoia van de grootte van Ararat.
Roosters en een aparte toegang tot het datacentrum zijn pas het begin.
Wanneer twee mensen naar een probleem of nieuwe verbindingen komen - één met een fysieke sleutel, de ander met een elektronische - wordt het al interessanter. En wanneer een auditor van de klant met een bril komt, onder de valse vloer kruipt, twee roosters opzij schuift en zegt dat daar het hoofd van een kind door kan, begrijp je dat deze persoon in zijn leven interessante dingen heeft gezien.
Er waren grappige situaties waarin bij het ontwerpen van de cel alles in overweging was genomen, alle beveiligingssystemen, alle afmetingen die het mogelijk maken om een rek binnen te brengen en apparatuur te plaatsen, maar men niet had nagedacht over de afmetingen van de ingenieurs die ermee moeten werken. En zij passen er van voren en van opzij niet tussen de cel en het rek.
Als ik de FSB was, zou ik mijn apparatuur in Linx plaatsen 🙂
Na de rondleiding hebben we nog een tijdje gezellig gezeten en gepraat onder de pizza.
Uit dit rijk van veiligheid en orde zijn we naar RETN gegaan.
RETN
We zijn deze jongens al lang en goed bekend. Daarom is het niet verwonderlijk dat we eindelijk op hun dak bijeenkwamen om barbecue te grillen en verhalen te vertellen.
We zijn daar ook al geweest, hoewel we dat blijkbaar niet hebben verteld. Vorig jaar mislukt de plannen om de daken van St. Petersburg te veroveren door de FIFA.
RETN is trouwens de grootste backbone-operator met vezeloptische verbindingen over de hele wereld. Iedereen zou jaloers zijn op hun web.
En het datacentrum aan de ringweg is zo'n huiselijk project voor de ziel, dat zijn niche heeft gevonden op de groeiende markt. Hier komen degenen die een hoge connectiviteit met de wereld en toegang tot andere lokale operatoren nodig hebben.
Bijvoorbeeld, in RETN staat de CDN van Netflix.
Ik was verrast te horen dat elke node persoonlijk met een bepaalde zin met de hand is ondertekend.
En zulke feestelijke doosjes worden in verschillende steden op POPs van RETN geslagen (en, uiteraard, niet alleen daar), zodat "Black Mirror" en "Peaky Blinders" zo snel mogelijk bij jou worden afgeleverd.
Hier zijn ook de Google CDN en een heleboel operators, zowel lokaal als nationaal.
Bij RETN staan er naast het gebouw twee kleine (vergeleken met die van Mirano) dieselgeneratoren en een auto met jerrycans om brandstof te tanken. Het klinkt bijna als een familiebedrijf.
En de avondbijeenkomsten op het dak hebben ons ertoe gebracht dat RETN ons een virtuele server zal geven voor de reservehosting van podcasts en afbeeldingen.
Wereldwijde jongens, een supergezellige datacenter, een netwerk dat indruk maakt met zijn omvang.
Voor sommigen eindigde deze dag met een toernooi in Duke Nukem, voor anderen met de langverwachte slaap in een hotel.
De volgende dag hadden we niet zoveel plannen: Metrotex en een live podcast — .
Metrotex
Bijvoorbeeld een maand geleden kwamen we op bezoek bij het telecom-podcast Misha Sokolov en Denis Gabidullin van NTC Metrotex slash Plumspace, en we bespraken wat Smart SFP is. En nu konden we het live aanraken.
Denis, die de rondleiding door het Petersburgse kantoor van Metrotex gaf (dat trouwens niet is veranderd sinds ons laatste bezoek), gaf eigenlijk bij binnenkomst een van de monsters in onze handen.
In het begin was ik verrast hoe ruw het was — het leek wel met een decoupeerzaag en een vijzel gemaakt van een sleutel van 32.
Het bleek dat de behuizing van het prototype was geprint met een 3d-printer van metaalpoeder, wat zichtbaar is aan het ruwe oppervlak. De andere — die klaar zijn voor productie — zijn in perfecte staat.
Maar eigenlijk, als je naar hen kijkt, verwonder je je over hoe ze het toch voor elkaar hebben gekregen om zoveel denkkracht in een bijna standaard behuizing te verstoppen.
Ik raad aan om te luisteren naar . Het was naar mijn smaak interessant.
Het kantoorontwerp is maximaal normaal. Relatief kleine rechthoekige kantoren, uitgesteld naar het raam, behoorlijk donker, wat een beetje benauwd was. Maar de sfeer was, ondanks de vrije dag, werkend.
De inrichting is in twee jaar niet veranderd. Sommige posters en borden waren leuk.
We walked through several rooms: R&D, systems engineers, FPGA specialists, held different types of SFPs in our hands, programmers, saw the first model where Smart was moved from the SFP to a wire — one of the first experiments — rather a Proof of Concept that it actually works.
They say some clients even find it convenient to have such a tail sticking out of the hardware.
The primary goal two years ago was to assemble a standard optical SFP that would at least transmit a signal.
Then we separately assembled the Smart part with a foreign SFP (just on a wire) to make sure they could actually combine the chips.
MetroTek has done tremendous work. Just think that in 2 years they assembled a fully functional optical module that is capable of encapsulation, telemetry, a precise time server, and interface conversion.
And at the same time, they managed to fine-tune (although this still needs to be verified over time) the basic functionality of signal transmission. There should be no attenuation, and there should not even be rare drops due to the SFP. Also, it shouldn’t heat up, despite a bunch of ASICs, FPGAs, and CPUs inside.
Bravo!
A complete computing system:
- CPU: NXP i.MX6 ARM up to 900 MHz
- FPGA: Lattice ECP5 up to 85K LUTs
- RAM: DDR3 up to 1 GB
Denis noted that the company practices and encourages knowledge and experience sharing. And I thought, "Isn't that how it should be? 0_o". — Yes, often people come to them who at their previous jobs were stuck in their own bubble, didn’t communicate, did double and triple work, and generally avoided attempts at communication.
And then I remembered that, just two years ago, I worked at an international company that was widely banned, where conferences were forbidden, and knowledge exchange was virtually non-existent. I was one of the evangelists for weekly meetings to exchange experiences, which seemed to save lonely engineers in remote regions.
In general, in MetroTek, internal trainings and lectures are held regularly, which makes them great.
Then we were taken to an amazing assembly shop. No matter how many times I've been there, my childhood excitement never fades.
MetroTek has equipment for printing on circuit boards right in the office.
Sjabloon voor het aanbrengen van soldeerballen, SMD-componentprinter (anders kan ik het gewoon niet noemen), een kleine oven voor het bakken van boards en daarnaast werkplekken voor handmatige assemblage.
Tot mijn verbazing ontdekte ik dat microchips met honderden pootjes ook met de hand gesoldeerd worden. Denis zegt dat hun jongens met verbazingwekkende precisie en snelheid de kleinste onderdelen solderen, en soms heeft het geen zin om de demon-machines te laten draaien — een mens doet het sneller.
We hebben intern de productielijn MetroTek Eltex-verilight genoemd, na een relatief recente rondleiding daar.
Bovendien is er in het kantoor een 3D-printer en een freesmachine voor interne doeleinden, waarop ze echter al medailles voor vorig jaar hebben gegraveerd. .
Daarna gingen we naar het ongelooflijk creatieve Krang Pizza, waar we met zijn allen de mutant-pizza-burger verorberden, zowel qua grootte als qua idee, en we gingen naar het kantoor van IQ Option, waar we de eerste aflevering opnamen. .
De volgende dag keken we ook nog even in het Lasercentrum op aanraden van Mamont, waar we een technocratische extase en een beetje een ontsteking van hebzucht ervaarden, maar dat is een apart verhaal.
Tot slot wil ik zeggen dat alle rondleidingen en ontmoetingen behoorlijk divers waren, zowel qua schaal als qua richting.
Miran, die ons hostingbedrijf gastvrij onderdak bood, groeit snel maar blijft toch vriendelijk eenvoudig.
Links is echt een geweldige datacenter, met veiligheid voorop en ervaren marketers.
RETN — jonge, vrolijke jongens 'uit de garages', die een gigantisch netwerk opbouwen en nog steeds een klein datacenter hebben en niet bang zijn om een klein vuurtje op het dak te stoken.
MetroTek is een relatief klein team van Russische hardware- en softwareontwikkelaars, die bijna 'met deze handen' een hoop meetapparatuur maken die meer dan concurrerend is, en het nu op een nieuwe markt probeert met een ambitieuze taak.
En het Lasercentrum, dat buiten de interesses van linkmeup valt, maar een object van onze persoonlijke interesse is. Het heeft een zeer positieve indruk achtergelaten en een gravure van een microfoon op de dictafoon.
Bron: habr.com
