Początek lata to doskonały czas na rozwijającą podróż do Petersburga.
Odwiedzimy Miran, linxdatacenter, RETN i Metrotex.
5 rano, Dworzec Moskiewski, KFC, nabrzeże Mojki, Talerz, gołębie na dachach, Izaak, Pole Marsowe, Kaptyr z yandexodrive, i oto jest — Miran.
Miran
W Miranie już od kilku lat mieszka nasze laboratorium z Ewą, serwer transmisji, wirtualny router Mikrotik, hosting linkmeup z dostępnością IPv6 i teraz także hosting podcastów.
Przy wejściu do Mirana powitał nas najpierw potężny DGU.
Większość Układów Generatorów Diesla stoi na kołach z dwóch powodów:
- Mobilność — w promieniu kilkuset metrów znajduje się kilka innych modułów Mirana. Mają swoje generatory — ale skąd wiadomo — może trzeba będzie je przetransportować.
- Mobilność — nie trzeba ich rejestrować jak stacjonarne elektrownie, a tym samym, nie jest wymagana dokumentacja projektowa.
DGU Mirana uruchamia się zimą i latem w ciągu kilku sekund. W tym czasie cały data center zasilają akumulatory.
Zarówno stalowy HP w szafie Mirana, jak i wycieczka były możliwe dzięki Fiodorowi Rusakowowi.
Cała wycieczka odbyła się w przytulnej domowej atmosferze. Kawa z ciasteczkami, rozmowa o telekomunikacji, o korzeniach firmy, o przewozie dwustu serwerów z Moskwy do Petersburga pod osłoną nocy. Powoli przeszliśmy przez dwa budynki data center. Oba — BrownField — przerobione z pomieszczeń fabrycznych. W pierwszym, należącym do Mirana, z którego zaczęliśmy i gdzie na drugim piętrze naładowaliśmy się po czterogodzinnej wędrówce po Petersburgu, wcześniej znajdowała się fabryka urządzeń diesla, naprawdę gigantycznych urządzeń diesla. W rzeczywistości drugiego piętra nie było — były ogromne bramy, aby wchodzić i wychodzić. Wszystko rozebrano, drugie piętro zbudowano, aktywne chłodzenie, zasilanie awaryjne, gazowy system przeciwpożarowy.
Klasyczny gorący korytarz, z którego powietrze jest dostarczane do klimatyzatorów i pod podłogą techniczną do zamkniętego zimnego korytarza.
Pod podłogą techniczną ukryte są również przewody zasilające.
Miran nie powstał jako miejsce dla jednego dużego klienta, lecz raczej stopniowo rozwijał ofertę na rynku, gdzie jest popyt.
Dawniej znajdował się tu dużym bank z wszystkimi niezbędnymi kratami i systemami kontroli dostępu, ale już się wyprowadził.
Popyt nadal rósł, tak samo jak Miran, powstał drugi budynek - już na wynajem - również BrownField - dwieście metrów od pierwszego. Droga biegnie wzdłuż nadbrzeża Wielkiej Newki obok domu Nobla.
Nowy budynek wybudowano na zasadzie modułowej z możliwością całkowitego przeniesienia modułu w razie problemów z wynajmującym. Pierwsze dwa moduły zakupiono u producenta, trzeci - zbudowano uwzględniając wcześniejsze błędy.
Modułowa architektura ma swoje wady - są stosunkowo wąskie - gorący korytarz - 60 cm - dwóm osobom trudno się minąć. A co najważniejsze - koszt przeprowadzki, jak się okazało przy pierwszym wyliczeniu, jest porównywalny z budową nowego.
Jednak wyglądają one zarówno na zewnątrz, jak i wewnątrz świeżo i modnie.
NOC u chłopaków na ortodoksyjnym Linuksie, stabilnym debianie.
Swoją nazwę firma zresztą otrzymała od płyty System Meridian Integrated Recorded Announcement (MIRAN) w telefonicznym przełączniku Meridian. A następnie tak nazwano również centrum danych.
Centrum danych zdecydowano się budować w trudnym roku 2008.
Od tego czasu chłopaki dostarczają dedyki i dzwon. W specjalnych pomieszczeniach zainstalowano sprzęt operatorów.
To narzuca pewne ograniczenia i szczególne cechy pracy. Na przykład w szafach stoi maksymalnie różnorodny sprzęt, zarówno pod względem maszyn, jak i pod względem sieci. W Miranie chyba tylko Aristy i Mellanoxy nie widziałem. Cały sprzęt stawia różne wymagania dotyczące temperatury w zimnym korytarzu, dlatego trzeba utrzymywać ją na bardzo niskim poziomie – około 20°C, więc o niskim PUE nie możemy mówić – w Miranie wynosi on 1,5.
Jeszcze jeden szczegół - z wężowymi ślubami w szafach. Gdy tylko wpuszczycie do pomieszczenia zewnętrznych towarzyszy z ich połączeniami, piszcie »znikła uroda«. Nikt nie ma wyjątków.
Niestety, wprowadzanie drakońskich środków może okazać się szkodliwe.
Ostatnie zdjęcia.
A potem merch z naszego stołu do waszego i z waszego do naszego. Wszyscy wsiedliśmy do taksówki - i do linx.
linxdatacenter
To poważni goście, na czasowym zezwoleniu nawet napisano »Bezpieczeństwo ma znaczenie«. To będzie przewodni motyw całej wycieczki.
Po piernikowym Miranie w linxdatacenter rozumiesz, że przybyłeś do luksusowego centrum danych. W swój dzień wolny cztery osoby zjechały się, powiedzmy, nie do centrum miasta, aby opowiedzieć o sobie pięciu innym osobom, które zaledwie mogą stać się ich klientami 🙂
Maria Swistunowa powitała nas i zaprowadziła do dużego stołu negocjacyjnego. Trochę luźnych rozmów przy gwatemalskiej kawie i do przodu.
Wycieczki są tu na porządku dziennym. Maksym i Oleg znają się na rzeczy: opowiadają według utartego schematu: jasno i z pasją. Tam, gdzie to konieczne, kładą akcent, a gdzie nie – omijają temat. Poczucie humoru jest również na bardzo wysokim poziomie, więc ponad dwie godziny minęły niepostrzeżenie.
Dumą Centrum Danych jest uptime na poziomie 100% od momentu uruchomienia w 2011 roku.
Pewność jest tak duża, że nie przewidziano nawet miejsca na tablicy dla dziesiątych części.
Linx to przykład centrum danych w formacie GreenField. Budynek został specjalnie zaprojektowany do umiejscowienia w nim centrum danych. Dlatego wysokość sufitów, nośność stropów, zasilanie oraz jego rezerwacja, a także systemy kablowe – to wszystko było uwzględnione w projekcie już na etapie budowy.
Tak, z definicji podłoga wytrzymuje obciążenie do 800 kg, ale masę można jeszcze zwiększyć po dodatkowym wzmocnieniu. Mówi się, że regały warte Falcon9 wymagają szczególnego traktowania.
Same centrum danych jest zasilane z gazowo-tłokowej instalacji, a miejskie zasilanie elektryczne traktowane jest jedynie jako rezerwa. Jak mówi Maksym – to było bardzo dobre rozwiązanie, ponieważ w czasie głośnego blackout'u w Petersburgu biuro i pobliski biurowiec ucierpiały, podczas gdy centrum danych kontynuowało pracę.
Generator diesla nie jest już przyczepą na kołach, lecz całkowicie stacjonarnym budynkiem z kominami wznoszącymi się wysoko nad krajobrazem.
Czas uruchomienia wynosi nie więcej niż dwie minuty, a na akumulatorach całe centrum danych może pracować przez około godzinę. Generator diesel może funkcjonować przez 3 dni bez tankowania.
Wszystko tutaj emanuje porządkiem i przemyślanym rozwiązaniem.
Na przykład to miejsce kluczy, gdzie klienci centrum danych mogą sami za pomocą odcisku palca wziąć klucze do swoich regałów.
A to pomieszczenie, w którym klienci mogą przeprowadzać wszelkie potrzebne im prace inżynieryjne, do czego na ścianie wisi narzędzie robocze.
To są już półki do codziennych zastosowań z wszystkimi niezbędnymi przedmiotami w codziennej pracy:
Zawsze jest naładowane i gotowe do pracy.
Czapka początkującego hiphopera na powyższym zdjęciu uratowała niejedną głowę. Jest twarda jak naturalny kask – idealna do wspinania się pod półtorametrową podłogą, gdzie czasami wystaje jakaś ostra stalowa część.
To właściwie pracownicy z działu eksploatacji:
To urządzenie, które na pierwszy rzut oka nie wyróżnia się niczym szczególnym — to manometr różnicowy.
Jego zadaniem jest rozwiązanie prostego problemu — utrzymanie różnicy ciśnień między korytarzem a pomieszczeniem maszynowym. Na przykład po to, by wewnątrz było nieco wyżej, a przy otwieraniu drzwi kurz nie dostawał się do środka, lecz wręcz przeciwnie — odlatywał od drzwi.
System gaszenia pożaru też działa na gaz — w razie niebezpieczeństwa gaz wypiera tlen i tłumi ogień.
W Linxie pracują tylko poważni i bardzo poważni ludzie, którzy mają powody do paranoi wielkości Araratu.
Kraty i oddzielny od systemu kontroli dostępu w centrach danych — to tylko początek.
Kiedy na rozwiązanie problemu lub nową komunikację przyjeżdżają dwie osoby — jedna z kluczem materialnym, druga z elektronicznym — to już ciekawsza sprawa. A kiedy klient przysyła audytora w okularach, który schodzi pod podłogę techniczną, odsłania dwa arkusze krat i mówi, że tutaj zmieści się głowa dziecka, rozumiesz, że człowiek widział w swoim życiu sporo interesujących rzeczy.
Były zabawne sytuacje, gdy podczas projektowania klatki uwzględniono wszystko, co tylko możliwe, wszystkie systemy bezpieczeństwa, wszystkie wymiary umożliwiające wprowadzenie szafki i umieszczenie w niej sprzętu, ale jakoś nie pomyślano o wymiarach inżynierów, którzy będą z nim pracować. A oni ani na front ani w profilu nie mieszczą się między klatką a szafką.
Gdybym był FSB, postawiłbym swój sprzęt w Linxie 🙂
Po wycieczce jeszcze przez długi czas siedzieliśmy, towarzysko rozmawiając przy pizzy.
Z tego królestwa bezpieczeństwa i porządku ruszyliśmy do RETN.
RETN
Z tymi facetami znaliśmy się już od dawna i blisko. Dlatego nic dziwnego, że w końcu zebraliśmy się na ich dachu, by upiec szaszłyki i opowiadać anegdoty.
Byliśmy też u nich, chociaż wydaje się, że nie opowiadaliśmy. W zeszłym roku plany zdobycia dachów w Petersburgu nie wypaliły z powodu Mistrzostw Świata.
RETN jest zresztą największym operatorem magistralnym z włóknem na całej planecie. Ich sieci mogliby pozazdrościć wszyscy pająki.
A DC na obwodowej to taki domowy projekt dla duszy, który znalazł swoją niszę na rosnącym rynku. Znajdują się tutaj ci, którzy potrzebują dużej łączności ze światem i dostępu do innych lokalnych operatorów.
Na przykład w RETNie znajduje się CDN Netflixa.
Zdziwiłem się, że każdy ich węzeł jest indywidualnie podpisany ręcznie jakąś frazą.
I takie świąteczne paczki są transportowane do różnych miast na POP-ach RETN-a (i, jak się okazuje, nie tylko jego), dostarczając do Ciebie jak najszybciej «Czarne lustro» i «Ostrym krawędziom».
Mamy tutaj również Google CDN oraz wielu operatorów, zarówno lokalnych, jak i federalnych.
Obok budynku RETN’a stoją dwa małe (w porównaniu do miranowskiego) generatory diesel i samochód z kanistrami, żeby pojechać na stację paliw. Brzmi prawie jak rodzinny interes.
A wieczorne rozmowy na dachu doprowadziły nas do tego, że RETN wyda nam wirtualną maszynę na zapasowy hosting podkastów i zdjęć.
Globalni gracze, super funky centrum danych, sieć robiąca wrażenie swoim rozmiarem.
Dla niektórych ten dzień zakończył się turniejem w Duke Nukem, a dla innych długo oczekiwanym snem w hotelu.
Następnego dnia mieliśmy niewiele planów: Metrotek i podcast na żywo — .
Metrotek
Zaledwie miesiąc temu w gościnie telekom-podcastu Michał Sokołow i Denis Gabidullin z NTT Metrotek slash Plumspace, i rozkładaliśmy, czym jest Smart SFP. A teraz mogliśmy ich dotknąć na żywo.
Denis, prowadzący wycieczkę po biurze Metrotek w Petersburgu (które, nawiasem mówiąc, nie zmieniło się od naszej ostatniej wizyty), właściwie od progu oddał w ręce jeden z prototypów.
Na początku byłem zaskoczony, jak prymitywnie jest on wykonany — jakby wycięty piłą i pilnikiem z klucza na 32.
Okazało się, że obudowa prototypu została wydrukowana w 3D z proszku metalowego, co widać po chropowatej powierzchni. Inne — te, które są gotowe do serii — są w porządku.
Jednak ogólnie, patrząc na nie, zadziwia, jak udało im się w prawie standardowej obudowie ukryć taką ilość mózgów.
Zalecam posłuchanie . Na mój gust wyszło ciekawie.
Wystrój biura jest maksymalnie zwyczajny. Porównywalnie małe prostokątne pokoje, rozwinięte w stronę okna, dość ciemne, co trochę przytłaczało. Ale atmosfera, mimo weekendu, była pracująca.
Wystrój przez dwa lata nie zmienił się. Ucieszyły mnie niektóre plakaty i tablice.
Odwiedziliśmy kilka pomieszczeń: R&D, systemowców, FPGA-owców, mieliśmy w rękach różne rodzaje SFP, programatory, zobaczyliśmy pierwszy model, w którym Smart zostało wyprowadzone z SFP na przewodzie — jeden z pierwszych eksperymentów — raczej Proof of Concept, że to w ogóle działa.
Mówią, że niektórzy klienci cenią sobie, gdy z ich sprzętu wystaje taki ogon.
Pierwszym celem dwa lata temu było zbudowanie zwykłego optycznego SFP, które przynajmniej będzie przesyłać sygnał.
Następnie osobno składali część Smart z obcego SFP (właśnie na sznurku), aby upewnić się, że potrafią skomponować chipy.
Metrotek wykonał ogromną pracę. Pomysleć tylko, że przez 2 lata stworzono w pełni działający moduł optyczny, który obsługuje enkapsulację, telemetrię, serwer czasu oraz konwerter interfejsów.
I jednocześnie doprowadzono do ideału (chociaż to jeszcze trzeba będzie zweryfikować z czasem) podstawową funkcjonalność w zakresie przesyłania sygnału. Nie powinno być tłumienia, nie powinno być nawet rzadkich utrat sygnału z winy SFP. I nie powinno się przegrzewać, mimo dużej ilości ASIC-ów, FPGA i CPU wewnątrz.
Brawo!
Pełnoprawny system obliczeniowy:
- CPU: NXP i.MX6 ARM do 900 MHz
- FPGA: Lattice ECP5 do 85K LUTs
- RAM: DDR3 do 1 GB
Denis zauważył, że w firmie praktykuje się i wspiera wymianę wiedzy i doświadczeń. I wtedy pomyślałem: „Czyż nie zdarza się inaczej? 0_о”. — Tak, często przychodzą do nich ludzie, którzy w poprzednich miejscach pracy utknęli w swojej bańce, nie komunikowali się, wykonywali podwójną i potrójną pracę i generalnie unikali prób komunikacji.
I tu przypomniałem sobie, że nie dalej niż dwa lata temu pracowałem w jednej międzynarodowej, szeroko zbanowanej firmie, gdzie konferencje były zakazane, a wymiana wiedzy nie istniała jako klasa. I to ja byłem jednym z ewanгелistów cotygodniowych spotkań wymiany doświadczeń, które, wydaje się, ratowały samotnych inżynierów w odległych regionach.
W Metrotek regularnie odbywają się wewnętrzne szkolenia i wykłady, za co ich chwalimy.
A następnie zaprowadzili nas do zdumiewającej hali montażowej. Ile razy bym tam nie był, wydaje się, że moja dziecięca radość nie wygasa.
W Metrotek w biurze znajduje się wyposażenie do druku na płytkach.
Szablon do nanoszenia topników lutowniczych, drukarka komponentów SMD (inaczej nie mogę tego nazwać), mały piec do wypiekania płytek oraz miejsca pracy do montażu ręcznego.
Z zaskoczeniem dowiedziałem się, że mikrochipy z setkami nóżek również lutuje się ręcznie. Denis mówi, że ich chłopcy lutują najmniejsze elementy z niesamowitą precyzją i szybkością, a czasami nie ma sensu uruchamiać szatana-maszynę — człowiek zrobi to szybciej.
Nazwaliśmy linię produkcyjną Metrоtek Eltex-verilight, na fali stosunkowo niedawnej wycieczki do nich.
Ponadto w biurze znajduje się drukarka 3D i frezarka do potrzeb wewnętrznych, na której jednak już wygrawerowano medale na zeszłoroczne. .
Stamtąd udaliśmy się do niesamowitego pod względem pomysłów Krang Pizza, gdzie w pełnym składzie linkmeup pochłonęliśmy mutantyczną, zarówno pod względem wielkości, jak i sensu, pizzę-burgera i ruszyliśmy do biura IQ option, gdzie nagraliśmy pierwszy odcinek. .
Następnego dnia jeszcze wstąpiliśmy do Centrum Laserowego na polecenie Mamonta, gdzie doświadczyliśmy technokratycznego ekstatyzmu i trochę wzrostu chciwości, ale o tym będzie osobna historia.
Na zakończenie chciałbym powiedzieć, że wszystkie wycieczki i spotkania były bardzo różne, zarówno pod względem skali działań, jak i kierunków.
Miran, który gościnnie przyjął w swoim hostingu, szybko się rozwija, ale wciąż jest przyjacielsko prosty.
Links to naprawdę fajny data center, z bezpieczeństwem na pierwszym miejscu i doświadczonymi marketerami.
RETN - młodzi, wesołe chłopaki z "garaży", którzy budują ogromną sieć i na razie mają tylko małe centra danych i nie są przeciwni rozpalenia ogniska na dachu.
Metrоtek to stosunkowo mały zespół rosyjskich deweloperów sprzętu i oprogramowania, który tworzy prawie "własnoręcznie" stos sprzętu pomiarowego, bardziej niż konkurencyjnego, a teraz wchodzi na nowy rynek z ambitnym celem.
I Centrum Laserowe, które wykracza poza zainteresowania linkmeup, ale jest obiektem naszych osobistych zainteresowań. Zostawiło bardzo przyjemne wrażenie i wygrawerowano mikrofon na dyktafonie.
Źródło: habr.com
