První dny léta jsou ideální pro rozvojovou cestu do Petrohradu.
Navštívíme Miran, linxdatacenter, RETN a Metrotex.
5 ráno, Moskevské nádraží, KFC, nábřeží Moiky, Talíř, holubi na střechách, Isák, Marsovo pole, Captur z Yandex Drive a tady je — Miran.
Miran
Na Miranu už několik let sídlí naše laboratoř s Evou, server pro streamování, virtuální router MikroTik, hosting linkmeup s přístupem k IPv6 a nyní také hosting podcastů.
Před vstupem do Miranu nás nejprve přivítal impozantní DGU.
Většina diesel-generatorových jednotek je na kolech z dvou důvodů:
- Mobilita — v několika stovkách metrů jsou ještě další moduly Miranu. Mají své generátory — ale kdo ví — možná budeme muset přepravovat.
- Mobilita — nemusí být registrovány jako stacionární elektrárny, a tedy není potřeba projektová dokumentace.
DGU Miranu startuje v zimě i létě během několika sekund. Po tuto dobu celé datové centrum napájí akumulátorové baterie.
Železný HP ve stojanu Miranu a exkurze byly možné díky Fjodoru Rusakovovi.
Celá exkurze proběhla v útulné domácí atmosféře. Káva s sušenkami, diskuse o telekomunikacích, o kořenech společnosti, o převozu dvouset serverů z Moskvy do Petrohradu pod rouškou noci. Bez spěchu jsme se prošli dvěma budovami datového centra. Obě — BrownField — přestavěné z výrobních prostor. V první, patřící Miranu, kde jsme začali a kde jsme se na druhém patře nabíjeli po čtyřhodinové procházce po Petrohradu, se kdysi nacházela továrna na dieselové jednotky, skutečně obrovské dieselové jednotky. Vlastně tu druhé patro nebylo — byly tu obrovské brány, aby se dalo chodit tam a zpět. Vše bylo rozebráno, druhé patro bylo uděláno, aktivní chlazení, záložní napájení, plynový systém požární ochrany.
Klasický horký koridor, odkud se vzduch dodává do klimatizací a pod falešným podlahou do uzavřeného studeného koridoru.
Také pod falešným podlahou jsou skryty napájecí kabely.
Miran nevznikl jako platforma pro jednoho klíčového klienta, ale spíše systematicky rozvíjel nabídku na trhu, kde je poptávka.
Kdysi zde sídlila velká banka se všemi potřebnými mřížemi aSKUDy, ale ta už se odstěhovala.
Poptávka neustále rostla, Miran také, objevila se druhá budova — už na pronájem — také BrownField — dvě stě metrů od první. Cesta vede podél nábřeží Velké Něvky kolem domu Nobel.
Nová budova byla postavena na modulárním principu s možností přepravit celý modul v případě problémů s pronajímatelem. První dvě krabičky koupili od výrobce, třetí — už sestavili s ohledem na staré chyby.
Modulární architektura měla své nevýhody — jsou relativně úzké — horká chodba — 60 cm — dvěma lidem se nevyhnou. A co je nejdůležitější — náklady na stěhování, jak se při prvním výpočtu ukázalo, jsou srovnatelné se stavbou nového.
Ale vypadají jak zvenčí, tak uvnitř svěže a moderně.
NOC mají kluci na pravoslavném Linuxu, stabilním debianu.
Svoje jméno společnost, mimochodem, dostala od desky Systém Meridian Integrated Recorded Announcement (MIRAN) v telefonním spínači Meridian. A následně tak pojmenovali i datové centrum.
Datové centrum se rozhodli stavět v obtížném roce 2008.
Od té doby kluci poskytují dedikovaný server a zvon. V speciálních místnostech je nainstalováno vybavení operátorů.
A to klade určité omezení a vlastnosti na práci. Například v rozvaděčích stojí maximálně různorodé vybavení, jak co se týče strojů, tak co se týče síťových zařízení. V Miranovi jsem snad jen Aristu a Mellanox neviděl. Všechno vybavení vyžaduje různé teplotní podmínky v chladné chodbě, proto je nutné udržovat velmi nízkou úroveň — kolem 20 °C, takže o nízkém PUE nemůže být řeč — u Mirana je to 1,5.
Další nuance — se svatebními hady v rozvaděčích. Jakmile vpustíte do místnosti externí osoby se svými spojeními, pište, "krása je pryč". Nikdo nemá výjimky.
Bohužel, zavedení drakonických opatření může mít opačný efekt.
Poslední fotografie.
A pak merch od našeho stolu k vašemu a od vašeho našemu. Naložené celou partou do taxíku — a do linxu.
linxdatacenter
To jsou vážní kluci, na dočasném průkazu je dokonce napsáno "Security Matters". To bude leitmotivem celé exkurze.
Po perníkovém Miranovi v linxdatacenter chápete, že jste přišli do luxusního DCE. O víkendu se 4 lidé sešli, abychom fakticky nešli do centra města, abychom se ostatním pěti lidem, kteří sotva budou jejich klienty, představili 🙂
Doprovodila nás Maria Svišťunova k velkému jednacímu stolu. Pár nevážných rozhovorů u guatemalské kávy a hurá dál.
Exkurze tu probíhají na běžícím pásu. Maxim a Oleg znají svou práci: vyprávějí s lehkostí a zaujetím. Kde je potřeba, zdůrazní, a kde ne, tam to obejdou. Smysl pro humor mají také skvělý, takže více než dvě hodiny utekly jako nic.
Hrdostí datového centra je uptime 100 % od jeho spuštění v roce 2011.
Důvěra je tak vysoká, že na desetinové zlomky ani není místo na tabuli.
Linx je příkladem datového centra ve formátu GreenField. Budova byla speciálně postavena pro umístění datového centra. Výška stropů, pevnost překladů, napájecí vstupy, jejich zálohování a strukturovaná kabeláž byly zahrnuty do projektu již ve fázi výstavby.
Takže standardně podlaha unese rack s hmotností 800 kg, ale tuto hmotnost lze ještě zvýšit po dodatečném zesílení. Povídá se, že oráklové racky v hodnotě Falcon9 vyžadují zvláštní pozornost.
Samotné datové centrum je napájeno z plynové pístové jednotky, zatímco městská elektřina představuje pouze zálohu. Podle Maxima to bylo velmi správné rozhodnutí, protože během známého petrohradského blackout bylo poškozeno kancelářské a vedle stojící obchodní centrum, zatímco datové centrum pokračovalo v provozu.
Dieselový generátor zde už není přívěs na kolečkách, ale plně stacionární prostor s kouřovými komíny, které se tyčí vysoko nad krajinou.
Doba spuštění — maximálně dvě minuty, a na bateriích může celé datové centrum fungovat přibližně hodinu. Diesel může pracovat až 3 dny bez doplnění.
Všude je tady poctivost a promyšlenost.
Tohle je například klíčnice, kde si klienti datového centra mohou sami vyzvednout klíče od svých racků podle otisku prstu.
A toto je místnost, kde mohou klienti provádět jakékoli potřebné inženýrské práce, na zdi visí nářadí.
To už jsou police pro místní použití se vším nezbytným v každodenní práci:
Vždy je nabitý a připravený k práci.
Čepice začínajícího hiphopera na výše uvedeném obrázku zachránila hlavu nejednoho člověka. Je tvrdá jako přírodní helma — ideální pro lezení pod jedno a půl metru vysokým podlahovým systémem, kde vyčnívá nějaký ostrý kousek kovu.
Skutečně tu pracují zaměstnanci údržby:
Toto nenápadné zařízení je difmanometr.
Je navrženo k vyřešení jednoduchého úkolu – udržovat rozdíl tlaku mezi chodbou a strojovnou. Například proto, aby byl uvnitř mírně vyšší a při otevření dveří prach nevlétal dovnitř, ale naopak unikal od dveří.
Systém hasicího zařízení je také plynový – v případě nouze plyn vytlačuje kyslík a zastavuje hoření.
V linxu se dostanou jen vážní a velmi vážní lidé, kteří mají důvody pro paranoia velikosti Araratu.
Mřížky a samostatný od datacentrového SKUD – to je teprve začátek.
Když na řešení problému nebo na nové připojení přijedou dva lidé – jeden s fyzickým klíčem, druhý s elektronickým – to už je zajímavější. A když od klienta přijede auditor v brýlích, sestoupí pod podlahu, rozdělí dva plechy mřížek a říká, že tudy projde hlava dítěte, chápete, že člověk viděl v životě některé zajímavé věci.
Byly zábavné situace, kdy při navrhování klece zohlednili vše, co bylo možné, všechny bezpečnostní systémy, všechny rozměry, které umožňují přivést stojan a umístit do něj zařízení, ale jaksi nepřemýšleli o rozměrech inženýrů, kteří s ním budou pracovat. A ti se ani zepředu, ani z profilu nevejdou mezi klec a stojan.
Kdybych byl FSB, dal bych své železo do linxu 🙂
Po exkurzi jsme ještě poměrně dlouho seděli a příjemně si povídali s pizzou.
Z tohoto království bezpečnosti a pořádku jsme se vydali do RETNu.
RETN
S těmito kluky se známe už dlouho a blízko. Proto není překvapivé, že jsme se konečně sešli na jejich střeše, abychom opékali kebab a vyprávěli příběhy.
U nich jsme také už byli, i když se zdá, že jsme o tom nevyprávěli. Minulý rok se plány na obsazení stropů v Petrohradě nezdařily kvůli FIFA.
RETN je vlastně největší páteřní operátor s optickými vlákny po celé planetě. Jejich síti by mohl závidět jakýkoliv pavouk.
A DC na obvodové silnici je takový domácí projekt pro duši, který si našel svou niku na rostoucím trhu. Sem se dostanou ti, kdo potřebují silné propojení se světem a přístup k jiným místním operátorům.
Například v RETNu je CDN Netflixu.
S překvapením jsem zjistil, že každá jejich noha je individuálně podepsána nějakou frází.
A takové sváteční krabičky se rozvážejí v různých městech na POPách RETN (a zjevně nejen tam), aby k vám co nejrychleji doručily „Černé zrcadlo“ a „Penny Dreadful“.
Nabízí se tu také CDN od Googlu a spousta operátorů, jak místního, tak celostátního měřítka.
Vedle budovy RETN stojí dva drobné (ve srovnání s MiRanovým) dieselové generátory a auto s kanystry, aby mohlo zajet na čerpací stanici. Zní to skoro jako rodinný podnik.
A večerní jednání na střeše nás dovedlo k tomu, že RETN nám poskytne virtuální server pro záložní místo pro hosting podcastů a obrázků.
Celosvětoví hráči, super útulný datový středisko, ohromující svou rozlehlostí síť.
Pro někoho tento den skončil turnajem v Duke Nukem, pro někoho dlouho očekávaným spánkem v hotelu.
Druhý den jsme moc plánů neměli: Metrotex a živý podcast — .
Metrotex
Před měsícem zavítali na návštěvu telekomunikačního podcastu Denis, který vedl prohlídku petersburského kanceláře Metrotex (který se, mimochodem, od naší poslední návštěvy vůbec nezměnil), vlastně hned na prahu dal do ruky jeden z exemplářů.
Zprvu mě překvapilo, jak je hrubě vyrobený — jako by byl vyřezán z klíče na 32 vrtačkou a pilníkem.
Ukázalo se, že korpus zkušebního vzorku byl vytištěn na 3D tiskárně z kovového prášku, což je vidět na drsné povrchové úpravě. Ostatní — ty, co jsou připraveny na sérii — jsou v plně funkčním stavu.
Ale vůbec, když se na ně díváte, podivujete se, jak dokázali do téměř standardního korpusu ukrýt tolik mozků.
Doporučuji poslechnout si
podcast o Roze, Toze a sestře jejich Boze. Design kanceláře je maximálně obyčejný. Relativně malé obdélníkové kanceláře, protažené k oknu, dost tmavé, což trochu stresovalo. Ale atmosféra, navzdory víkendu, byla pracovně naladěná.
Dekorace se za dva roky nezměnily. Potěšily některé plakáty a nástěnky.
Úprava za dva roky zůstala nezměněná. Potěšily některé plakáty a nástěnky.
Prošli jsme několika místnostmi: R&D, systémáky, FPGA specialisty, drželi jsme v rukou různé typy SFP, programátory, viděli jsme první model, kde bylo Smart přeneseno z SFP na kabel — jeden z prvních experimentů — spíše důkaz konceptu, že to vůbec funguje.
Říká se, že některým klientům to dokonce vyhovuje, když jim z hardwaru trčí takový ocas.
Naším prvním cílem před dvěma lety bylo sestavit běžné optické SFP, které bude alespoň přenášet signál.
Potom jsme zvlášť sestavili Smart část s cizí SFP (právě na kabelu), abychom se ujistili, že jsou schopni poskládat čipy.
Metrotek odvedl obrovský kus práce. Stačí si pomyslet, že za 2 roky sestavili plně funkční optický modul, který ovládá enkapsulaci, telemetrii, server přesného času a konvertor rozhraní.
A přitom vyladili až k dokonalosti (i když to ještě bude potřeba ověřit časem) základní funkčnost přenosu signálu. Neměly by být ztráty, neměly by být ani vzácné ztráty na vině SFP. A také by se to nemělo zahřívat, i přes hromadu ASICů, FPGA a CPU uvnitř.
Bravo!
Plnohodnotný výpočetní systém:
- CPU: NXP i.MX6 ARM až 900 MHz
- FPGA: Lattice ECP5 až 85K LUTs
- RAM: DDR3 až 1 GB
Denis poznamenal, že ve společnosti se praktikují a podporují výměny znalostí a zkušeností. A tady mě napadlo: „Existuje snad jiný způsob? 0_о“. — Ano, často k nim přicházejí lidé, kteří na předchozím pracovním místě vařili ve vlastní šťávě, nekomunikovali, dělali dvojnásobnou a trojnásobnou práci a celkově se vyhýbali pokusům o komunikaci.
A vzpomněl jsem si, že před dvěma lety jsem pracoval v jedné mezinárodní široce zabanované společnosti, kde byly konference zakázané a výměna znalostí absentovala jako kategorie. A právě já jsem byl jedním z evangelistů týdenních schůzek pro výměnu zkušeností, které zřejmě zachraňovaly osamělé inženýry v odlehlých regionech.
Celkově se v Metroteku pravidelně konají interní školení a přednášky, proto jsou tak úspěšní.
A pak nás zavedli do úžasné montážní dílny. Kolikrát jsem je navštívil, zdá se, že můj dětský nadšení nikdy nevyprchá.
Ve společnosti Metrotek je přímo v kanceláři vybavení pro tisk na deskách.
Šablona pro nanášení pájecích kuliček, tiskárna SMD komponentů (jinak to nazvat prostě nemohu), malá pec na vypalování desek a vedle pracovní místa pro ruční montáž.
S překvapením jsem se dozvěděl, že mikročipy se stovkami nožiček se také připájejí ručně. Denis říká, že jejich kluci s překvapující přesností a rychlostí pájejí nejmenší detaily a někdy není smysl spouštět mašinu – člověk to udělá rychleji.
Mezi sebou jsme nazvali výrobní linku Metrótek Eltx-verilajt, na vlně poměrně nedávné exkurze k nim.
Kromě toho je v kanceláři 3D tiskárna a frézka pro interní potřeby, na které už gravírovali medaile pro minulý rok. .
Odtud jsme zamířili do úžasného, svojí myšlenkovou náplní Krang Pizza, kde jsme plně poplnili tým linkmeup a snědli mutantní pizzu-burger, co do velikosti i smyslu, a vyrazili do kanceláře IQ Option, kde jsme natočili první vydání. .
Další den jsme ještě navštívili Laserové centrum podle doporučení Mamonta, kde jsme zažili technokratický extázi a trochu zánět chamtivosti, ale o tom bude samostatný příběh.
Na závěr bych chtěl říct, že všechny exkurze a setkání byly velmi rozmanité, jak po rozsahu akce, tak po zaměření.
Miran, který pohostinně přijal náš hosting, rychle rostoucí, ale stále přátelsky jednoduchý.
Links – opravdové cool datacentrum, s bezpečností na prvním místě a zkušenými marketingovými profesionály.
RETN – mladí veselí kluci „z garáže“, kteří budují obrovskou síť a zatím malý datový středisko a nebrání se rozdělání ohníčku na střeše.
Metrótek – relativně malý tým ruských vývojářů hardwaru a softwaru, který dělá téměř „těmito rukama“ hromadu měřicího více než konkurenceschopného vybavení, a teď vstupuje na nový trh s ambiciózním cílem.
A Laserové centrum, které přesahuje zájmy linkmeup, ale je objektem našich osobních zájmů. Zanechal velmi příjemný dojem a gravírování mikrofonu na diktafonu.
Zdroj: habr.com
