Spustili jsme nové služby, provoz rostl, měnili jsme servery, připojovali nové platformy a předělávali datacentra – a nyní vám povíme tento příběh, jehož začátek jsme vám představili před pěti lety..
Pět let je typický čas pro shrnutí mezičasu. Proto jsme se rozhodli sdělit vám, jak se vyvíjela naše infrastruktura, která během pěti let prošla překvapivě zajímavým vývojem, na který jsme hrdí. Uskutečněné kvantitativní změny přešly do kvalitativních, nyní infrastruktura může pracovat v režimech, které na začátku uplynulé dekády vypadaly jako sci-fi.
Zajišťujeme provoz nejkomplexnějších projektů s nejpřísnějšími požadavky na spolehlivost a zátěž, mezi nimiž jsou PREMIER a Match TV. Na sportovních přenosech a na premiérách populárních seriálů je třeba přenosu dat v terabitech/s, což snadno realizujeme a tak často, že práce s takovými rychlostmi se pro nás dávno stala běžnou záležitostí. A před pěti lety byl nejnáročnějším projektem, který běžel na našich systémech, Rutube, který od té doby rostl, zvyšoval objemy a provoz, což bylo třeba zohlednit při plánování zátěží.
Zmiňovali jsme se o tom, jak jsme rozvíjeli „hardware“ naší infrastruktury () a vyvíjeli systém odpovědný za přenos videa (), ale od napsání těchto textů uplynulo hodně času, byla vytvořena a implementována řada dalších řešení, jejichž výsledky nám umožňují odpovídat dnešním požadavkům a být dostatečně pružní, abychom se přizpůsobili novým úkolům.
Jádro sítě neustále rozvíjíme. Na zařízení Cisco jsme přešli v roce 2015, o čemž jsme se zmiňovali už v předchozím článku. Tehdy to bylo stále 10/40G, ale z pochopitelných důvodů jsme během několika let modernizovali stávající šasi a nyní aktivně používáme i 25/100G.
Linky 100G už dávno nejsou ani luxusem (spíše jsou naléhavým požadavkem doby v našem segmentu), ani vzácností (čím dál více operátorů poskytuje připojení o těchto rychlostech). Nicméně, 10/40G zůstává relevantní: prostřednictvím těchto odkazů i nadále připojujeme operátory s malým objemem dat, u kterých v současnosti není rozumné využívat výkonnější port.
Naše vzniklé síťové jádro si zaslouží samostatné zhodnocení a později se stane tématem samostatného článku. Tam se ponoříme do technických detailů a prozkoumáme logiku našich činů při jeho vytváření. Ale nyní budeme pokračovat v nákresu infrastruktury poněkud schematicky, protože vaše pozornost, vážení čtenáři, není nekonečná.
Servery pro streaming videa se rychle vyvíjejí, a proto nabízíme nemalé úsilí. Zatímco dříve jsme používali převážně servery 2U se 4-5 síťovými kartami, přičemž každá karta měla dva 10G porty, nyní většina datového toku pochází ze serverů 1U, které mají 2-3 karty, přičemž každá má dva 25G porty. Karty s 10G a 25G se cenově téměř vyrovnaly, a rychlejší řešení umožňují poskytovat jak při 10G, tak 25G. Výsledkem je zřejmá úspora: méně komponentů serveru a kabelů pro připojení – nižší cena (a vyšší spolehlivost), komponenty zaberou méně místa v racku – bylo možné umístit větší počet serverů na jednotkovou plochu a tím pádem se snížila i cena pronájmu.
Ale důležitější je zvýšení rychlosti! Nyní můžeme s 1U poskytovat více než 100G! A to v situaci, kdy některé velké ruské projekty považují za „úspěch“ poskytování 40G s 2U. Ať mají jejich problémy!
Všimněte si, že generaci síťových karet, které umějí pracovat pouze na 10G, nadále používáme. Toto zařízení stabilně funguje a je nám výborně známé, proto jsme ho nevyřadili, ale našli jsme mu nové využití. Tyto komponenty jsme nainstalovali do serverů pro ukládání videa, kterým už pro efektivní provoz zjevně nestačí jedno nebo dvě 1G rozhraní, zde se 10G karty staly aktuálními.
Úložné systémy také rostou. Během uplynulých pěti let se z dvanáctidiskových (12x HDD 2U) staly třicetšestidiskové (36x HDD 4U). Takové objemné "skříňky" se někteří bojí používat, protože v případě poruchy jednoho takového šasi může hrozit snížení výkonu – a dokonce i funkčnosti! – celého systému. Ale u nás se to nestane: zajistili jsme zálohování na úrovni georozložených kopií dat. Rozložili jsme šasi do různých datových center – používáme celkem tři – což eliminuje vznik problémů jak při selhání šasi, tak při výpadku areálu.
Samozřejmě, takový přístup učinil hardwarový RAID nadbytečným, od kterého jsme upustili. Tím, že jsme se zbavili redundantnosti, jsme zároveň zvýšili spolehlivost systému, zjednodušili řešení a odstranili jeden z potenciálních bodů selhání. Připomeňme, že naše úložiště jsou "na míru vyrobená". K tomu jsme se rozhodli zcela vědomě a výsledek nás plně uspokojil.
Datová centra během posledních pěti let jsme měnili několikrát. Od doby napsání předchozího článku jsme nezměnili pouze jedno datové centrum – DataLine – ostatní vyžádaly výměnu, jak se naše infrastruktura vyvíjela. Všechny přesuny mezi areály byly plánované.
Před dvěma lety jsme migrovali uvnitř MMTS-9, přestoupili na místo s kvalitní rekonstrukcí, dobrým chladicím systémem, stabilním napájením a bez prachu, který dříve pokrýval silné vrstvy na všech površích a hojně zanášel vnitřnosti našeho vybavení. Výběr v prospěch kvalitních služeb – a absence prachu! – byl důvodem našeho přesunu.
Téměř vždy "jeden přesun se rovná dvěma požárům", ale problémy při migraci jsou pokaždé různé. Tentokrát hlavní obtíž při přesunu uvnitř jednoho datového centra "zajistily" optické krosy – jejich mezi-patrové množství bez sloučení do jedné krosové skříňky ze strany telekomunikačních operátorů. Proces aktualizace a přeplánování krosování (v čemž nám pomohli inženýři MMTS-9) byl, možná, nejkomplikovanějším etapou migrace.
Druhá migrace proběhla před rokem, v roce 2019 jsme se přestěhovali z méně kvalitního datového centra do O2xygen. Důvody přestěhování byly podobné těm uvedeným výše, ale přidala se k nim i problém atraktivity výchozího datového centra pro operátory – mnohé poskytovatele bylo nutné "dotáhnout" do tohoto bodu vlastními silami.
Migrace 13 racků na kvalitní prostor v MMTS-9 umožnila rozvíjet tuto lokaci nejen jako operátorskou (několik racků a "propojení" operátorů), ale i využít ji jako jednu z hlavních. To značně zjednodušilo migraci z méně kvalitního datového centra – většinu vybavení jsme přemístili na jinou lokalitu a O2xygen jsme přidělili roli rozvíjejícího se, když jsme tam poslali 5 racků s vybavením.
Dnes je O2xygen plnohodnotným prostorem, do kterého přišli potřební operátoři a nadále se připojují noví. Pro operátory byl O2xygen také atraktivní z hlediska strategického rozvoje.
Hlavní fázi stěhování vždy provádíme přes noc, a při migraci uvnitř MMTS-9 a na O2xygen jsme se tohoto pravidla drželi. Zdůrazňujeme, že pravidlo "stěhování přes noc" přísně dodržujeme bez ohledu na počet racků! Dokonce byl i precedent, kdy jsme přesouvli 20 racků a zvládli to také za jednu noc. Migrace je relativně jednoduchý proces, vyžadující preciznost a posloupnost, ale i tam existují určité finty, ať už v procesu přípravy, při stěhování nebo při nasazování na nové lokaci. O migraci v detailech jsme připraveni podrobně hovořit, pokud budete mít zájem.
Výsledky Pětiletky rozvoje se nám líbí. Dokončili jsme vybudování nové odolné infrastruktury rozložené ve třech datových centrech. Výrazně jsme zvýšili hustotu přenosu dat – pokud jsme nedávno s 2U byli rádi za 40-80G, nyní je pro nás normou dodávat 100G s 1U. Nyní i terabitový provoz vnímáme jako samozřejmost. Jsme připraveni dále rozvíjet naši infrastrukturu, která se ukázala jako flexibilní a škálovatelná.
Otázka: O čem bychom se s vámi, vážení čtenáři, měli podělit v následujících textech? O tom, proč jsme začali vytvářet vlastní systémy pro ukládání dat? O síťovém jádru a jeho specifikacích? O trikách a nuancích migrace mezi datovými centra? O optimalizaci řešení pro výkon skládáním komponentů a jemným laděním parametrů? O vytváření odolných řešení prostřednictvím opakovaného zálohování a horizontálních možností škálování v rámci datového centra, které bylo realizováno ve struktuře tří DC?
Autor: Petr Vinogradov — Technický ředitel Uma.Tech
Zdroj: habr.com
