Spustili sme nové služby, návštevnosť rástla, vymenili servery, pripojili nové stránky a prerobili dátové centrá – a teraz vám povieme tento príbeh, ktorého začiatok sme vám predstavili pred piatimi rokmi.
Päť rokov je typický čas na zhrnutie priebežných výsledkov. Preto sme sa rozhodli porozprávať o rozvoji našej infraštruktúry, ktorá za posledných päť rokov prešla prekvapivo zaujímavou cestou rozvoja, na ktorú sme hrdí. Kvantitatívne zmeny, ktoré sme zaviedli, sa zmenili na kvalitatívne; teraz môže infraštruktúra fungovať v režimoch, ktoré sa v polovici minulého desaťročia zdali fantastické.
Zabezpečujeme prevádzku najkomplexnejších projektov s najprísnejšími požiadavkami na spoľahlivosť a záťaž, vrátane PREMIER a Match TV. Športové prenosy a premiéry populárnych televíznych seriálov si vyžadujú návštevnosť v terabitoch/s, my to jednoducho implementujeme, a tak sa často stáva, že práca s takýmito rýchlosťami je pre nás už dávno samozrejmosťou. A pred piatimi rokmi bol najťažším projektom, ktorý bežal na našich systémoch, Rutube, ktorý sa odvtedy vyvinul, zvýšil objemy a návštevnosť, čo bolo potrebné vziať do úvahy pri plánovaní záťaže.
Hovorili sme o tom, ako sme vyvinuli hardvér našej infraštruktúry () a vyvinula systém zodpovedný za nahrávanie videí (), no od napísania týchto textov ubehlo veľa času, vzniklo a implementovalo sa mnoho ďalších riešení, ktorých výsledky nám umožňujú spĺňať moderné požiadavky a byť dostatočne flexibilní, aby sme sa prispôsobili novým úlohám.
Jadro siete Neustále sa rozvíjame. V roku 2015 sme prešli na zariadenia Cisco, ktoré sme spomínali v predchádzajúcom článku. Vtedy to bolo stále to isté 10/40G, ale z pochopiteľných dôvodov po niekoľkých rokoch modernizovali existujúci podvozok a teraz aktívne používame 25/100G.
100G spojenia už dávno nie sú luxusom (v našom segmente ide skôr o naliehavú požiadavku doby), ani vzácnosťou (pripojenie v takýchto rýchlostiach poskytuje čoraz viac operátorov). 10/40G však zostáva relevantné: prostredníctvom týchto odkazov naďalej spájame operátorov s malým objemom prevádzky, pre ktorý je v súčasnosti nevhodné používať priestrannejší port.
Jadro siete, ktoré sme vytvorili, si zaslúži samostatnú úvahu a o niečo neskôr sa stane témou samostatného článku. Tam sa ponoríme do technických detailov a zvážime logiku nášho konania pri jeho vytváraní. Teraz však budeme pokračovať v kreslení infraštruktúry schematickejšie, pretože vaša pozornosť, milí čitatelia, nie je neobmedzená.
Video výstupné servery vyvíjať rýchlo, za čo ponúkame veľa úsilia. Ak sme predtým používali hlavne 2U servery so 4-5 sieťovými kartami s dvoma 10G portami, teraz je väčšina prevádzky odosielaná z 1U serverov, ktoré majú 2-3 karty s dvoma 25G portami. Karty s 10G a 25G sú cenovo takmer rovnaké a rýchlejšie riešenia vám umožňujú prenášať cez 10G aj 25G. Výsledkom boli zrejmé úspory: menej serverových komponentov a káblov na pripojenie – nižšie náklady (a vyššia spoľahlivosť), komponenty zaberajú menej miesta v racku – bolo možné umiestniť viac serverov na jednotku plochy, a teda nižšie náklady na prenájom.
Ale dôležitejší je nárast rýchlosti! Teraz môžeme poslať viac ako 1G s 100U! A to na pozadí situácie, keď niektoré veľké ruské projekty označujú výstup 40G z 2U za „úspech“. Chceli by sme ich problémy!
Upozorňujeme, že stále používame generáciu sieťových kariet, ktoré môžu fungovať iba na 10G. Toto zariadenie funguje stabilne a je nám veľmi známe, preto sme ho nevyhodili, ale našli sme preň nové využitie. Tieto komponenty sme nainštalovali na servery na ukladanie videa, pre ktoré jedno alebo dve rozhrania 1G zjavne nestačia na efektívnu prevádzku; tu sa ukázali ako relevantné 10G karty.
Skladovacie systémy tiež rastú. Za posledných päť rokov sa zmenili z dvanásťdiskových (12x HDD 2U) na tridsaťšesťdiskových (36x HDD 4U). Niektorí sa boja použiť takéto priestranné „karosérie“, pretože ak jeden takýto podvozok zlyhá, môže dôjsť k ohrozeniu produktivity – alebo dokonca prevádzkyschopnosti! – pre celý systém. U nás sa to však nestane: zabezpečili sme zálohovanie na úrovni geograficky distribuovaných kópií údajov. Šasi sme rozdelili do rôznych dátových centier - používame celkovo tri - a tým sa eliminuje výskyt problémov v prípade porúch v šasi aj pri páde lokality.
Samozrejme, tento prístup spôsobil, že hardvérový RAID bol nadbytočný, čo sme opustili. Odstránením redundancie sme súčasne zvýšili spoľahlivosť systému zjednodušením riešenia a odstránením jedného z potenciálnych bodov zlyhania. Pripomeňme, že naše skladovacie systémy sú „domáce“. Urobili sme to celkom zámerne a s výsledkom sme boli úplne spokojní.
Dátové centrá Za posledných päť rokov sme sa niekoľkokrát zmenili. Od napísania predchádzajúceho článku sme nezmenili iba jedno dátové centrum – DataLine – zvyšok si vyžiadal výmenu podľa vývoja našej infraštruktúry. Všetky presuny medzi lokalitami boli naplánované.
Pred dvoma rokmi sme migrovali do MMTS-9, presťahovali sme sa na miesto s kvalitnými opravami, dobrým chladiacim systémom, stabilným napájaním a bez prachu, ktorý predtým ležal v hrubých vrstvách na všetkých povrchoch a tiež upchával vnútro našich zariadení. . Vyberte si kvalitné služby – a bez prachu! – stal sa dôvodom nášho presunu.
Takmer vždy „jeden pohyb sa rovná dvom požiarom“, ale problémy počas migrácie sú zakaždým iné. Tentoraz hlavnú náročnosť presunu v rámci jedného dátového centra „poskytovali“ optické krížové prepojenia – ich množstvo medzi poschodiami bez toho, aby ich telekomunikační operátori spojili do jedného krížového prepojenia. Proces aktualizácie a presmerovania krížových spojení (s ktorými nám pomohli inžinieri MMTS-9) bol azda najťažšou etapou migrácie.
Druhá migrácia prebehla pred rokom, v roku 2019 sme prešli z nie príliš kvalitného dátového centra na O2xygen. Dôvody presunu boli podobné tým, o ktorých sme hovorili vyššie, no doplnil ich problém neatraktívnosti pôvodného dátového centra pre telekomunikačných operátorov – mnohí poskytovatelia to museli „dohnať“ sami.
Migrácia 13 rackov na kvalitnú lokalitu v MMTS-9 umožnila rozvinúť túto lokalitu nielen ako lokalitu operátora (pár rackov a „forwardov“ operátorov), ale aj využiť ju ako jednu z hlavné. Trochu to zjednodušilo migráciu z nie veľmi kvalitného dátového centra – väčšinu zariadení sme z neho previezli na iné miesto a O2xygen dostal úlohu vývojového, poslal tam 5 rackov s vybavením.
Dnes je už O2xygen plnohodnotnou platformou, kde „prišli“ operátori, ktorých potrebujeme a noví sa naďalej pripájajú. Pre operátorov sa ukázal byť O2xygen atraktívny aj z pohľadu strategického rozvoja.
Hlavnú fázu sťahovania realizujeme vždy za jednu noc a pri migrácii v rámci MMTS-9 a na O2xygen sme sa tohto pravidla držali. Zdôrazňujeme, že prísne dodržiavame pravidlo „presunúť cez noc“ bez ohľadu na počet stojanov! Bol dokonca precedens, keď sme presťahovali 20 stojanov a dokončili to tiež za jednu noc. Migrácia je pomerne jednoduchý proces, ktorý si vyžaduje presnosť a dôslednosť, no je tu niekoľko trikov, a to ako v procese prípravy, tak aj pri sťahovaní a pri nasadení na nové miesto. V prípade záujmu sme pripravení hovoriť o migrácii podrobne.
výsledky Máme radi päťročné rozvojové plány. Dokončili sme výstavbu novej infraštruktúry odolnej voči poruchám distribuovanej v troch dátových centrách. Prudko sme zvýšili hustotu prevádzky - ak sme boli nedávno spokojní s 40-80G s 2U, teraz je pre nás norma 100G s 1U. Teraz už aj terabit dopravy vnímame ako samozrejmosť. Sme pripravení ďalej rozvíjať našu infraštruktúru, ktorá sa ukázala byť flexibilná a škálovateľná.
Otázka: O čom by som vám mal povedať v nasledujúcich textoch, milí čitatelia? Prečo sme začali vytvárať domáce systémy na ukladanie dát? O jadre siete a jeho vlastnostiach? O trikoch a jemnostiach migrácie medzi dátovými centrami? O optimalizácii rozhodnutí o dodávke výberom komponentov a dolaďovaním parametrov? O vytváranie udržateľných riešení vďaka viacnásobnej redundancii a možnosti horizontálneho škálovania v rámci dátového centra, ktoré sú implementované v štruktúre troch dátových centier?
Autor: Petr Vinogradov - technický riaditeľ Uma.Tech
Zdroj: hab.com