Spustili sme nové služby, zvyšoval sa prenos dát, menili sme servery, pripájali nové lokality a prestavovali dátové centrá – a teraz vám rozprávame tento príbeh, s jehož začiatkom sme vás oboznamovali pred piatimi rokmi..
Päť rokov – to je charakteristická doba na zhodnotenie medzičasu. Preto sme sa rozhodli porozprávať o vývoji našej infraštruktúry, ktorá prešla veľmi zaujímavou cestou za uplynulých päť rokov, na ktorú sme hrdí. Kvantitatívne zmeny, ktoré sme realizovali, sa premenili na kvalitné, teraz infraštruktúra dokáže fungovať v režimoch, ktoré sa v polovici uplynulého desaťročia zdali fantastické.
Zabezpečujeme chod zložitých projektov s prísnymi požiadavkami na spoľahlivosť a záťaž, medzi ktorými sú PREMIER a Match TV. Na športových prenosoch a premietaní obľúbených seriálov je potrebné prenášať dáta v terabitoch/s, čo s ľahkosťou realizujeme, pričom práca s takýmito rýchlosťami sa pre nás už dávno stala bežnou záležitosťou. A pred piatimi rokmi bol najnáročnejším projektom, ktorý fungoval na našich systémoch, Rutube, ktorý odvtedy rástol a zvyšoval objemy a prenosy, čo bolo potrebné zohľadniť pri plánovaní záťaže.
Hovorili sme o tom, ako sme vyvíjali "hardvér" našej infraštruktúry () a vyvíjali systém zodpovedný za prenos videa (), ale od momentu napísania týchto textov uplynulo veľa času, bolo vytvorených a implementovaných množstvo iných riešení, ktorých výsledky nám umožňujú reagovať na moderné požiadavky a byť dostatočne flexibilní na to, aby sme sa prispôsobili novým úlohám.
Sieťové jadro neustále rozvíjame. Prešli sme na zariadenia Cisco v roku 2015, o čom sme spomínali už v predchádzajúcom článku. Vtedy to boli stále tie isté 10/40G, ale z jasného dôvodu sme už o niekoľko rokov modernizovali existujúce šasi a teraz aktívne používame aj 25/100G.
Odkazy 100G už dávno nie sú ani luxusom (skôr sú to naliehavé požiadavky súčasnosti v našom segmente), ani zriedkavosťou ( čoraz viac operátorov poskytuje pripojenie na takých rýchlostiach). Avšak, 10/40G zostáva aktuálne: cez tieto odkazy naďalej pripájame operátorov s malým objemom prevádzky, pri ktorých zatiaľ nie je efektívne zapájať výkonný port.
Naše vytvorené sieťové jadro si zaslúži osobitnú pozornosť a neskôr sa stane témou samostatného článku. Tam sa hlbšie ponoríme do technických detailov a preskúmame logiku našich krokov pri jeho vytváraní. Ale teraz budeme pokračovať v náčrte infraštruktúry viac schématicky, pretože vaša pozornosť, vážení čitatelia, nie je nekonečná.
Servery na poskytovanie videa sa rýchlo vyvíjajú, na čo vynakladáme značné úsilie. Kým sme predtým používali predovšetkým 2U servery so 4-5 sieťovými kartami, z ktorých každá mala dva 10G porty, teraz väčšina prevádzky prebieha na 1U serveroch, ktoré majú 2-3 karty s dvoma 25G portami na každej. Karty s 10G a 25G sú takmer cenovo vyrovnané, pričom rýchlejšie riešenia umožňujú dávať dáta ako po 10G, tak aj po 25G. Výsledkom je očividná úspora: menej komponentov servera a káblov na pripojenie – nižšie náklady (a vyššia spoľahlivosť), komponenty zaberajú menej miesta v stojane – získalo sa viac miest na servery na jednotku plochy a preto sa znížili náklady na prenájom.
Ale dôležitejší je zisk na rýchlosti! Teraz môžeme s 1U poskytovať viac ako 100G! A to na pozadí situácie, keď niektoré veľké ruské projekty nazývajú "dosiahnutím" poskytovanie 40G s 2U. Keby sme mali ich problémy!
Poznamenajme, že generáciu sieťových kariet, ktoré dokážu pracovať iba na 10G, naďalej používame. Toto vybavenie stabilne funguje a je nám dobre známe, preto sme ho nevyhodili, ale našli mu nové využitie. Tieto komponenty sme nainštalovali do serverov na ukladanie videa, ktorým na efektívnu prácu jasne nestačí jeden alebo dva 1G rozhrania, tu sa 10G karty ukázali ako aktuálne.
Systémy ukladania dát tiež rastú. V uplynulých piatich rokoch sa z dvanásťdiskových (12x HDD 2U) stali tridsaťšesťdiskovými (36x HDD 4U). Takéto kapacitu „tela“ niektorí sa boja používať, pretože v prípade poruchy jedného takého šasi môže hroziť pokles výkonnosti – a to aj funkčnosti! – pre celý systém. Ale u nás sa to nestane: zabezpečili sme zálohovanie na úrovni georeplikovaných kópií údajov. Rozmiestnili sme šasi v rôznych dátových centrách – celkovo používame tri – a to vylučuje vznik problémov pri poruchách v šasi a pri výpadku lokality.
Samozrejme, takýto prístup učinil hardvérový RAID nadbytočným, od ktorého sme upustili. Zbavením sa nadbytočnosti sme zároveň zvýšili spoľahlivosť systému, čo zjednodušilo riešenie a odstránilo jednu z potenciálnych porúch. Pripomeňme, že naše úložné systémy sú „vlastnoručne vyrobené“. Na toto sme sa rozhodli z celkom vedomého dôvodu a výsledok nás úplne uspokojil.
Dátové centrá v uplynulých piatich rokoch sme menili niekoľkokrát. Od času napísania predchádzajúceho článku sme nemenili len jedno dátové centrum – DataLine – ostatné si vyžiadali výmenu v súvislosti s rozvojom našej infraštruktúry. Všetky presuny medzi lokalitami boli plánované.
Pred dvoma rokmi sme migrovali v rámci MMTS-9, prešli sme na plochu s kvalitnou renováciou, dobrým chladením, stabilným napájaním a bez prachu, ktorý predtým ležal hrubými vrstvami na všetkých povrchoch a tiež hojne zanášal vnútro našich zariadení. Výber v prospech kvality služieb – a absencie prachu! – bol dôvodom našej relokácie.
Téměř vždy „jeden presun sa rovná dvom požiarom“, ale problémy počas migrácie sú zakaždým iné. Tentoraz hlavnú zložitost presunu v rámci jedného dátového centra „spôsobila“ optická prepojovacia uzlová sieť – ich medzi-podlažné bohatstvo bez zjednotenia do jednej prepojovacej bodu zo strany operátorov. Proces aktualizácie a prekládky prepojovacích uzlov (v čom nám pomohli inžinieri MMTS-9) bol, pravdepodobne, najnáročnejšou etapou migrácie.
Druhá migrácia sa uskutočnila pred rokom, v roku 2019 sme sa presťahovali z nie veľmi kvalitného dátového centra do O2xygen. Dôvody presťahovania boli podobné ako uvedené vyššie, ale k nim sa pridala aj problém s neatraktivnosťou pôvodného dátového centra pre poskytovateľov – mnohých operátorov sme museli „doháňať“ na toto miesto sami.
Migrácia 13 stojanov na kvalitnú plochu v MMTS-9 umožnila rozvíjať túto lokalitu nielen ako operátorskú (pár stojanov a „prenosy“ operátorov), ale aj využiť ju ako jednu z hlavných. To trochu zjednodušilo migráciu z nie veľmi kvalitného dátového centra – väčšinu vybavenia z neho sme previezli na inú plochu, a O2xygen dostalo úlohu rozvíjajúceho sa, posielajúc tam 5 stojanov s vybavením.
Dnes je O2xygen už plnohodnotná plocha, kam „prišli“ potrební operátori a naďalej sa pridávajú noví. Pre operátorov sa O2xygen ukázal byť atraktívny aj z hľadiska strategického rozvoja.
Hlavnú fázu presťahovania vždy vykonávame za jednu noc, a pri migrácii v rámci MMTS-9 a na O2xygen sme sa držali tohto pravidla. Podčiarkujeme, že pravidlo „presťahovanie za noc“ striktne dodržiavame bez ohľadu na počet stojanov! Bol dokonca precedens, keď sme presúvali 20 stojanov a tiež sme to vykonali za jednu noc. Migrácia je dosť jednoduchý proces, ktorý vyžaduje presnosť a systém, ale aj tu existujú určité finte ako v príprave, tak pri presune, a pri nasadzovaní na novej lokalite. O migrácii v detailoch sme pripravení podrobne rozprávať, ak by ste mali záujem.
Výsledky Päťročné obdobia rozvoja sú nám blízke. Dokončili sme výstavbu novej odolnej infraštruktúry, rozdelenej do troch centier spracovania dát. Nárazovo sme zvýšili hustotu prenosu dát – ak sme sa nedávno tešili na 40-80G s 2U, teraz je pre nás normou prenášať 100G s 1U. Teraz už aj terabit prenosu vnímame ako bežnosť. Sme pripravení ďalej rozvíjať našu infraštruktúru, ktorá je flexibilne škálovateľná.
Otázka: O čom vám porozprávať v nasledujúcich textoch, vážení čitatelia? O tom, prečo sme sa rozhodli vytvárať vlastné systémy ukladania dát? O sieťovej architektúre a jej špecifikách? O trikoch a nuansách migrácie medzi dátovými centrami? O optimalizácii riešení dodávania prostredníctvom výberu komponentov a jemného dolaďovania parametrov? O vytváraní stabilných riešení vďaka viacerým záložným systémom a horizontálnym možnostiam škálovania v rámci dátového centra, ktoré sú realizované v štruktúre troch dátových centier?
Autor: Peter Vinogradov — Technický riaditeľ Uma.Tech
Zdroj: habr.com
