Zagnali smo nove storitve, promet je naraščal, zamenjavali smo strežnike, povezovali nove platforme in preurejali podatkovne centre - zdaj pa vam bomo pripovedovali to zgodbo, s katero smo vas seznanili pred petimi leti..
Pet let je značilen čas za povzetek vmesnih rezultatov. Zato smo se odločili, da predstavimo razvoj naše infrastrukture, ki je v petih letih prešla izjemno zanimivo pot, na katero smo ponosni. Uresničene količinske spremembe so prešle v kakovostne, zdaj lahko infrastruktura deluje v režimih, ki so se v sredini prejšnjega desetletja zdele fantastične.
Zagotavljamo delovanje najsloženjših projektov z najstrožjimi zahtevami po zanesljivosti in obremenitvah, med katerimi sta PREMIER in Match TV. Pri športnih prenosih in premierah priljubljenih serij je potrebno predajati promet v terabitih/s, kar zlahka realiziramo, in to tako pogosto, da je delo s takšnimi hitrostmi že dolgo postalo običajno. Pred petimi leti je bil najtežji projekt, ki je deloval na naših sistemih, Rutube, ki se je od takrat razvijal, povečeval obsege in promet, kar je bilo potrebno upoštevati pri načrtovanju obremenitev.
Povedali smo o tem, kako smo razvijali "železo" naše infrastrukture () in razvijali sistem, odgovoren za odtekanje videa (), a od pisanja teh besedil je prešlo veliko časa, ustvarjenih in vpeljanih je bilo mnogo drugih rešitev, katerih rezultati nam omogočajo, da odgovarjamo sodobnim zahtevam in smo dovolj prožni, da se prilagajamo novim nalogam.
Omrežno jedro nenehno razvijamo. Prešli smo na opremo Cisco leta 2015, o čemer smo omenjali že v prejšnjem članku. Takrat so to bili še vedno 10/40G, a iz razumljivega razloga smo obstoječe šasije nadgradili že čez nekaj let in zdaj aktivno uporabljamo tudi 25/100G.
100G veze niso več razkošje (najbolje rečeno, to je nujna zahteva časa v našem segmentu) niti redkost (vedno več operaterjev ponuja povezave pri teh hitrostih). Vendar pa 10/40G še vedno ostaja aktualen: prek teh povezav še vedno povezuje operaterje z manjšim prometom, pri katerih na trenutnem nivoju ni smiselno uporabljati bolj zmogljivega porta.
Naš omrežni jedro zasluži posebno obravnavo in kmalu bo tema samostojnega članka. Tam se bomo poglobili v tehnične podrobnosti in preučili logiko naših dejanj pri njegovi izdelavi. Toda zdaj nadaljujemo slikanje infrastrukture bolj shematično, saj vaša pozornost, cenjeni bralci, ni neomejena.
Video vrnitev strežnikov se hitro razvijajo, kar zahteva precejšnje napore. Če smo prej večinoma uporabljali 2U strežnike z 4-5 omrežnimi karticami, pri čemer je imela vsaka dva 10G porta, zdaj večina prometa prihaja iz 1U strežnikov, v katerih je 2-3 kartice, pri čemer ima vsaka dva 25G porta. Cene kartic s 10G in 25G so se praktično izenačile, hitrejše rešitve pa omogočajo izhod tako pri 10G kot 25G. Rezultat je očitna ekonomija: manj sestavnih delov strežnika in kablov za povezovanje – nižja cena (in večja zanesljivost), sestavni deli zasedajo manj prostora v omari – omogočili smo namestitev več strežnikov na enoto površine in tako je znašala nižja cena najema.
Toda pomembnejša je pridobitev v hitrosti! Sedaj lahko iz 1U oddamo več kot 100G! In to v situaciji, ko nekatere velike ruske projekte imenujejo "dosežek" oddajo 40G z 2U. Imeli bi njihove težave!
Opažamo, da še vedno uporabljamo generacijo omrežnih kartic, ki lahko delujejo le pri 10G. Ta oprema deluje stabilno in nam je dobro znana, zato je nismo zavrgli, temveč smo ji našli novo uporabo. Te komponente smo namestili v strežnike za shranjevanje videa, ki so za učinkovito delovanje že očitno potrebovali več kot en ali dva 1G vmesnika, tu so se 10G kartice izkazale za aktualne.
Sistemi za shranjevanje podatkov tudi rastejo. V preteklih petih letih so se iz dvanajstdiskových (12x HDD 2U) spremenili v šestindvajsetdiskové (36x HDD 4U). Takšne zmogljive "škatle" se nekateri bojijo uporabljati, saj lahko v primeru okvare enega takšnega šasija nastane grožnja za zmogljivost – pa tudi delovanje! – celotnega sistema. Vendar se to pri nas ne bo zgodilo: zagotovili smo rezerviranje na ravni geografsko razporejenih kopij podatkov. Šasija smo razdelili med različne podatkovne centre – uporabljamo jih tri – kar izključuje možnosti težav tako ob okvarah šasij kot tudi ob padcu lokacij.
Seveda je ta pristop naredil strojni RAID odvečen, od katerega smo se odrekli. S tem, ko smo se znebili odvečnosti, smo hkrati povečali zanesljivost sistema, poenostavili rešitev in odstranili eno od potencialnih točk odpovedi. Spomnimo, da imamo naše SHR - "ročno izdelane". Na to smo se odločili popolnoma zavestno in rezultat nas je popolnoma zadovoljil.
DCI smo v preteklih petih letih večkrat menjali. Od pisanja prejšnjega članka smo menjali samo en DCI – DataLine – ostali so zahtevali zamenjavo glede na razvoj naše infrastrukture. Vsa selitev med lokacijami je bila načrtovana.
Pred dvema letoma smo migrirali znotraj MMT-9, prešli na lokacijo z kakovostnim prenovo, dobro hladilno napravo, stabilno električno oskrbo in brez prahu, ki je prej ležal v debelih plasteh na vseh površinah ter obsežno zamaševal notranjost naše opreme. Izbira kakovosti storitev – in brez prahu! – je bila razlog za naše selitev.
Skoraj vedno "eno selitev enako dvema požaroma", vendar so težave pri migraciji vsakič različne. Tokrat je glavno težavo selitve znotraj enega DCI „zagotovilo“ optično preklapljanje – njihova medetažna abundanca brez povezovanja v enotno preklopno točko s strani operaterjev. Postopek posodabljanja in prelaganja preklopov (pri čemer so nam pomagali inženirji MMT-9) je bil verjetno najtežji korak migracije.
Druga migracija se dogodila pre godinu dana, 2019. godine, kada smo se preselili iz prilično lošeg datacentra u O2xygen. Razlozi preseljenja bili su slični onima razmatranim ranije, ali im se pridružio problem s neatraktivnošću исходnog datacentra za operatore – mnoge provajdere smo morali „dohvatiti“ do ove tačke vlastitim snagama.
Migracija 13 ormara na kvalitetnu lokaciju u MMTS-9 omogućila je razvoj ove lokacije ne samo kao operatorske (par-tri ormara i „spajanja“ operatera), već je i angažovala kao jednu od osnovnih. To je donekle pojednostavilo migraciju iz prilično lošeg datacentra – većinu opreme iz njega smo prevezli na drugu lokaciju, a O2xygenu smo pripisali ulogu razvijajuće, šaljuci i tamo 5 ormara s opremom.
Danas je O2xygen već potpuno uspostavljena lokacija, na koju su „došli“ potrebni nam operatori i nastavljaju da se povezju novi. Za operatore je O2xygen takođe privlačan s tačke gledišta strateškog razvoja.
Glavnu fazu preseljenja obavezno sprovodimo za jednu noć, i tokom migracije unutar MMTS-9 i na O2xygen pridržavali smo se ovog pravila. Naglašavamo da pravilo „preseljenje za noć“ strogo primenjujemo bez obzira na broj ormara! Čak je bio i slučaj kada smo premeštali 20 ormara i to isto izvršili za jednu noć. Migracija je prilično jednostavan proces, koji zahteva pažljivost i doslednost, ali i tu postoje određene zamke kako u pripremi, tako i prilikom preseljenja i prilikom postavljanja na novoj lokaciji. O migraciji u detalje smo spremni detaljno pričati, ako budete imali zainteresovanost.
Rezultati Petogodišnje faze razvoja nam se dopadaju. Završili smo izgradnju nove otpornije infrastrukture, distribuirane na tri centra za obradu podataka. Drastično smo povećali gustinu isporuke saobraćaja – ako smo nedavno uživali 40-80G sa 2U, sada je za nas norma isporučiti 100G sa 1U. Sada i terabit saobraćaja percipiramo kao svakodnevicu. Spremni smo i dalje razvijati našu infrastrukturu, koja je postala fleksibilna i skalabilna.
Pitanje: O čem bomo govorili v naslednjih besedilih, spoštovani bralci? O tem, zakaj smo se odločili za izdelavo lastnih sistemov za shranjevanje podatkov? O omrežni jedri in njegovih značilnostih? O trikih in podrobnostih migracij med podatkovnimi centri? O optimizaciji rešitev za dostop s skrbnimi kombinacijami komponent in natančnim prilagajanjem parametrov? O ustvarjanju zanesljivih rešitev z večkratnim varnostnim kopiranjem in horizontalnimi možnostmi širjenja znotraj podatkovnega centra, ki so realizirane v strukturi treh podatkovnih centrov?
Avtor: Petr Vinogradov — Tehnični direktor Uma.Tech
Izvor: habr.com
