Uvedli smo nove storitve, povečal se je promet, zamenjali strežnike, povezali nove strani in preuredili podatkovne centre – in zdaj bomo povedali to zgodbo, katere začetek smo vam predstavili pred petimi leti.
Pet let je tipičen čas za seštevanje vmesnih rezultatov. Zato smo se odločili spregovoriti o razvoju naše infrastrukture, ki je v zadnjih petih letih prehodila presenetljivo zanimivo pot razvoja, na kar smo ponosni. Kvantitativne spremembe, ki smo jih izvedli, so prešle v kvalitativne, zdaj lahko infrastruktura deluje v načinih, ki so se sredi prejšnjega desetletja zdeli fantastični.
Zagotavljamo delovanje najkompleksnejših projektov z najstrožjimi zahtevami glede zanesljivosti in obremenitev, vključno s PREMIER in Match TV. Športni prenosi in premiere priljubljenih televizijskih serij zahtevajo promet v terabitih/s, to zlahka izvedemo, in to tako pogosto, da je delo s takšnimi hitrostmi za nas že dolgo postalo vsakdanje. In pred petimi leti je bil najtežji projekt, ki se je izvajal na naših sistemih, Rutube, ki se je od takrat razvil, povečal količine in promet, kar je bilo treba upoštevati pri načrtovanju obremenitev.
Pogovarjali smo se o tem, kako smo razvili strojno opremo naše infrastrukture () in razvil sistem za nalaganje videoposnetkov (), vendar je od nastanka teh besedil minilo že precej časa, ustvarjenih in implementiranih je bilo veliko drugih rešitev, katerih rezultati nam omogočajo, da izpolnjujemo sodobne zahteve in smo dovolj fleksibilni za prilagajanje novim nalogam.
Jedro omrežja Nenehno se razvijamo. Leta 2015 smo prešli na opremo Cisco, ki smo jo omenili v prejšnjem članku. Takrat je bil še isti 10/40G, vendar so iz očitnih razlogov po nekaj letih nadgradili obstoječo šasijo in zdaj aktivno uporabljamo 25/100G.
Povezave 100G že dolgo niso niti luksuz (prej je to nujna zahteva časa v našem segmentu), niti redkost (čedalje več operaterjev omogoča povezave s takšnimi hitrostmi). Vendar pa 10/40G ostaja aktualen: prek teh povezav še naprej povezujemo operaterje z majhno količino prometa, za katere trenutno ni primerno uporabljati zmogljivejša vrata.
Omrežno jedro, ki smo ga ustvarili, si zasluži ločeno obravnavo in bo nekoliko kasneje postalo tema ločenega članka. Tam se bomo poglobili v tehnične podrobnosti in upoštevali logiko naših dejanj pri ustvarjanju. Zdaj pa bomo še naprej risali infrastrukturo bolj shematično, saj vaša pozornost, dragi bralci, ni neomejena.
Strežniki za video izhod hitro razvijati, za kar nudimo veliko truda. Če smo prej uporabljali predvsem 2U strežnike s 4-5 omrežnimi karticami s po dvema 10G vhodoma, zdaj večino prometa pošiljajo 1U strežniki, ki imajo 2-3 kartice s po dvema 25G vhodoma. Kartice z 10G in 25G so skoraj enake po ceni, hitrejše rešitve pa vam omogočajo prenos prek 10G in 25G. Rezultat so bili očitni prihranki: manj strežniških komponent in kablov za povezavo - nižji stroški (in večja zanesljivost), komponente zavzamejo manj prostora v omari - postalo je mogoče postaviti več strežnikov na enoto površine in s tem nižje stroške najema.
Toda pomembnejša je pridobitev v hitrosti! Zdaj lahko pošljemo več kot 1G z 100U! In to v ozadju situacije, ko nekateri veliki ruski projekti izhod 40G iz 2U imenujejo "dosežek". Radi bi njihove težave!
Upoštevajte, da še vedno uporabljamo generacijo omrežnih kartic, ki lahko delujejo samo na 10G. Ta oprema deluje stabilno in nam je zelo poznana, zato je nismo zavrgli, ampak smo ji našli novo uporabo. Te komponente smo namestili v strežnike za shranjevanje videoposnetkov, za katere en ali dva vmesnika 1G očitno nista dovolj za učinkovito delovanje; tukaj so se izkazale kartice 10G kot pomembne.
Sistemi za shranjevanje prav tako rastejo. V zadnjih petih letih so se spremenili od dvanajstih diskov (12x HDD 2U) do šestintridesetih diskov (36x HDD 4U). Nekateri se bojijo uporabljati tako prostorne "trupe", saj če ena taka šasija odpove, lahko pride do nevarnosti za produktivnost - ali celo delovanje! – za celoten sistem. A pri nas se to ne bo zgodilo: zagotovili smo varnostno kopiranje na ravni geodistribuiranih kopij podatkov. Podvozja smo razdelili v različne podatkovne centre - uporabljamo jih trije - in s tem izključujemo nastanek težav tako v primeru okvar na ohišju kot ob padcu strani.
Seveda je s tem pristopom postal strojni RAID odveč, kar smo opustili. Z odpravo redundance smo hkrati povečali zanesljivost sistema s poenostavitvijo rešitve in odstranitvijo ene od možnih točk odpovedi. Naj vas spomnimo, da so naši skladiščni sistemi »domače izdelave«. To smo naredili premišljeno in z rezultatom smo bili povsem zadovoljni.
Podatkovni centri V zadnjih petih letih smo se večkrat zamenjali. Od pisanja prejšnjega članka nismo zamenjali le enega podatkovnega centra - DataLine - ostali so morali zamenjati z razvojem naše infrastrukture. Vsi prenosi med lokacijami so bili načrtovani.
Pred dvema letoma smo migrirali znotraj MMTS-9 in se preselili na lokacijo s kakovostnimi popravili, dobrim hladilnim sistemom, stabilnim napajanjem in brez prahu, ki se je prej v debelih plasteh nalegal na vse površine in mašil tudi notranjost naše opreme. . Izberite kakovostne storitve – in brez prahu! – postal razlog za našo selitev.
Skoraj vedno »ena poteza pomeni dva požara«, a težave med selitvijo so vsakič drugačne. Tokrat so glavno težavo gibanja znotraj enega podatkovnega centra "poskrbele" optične navzkrižne povezave - njihova številčnost med nadstropji, ne da bi jih telekomunikacijski operaterji združili v eno navzkrižno povezavo. Proces posodabljanja in preusmerjanja prečnih povezav (pri čemer so nam pomagali inženirji MMTS-9) je bil morda najtežja faza migracije.
Druga selitev je bila izvedena pred letom dni, leta 2019 smo iz ne preveč dobrega podatkovnega centra prešli na O2xygen. Razlogi za selitev so bili podobni tistim, ki smo jih obravnavali zgoraj, vendar jih je dopolnil problem neprivlačnosti prvotnega podatkovnega centra za telekomunikacijske operaterje - številni ponudniki so morali to točko "dohiteti" sami.
Migracija 13 regalov na visokokakovostno lokacijo v MMTS-9 je omogočila razvoj te lokacije ne le kot operaterske lokacije (nekaj regalov in “naprej” operaterjev), ampak tudi uporabo kot enega izmed glavne. To je nekoliko poenostavilo selitev iz ne preveč dobrega podatkovnega centra - večino opreme smo iz njega prepeljali na drugo lokacijo, O2xygen pa je dobil vlogo razvijajočega, tja je poslal 5 regalov z opremo.
Danes je O2xygen že polnopravna platforma, kjer so operaterji, ki jih potrebujemo, "prispeli", novi pa se še naprej povezujejo. Za operaterje se je O2xygen izkazal za zanimivega tudi z vidika strateškega razvoja.
Glavno fazo selitve vedno izvedemo v eni noči in pri selitvi znotraj MMTS-9 in na O2xygen smo se tega pravila držali. Poudarjamo, da dosledno upoštevamo pravilo »preseli čez noč«, ne glede na število regalov! Bil je celo precedens, ko smo prestavili 20 regalov in tudi to opravili v eni noči. Migracija je dokaj preprost proces, ki zahteva natančnost in doslednost, vendar je tukaj nekaj trikov, tako v procesu priprave kot pri selitvi in pri namestitvi na novo lokacijo. Pripravljeni smo se podrobno pogovoriti o migraciji, če vas zanima.
Ugotovitve Radi imamo petletne razvojne načrte. Dokončali smo izgradnjo nove infrastrukture, odporne na napake, ki je razdeljena v tri podatkovne centre. Močno smo povečali gostoto prometa - če smo bili pred kratkim zadovoljni s 40-80G z 2U, je zdaj norma za nas 100G z 1U. Zdaj celo terabit prometa dojemamo kot nekaj običajnega. Pripravljeni smo na nadaljnji razvoj naše infrastrukture, ki se je izkazala za prilagodljivo in razširljivo.
Vprašanje: O čem naj vam, dragi bralci, povem v naslednjih besedilih? O tem, zakaj smo začeli ustvarjati domače sisteme za shranjevanje podatkov? O omrežnem jedru in njegovih funkcijah? O trikih in posebnostih selitve med podatkovnimi centri? O optimizaciji odločitev o dostavi z izbiro komponent in natančnim prilagajanjem parametrov? O ustvarjanju trajnostnih rešitev zahvaljujoč večkratnim redundancam in zmožnostim horizontalnega skaliranja znotraj podatkovnega centra, ki so implementirani v strukturi treh podatkovnih centrov?
Avtor: Petr Vinogradov - tehnični direktor Uma.Tech
Vir: www.habr.com