Pokrenuli smo nove usluge, promet je rastao, zamijenili servere, spojili nove stranice i preuredili podatkovne centre – a sada ćemo ispričati ovu priču s čijim smo vas početkom upoznali prije pet godina.
Pet godina tipično je vrijeme za zbrajanje međurezultata. Stoga smo odlučili govoriti o razvoju naše infrastrukture, koja je u proteklih pet godina prošla iznenađujuće zanimljiv razvojni put, na koji smo ponosni. Kvantitativne promjene koje smo proveli pretvorile su se u kvalitativne, sada infrastruktura može funkcionirati na načine koji su se sredinom prošlog desetljeća činili fantastičnima.
Osiguravamo rad najsloženijih projekata s najstrožim zahtjevima za pouzdanost i opterećenja, uključujući PREMIER i Match TV. Sportski prijenosi i premijere popularnih TV serija zahtijevaju promet u terabitima/s, mi to lako implementiramo, i to toliko često da nam je rad s takvim brzinama odavno postao uobičajen. A prije pet godina, najteži projekt koji se izvodio na našim sustavima bio je Rutube, koji se od tada razvio, povećao količine i promet, što se moralo uzeti u obzir pri planiranju opterećenja.
Razgovarali smo o tome kako smo razvili hardver naše infrastrukture () i razvili sustav odgovoran za učitavanje videozapisa (), no od nastanka ovih tekstova prošlo je dosta vremena, stvorena su i implementirana mnoga druga rješenja čiji nam rezultati omogućuju da zadovoljimo suvremene zahtjeve i budemo dovoljno fleksibilni da se prilagodimo novim zadaćama.
Jezgra mreže Stalno se razvijamo. Na Cisco opremu smo prešli 2015. godine, što smo spomenuli u prethodnom članku. Tada je to još uvijek bio isti 10/40G, ali iz očitih razloga, nakon nekoliko godina su nadogradili postojeću šasiju, pa sada aktivno koristimo 25/100G.
100G linkovi već odavno nisu niti luksuz (dapače, urgentni zahtjev vremena u našem segmentu), niti rijetkost (sve više operatera nudi veze takvim brzinama). Međutim, 10/40G ostaje relevantan: putem ovih veza nastavljamo povezivati operatere s malom količinom prometa, za koje trenutno nije prikladno koristiti port većeg kapaciteta.
Mrežna jezgra koju smo stvorili zaslužuje zasebno razmatranje i postat će tema zasebnog članka malo kasnije. Tamo ćemo se udubiti u tehničke detalje i razmotriti logiku naših postupaka prilikom izrade. Ali sada ćemo nastaviti shematski crtati infrastrukturu, jer vaša pozornost, dragi čitatelji, nije neograničena.
Poslužitelji video izlaza brzo se razvijaju, za što nudimo puno truda. Ako smo prije koristili uglavnom 2U poslužitelje s 4-5 mrežnih kartica s po dva 10G porta, sada se većina prometa šalje s 1U poslužitelja koji imaju 2-3 kartice s po dva 25G porta. Kartice s 10G i 25G gotovo su jednake cijene, a brža rješenja omogućuju vam prijenos i preko 10G i 25G. Rezultat su bile očite uštede: manje komponenti poslužitelja i kabela za povezivanje - niža cijena (i veća pouzdanost), komponente zauzimaju manje prostora u stalku - postalo je moguće postaviti više poslužitelja po jedinici površine i, prema tome, niži troškovi najma.
Ali važniji je dobitak u brzini! Sada možemo poslati više od 1G s 100U! I to u pozadini situacije u kojoj neki veliki ruski projekti nazivaju 40G izlaz iz 2U "postignućem". Htjeli bismo njihove probleme!
Imajte na umu da još uvijek koristimo generaciju mrežnih kartica koje mogu raditi samo na 10G. Ova oprema radi stabilno i jako nam je poznata, pa je nismo bacili, već smo joj pronašli novu namjenu. Instalirali smo ove komponente u poslužitelje za pohranu video zapisa, za koje jedno ili dva 1G sučelja očito nisu dovoljna za učinkovit rad; ovdje su se 10G kartice pokazale relevantnima.
Sustavi za pohranu podataka također rastu. Tijekom proteklih pet godina promijenili su se s dvanaest diskova (12x HDD 2U) na trideset šest diskova (36x HDD 4U). Neki se boje koristiti tako prostrane "lešine", jer ako jedna takva šasija zakaže, može postojati prijetnja produktivnosti - ili čak operativnosti! – za cijeli sustav. Ali kod nas se to neće dogoditi: osigurali smo backup na razini geodistribuiranih kopija podataka. Raspodijelili smo šasiju u različite podatkovne centre - koristimo ih ukupno tri - čime se eliminira pojava problema kako u slučaju kvara na šasiji, tako i pri padu stranice.
Naravno, ovaj pristup učinio je hardverski RAID suvišnim, što smo napustili. Uklanjanjem redundancije, istovremeno smo povećali pouzdanost sustava pojednostavljivanjem rješenja i uklanjanjem jedne od potencijalnih točaka kvara. Podsjetimo da su naši sustavi za pohranu “domaće izrade”. Učinili smo to sasvim promišljeno i bili smo potpuno zadovoljni rezultatom.
Podatkovni centri U proteklih pet godina promijenili smo se nekoliko puta. Od pisanja prethodnog članka nismo promijenili samo jedan podatkovni centar - DataLine - ostali su morali mijenjati kako se razvijala naša infrastruktura. Svi transferi između mjesta bili su planirani.
Prije dvije godine migrirali smo unutar MMTS-9, preselivši se na mjesto s visokokvalitetnim popravcima, dobrim sustavom hlađenja, stabilnim napajanjem i bez prašine koja je prethodno ležala u debelim slojevima na svim površinama i također začepila unutrašnjost naše opreme . Birajte kvalitetne usluge – i bez prašine! – postao je razlog naše selidbe.
Gotovo uvijek "jedan potez jednak je dvije vatre", ali problemi tijekom migracije su svaki put drugačiji. Ovog puta glavnu poteškoću kretanja unutar jednog podatkovnog centra "osigurale" su optičke križne veze - njihovo obilje među katovima, a da ih teleoperateri ne spajaju u jednu križnu vezu. Proces ažuriranja i preusmjeravanja unakrsnih veza (u čemu su nam pomogli inženjeri MMTS-9) bio je možda najteža faza migracije.
Druga migracija dogodila se prije godinu dana; 2019. smo iz ne baš dobrog podatkovnog centra prešli na O2xygen. Razlozi za preseljenje bili su slični onima koji su gore razmotreni, ali su bili dopunjeni problemom neprivlačnosti izvornog podatkovnog centra za telekom operatere - mnogi su davatelji morali sami "nadoknaditi" ovu točku.
Migracija 13 regala na visokokvalitetno mjesto u MMTS-9 omogućila je razvoj ove lokacije ne samo kao operaterske lokacije (par regala i “naprijed” operatera), već i korištenje kao jedne od one glavne. To je donekle pojednostavilo migraciju iz ne baš dobrog podatkovnog centra - većinu opreme iz njega smo prevezli na drugo mjesto, a O2xygen je dobio ulogu razvojnog, poslavši tamo 5 rakova s opremom.
Danas je O2xygen već potpuna platforma, gdje su operateri koji su nam potrebni „stigli“, a novi se nastavljaju povezivati. Za operatere se O2xygen pokazao atraktivnim i sa stajališta strateškog razvoja.
Glavnu fazu selidbe uvijek provodimo u jednoj noći, a pri migraciji unutar MMTS-9 i na O2xygen pridržavali smo se ovog pravila. Ističemo da se striktno držimo pravila “preseli preko noći”, bez obzira na broj regala! Bio je čak i presedan kada smo pomaknuli 20 regala i to također završili u jednoj noći. Migracija je prilično jednostavan proces koji zahtijeva točnost i dosljednost, ali tu postoje neki trikovi, kako u procesu pripreme, tako i prilikom preseljenja i raspoređivanja na novu lokaciju. Spremni smo razgovarati o migraciji u detalje ako ste zainteresirani.
Nalazi Volimo petogodišnje razvojne planove. Završili smo izgradnju nove infrastrukture otporne na pogreške raspoređene u tri podatkovna centra. Naglo smo povećali gustoću prometa - ako smo nedavno bili zadovoljni s 40-80G s 2U, sada je norma za nas 100G s 1U. Sada čak i terabit prometa doživljavamo kao uobičajenu stvar. Spremni smo dalje razvijati našu infrastrukturu, koja se pokazala fleksibilnom i skalabilnom.
Pitanje: O čemu da vam govorim u narednim tekstovima, dragi čitatelji? O tome zašto smo počeli stvarati domaće sustave za pohranu podataka? O jezgri mreže i njezinim značajkama? O trikovima i suptilnostima migracije između podatkovnih centara? O optimizaciji odluka o isporuci odabirom komponenti i finim podešavanjem parametara? O stvaranju održivih rješenja zahvaljujući višestrukim redundancijama i mogućnostima horizontalnog skaliranja unutar podatkovnog centra, koji su implementirani u strukturu od tri podatkovna centra?
Autor: Petr Vinogradov - tehnički direktor Uma.Tech
Izvor: www.habr.com