Pokrenuli smo nove usluge, promet je rastao, zamjenjivali smo poslužitelje, povezivali nove platforme i preuređivali podatkovne centre – a sada ćemo vam ispričati ovu priču koju smo s vama dijelili prije pet godina..
Pet godina - karakterističan je period za povlačenje srednjoročnih rezultata. Stoga smo odlučili govoriti o razvoju naše infrastrukture, koja je kroz pet godina prošla iznimno zanimljiv put razvoja na koji smo ponosni. Realizirane kvantitativne promjene su se preobrazile u kvalitativne, a sada infrastruktura može raditi u režimima koji su se sredinom prošlog desetljeća činili fantazijom.
Osiguravamo rad na najsloženijim projektima s rigoroznim zahtjevima za pouzdanošću i opterećenjem, među kojima su PREMIER i Match TV. Za sportske prijenose i premijere popularnih serija potrebna je isporuka prometa u terabitima/s, što lako realiziramo, i to tako često da je rad s takvim brzinama odavno postao naša svakodnevnica. A prije pet godina najzahtjevniji projekt koji je radio na našim sustavima bio je Rutube, koji se od tada razvijao, povećavao volumene i promet, što je trebalo uzeti u obzir prilikom planiranja opterećenja.
Govori li smo o tome kako smo razvijali „hardver“ naše infrastrukture () i razvijali sustav odgovoran za isporuku videa (), no od pisanja ovih tekstova prošlo je mnogo vremena, stvoreno i implementirano je mnogo drugih rješenja, čiji rezultati nam omogućuju da odgovorimo na moderne zahtjeve i budemo dovoljno fleksibilni da se prilagodimo novim zadacima.
Mrežno jezgro stalno razvijamo. Prešli smo na Cisco opremu 2015. godine, o čemu smo spominjali u prošlom članku. Tada su to bili još uvijek 10/40G, ali iz razumljivih razloga već nekoliko godina unapređujemo postojeće šasije, i sada aktivno koristimo i 25/100G.
100G veze više nisu luksuz (to je više hitna potreba vremena u našem segmentu), a ni rijetkost (sve više operatora nudi povezivanje na tim brzinama). Međutim, 10/40G ostaje relevantno: preko ovih veza nastavljamo povezivati operatore s malim prometom, za koje trenutno nije racionalno koristiti veći port.
Naša mrežna jezgra zaslužuje posebno razmatranje i uskoro će postati tema posebnog članka. Tamo ćemo se detaljnije posvetiti tehničkim aspektima i razmotriti logiku naših akcija prilikom njegove izrade. No, sada nastavimo prikazivati infrastrukturu više shematski, jer vaše pažnje, poštovani čitatelji, nije beskonačno.
Serveri za isporuku videa evoluiraju brzo, zbog čega ulažemo mnogo napora. Dok smo ranije koristili pretežno 2U servere sa 4-5 mrežnih kartica, svaka s po dva 10G porta, sada se veći dio prometa isporučuje s 1U servera, u kojima se nalaze 2-3 kartice, svaka s po dva 25G porta. Cijene kartica s 10G i 25G gotovo su izjednačene, a brža rješenja omogućuju isporuku putem 10G, kao i 25G. Rezultat je očita ušteda: manje komponenti servera i kablova za povezivanje – niža cijena (i veća pouzdanost), komponente zauzimaju manje prostora u ormaru – omogućeno je smještanje većeg broja servera na istu površinu i, posljedično, smanjena je cijena najma.
Ali važnija je dobitak u brzini! Sada možemo s 1U isporučivati više od 100G! I to u situaciji kada neki veliki ruski projekti nazivaju "postignućem" isporuku od 40G s 2U. Želimo njihove probleme!
Napominjemo da generaciju mrežnih kartica koje mogu raditi samo na 10G i dalje koristimo. Ova oprema stabilno radi i dobro nam je poznata, stoga je nismo bacili, već smo joj pronašli novu primjenu. Ove komponente smo instalirali u servere za pohranu videa, kojima već za učinkovito funkcioniranje očigledno nedostaje jedan ili dva 1G sučelja, a ovdje su 10G kartice postale relevantne.
Sustavi za pohranu podataka također rastu. Tijekom protekle petogodišnjice prešli smo s dvanaest diskova (12x HDD 2U) na trideset i šest diskova (36x HDD 4U). Ove velike „kutije“ neki se boje koristiti, jer u slučaju kvara jednog takvog šasija može doći do opasnosti za performanse – pa čak i radnu sposobnost! – cijelog sustava. No, to se kod nas neće dogoditi: osigurali smo rezervaciju na razini geografski distribuiranih kopija podataka. Rasporedili smo šasije po različitim data centrima – ukupno koristimo tri – i to isključuje pojavu problema kako u slučaju kvara šasija, tako i pri padu platforme.
Naravno, taj pristup učinio je hardverski RAID suvišnim, od kojeg smo se odrekli. Oslobađanjem od suvišnosti, istovremeno smo povećali pouzdanost sustava, pojednostavivši rješenje i uklonivši jednu od potencijalnih točaka kvara. Podsjetimo, naš S3D je "samogradnja". Na to smo se odlučili potpuno svjesno i rezultat nas je u potpunosti zadovoljio.
Data centri u proteklih pet godina nekoliko puta smo ih mijenjali. Od vremena pisanja prethodnog članka, samo jedan data centar – DataLine – nismo mijenjali, dok su ostali zahtijevali zamjenu kako se naša infrastruktura razvijala. Svi preseljenja između platformi bila su planirana.
Prije dvije godine migrirali smo unutar MMTS-9, prelazeći na platformu s kvalitetnom obnovom, dobrom klimatskom kontrolom, stabilnim napajanjem i bez prašine, koja je prije ležala u debelim slojevima na svim površinama i obilujuće začepljivala unutrašnjost naše opreme. Odabir kvalitete usluge – i izostanak prašine! – bio je razlog našeg preseljenja.
Gotovo uvijek "jedno preseljenje jednako je dva požara", ali problemi tijekom migracije svaki put su različiti. Ovoga puta glavna poteškoća preseljenja unutar jednog data centra "osigurali" su optički razvodnici – njihovo međuspratno obilje bez svodnih veza s jedne strane operatera telekomunikacija. Proces ažuriranja i ponovnog razmještaja razvodnika (u čemu su nam pomogli inženjeri MMTS-9), bio je, možda, najteži korak migracije.
Druga migracija dogodila se prije godinu dana, 2019. godine preselili smo se iz ne baš dobrog DC-a u O2xygen. Razlozi preseljenja bili su slični onima navedenima gore, ali im se pridružio i problem neprivlačnosti izvornog DC-a za operatore - mnoge pružatelje usluga morali smo 'dohvaćati' do te točke vlastitim snagama.
Migracija 13 ormara na kvalitetnu lokaciju u MMTS-9 omogućila je razvoj ove lokacije ne samo kao operatorske (par-tri ormara i 'proboji' operatera) nego i da je koriste kao jednu od glavnih. To je značajno olakšalo migraciju iz ne baš dobrog DC-a - većinu opreme iz njega prenijeli smo na drugu lokaciju, a O2xygen je dobio ulogu razvijajuće, šaljući i tamo 5 ormara s opremom.
Danas je O2xygen već potpuno funkcionalna lokacija, gdje su 'došli' potrebni operateri i nastavljaju se povezivati novi. O2xygen se također pokazao privlačnim za operatere s obzirom na strateški razvoj.
Glavnu fazu preseljenja svakako provodimo tijekom jedne noći, a tijekom migracije unutar MMTS-9 i prema O2xygen pridržavali smo se ovog pravila. Ističemo da pravilo 'preseljenje preko noći' strogo poštujemo neovisno o broju ormara! Dogodio se čak jedan presedan kada smo premjestili 20 ormara i to također tijekom jedne noći. Migracija je dovoljno jednostavan proces koji zahtijeva pažnju i dosljednost, ali postoje i neki trikovi kako u procesu pripreme, tako i tijekom preseljenja i postavljanja na novoj lokaciji. O migraciji u detalje spremni smo detaljno pričati, ako vas bude zanimalo.
Rezultati Peti razvojni planovi nam se sviđaju. Završili smo izgradnju nove otporne infrastrukture, raspoređene po tri centra za obradu podataka. Drastično smo povećali gustoću prijenosa - ako smo nedavno uživali u 40-80G s 2U, sada nam je norma davati 100G s 1U. Sada čak i terabitni promet percipiramo kao svakodnevicu. Spremni smo nastaviti razvijati našu infrastrukturu, koja je postala fleksibilna i skalabilna.
Pitanje: O čemu da pričamo u sljedećim tekstovima, dragi čitatelji? O tome zašto smo počeli stvarati samostalne sustave pohrane podataka? O mrežnoj jezdi i njenim osobinama? O trikovima i suptilnostima migracije između podatkovnih centara? O optimizaciji rješenja za isporuku pažljivim odabirom komponenti i finim podešavanjem parametara? O stvaranju otpornog rješenja putem višekratnog rezerviranja i horizontalnih mogućnosti skaliranja unutar podatkovnog centra, koje su ostvarene u strukturi od tri podatkovna centra?
Autor: Petar Vinogradov — Tehnički direktor Uma.Tech
Izvor: habr.com
Russian
Italian
German
Polish
Estonian
Albanian
Bulgarian
Croatian
Czech
Danish
Dutch
English
Finnish
French
Hungarian
Latvian
Lithuanian
Norwegian
Portuguese
Romanian
Slovak
Slovenian
Spanish
Swedish