ProHoster > Blogs > Administrācija > Kā Uma.Tech attīstīja infrastruktūru

Kā Uma.Tech attīstīja infrastruktūru

Mēs ieviesām jaunus pakalpojumus, pieauga trafika, nomainÄ«jām serverus, pievienojām jaunas vietnes un pārveidojām datu centrus ā€” un tagad mēs pastāstÄ«sim Å”o stāstu, ar kura sākumu mēs jÅ«s iepazÄ«stinājām pirms pieciem gadiem..

Pieci gadi ir tipisks laiks starprezultātu summÄ“Å”anai. Tāpēc nolēmām runāt par mÅ«su infrastruktÅ«ras attÄ«stÄ«bu, kas pēdējo piecu gadu laikā ir izgājusi pārsteidzoÅ”i interesantu attÄ«stÄ«bas ceļu, ar ko lepojamies. MÅ«su Ä«stenotās kvantitatÄ«vās izmaiņas ir kļuvuÅ”as par kvalitatÄ«vām, tagad infrastruktÅ«ra var darboties režīmos, kas pagājuŔās desmitgades vidÅ« Ŕķita fantastiski.

Mēs nodroÅ”inām vissarežģītāko projektu darbÄ«bu ar visstingrākajām uzticamÄ«bas un slodzes prasÄ«bām, tostarp PREMIER un Match TV. Sporta pārraidēm un populāru seriālu pirmizrādei ir nepiecieÅ”ama trafika terabitos/s, mēs to viegli Ä«stenojam, un tik bieži, ka darbs ar Ŕādiem ātrumiem mums jau sen ir kļuvis par ikdienu. Un pirms pieciem gadiem smagākais projekts, kas darbojās mÅ«su sistēmās, bija Rutube, kas kopÅ” tā laika ir attÄ«stÄ«jies, palielinājis apjomus un satiksmi, kas bija jāņem vērā, plānojot slodzes.

Mēs runājām par to, kā mēs izstrādājām mÅ«su infrastruktÅ«ras aparatÅ«ru ("Rutube 2009-2015: mÅ«su aparatÅ«ras vēsture") un izstrādāja sistēmu, kas ir atbildÄ«ga par videoklipu augÅ”upielādi (ā€œNo nulles lÄ«dz 700 gigabitiem sekundē ā€” kā viena no lielākajām video mitināŔanas vietnēm Krievijā augÅ”upielādē videoā€), taču kopÅ” Å”o tekstu tapÅ”anas ir pagājis daudz laika, ir radÄ«ti un ieviesti daudzi citi risinājumi, kuru rezultāti ļauj izpildÄ«t mÅ«sdienu prasÄ«bas un bÅ«t pietiekami elastÄ«giem, lai pielāgotos jauniem uzdevumiem.

Kā Uma.Tech attīstīja infrastruktūru

TÄ«kla kodols Mēs pastāvÄ«gi attÄ«stāmies. Mēs pārgājām uz Cisco aprÄ«kojumu 2015. gadā, par ko minējām iepriekŔējā rakstā. Toreiz tas vēl bija tas pats 10/40G, taču acÄ«mredzamu iemeslu dēļ pēc dažiem gadiem viņi modernizēja esoÅ”o Å”asiju, un tagad mēs aktÄ«vi lietojam 25/100G.

Kā Uma.Tech attīstīja infrastruktūru

100G saites jau sen nav ne greznÄ«ba (drÄ«zāk tā ir aktuāla laika prasÄ«ba mÅ«su segmentā), ne retums (arvien vairāk operatoru nodroÅ”ina savienojumus ar Ŕādu ātrumu). Tomēr 10/40G joprojām ir aktuāls: caur Ŕīm saitēm mēs turpinām savienot operatorus ar nelielu trafika apjomu, kam paÅ”laik nav lietderÄ«gi izmantot ietilpÄ«gāku portu.

MÅ«su izveidotais tÄ«kla kodols ir pelnÄ«jis atseviŔķu apsvērumu, un tas kļūs par atseviŔķa raksta tēmu nedaudz vēlāk. Tur mēs iedziļināsimies tehniskajās detaļās un ņemsim vērā mÅ«su darbÄ«bu loÄ£iku, to veidojot. Bet tagad mēs turpināsim zÄ«mēt infrastruktÅ«ru shematiskāk, jo jÅ«su uzmanÄ«ba, dārgie lasÄ«tāji, nav neierobežota.

Video izvades serveri ātri attīstīties, tāpēc mēs piedāvājam daudz pūļu. Ja agrāk izmantojām galvenokārt 2U serverus ar 4-5 tīkla kartēm ar diviem 10G portiem katrā, tad tagad lielākā daļa trafika tiek sūtīta no 1U serveriem, kuriem ir 2-3 kartes ar diviem 25G portiem katrā. Kartēm ar 10G un 25G ir gandrīz vienādas izmaksas, un ātrāki risinājumi ļauj pārraidīt gan 10G, gan 25G. Rezultāts bija acīmredzams ietaupījums: mazāk servera komponentu un kabeļu savienojumam - zemākas izmaksas (un lielāka uzticamība), komponenti aizņem mazāk vietas plauktā - kļuva iespējams izvietot vairāk serveru uz laukuma vienību un līdz ar to zemākas nomas izmaksas.

Bet svarīgāks ir ātruma pieaugums! Tagad mēs varam nosūtīt vairāk nekā 1G ar 100U! Un tas notiek uz situācijas fona, kad daži lieli Krievijas projekti 40G izvadi no 2U sauc par "sasniegumu". Mēs vēlētos viņu problēmas!

Kā Uma.Tech attīstīja infrastruktūru

Ņemiet vērā, ka mēs joprojām izmantojam tÄ«kla karÅ”u paaudzi, kas var darboties tikai ar 10G. Å Ä« iekārta strādā stabili un mums ir ļoti pazÄ«stama, tāpēc to neizmetām, bet atradām jaunu pielietojumu. Mēs uzstādÄ«jām Å”os komponentus video glabāŔanas serveros, kuriem ar vienu vai diviem 1G interfeisiem acÄ«mredzami nepietiek, lai efektÄ«vi darbotos, Å”eit 10G kartes izrādÄ«jās atbilstoÅ”as.

UzglabāŔanas sistēmas arÄ« aug. Pēdējo piecu gadu laikā tie ir mainÄ«juÅ”ies no divpadsmit diskiem (12x HDD 2U) uz trÄ«sdesmit seÅ”iem diskiem (36x HDD 4U). Daži baidās izmantot tik ietilpÄ«gus ā€œliemeņusā€, jo, ja viena Ŕāda Å”asija sabojājas, var tikt apdraudēta produktivitāte vai pat darbspēja! ā€“ visai sistēmai. Bet tas nenotiks ar mums: mēs esam nodroÅ”inājuÅ”i dublējumu Ä£eogrāfiski izplatÄ«tu datu kopiju lÄ«menÄ«. Mēs esam izplatÄ«juÅ”i Å”asijas dažādiem datu centriem - kopā izmantojam trÄ«s - un tas novērÅ” problēmu raÅ”anos gan Å”asijas kļūmju gadÄ«jumā, gan arÄ« tad, kad vietne nokrÄ«t.

Kā Uma.Tech attīstīja infrastruktūru

Protams, Ŕī pieeja padarÄ«ja aparatÅ«ras RAID lieku, no kā mēs atteicāmies. NovērÅ”ot dublÄ“Å”anos, mēs vienlaikus palielinājām sistēmas uzticamÄ«bu, vienkārÅ”ojot risinājumu un novērÅ”ot vienu no iespējamiem atteices punktiem. Atgādināsim, ka mÅ«su uzglabāŔanas sistēmas ir ā€œpaÅ”darinātasā€. Mēs to darÄ«jām diezgan apzināti un bijām pilnÄ«bā apmierināti ar rezultātu.

Datu centri Pēdējo piecu gadu laikā mēs esam mainÄ«juÅ”ies vairākas reizes. KopÅ” iepriekŔējā raksta tapÅ”anas mēs neesam mainÄ«juÅ”i tikai vienu datu centru - DataLine - pārējiem bija nepiecieÅ”ama nomaiņa, attÄ«stoties mÅ«su infrastruktÅ«rai. Visas pārsÅ«tÄ«Å”anas starp objektiem bija plānotas.

Pirms diviem gadiem migrējām iekŔā MMTS-9, pārvācoties uz vietu ar kvalitatÄ«vu remontu, labu dzesÄ“Å”anas sistēmu, stabilu baroÅ”anu un bez putekļiem, kas iepriekÅ” biezās kārtās gulēja uz visām virsmām un arÄ« aizsērēja mÅ«su iekārtu iekÅ”puses. . Izvēlieties kvalitatÄ«vus pakalpojumus un bez putekļiem! ā€“ kļuva par mÅ«su pārcelÅ”anās iemeslu.

Kā Uma.Tech attīstīja infrastruktūru

GandrÄ«z vienmēr ā€œviena kustÄ«ba ir divi ugunsgrēkiā€, taču problēmas migrācijas laikā katru reizi ir atŔķirÄ«gas. Å oreiz galvenās grÅ«tÄ«bas pārvietoties viena datu centra ietvaros ā€œnodroÅ”inājaā€ optiskie Ŕķērssavienojumi - to pārpilnÄ«ba starp stāviem, telekomunikāciju operatori tos neapvienojot vienā Ŕķērssavienojumā. Šķērssavienojumu atjaunināŔanas un marÅ”rutÄ“Å”anas maiņa (ar kuru mums palÄ«dzēja MMTS-9 inženieri), iespējams, bija visgrÅ«tākais migrācijas posms.

Otrā migrācija notika pirms gada; 2019. gadā mēs pārcēlāmies no ne pārāk laba datu centra uz O2xygen. PārcelÅ”anās iemesli bija lÄ«dzÄ«gi iepriekÅ” apspriestajiem, taču tos papildināja sākotnējā datu centra nepievilcÄ«bas problēma telekomunikāciju operatoriem - daudziem pakalpojumu sniedzējiem lÄ«dz Å”im nācās ā€œpanāktā€ paÅ”iem.

Kā Uma.Tech attīstīja infrastruktūru

13 statÄ«vu migrÄ“Å”ana uz kvalitatÄ«vu vietu MMTS-9 ļāva Å”o vietu attÄ«stÄ«t ne tikai kā operatora vietu (pāris statÄ«vu un operatoru ā€œuz priekÅ”uā€), bet arÄ« izmantot to kā vienu no galvenās. Tas nedaudz vienkārÅ”oja migrāciju no ne pārāk laba datu centra - mēs pārvedām lielāko daļu aprÄ«kojuma no tā uz citu vietu, un O2xygen tika pieŔķirta izstrādātāja loma, nosÅ«tot uz turieni 5 statÄ«vus ar aprÄ«kojumu.

Å odien O2xygen jau ir pilnvērtÄ«ga platforma, kurā ir ā€œieradÄ«juÅ”iesā€ mums nepiecieÅ”amie operatori un turpina pieslēgties jauni. Operatoriem O2xygen izrādÄ«jās pievilcÄ«gs arÄ« no stratēģiskās attÄ«stÄ«bas viedokļa.

Mēs vienmēr veicam galveno pārvietoÅ”anās fāzi vienā naktÄ«, un, migrējot MMTS-9 ietvaros un uz O2xygen, mēs ievērojām Å”o noteikumu. Uzsveram, ka stingri ievērojam ā€œpārvietoties pa naktiā€ noteikumu neatkarÄ«gi no plauktu skaita! Bija pat precedents, kad mēs pārvietojām 20 statÄ«vus un arÄ« to pabeidzām vienas nakts laikā. Migrācija ir diezgan vienkārÅ”s process, kas prasa precizitāti un konsekvenci, taču Å”eit ir daži triki gan sagatavoÅ”anās procesā, gan pārceļoties, gan izvietojot uz jaunu vietu. Esam gatavi detalizēti runāt par migrāciju, ja jÅ«s interesē.

rezultātus Mums patÄ«k piecu gadu attÄ«stÄ«bas plāni. Mēs esam pabeiguÅ”i jaunas, defektiem izturÄ«gas infrastruktÅ«ras izbÅ«vi, kas sadalÄ«ta trÄ«s datu centros. Esam krasi palielinājuÅ”i satiksmes blÄ«vumu - ja nesen priecājāmies par 40-80G ar 2U, tad tagad mums norma ir 100G ar 1U. Tagad pat terabitu satiksmes mēs uztveram kā ikdienu. Esam gatavi turpināt attÄ«stÄ«t savu infrastruktÅ«ru, kas ir izrādÄ«jusies elastÄ«ga un mērogojama.

Jautājums: Par ko man vajadzētu pastāstÄ«t turpmākajos tekstos, dārgie lasÄ«tāji? Par to, kāpēc mēs sākām veidot paÅ”taisÄ«tas datu uzglabāŔanas sistēmas? Par tÄ«kla kodolu un tā funkcijām? Par migrācijas trikiem un smalkumiem starp datu centriem? Par piegādes lēmumu optimizÄ“Å”anu, izvēloties komponentus un precizējot parametrus? Par ilgtspējÄ«gu risinājumu izveidi, pateicoties vairākām atlaiÅ”anām un horizontālās mērogoÅ”anas iespējām datu centrā, kas tiek Ä«stenotas trÄ«s datu centru struktÅ«rā?

Autors: Petrs Vinogradovs - Uma.Tech tehniskais direktors Kāmji

Avots: www.habr.com

Pievieno komentāru