Ne kemi lançuar shërbime të reja, trafiku është rritur, kemi zëvendësuar serverë, kemi lidhur platforma të reja dhe kemi rregulluar Qendrën e Të Dhënave – tani do t'ju tregojmë këtë histori, me të cilën ju kemi njohur pesë vjet më parë..
Pesë vjet – një periudhë simbolike për të përmbledhur arritjet deri tani. Prandaj, vendosëm të flasim për zhvillimin e infrastrukturës tonë, e cila në pesë vjet ka kaluar një rrugë për zhvillim të mahnitshëm që na bën të krenohemi. Ndryshimet e realizuara nga ne kaluan nga sasitë në cilësi, tani infrastruktura mund të punojë në regjime që në mes të dekadës së kaluar duken fantastike.
Ne ofrojmë mbështetje për projekte të ndërlikuara me kërkesa të larta për besueshmëri dhe ngarkesa, mes të cilave janë PREMIER dhe Match TV. Për transmetimet sportive dhe premierat e serialeve të njohura kërkohet një sasi trafiku në terabita/s, diçka që e realizojmë lehtësisht, dhe që shpesh është bërë rutinë për ne. Pesë vjet më parë, projekti më i rëndë që punonte në sistemet tona ishte Rutube, i cili që atëherë është zhvilluar, duke rritur volumet dhe trafikun, çka duhej marrë parasysh në planifikimin e ngarkesave.
Folëm për mënyrën se si zhvilluam "harduerin" e infrastrukturës sonë () dhe zhvilluam sistemin përgjegjës për shpërndarjen e videove (), por nga koha e shkruarjes së këtyre teksteve ka kaluar shumë kohë, janë krijuar dhe zbatuar shumë zgjidhje të tjera, rezultatet e të cilave na lejojnë të përmbushim kërkesat moderne dhe të jemi mjaft elastikë për t'u përshtatur me detyrat e reja.
Nukli i rrjetit ne vazhdimisht po e zhvillojmë. Kemi kaluar në pajisje Cisco në vitin 2015, për të cilën kemi përmendur edhe në artikullin e kaluar. Atëherë ishin të njëjtat 10/40G, por për shkak të arsyes të kuptueshme, disa vite më pas modernizuam shashet ekzistuese, dhe tani po përdorim aktivisht edhe 25/100G.
Lidhjet 100G prej kohësh nuk janë as luks (përkundrazi, ato janë një kërkesë urgjente në sektorin tonë), as një raritet (po bëhen gjithnjë e më shumë operatorë që ofrojnë lidhje me këto shpejtësi). Megjithatë, 10/40G mbetet aktuale: përmes këtyre lidhjeve vazhdojmë të lidhim operatorë me volum të vogël të trafikut, për të cilët aktualisht nuk është e arsyeshme të përdoren porte më të mëdha.
Nuk mund të anashkalohet thelbi i rrjetit që kemi krijuar dhe do të jetë subjekt i një artikulli të veçantë më vonë. Aty do të thellojmë në detajet teknike dhe do të shqyrtojmë logjikën e veprimeve tona gjatë krijimit të tij. Por tani vazhdojmë të skicojmë infrastrukturën, pasi vëmendja juaj, lexues të nderuar, nuk është e pakufizuar.
Serverat për transmetimin e videos Shërbimet e teknologjisë evoluojnë shpejt, ndaj ofrojmë shumë mundësi. Nëse më parë përdornim kryesisht serverë 2U me 4-5 karta rrjeti me dy porta 10G për secilën, tani pjesa më e madhe e trafikut kalon përmes serverëve 1U, ku kanë 2-3 karta me dy porta 25G për secilën. Kostoja e kartave 10G dhe 25G është pothuajse e njëjtë, ndërsa zgjidhjet më të shpejta mund të ofrojnë jo vetëm 10G, por edhe 25G. Kjo ka sjellë një kursim të dukshëm: më pak komponentë serveri dhe kabllo për lidhje - më pak kosto (dhe një besueshmëri më të lartë), komponentët zënë më pak hapësirë në raft - tani është e mundur të vendosen më shumë serverë në njësi sipërfaqe dhe, si rezultat, kostoja e qirasë është ulur.
Por më e rëndësishme është përfitimi në shpejtësi! Tani nga 1U mund të ofrojmë më shumë se 100G! Dhe këtë ndodhi në një kontekst ku disa projekte të mëdha ruse e quajnë "arritje" ofrimin e 40G me 2U. Na vijnë keq për problemet e tyre!
Vërejtim se ne vazhdojmë të përdorim gjeneratën e kartave rrjet që funksionojnë vetëm në 10G. Ky pajisje punon stabilisht dhe na është e njohur, prandaj nuk e hodhëm poshtë, por i dhamë një përdorim të ri. Këto komponente i kemi instaluar në serverat e ruajtjes së videove, të cilat tashmë për funksionimin efektiv kërkojnë më shumë se një apo dy ndërfaqe 1G; këtu kartat 10G u treguan të nevojshme.
Sistemet e ruajtjes së të dhënave të rriten gjithashtu. Gjatë pesë viteve të fundit, ato janë kaluar nga dymbëdhjetë disq të (12x HDD 2U) në tridhjetë e gjashtë disq (36x HDD 4U). Të tilla kapacitete "të mëdha" disa frikësohen t'i përdorin, pasi në rast se dështojnë një nga këto shasira, mund të rrezikohet performanca – madje edhe funksionaliteti! – i të gjithë sistemit. Por kjo nuk do të ndodhë me ne: kemi siguruar rezerva në nivelin e kopjeve të gjeo-distribuara të të dhënave. Ne i shpërndamë shasitë në qendra të ndryshme të të dhënave – gjithsej përdorim tre – dhe kjo përjashton shfaqjen e problemeve si në rastet e dështimeve të shasive, ashtu edhe në rënien e platformës.
Natyrisht, ky qasje e bëri të panevojshëm RAID-in harduerik, nga i cili ne u dorëzuam. Duke eliminuar redundancën, ne njëkohësisht rritëm besueshmërinë e sistemit, thjeshtësuam zgjidhjen dhe hiqnim një nga pikat e mundshme të dështimit. Për t'u rikujtuar, ruajtja e të dhënave për ne është "e bërë vetë". Këtë e bëmë plotësisht me vetëdije dhe rezultati na kënaq plotësisht.
Qendrat e të dhënave gjatë pesë viteve të fundit ne i kemi ndërruar disa herë. Që nga shkrimi i artikullit të mëparshëm ne kemi mbajtur vetëm një qendër të të dhënave – DataLine – të tjerat kërkuan zëvendësim gjatë zhvillimit të infrastrukturës tonë. Të gjitha lëvizjet midis vendeve ishin planifikuar.
Dy vjet më parë ne migruam brenda MMTS-9, duke kaluar në një vend me rinovim cilësor, sistem të mirë ftohjeje, furnizim stabil me energji elektrike dhe pa pluhur, i cili më parë kishte mbuluar sipërfaqet me shtresa të trasha dhe gjithashtu kishte mbushur brendësitë e pajisjeve tona. Zgjedhja në favor të cilësisë së shërbimeve – dhe mungesës së pluhurit! – ishte shkaku i lëvizjes sonë.
Gati gjithmonë "një zhvendosje është dy zjarre", por problemet gjatë migrimit janë gjithmonë të ndryshme. Këtë herë, kompleksiteti kryesor i zhvendosjes brenda një Qendra të Të Dhënave u "sigurua" nga kryqëzimet optike – abundenca e tyre ndërkatësore pa u bashkuar në një pikë të vetme nga operatorët e komunikimit. Procesi i përditësimit dhe ripërcaktimit të kryqëzimeve (në këtë na ndihmuan inxhinierët e MMT-9), ndoshta ishte faza më e vështirë e migrimit.
Migrimi i dytë ndodhi një vit më parë, në vitin 2019 u zhvendosëm nga një Qendër të Dhënash jo shumë të mira në O2xygen. Arsyet e zhvendosjes ishin të ngjashme me ato të shqyrtuara më sipër, por atyre iu shtua edhe problemi i pakëndshmërisë së Qendrës së Të Dhënave fillestare për operatorët e komunikimit – shumë ofrues duhet të "kërkonim" për të arritur në këtë pikë me forcat tona.
Migrimi i 13 raftëve në një platformë cilësore në MMTS-9 na lejoj të zhvillonim këtë lokacion jo vetëm si operator (një çift raftesh dhe "qëllime" operatorësh), por gjithashtu ta përdorim si një nga të parat. Kjo e thahet pak migrimin nga një QOÇ jo shumë të mirë – shumica e pajisjeve nga ajo u transferuan në një platformë tjetër, ndërsa O2xygen mori rol zhvillues, duke dërguar atje gjithashtu 5 raftë me pajisje.
Sot O2xygen është një platformë e plotë, ku "erdhën" operatorët e nevojshëm dhe vazhdojnë të lidhen të rinj. Për operatorët, O2xygen ishte gjithashtu tërheqës nga pikëpamja e zhvillimit strategjik.
Faza kryesore e migrimit ne sigurojmë që ta realizojmë brenda një nate, dhe gjatë migrimit brenda MMTS-9 dhe në O2xygen e kemi ndjekur këtë rregull. Theksojmë se rregulli "migrimi brenda natës" zbatohet me rigorozitet, pavarësisht numrit të rafteve! Ka pasur edhe një rast kur kemi transportuar 20 rafte dhe e kemi realizuar gjithashtu brenda një nate. Migrimi është një proces mjaft i thjeshtë, që kërkon kujdes dhe renditje, por gjithashtu ka disa truke si në fazën e përgatitjes, ashtu edhe në migrim dhe në vendosjen në lokacionin e ri. Jemi të gatshëm të flasim në detaje për migrimin nëse keni interes.
Rezultatet Na pëlqejnë pesëvjeçarët e zhvillimit. Ne përfunduam ndërtimin e infrastrukturës sonë të re të qëndrueshme, të shpërndarë në tri qendra të përpunimit të të dhënave. Ndjeshëm rritëm densitetin e shpërndarjes së trafikut – nëse së fundmi gëzonim 40-80G me 2U, tani për ne është normë të japim 100G me 1U. Tani dhe terabiti i trafikut perceptohet nga ne si diçka normale. Jemi të gatshëm të vazhdojmë të zhvillojmë infrastrukturën tonë, e cila rezultoi të jetë e shkallëzuar dhe fleksibël.
Pyetja: çfarë do të flasim në tekstet që vijnë, e nderuar lexues? Pse filluam të krijojmë sisteme të ricikluara për ruajtjen e të dhënave? Rreth thelbit të rrjetit dhe karakteristikave të tij? Rreth trukeve dhe nuancave të migrimit mes qendrave të të dhënave? Rreth optimizimit të zgjidhjeve për shpërndarje duke zgjedhur komponente dhe duke rregulluar parametrat me kujdes? Rreth krijimit të zgjidhjeve të qëndrueshme përmes kopjimit të shumëfishtë dhe mundësive horizontale të shkallëzimit brenda qendrës së të dhënave, të cilat janë realizuar në një strukturë me tri qendra të të dhënave?
Autori: Pjetër Vinogradov — Drejtori Teknik i Uma.Tech
Burimi: habr.com
