Zerbitzu berriak jarri genituen martxan, trafikoa hazi zen, zerbitzariak ordezkatu, gune berriak konektatu eta datu-zentroak birmoldatu genituen, eta orain duela bost urte aurkeztu genuen istorio hau kontatuko dugu..
Bost urte bitarteko emaitzak laburtzeko ohiko denbora da. Hori dela eta, gure azpiegituren garapenaz hitz egitea erabaki dugu, azken bost urteotan garapen bide harrigarri eta interesgarri batetik igaro baita, harro gaude. Ezarri ditugun aldaketa kuantitatiboak kualitatibo bihurtu dira; orain azpiegiturak azken hamarkadaren erdialdean zoragarriak ziruditen moduetan funtziona dezake.
Proiektu konplexuenen funtzionamendua ziurtatzen dugu fidagarritasun eta karga eskakizun zorrotzenekin, PREMIER eta Match TV barne. Kirol emankizunak eta telesail ezagunen estreinaldiak terabit/s-ko trafikoa eskatzen du, hori erraz inplementatzen dugu, eta hainbestetan ezen halako abiadurarekin lan egitea ohikoa bihurtu zaigula aspaldi. Eta duela bost urte, gure sistemetan exekutatzen zen proiekturik astunena Rutube izan zen, harrezkero garatu, bolumenak eta trafikoa handitu dituena, kargak planifikatzeko orduan kontuan hartu beharrekoa.
Gure azpiegituren hardwarea nola garatu genuen hitz egin genuen () eta bideoak igotzeko ardura duen sistema bat garatu du (), baina denbora asko igaro da testu hauek idatzi zirenetik, beste irtenbide asko sortu eta ezarri dira, eta horien emaitzek baldintza modernoak betetzeko eta zeregin berrietara egokitzeko adina malgu izateko aukera ematen digute.
Sarearen muina Etengabe garatzen ari gara. 2015ean Cisco ekipamendura aldatu ginen, aurreko artikuluan aipatu genuena. Orduan 10/40G berdina zen oraindik, baina ageriko arrazoiengatik, urte batzuen buruan lehendik zegoen xasisa berritu zuten, eta orain 25/100G aktiboki erabiltzen dugu.
100G-ko loturak ez dira ez luxu bat (aitzitik, gure segmentuan garaiko premiazko eskakizuna da), ez bitxikeria (gero eta operadore gehiagok ematen dituzte konexioak halako abiaduran). Hala ere, 10/40G-k garrantzitsua izaten jarraitzen du: esteka hauen bidez trafiko txikiko operadoreak konektatzen jarraitzen dugu, eta, gaur egun, desegokia da portu zabalagoa erabiltzea.
Sortu dugun sarearen muina aparteko kontuan hartu behar da eta aparteko artikulu baten gai bihurtuko da pixka bat geroago. Bertan xehetasun teknikoetan sakonduko dugu eta gure ekintzen logika kontuan hartuko dugu sortzerakoan. Baina orain azpiegitura eskematikoago marrazten jarraituko dugu, zuen arreta, irakurle maiteak, ez baita mugagabea.
Bideo irteera zerbitzariak azkar eboluzionatu, eta horretarako esfortzu handia eskaintzen dugu. Lehen batez ere 2U zerbitzariak erabiltzen genituen 4-5 sare-txartel bakoitzak 10G-ko bi ataka dituztenak, orain trafiko gehiena 1U-ko zerbitzarietatik bidaltzen da, 2-3 txartel baitituzte 25G-ko bi porturekin. 10G eta 25G duten txartelak ia kostu berdinak dira, eta soluzio azkarragoek 10G eta 25G bidez transmititzeko aukera ematen dute. Ondorioz, aurrezki nabaria izan zen: zerbitzariaren osagai eta kable gutxiago konexiorako -kostu txikiagoa (eta fidagarritasun handiagoa), osagaiek leku gutxiago hartzen dute rack-ean - eremu unitate bakoitzeko zerbitzari gehiago jartzea posible izan zen eta, beraz, alokairu kostuak murriztea.
Baina garrantzitsuagoa da abiaduraren irabazia! Orain 1G baino gehiago bidal ditzakegu 100Urekin! Eta hau Errusiako proiektu handi batzuek 40U-ren 2G irteera "lorpen" gisa deitzen duten egoera baten atzealdean dago. Haien arazoak nahiko genituzke!
Kontuan izan 10G-n soilik funtziona dezaketen sare-txartelen sorkuntza erabiltzen dugula oraindik. Ekipo honek egonkortasunez funtzionatzen du eta oso ezaguna zaigu, beraz, ez dugu bota, baina erabilera berri bat aurkitu diogu. Osagai hauek bideo biltegiratze zerbitzarietan instalatu ditugu, eta 1G interfaze bat edo bi ez dira modu eraginkorrean funtzionatzeko nahikoa; hemen 10G txartelak garrantzitsuak izan dira.
Biltegiratze sistemak ere hazten ari dira. Azken bost urteotan, hamabi diskotik (12x HDD 2U) hogeita hamasei diskora (36x HDD 4U) izatera pasatu dira. Batzuk beldur dira halako "karkasak" zabalak erabiltzeari, izan ere, halako xasis batek huts egiten badu, produktibitatearen mehatxua egon daiteke, edo baita funtzionagarritasuna ere! - Sistema osorako. Baina hori ez da gurekin gertatuko: datuen kopia geo-banatuen mailan babeskopia eman dugu. Xasisa datu-zentro ezberdinetara banatu dugu -guztira hiru erabiltzen ditugu- eta honek arazoak ezabatzen ditu bai txasisaren hutsegiteen kasuan, bai gunea erortzen denean.
Jakina, hurbilketa honek hardware RAID erredundantea egin zuen, bertan behera utzi genuen. Erredundantzia ezabatuz, aldi berean sistemaren fidagarritasuna areagotu dugu, irtenbidea sinplifikatuz eta hutsegite-puntu potentzial bat kenduz. Gogora dezagun gure biltegiratze sistemak βetxekoakβ direla. Nahita nahita egin genuen eta emaitzarekin guztiz pozik geratu ginen.
Datu zentroak Azken bost urteotan hainbat aldiz aldatu gara. Aurreko artikulua idatzi zenetik, ez dugu datu-zentro bakarra aldatu - DataLine - gure azpiegitura garatu ahala gainerakoak ordezkatu behar izan ditu. Guneen arteko transferentzia guztiak aurreikusi ziren.
Duela bi urte, MMTS-9 barrura migratu ginen, kalitate handiko konponketak, hozte sistema ona, elikadura egonkorra eta hautsik gabeko gune batera joan ginen, lehenago gainazal guztietan geruza lodietan zeudela eta gure ekipoen barrualdea ere hondatzen zuen. . Aukeratu kalitatezko zerbitzuak - eta hautsik gabe! β gure mugimenduaren arrazoia bihurtu zen.
Ia beti "mugimendu batek bi sute balio ditu", baina migrazio garaiko arazoak desberdinak dira bakoitzean. Oraingoan, datu-zentro batean mugitzeko zailtasun nagusia gurutze-konexio optikoek eman zuten: solairuen arteko ugaritasuna telekomunikazio-operadoreek gurutze-konexio bakar batean konbinatu gabe. Zehar-konexioak eguneratzeko eta birbideratzeko prozesua (MMTS-9 ingeniariek lagundu ziguten) migrazioaren etaparik zailena izan zen agian.
Bigarren migrazioa duela urtebete egin zen; 2019an, datu-zentro ez oso on batetik O2xygenera pasatu ginen. Mugimenduaren arrazoiak goian aztertutakoen antzekoak izan ziren, baina telekomunikazio-operadoreentzako jatorrizko datu-zentroaren erakargarritasunik ezaren arazoarekin osatu ziren - hornitzaile askok beren kabuz "aurreratu" behar izan zuten.
13 bastidoreak MMTS-9-ko kalitate handiko gune batera migratzeak kokapen hau operadore baten kokapen gisa ez ezik (rack pare bat eta operadoreen "aurrerako" gisa) garatzea ahalbidetu zuen, baita hura ere erabiltzeko. nagusiak. Horrek zertxobait erraztu zuen datu-zentro ez oso on batetik migrazioa - ekipo gehienak bertatik beste gune batera garraiatu genituen, eta O2xygen-ek garatzen ari den baten papera eman zion, ekipoekin 5 rack bidaliz bertara.
Gaur egun O2xygen plataforma oso bat da dagoeneko, non behar ditugun operadoreak "iritsi" diren eta berriak konektatzen jarraitzen duten. Operadoreentzat, O2xygen garapen estrategikoaren ikuspuntutik ere erakargarria suertatu zen.
Mugimenduaren fase nagusia gau batean egiten dugu beti, eta MMTS-9-ren barruan eta O2xygen-era migratzean, arau horri eutsi genion. Azpimarratzen dugu zorrozki jarraitzen dugula "mugitu egun batetik bestera" araua, bastidore kopurua edozein dela ere! Aurrekari bat ere bazegoen 20 bastidori mugitu eta hau ere gau batean osatu genuenean. Migrazioa prozesu nahiko sinplea da, zehaztasuna eta koherentzia eskatzen duena, baina hemen badaude trikimailu batzuk, bai prestatzeko prozesuan, bai mugitzean, bai toki berri batera zabaltzean. Interesa baduzu, migrazioari buruz xehetasunez hitz egiteko prest gaude.
Findings Bost urteko garapen planak gustatzen zaizkigu. Hiru datu-zentrotan banatutako akatsak jasan ditzakeen azpiegitura berri baten eraikuntza amaitu dugu. Trafiko-dentsitatea nabarmen handitu dugu - duela gutxi 40-80G 2Urekin pozik geunden, orain guretzat araua 100G 1Urekin da. Orain trafikoaren terabit bat ere ohikoa dela hautematen dugu. Gure azpiegitura gehiago garatzeko prest gaude, malgua eta eskalagarria izan dena.
Galdera: Zertaz esan behar dizuet ondoko testuetan, irakurle maiteok? Zergatik hasi ginen etxeko datuak biltegiratzeko sistemak sortzen? Sarearen muina eta bere ezaugarriei buruz? Datu-zentroen arteko migrazioaren trikimailu eta Γ±abardurari buruz? Entrega-erabakiak optimizatzeari buruz, osagaiak hautatuz eta parametroak finkatuz? Datu-zentro baten barruan erredundantzia anitzei eta eskalatze horizontaleko gaitasunei esker irtenbide iraunkorrak sortzeari buruz, hiru datu-zentroko egitura batean inplementatuta daudenak?
Egilea: Petr Vinogradov - Uma.Tech-eko zuzendari teknikoa
Iturria: www.habr.com