Vi har lanserat nya tjĂ€nster, trafiken har ökat, servrar har bytts ut, nya plattformar har anslutits och datacentren har moderniserats â nu berĂ€ttar vi denna historia som vi introducerade för er för fem Ă„r sedan..
Fem Är Àr en karakteristisk tid för att dra preliminÀra slutsatser. DÀrför har vi beslutat att berÀtta om vÄr infrastrukturutveckling, som under dessa fem Är har genomgÄtt en fantastiskt intressant utvecklingsresa som vi Àr stolta över. De kvantitativa förÀndringar vi har genomfört har övergÄtt till kvalitativa, och nu kan infrastrukturen arbeta i lÀgen som för ett decennium sedan verkade fantastiska.
Vi sÀkerstÀller driften av komplexa projekt med strikta krav pÄ tillförlitlighet och belastningar, inklusive PREMIER och Match TV. Vid sportöverföringar och premiÀrer av populÀra serier krÀvs trafiköverföring i terabiter/s, vilket vi enkelt uppfyller, och vi gör detta sÄ ofta att arbete med sÄdana hastigheter har blivit rutin för oss. För fem Är sedan var det mest krÀvande projektet som kördes pÄ vÄra system Rutube, som sedan dess har utvecklats och ökat sina volymer och trafik, vilket mÄste beaktas vid planering av belastningar.
Vi har berÀttat om hur vi utvecklade "hÄrdvaran" i vÄr infrastruktur () och utvecklade systemet som Àr ansvarigt för videouppspelning (), men sedan dessa texter skrevs har mycket tid förflutit, det har skapats och implementerats mÄnga andra lösningar vars resultat gör att vi kan möta moderna krav och vara tillrÀckligt flexibla för att anpassa oss till nya uppgifter.
NÀtverkskÀrnan utvecklas stÀndigt. Vi gick över till Cisco-utrustning 2015, vilket vi nÀmnde i vÄr förra artikel. DÄ var det fortfarande 10/40G, men av uppenbara skÀl moderniserade vi de befintliga chassina nÄgra Är senare, och nu anvÀnder vi Àven 25/100G aktivt.
100G-lÀnkar Àr inte lÀngre en lyx (snarare Àr det en nödvÀndighet i vÄr sektor) eller en sÀllsynthet (fler och fler operatörer erbjuder anslutningar med sÄdana hastigheter). Men 10/40G förblir aktuella: genom dessa lÀnkar ansluter vi fortfarande operatörer med lÄg trafikvolym, dÀr det för nÀrvarande inte Àr ÀndamÄlsenligt att anvÀnda en mer kapabel port.
Det nÀtverkskÀrna vi har skapat förtjÀnar en separat genomgÄng och kommer senare att bli Àmnet för en egen artikel. DÀr kommer vi att fördjupa oss i de tekniska detaljerna och diskutera logiken bakom vÄra ÄtgÀrder vid dess skapande. Men nu fortsÀtter vi att skissa pÄ infrastrukturen mer schematiskt, dÄ er uppmÀrksamhet, kÀra lÀsare, inte Àr oÀndlig.
Videotransmissionsservrar utvecklas snabbt, för vilket vi lĂ€gger ner en hel del anstrĂ€ngningar. Tidigare anvĂ€nde vi huvudsakligen 2U-servrar med 4-5 nĂ€tverkskort med tvĂ„ 10G-portar var, men nu levereras stor del av trafiken med 1U-servrar, dĂ€r vi har 2-3 kort med tvĂ„ 25G-portar var. Kostnaden för 10G och 25G-kort har nĂ€stan jĂ€mnats ut, och snabbare lösningar gör att vi kan överföra antingen 10G eller 25G. Resultatet har blivit en uppenbar besparing: fĂ€rre serverkomponenter och kablar för anslutning â lĂ€gre kostnad (och högre pĂ„litlighet), komponenterna tar mindre plats i skĂ„pet â vilket har möjliggjort placering av fler servrar per ytenhet och dĂ€rmed lĂ€gre hyra.
Men viktigare Àr vinsten i hastighet! Nu kan vi med 1U överföra mer Àn 100G! Och detta i en situation dÀr vissa stora ryska projekt kallar en överföring av 40G med 2U för en "prestation". Vi skulle gÀrna ta deras problem!
Vi pÄpekar att vi fortfarande anvÀnder generationen av nÀtverkskort som endast kan arbeta pÄ 10G. Denna utrustning fungerar stabilt och Àr vÀlkÀnd för oss, sÄ vi har inte kastat bort den, utan har hittat nya anvÀndningsomrÄden för den. Dessa komponenter installerade vi i videolagringsservrar, dÀr det för effektiv drift uppenbarligen inte rÀcker med en eller tvÄ 1G-grÀnssnitt, hÀr visade sig 10G-korten vara aktuella.
Lagringssystem de ocksĂ„ ökar. Under de senaste fem Ă„ren har de gĂ„tt frĂ„n tolvdiskar (12x HDD 2U) till trettiosexdiskar (36x HDD 4U). SĂ„dana stora "chassin" oroar vissa för anvĂ€ndning, eftersom om ett sĂ„dant chassi skulle gĂ„ sönder kan det hota prestandan â och till och med funktionaliteten! â för hela systemet. Men sĂ„ kommer det inte att hĂ€nda hos oss: vi har sĂ€kerstĂ€llt redundans pĂ„ nivĂ„n av geografiskt spridda datakopior. Vi har spridit chassina över olika datacenter â totalt anvĂ€nder vi tre â och detta utesluter uppkomsten av problem bĂ„de vid fel pĂ„ chassina och vid driftstopp pĂ„ platsen.
SjÀlvklart har denna metod gjort hÄrdvaru-RAID överflödig, vilket vi har övergett. Genom att eliminera redundans har vi samtidigt ökat systemets tillförlitlighet, förenklat lösningen och tagit bort en potentiell felpunkt. LÄt oss pÄminna om att vÄr lagringslösning Àr "hemma-gjord". Vi gick medvetet för denna lösning och resultatet har helt motsvarat vÄra förvÀntningar.
Datacenter de senaste fem Ă„ren har vi Ă€ndrat flera gĂ„nger. Sedan artikeln skrevs har vi endast inte Ă€ndrat ett datacenter â DataLine â de andra har behövt bytas ut allteftersom vĂ„r infrastruktur har utvecklats. Alla flyttar mellan platserna har varit planerade.
TvĂ„ Ă„r sedan migrerade vi inom MMT-9, och flyttade till en plats med kvalitetsrenovering, bra kylsystem, stabil elförsörjning och utan den damm som tidigare lĂ„g i tjocka lager pĂ„ alla ytor och som ocksĂ„ hade fyllt ut vĂ„r utrustning. Valet av kvalitet pĂ„ tjĂ€nsterna â och avsaknad av damm! â blev orsaken till vĂ„r flytt.
NĂ€stan alltid "ett flytt Ă€r lika med tvĂ„ brĂ€nder", men problemen vid migrering Ă€r varje gĂ„ng olika. Denna gĂ„ng var den största svĂ„righeten vid flyttningen inom ett datacenter "orsakad" av optiska korskopplingar â deras riklighet mellan vĂ„ningsplan utan samordning i en enda kopplingspunkt frĂ„n telekommunikationsoperatörerna. Processen med att uppdatera och dra om korskopplingarna (dĂ€ringen hjĂ€lptes vi av ingenjörerna pĂ„ MMT-9) var sĂ€kert det mest utmanande steget i migreringen.
Den andra migreringen Ă€gde rum för ett Ă„r sedan, 2019, nĂ€r vi flyttade frĂ„n ett inte sĂ„ bra datacenter till O2xygen. Orsakerna till flytten var liknande de ovanstĂ„ende, men vi hade ocksĂ„ problem med det ursprungliga datacentret som var oattraktivt för operatörerna â mĂ„nga leverantörer behövde vi "jaga" till denna punkt med vĂ„ra egna krafter.
Migreringen av 13 rack till en kvalitetsanlĂ€ggning i MMT-9 gjorde det möjligt att utveckla denna plats inte bara som en operatörsplats (ett par-tre rack och "genomdrag" av operatörer), utan ocksĂ„ anvĂ€nda den som en av huvudlokationerna. Detta förenklade migreringen frĂ„n det inte sĂ„ bra datacentret â majoriteten av utrustningen dĂ€rifrĂ„n flyttade vi till en annan anlĂ€ggning, medan O2xygen fick rollen som en vĂ€xande plats, dĂ€r vi Ă€ven skickade 5 rack med utrustning.
I dag Àr O2xygen en fullt fungerande plats dit de operatörer vi behöver har "kommit" och nya fortsÀtter att koppla upp sig. För operatörerna har O2xygen ocksÄ visat sig vara attraktivt ur ett strategiskt utvecklingsperspektiv.
Den huvudsakliga fasen av flytten genomför vi alltid över en natt, och vid migreringen inom MMT-9 och till O2xygen följde vi denna regel. Vi vill betona att regeln för "flytt över en natt" strikt följs oavsett antalet rack! Det har till och med funnits ett fall dÀr vi flyttade 20 rack och genomförde detta ocksÄ över en natt. Migreringen Àr en ganska okomplicerad process som krÀver noggrannhet och sekvensering, men det finns ocksÄ vissa knep bÄde i förberedelsen, under flytten och vid installationen pÄ den nya platsen. Vi Àr redo att berÀtta mer detaljerat om migreringen om ni Àr intresserade.
Resultat FemĂ„rsplaner för utveckling gillar vi. Vi har slutfört byggandet av en ny redundanta infrastruktur, spridd över tre datacenter. Vi har kraftigt ökat kapaciteten att hantera trafik â om vi nyligen var glada för 40-80G med 2U, sĂ„ Ă€r det nu standard för oss att leverera 100G med 1U. Nu uppfattas till och med terabit trafik som normalt. Vi Ă€r redo att fortsĂ€tta utveckla vĂ„r infrastruktur, som har blivit flexibel och skalbar.
FrÄga: Vad ska vi berÀtta om i kommande texter, kÀra lÀsare? Om varför vi började skapa egna lagringssystem? Om nÀtverkskÀrnan och dess egenskaper? Om knep och detaljer kring migration mellan datacenter? Om optimering av lösningar för utdelning genom val av komponenter och finjustering av parametrar? Om att skapa robusta lösningar genom flerfaldig backup och horisontella skalningsmöjligheter inom datacentret, som har genomförts inom strukturen av tre datacenter?
Författare: Pjotr Vinogradov â Teknisk direktör pĂ„ Uma.Tech
KĂ€lla: habr.com
