Vi lanserade nya tjänster, trafiken växte, ersatte servrar, kopplade upp nya sajter och ombyggda datacenter - och nu ska vi berätta den här historien, vars början vi introducerade dig för fem år sedan.
Fem år är en typisk tidpunkt för att summera delårsresultat. Därför bestämde vi oss för att prata om utvecklingen av vår infrastruktur, som under de senaste fem åren har gått igenom en förvånansvärt intressant utvecklingsväg, som vi är stolta över. De kvantitativa förändringar vi har genomfört har förvandlats till kvalitativa, nu kan infrastrukturen fungera i lägen som verkade fantastiska i mitten av det senaste decenniet.
Vi säkerställer driften av de mest komplexa projekten med de strängaste kraven på tillförlitlighet och belastning, inklusive PREMIER och Match TV. Sportsändningar och premiären av populära tv-serier kräver trafik i terabit/s, det implementerar vi lätt och så ofta att arbetet med sådana hastigheter sedan länge har blivit vanligt för oss. Och för fem år sedan var det tyngsta projektet som körde på våra system Rutube, som sedan dess har utvecklats, ökat volymer och trafik, vilket man måste ta hänsyn till vid planering av laster.
Vi pratade om hur vi utvecklade hårdvaran i vår infrastruktur () och utvecklat ett system som ansvarar för att ladda upp videor (), men det har gått mycket tid sedan dessa texter skrevs, många andra lösningar har skapats och implementerats, vars resultat gör att vi kan möta moderna krav och vara tillräckligt flexibla för att anpassa oss till nya uppgifter.
Nätverkskärna Vi utvecklas hela tiden. Vi bytte till Cisco-utrustning 2015, vilket vi nämnde i föregående artikel. Då var det fortfarande samma 10/40G, men av förklarliga skäl uppgraderade de efter några år det befintliga chassit, och nu använder vi aktivt 25/100G.
100G-länkar har länge varken varit en lyx (snarare är detta ett brådskande krav i vårt segment) eller en sällsynthet (fler och fler operatörer tillhandahåller anslutningar med sådana hastigheter). 10/40G är dock fortfarande relevant: genom dessa länkar fortsätter vi att ansluta operatörer med en liten mängd trafik, för vilken det för närvarande är olämpligt att använda en mer rymlig port.
Nätverkskärnan vi skapade förtjänar separat övervägande och kommer att bli ämnet för en separat artikel lite senare. Där kommer vi att fördjupa oss i tekniska detaljer och överväga logiken i våra handlingar när vi skapar den. Men nu kommer vi att fortsätta att rita infrastrukturen mer schematiskt, eftersom er uppmärksamhet, kära läsare, inte är obegränsad.
Videoutgångsservrar utvecklas snabbt, vilket vi anstränger oss mycket för. Om vi tidigare främst använde 2U-servrar med 4-5 nätverkskort med två 10G-portar vardera, så skickas nu det mesta av trafiken från 1U-servrar, som har 2-3 kort med två 25G-portar vardera. Kort med 10G och 25G är nästan lika i kostnad, och snabbare lösningar gör att du kan sända över både 10G och 25G. Resultatet blev uppenbara besparingar: färre serverkomponenter och kablar för anslutning - lägre kostnad (och högre tillförlitlighet), komponenter tar mindre plats i racket - det blev möjligt att placera fler servrar per ytenhet och därmed lägre hyreskostnader.
Men viktigare är ökningen i hastighet! Nu kan vi skicka mer än 1G med 100U! Och detta är mot bakgrund av en situation där några stora ryska projekt kallar 40G-utgång från 2U för en "prestation". Vi skulle vilja ha deras problem!
Observera att vi fortfarande använder generationen av nätverkskort som bara kan fungera på 10G. Denna utrustning fungerar stabilt och är mycket bekant för oss, så vi slängde den inte, utan hittade en ny användning för den. Vi installerade dessa komponenter i videolagringsservrar, för vilka ett eller två 1G-gränssnitt uppenbarligen inte räcker för att fungera effektivt; här visade sig 10G-kort vara relevanta.
Förvaringssystem växer också. Under de senaste fem åren har de ändrats från tolv-diskar (12x HDD 2U) till trettiosex-diskar (36x HDD 4U). Vissa är rädda för att använda sådana rymliga "kroppar", eftersom om ett sådant chassi går sönder kan det finnas ett hot mot produktiviteten - eller till och med funktionsduglighet! – för hela systemet. Men detta kommer inte att hända med oss: vi har tillhandahållit säkerhetskopiering på nivån med geodistribuerade kopior av data. Vi har distribuerat chassit till olika datacenter - vi använder totalt tre - och detta eliminerar uppkomsten av problem både vid fel i chassit och när platsen faller.
Naturligtvis gjorde detta tillvägagångssätt hårdvara RAID överflödig, vilket vi övergav. Genom att eliminera redundans ökade vi samtidigt systemets tillförlitlighet genom att förenkla lösningen och ta bort en av de potentiella felpunkterna. Låt oss påminna dig om att våra lagringssystem är "hemgjorda". Vi gjorde detta ganska medvetet och vi var helt nöjda med resultatet.
Datacenter Under de senaste fem åren har vi förändrats flera gånger. Sedan förra artikeln skrevs har vi inte bara ändrat ett datacenter - DataLine - resten krävde utbyte allt eftersom vår infrastruktur utvecklades. Alla överföringar mellan platser var planerade.
För två år sedan migrerade vi in i MMTS-9 och flyttade till en plats med högkvalitativa reparationer, ett bra kylsystem, stabil strömförsörjning och inget damm, som tidigare låg i tjocka lager på alla ytor och även täppte till insidan av vår utrustning . Välj kvalitetstjänster – och inget damm! – blev anledningen till vår flytt.
Nästan alltid "ett drag är lika med två bränder", men problemen under migration är olika varje gång. Den här gången "tillhandahölls" den största svårigheten att röra sig inom ett datacenter av optiska korskopplingar - deras överflöd mellan våningarna utan att kombineras till en enda korskoppling av telekomoperatörer. Processen att uppdatera och omdirigera korskopplingar (med vilken MMTS-9-ingenjörer hjälpte oss) var kanske det svåraste steget av migreringen.
Den andra migreringen ägde rum för ett år sedan; 2019 flyttade vi från ett inte särskilt bra datacenter till O2xygen. Skälen till flytten liknade de som diskuterades ovan, men de kompletterades av problemet med det ursprungliga datacentrets oattraktivitet för telekomoperatörer - många leverantörer var tvungna att "komma ikapp" till denna punkt på egen hand.
Migreringen av 13 rack till en högkvalitativ plats i MMTS-9 gjorde det möjligt att utveckla denna plats inte bara som en operatörsplats (ett par rack och "forwards" av operatörer), utan också att använda den som en av de huvudsakliga. Detta förenklade migreringen något från ett inte särskilt bra datacenter - vi transporterade det mesta av utrustningen från det till en annan plats, och O2xygen fick rollen som ett utvecklande, och skickade dit 5 rack med utrustning.
Idag är O2xygen redan en fullfjädrad plattform, där de operatörer vi behöver har "kommit" och nya fortsätter att ansluta. För operatörerna visade sig O2xygen också vara attraktivt ur strategisk utvecklingssynpunkt.
Vi genomför alltid huvudfasen av flytten på en natt, och vid migrering inom MMTS-9 och till O2xygen höll vi oss till denna regel. Vi betonar att vi strikt följer regeln "flytta över natten", oavsett antalet ställ! Det fanns till och med ett prejudikat när vi flyttade 20 rack och klarade detta också på en natt. Migrering är en ganska enkel process som kräver noggrannhet och konsekvens, men det finns några knep här, både i förberedelseprocessen, och vid flytt, och vid utplacering till en ny plats. Vi är redo att prata om migration i detalj om du är intresserad.
Resultat Vi gillar femåriga utvecklingsplaner. Vi har slutfört konstruktionen av en ny feltålig infrastruktur fördelad på tre datacenter. Vi har kraftigt ökat trafiktätheten - om vi nyligen var nöjda med 40-80G med 2U, nu är normen för oss 100G med 1U. Nu uppfattas till och med en terabit trafik av oss som vanligt. Vi är redo att vidareutveckla vår infrastruktur, som har visat sig vara flexibel och skalbar.
Fråga: Vad ska jag berätta om i följande texter, kära läsare? Om varför vi började skapa hemmagjorda datalagringssystem? Om nätverkskärnan och dess funktioner? Om knep och finesser med migrering mellan datacenter? Om att optimera leveransbeslut genom att välja komponenter och finjustera parametrar? Om att skapa hållbara lösningar tack vare flera redundanser och horisontella skalningsmöjligheter inom ett datacenter, som implementeras i en struktur med tre datacenter?
Författare: Petr Vinogradov - teknisk chef för Uma.Tech
Källa: will.com