We hebben nieuwe diensten gelanceerd, het verkeer groeide, servers vervangen, nieuwe sites aangesloten en datacenters vernieuwd - en nu zullen we dit verhaal vertellen, waarvan we het begin vijf jaar geleden aan je hebben voorgesteld.
Vijf jaar is een typische periode voor het samenvatten van tussentijdse resultaten. Daarom besloten we te praten over de ontwikkeling van onze infrastructuur, die de afgelopen vijf jaar een verrassend interessant ontwikkelingspad heeft doorgemaakt, waar we trots op zijn. De kwantitatieve veranderingen die we hebben doorgevoerd zijn omgezet in kwalitatieve veranderingen; nu kan de infrastructuur functioneren op manieren die halverwege het afgelopen decennium fantastisch leken.
Wij zorgen voor de exploitatie van de meest complexe projecten met de strengste eisen op het gebied van betrouwbaarheid en belasting, waaronder PREMIER en Match TV. Sportuitzendingen en de première van populaire tv-series vereisen verkeer in terabits/s, dit implementeren we gemakkelijk, en zo vaak dat het werken met dergelijke snelheden voor ons al lang gemeengoed is geworden. En vijf jaar geleden was het zwaarste project dat op onze systemen draaide Rutube, dat sindsdien de volumes en het verkeer heeft vergroot, waarmee rekening moest worden gehouden bij het plannen van ladingen.
We spraken over hoe we de hardware van onze infrastructuur ontwikkelden () en ontwikkelde een systeem dat verantwoordelijk is voor het uploaden van video's (), maar er is veel tijd verstreken sinds deze teksten zijn geschreven, er zijn veel andere oplossingen bedacht en geïmplementeerd, waarvan de resultaten ons in staat stellen aan de moderne eisen te voldoen en flexibel genoeg te zijn om ons aan te passen aan nieuwe taken.
Netwerk kern Wij zijn voortdurend in ontwikkeling. In 2015 zijn we overgestapt op Cisco-apparatuur, zoals we in het vorige artikel al vermeldden. Destijds was het nog steeds dezelfde 10/40G, maar om voor de hand liggende redenen hebben ze na een paar jaar het bestaande chassis geüpgraded, en nu gebruiken we actief 25/100G.
100G-verbindingen zijn lange tijd noch een luxe geweest (het is eerder een dringende vereiste van deze tijd in ons segment), noch een zeldzaamheid (steeds meer operators bieden verbindingen met dergelijke snelheden aan). 10/40G blijft echter relevant: via deze verbindingen blijven we operators verbinden met een kleine hoeveelheid verkeer, waarvoor het momenteel niet gepast is om een ruimere haven te gebruiken.
De netwerkkern die we hebben gemaakt verdient een aparte overweging en zal later het onderwerp worden van een apart artikel. Daar zullen we ons verdiepen in technische details en de logica van onze acties overwegen bij het maken ervan. Maar nu zullen we de infrastructuur schematischer blijven tekenen, aangezien uw aandacht, beste lezers, niet onbeperkt is.
Video-uitvoerservers evolueren snel, waarvoor wij veel inspanning leveren. Vroeger gebruikten we voornamelijk 2U-servers met 4-5 netwerkkaarten met elk twee 10G-poorten, nu wordt het meeste verkeer verzonden vanaf 1U-servers, die 2-3 kaarten hebben met elk twee 25G-poorten. Kaarten met 10G en 25G zijn qua kosten vrijwel gelijk, en met snellere oplossingen kunt u verzenden via zowel 10G als 25G. Het resultaat was een duidelijke besparing: minder servercomponenten en kabels voor de verbinding - lagere kosten (en hogere betrouwbaarheid), componenten nemen minder ruimte in het rack in beslag - het werd mogelijk om meer servers per oppervlakte-eenheid te plaatsen en dus lagere huurkosten.
Maar belangrijker is de snelheidswinst! Nu kunnen we meer dan 1G verzenden met 100U! En dit tegen de achtergrond van een situatie waarin sommige grote Russische projecten 40G-uitvoer van 2U een ‘prestatie’ noemen. Wij willen graag hun problemen!
Houd er rekening mee dat we nog steeds de generatie netwerkkaarten gebruiken die alleen op 10G kunnen werken. Deze apparatuur werkt stabiel en is voor ons heel bekend, daarom hebben we hem niet weggegooid, maar er een nieuwe bestemming voor gevonden. We installeerden deze componenten in video-opslagservers, waarvoor een of twee 1G-interfaces duidelijk niet voldoende zijn om effectief te functioneren; hier bleken 10G-kaarten relevant.
Opbergsystemen groeien ook. In de afgelopen vijf jaar zijn ze overgestapt van twaalf schijven (12x HDD 2U) naar zesendertig schijven (36x HDD 4U). Sommigen zijn bang om zulke ruime ‘karkassen’ te gebruiken, want als zo’n chassis uitvalt, kan dit een bedreiging vormen voor de productiviteit – of zelfs voor de bruikbaarheid! – voor het hele systeem. Maar bij ons zal dit niet gebeuren: we hebben back-up geleverd op het niveau van geogedistribueerde kopieën van gegevens. We hebben het chassis over verschillende datacenters verdeeld - we gebruiken er in totaal drie - en dit elimineert het optreden van problemen, zowel in het geval van storingen in het chassis als wanneer de locatie uitvalt.
Uiteraard maakte deze aanpak hardware-RAID overbodig, wat we achterwege hebben gelaten. Door redundantie te elimineren, hebben we tegelijkertijd de systeembetrouwbaarheid vergroot door de oplossing te vereenvoudigen en een van de potentiële storingspunten weg te nemen. Laten we u eraan herinneren dat onze opslagsystemen ‘zelfgemaakt’ zijn. We hebben dit heel bewust gedaan en waren helemaal tevreden met het resultaat.
Datacentra De afgelopen vijf jaar zijn we verschillende keren veranderd. Sinds het schrijven van het vorige artikel hebben we niet slechts één datacenter gewijzigd – DataLine – de rest moest worden vervangen naarmate onze infrastructuur zich ontwikkelde. Alle transfers tussen locaties waren gepland.
Twee jaar geleden zijn we binnen MMTS-9 gemigreerd en verhuisden we naar een locatie met hoogwaardige reparaties, een goed koelsysteem, een stabiele stroomvoorziening en geen stof, dat voorheen in dikke lagen op alle oppervlakken lag en ook de binnenkant van onze apparatuur verstopte. . Kies voor kwaliteitsdiensten – en geen stof! – werd de reden voor onze verhuizing.
Bijna altijd ‘is één zet gelijk aan twee vuren’, maar de problemen tijdens de migratie zijn elke keer anders. Deze keer werd de grootste moeilijkheid bij het verplaatsen binnen één datacenter “veroorzaakt” door optische kruisverbindingen – hun overvloed tussen verdiepingen zonder dat ze door telecomoperatoren in één enkele kruisverbinding werden gecombineerd. Het proces van het updaten en herrouteren van dwarsverbindingen (waarmee MMTS-9-ingenieurs ons hebben geholpen) was misschien wel de moeilijkste fase van de migratie.
De tweede migratie vond een jaar geleden plaats; in 2019 zijn we verhuisd van een niet zo goed datacenter naar O2xygen. De redenen voor de verhuizing waren vergelijkbaar met de hierboven besproken redenen, maar werden aangevuld met het probleem van de onaantrekkelijkheid van het oorspronkelijke datacenter voor telecomoperatoren - veel providers moesten dit punt zelf 'inhalen'.
De migratie van 13 racks naar een hoogwaardige locatie in MMTS-9 maakte het mogelijk om deze locatie niet alleen te ontwikkelen als operatorlocatie (een paar racks en “vooruit” van operators), maar deze ook te gebruiken als een van de belangrijkste. Dit vereenvoudigde de migratie van een niet erg goed datacenter enigszins - we transporteerden het grootste deel van de apparatuur van daaruit naar een andere locatie, en O2xygen kreeg de rol van ontwikkelingswerker, door 5 racks met apparatuur daarheen te sturen.
Tegenwoordig is O2xygen al een volwaardig platform, waar de operators die we nodig hebben ‘aangekomen’ zijn en waar nieuwe zich blijven aansluiten. Voor operators bleek O2xygen ook vanuit het oogpunt van strategische ontwikkeling aantrekkelijk.
De hoofdfase van de verhuizing voeren wij altijd in één nacht uit en bij de migratie binnen MMTS-9 en naar O2xygen hebben wij ons aan deze regel gehouden. We benadrukken dat we de ‘move night’-regel strikt volgen, ongeacht het aantal racks! Er was zelfs een precedent toen we twintig racks verplaatsten en dit ook in één nacht voltooiden. Migratie is een vrij eenvoudig proces dat nauwkeurigheid en consistentie vereist, maar er zijn hier enkele trucjes, zowel tijdens het voorbereidingsproces als bij het verhuizen en bij het inzetten op een nieuwe locatie. Als u geïnteresseerd bent, staan wij klaar om uitgebreid over migratie te praten.
Bevindingen Wij houden van vijfjarige ontwikkelingsplannen. We hebben de bouw voltooid van een nieuwe fouttolerante infrastructuur, verdeeld over drie datacenters. We hebben de dichtheid van het verkeer sterk verhoogd. Waren we onlangs tevreden met 40-80G met 2U, nu is de norm voor ons 100G met 1U. Nu wordt zelfs een terabit aan verkeer door ons als alledaags ervaren. We zijn klaar om onze infrastructuur, die flexibel en schaalbaar is gebleken, verder te ontwikkelen.
Vraag: Waar moet ik jullie over vertellen in de volgende teksten, beste lezers? Over waarom we zijn begonnen met het maken van zelfgemaakte dataopslagsystemen? Over de netwerkkern en zijn functies? Over de trucs en subtiliteiten van migratie tussen datacenters? Over het optimaliseren van leveringsbeslissingen door componenten te selecteren en parameters te verfijnen? Over het creëren van duurzame oplossingen dankzij meerdere redundanties en horizontale schaalmogelijkheden binnen een datacenter, die worden geïmplementeerd in een structuur van drie datacenters?
Auteur: Petr Vinogradov - Technisch directeur van Uma.Tech
Bron: www.habr.com