Wir haben neue Dienste eingeführt, der Datenverkehr ist gewachsen, Server wurden ausgetauscht, neue Standorte angeschlossen und Rechenzentren umgestaltet – und jetzt erzählen wir diese Geschichte, deren Anfang wir Ihnen vor fünf Jahren vorgestellt haben.
Fünf Jahre sind ein typischer Zeitraum für die Zusammenfassung von Zwischenergebnissen. Deshalb haben wir uns entschieden, über die Entwicklung unserer Infrastruktur zu sprechen, die in den letzten fünf Jahren einen überraschend interessanten Entwicklungspfad durchlaufen hat, auf den wir stolz sind. Die von uns durchgeführten quantitativen Veränderungen haben sich in qualitative verwandelt; jetzt kann die Infrastruktur auf Arten funktionieren, die Mitte des letzten Jahrzehnts fantastisch schienen.
Wir gewährleisten den Betrieb der komplexesten Projekte mit den höchsten Anforderungen an Zuverlässigkeit und Auslastung, darunter PREMIER und Match TV. Sportübertragungen und die Premiere beliebter Fernsehserien erfordern Datenverkehr in Terabit/s, das können wir problemlos umsetzen, und so oft ist das Arbeiten mit solchen Geschwindigkeiten für uns längst selbstverständlich. Und vor fünf Jahren war Rutube das schwerste Projekt, das auf unseren Systemen lief. Seitdem hat sich das Volumen und der Verkehr erhöht, was bei der Planung der Lasten berücksichtigt werden musste.
Wir haben darüber gesprochen, wie wir die Hardware unserer Infrastruktur entwickelt haben () und entwickelte ein System zum Hochladen von Videos (), aber seit dem Verfassen dieser Texte ist viel Zeit vergangen, viele andere Lösungen wurden erstellt und implementiert, deren Ergebnisse es uns ermöglichen, modernen Anforderungen gerecht zu werden und flexibel genug zu sein, um uns an neue Aufgaben anzupassen.
Netzwerkkern Wir entwickeln uns ständig weiter. Wir sind 2015 auf Cisco-Geräte umgestiegen, was wir im vorherigen Artikel erwähnt haben. Damals war es immer noch das gleiche 10/40G, aber aus offensichtlichen Gründen wurde nach ein paar Jahren das bestehende Gehäuse aufgerüstet, und jetzt verwenden wir aktiv 25/100G.
100G-Verbindungen sind längst weder ein Luxus (eher ein dringendes Erfordernis der Zeit in unserem Segment) noch eine Seltenheit (immer mehr Betreiber bieten Verbindungen mit solchen Geschwindigkeiten an). 10/40G bleibt jedoch weiterhin relevant: Über diese Verbindungen verbinden wir weiterhin Betreiber mit einem geringen Verkehrsaufkommen, für das es derzeit ungeeignet ist, einen Port mit größerer Kapazität zu verwenden.
Der von uns erstellte Netzwerkkern verdient eine gesonderte Betrachtung und wird etwas später Gegenstand eines separaten Artikels sein. Dort werden wir uns mit technischen Details befassen und die Logik unseres Handelns bei der Erstellung berücksichtigen. Aber wir werden die Infrastruktur nun weiterhin schematischer zeichnen, da Ihre Aufmerksamkeit, liebe Leser, nicht unbegrenzt ist.
Videoausgabeserver entwickeln sich schnell weiter, wofür wir viel Aufwand betreiben. Wenn wir früher hauptsächlich 2U-Server mit 4-5 Netzwerkkarten mit jeweils zwei 10G-Ports verwendet haben, wird jetzt der Großteil des Datenverkehrs von 1U-Servern gesendet, die über 2-3 Karten mit jeweils zwei 25G-Ports verfügen. Karten mit 10G und 25G kosten nahezu den gleichen Preis, und schnellere Lösungen ermöglichen die Übertragung sowohl über 10G als auch über 25G. Das Ergebnis waren offensichtliche Einsparungen: weniger Serverkomponenten und Verbindungskabel – geringere Kosten (und höhere Zuverlässigkeit), Komponenten nehmen weniger Platz im Rack ein – es wurde möglich, mehr Server pro Flächeneinheit zu platzieren und damit niedrigere Mietkosten.
Aber wichtiger ist der Geschwindigkeitsgewinn! Jetzt können wir mehr als 1G mit 100U senden! Und dies vor dem Hintergrund einer Situation, in der einige große russische Projekte die 40G-Leistung von 2U als „Errungenschaft“ bezeichnen. Wir möchten ihre Probleme!
Beachten Sie, dass wir immer noch die Generation von Netzwerkkarten verwenden, die nur mit 10G betrieben werden können. Dieses Gerät funktioniert stabil und ist uns sehr vertraut, sodass wir es nicht weggeworfen, sondern eine neue Verwendung dafür gefunden haben. Wir haben diese Komponenten in Videospeicherservern verbaut, für deren effektiven Betrieb eine oder zwei 1G-Schnittstellen offensichtlich nicht ausreichen; hier erwiesen sich 10G-Karten als relevant.
Speichersysteme wachsen auch. In den letzten fünf Jahren haben sie sich von zwölf Festplatten (12x HDD 2U) auf sechsunddreißig Festplatten (36x HDD 4U) gewandelt. Manche scheuen sich davor, solche geräumigen „Karkassen“ zu verwenden, denn wenn ein solches Chassis ausfällt, könnte die Produktivität – oder sogar die Bedienbarkeit – gefährdet sein! – für das gesamte System. Aber das wird bei uns nicht passieren: Wir haben Backups auf der Ebene geografisch verteilter Datenkopien bereitgestellt. Wir haben das Gehäuse auf verschiedene Rechenzentren verteilt – wir nutzen insgesamt drei – und dadurch wird das Auftreten von Problemen sowohl bei Ausfällen des Gehäuses als auch bei einem Ausfall des Standorts vermieden.
Natürlich machte dieser Ansatz Hardware-RAID überflüssig, worauf wir verzichteten. Durch die Eliminierung der Redundanz haben wir gleichzeitig die Systemzuverlässigkeit erhöht, indem wir die Lösung vereinfacht und eine der potenziellen Fehlerquellen beseitigt haben. Wir möchten Sie daran erinnern, dass unsere Aufbewahrungssysteme „hausgemacht“ sind. Wir haben das ganz bewusst gemacht und waren mit dem Ergebnis rundum zufrieden.
Daten Center In den letzten fünf Jahren haben wir uns mehrmals verändert. Seit dem Schreiben des vorherigen Artikels haben wir nicht nur ein Rechenzentrum – DataLine – verändert, der Rest musste im Zuge der Weiterentwicklung unserer Infrastruktur ersetzt werden. Alle Transfers zwischen den Standorten waren geplant.
Vor zwei Jahren migrierten wir innerhalb von MMTS-9 und zogen an einen Standort mit hochwertigen Reparaturen, einem guten Kühlsystem, stabiler Stromversorgung und ohne Staub, der zuvor in dicken Schichten auf allen Oberflächen lag und auch das Innere unserer Geräte verstopfte . Wählen Sie hochwertige Dienstleistungen – und keinen Staub! – wurde der Grund für unseren Umzug.
Fast immer gilt: „Ein Umzug entspricht zwei Bränden“, aber die Probleme bei der Migration sind jedes Mal anders. Diesmal wurde die Hauptschwierigkeit bei der Bewegung innerhalb eines Rechenzentrums durch optische Querverbindungen „bereitgestellt“ – ihre Fülle zwischen den Etagen, ohne dass sie von Telekommunikationsbetreibern zu einer einzigen Querverbindung zusammengefasst wurden. Der Prozess der Aktualisierung und Umleitung von Querverbindungen (bei dem uns die MMTS-9-Ingenieure geholfen haben) war vielleicht die schwierigste Phase der Migration.
Die zweite Migration fand vor einem Jahr statt; 2019 sind wir von einem nicht sehr guten Rechenzentrum zu O2xygen umgezogen. Die Gründe für den Umzug ähnelten den oben diskutierten, wurden jedoch durch das Problem der Unattraktivität des ursprünglichen Rechenzentrums für Telekommunikationsbetreiber ergänzt – viele Anbieter mussten diesen Punkt aus eigener Kraft „aufholen“.
Die Migration von 13 Racks zu einem hochwertigen Standort in MMTS-9 ermöglichte es, diesen Standort nicht nur als Bedienerstandort (ein paar Racks und „Vorwärts“ von Bedienern) zu entwickeln, sondern ihn auch als einen der zu nutzen die wichtigsten. Dies vereinfachte die Migration von einem nicht sehr guten Rechenzentrum etwas – wir transportierten den Großteil der Ausrüstung von dort an einen anderen Standort, und O2xygen wurde die Rolle eines Entwicklungszentrums übertragen, das 5 Racks mit Ausrüstung dorthin schickte.
Heute ist O2xygen bereits eine vollwertige Plattform, auf der die von uns benötigten Betreiber „angekommen“ sind und sich weiterhin neue verbinden. Auch aus Sicht der strategischen Weiterentwicklung erwies sich O2xygen für Betreiber als attraktiv.
Wir führen die Hauptphase des Umzugs immer in einer Nacht durch und haben uns bei der Migration innerhalb von MMTS-9 und auf O2xygen an diese Regel gehalten. Wir betonen, dass wir uns unabhängig von der Anzahl der Racks strikt an die „Umzug über Nacht“-Regel halten! Es gab sogar einen Präzedenzfall, als wir 20 Regale bewegten und dies ebenfalls in einer Nacht erledigten. Die Migration ist ein recht einfacher Prozess, der Genauigkeit und Konsistenz erfordert. Allerdings gibt es hier einige Tricks, sowohl beim Vorbereitungsprozess als auch beim Umzug und bei der Bereitstellung an einem neuen Standort. Bei Interesse stehen wir Ihnen gerne für ein ausführliches Gespräch zum Thema Migration zur Verfügung.
Ergebnisse Wir mögen Fünfjahres-Entwicklungspläne. Wir haben den Aufbau einer neuen fehlertoleranten Infrastruktur, verteilt auf drei Rechenzentren, abgeschlossen. Wir haben die Verkehrsdichte stark erhöht – waren wir zuletzt noch mit 40-80G bei 2U zufrieden, sind bei uns mittlerweile 100G bei 1U die Norm. Mittlerweile wird sogar ein Terabit Verkehr von uns als alltäglich wahrgenommen. Wir sind bereit, unsere Infrastruktur weiterzuentwickeln, die sich als flexibel und skalierbar erwiesen hat.
Frage: Was soll ich Ihnen, liebe Leserinnen und Leser, in den folgenden Texten erzählen? Warum haben wir angefangen, selbstgemachte Datenspeichersysteme zu entwickeln? Über den Netzwerkkern und seine Funktionen? Über die Tricks und Feinheiten der Migration zwischen Rechenzentren? Über die Optimierung von Lieferentscheidungen durch die Auswahl von Komponenten und die Feinabstimmung von Parametern? Über die Schaffung nachhaltiger Lösungen dank mehrfacher Redundanz und horizontaler Skalierungsmöglichkeiten innerhalb des Rechenzentrums, die in einer Struktur aus drei Rechenzentren umgesetzt werden?
Autor: Petr Vinogradov – Technischer Direktor von Uma.Tech
Source: habr.com