Wie Uma.Tech die Infrastruktur entwickelt hat

Wir haben neue Dienste gestartet, der Datenverkehr ist gewachsen, wir haben Server ersetzt, neue Standorte angebunden und Rechenzentren umgebaut – jetzt erzählen wir die Geschichte, mit der wir Sie vor fünf Jahren bekannt gemacht haben..

Fünf Jahre sind eine bemerkenswerte Zeitspanne für eine Zwischenbilanz. Daher haben wir uns entschieden, über die Entwicklung unserer Infrastruktur zu berichten, die in diesen fünf Jahren einen erstaunlich interessanten Entwicklungsprozess durchlaufen hat, auf den wir stolz sind. Die von uns realisierten quantitativen Veränderungen wurden in qualitative umgewandelt, nun kann die Infrastruktur in Modi arbeiten, die in der Mitte des letzten Jahrzehnts als fantastisch galten.

Wir unterstützen die anspruchsvollsten Projekte mit höchsten Anforderungen an Zuverlässigkeit und Last, darunter PREMIER und Match TV. Bei Sportübertragungen und der Premiere beliebter Serien ist eine Datenübertragungsrate im Terabit-Bereich erforderlich – das können wir problemlos umsetzen, und das so häufig, dass solche Geschwindigkeiten für uns zur Normalität geworden sind. Vor fünf Jahren war das anspruchsvollste Projekt, das auf unseren Systemen lief, Rutube, das seither gewachsen ist, Volumen und Traffic gesteigert hat, was bei der Planung der Lasten berücksichtigt werden musste.

Wir haben darüber berichtet, wie wir die Hardware unserer Infrastruktur weiterentwickelt haben („Rutube 2009-2015: Die Geschichte unserer Hardware“) und die Systeme ausgebaut haben, die für die Videolieferung verantwortlich sind („Von null auf 700 Gigabit pro Sekunde – wie einer der größten Video-Hosting-Dienste Russlands Videos liefert“), aber seit der Erstellung dieser Texte ist viel Zeit vergangen, und es wurden zahlreiche andere Lösungen geschaffen und implementiert, deren Ergebnisse es uns ermöglichen, den modernen Anforderungen gerecht zu werden und flexibel genug zu sein, um uns auf neue Aufgaben einzustellen.

Netzwerkkern Wir entwickeln ständig weiter. Im Jahr 2015 haben wir auf Cisco-Ausrüstung umgestellt, wie bereits in unserem vorherigen Artikel erwähnt. Damals handelte es sich um die gleichen 10/40G, aber verständlicherweise wurden die bestehenden Chassis einige Jahre später aufgerüstet, und jetzt nutzen wir auch aktiv 25/100G.

100G-Verbindungen sind längst kein Luxus mehr (vielmehr ist es eine dringende Anforderung in unserem Segment) und auch keine Seltenheit mehr (immer mehr Betreiber bieten Anschlüsse mit solchen Geschwindigkeiten an). Dennoch bleibt 10/40G relevant: Über diese Verbindungen verbinden wir Betreiber mit geringem Datenvolumen, wo es derzeit unwirtschaftlich wäre, einen leistungsfähigeren Port zu nutzen.

Das von uns entwickelte Netzwerk-Kern verdient eine separate Betrachtung und wird später Thema eines eigenen Artikels sein. Dort werden wir tiefere technische Details erörtern und die Logik hinter unseren Entscheidungen bei dessen Erstellung beleuchten. Aber jetzt fahren wir fort, die Infrastruktur schematisch darzustellen, da Ihre Aufmerksamkeit, geschätzte Leser, nicht unbegrenzt ist.

Videostreaming-Server Die Technologie entwickelt sich rasant weiter, und wir setzen beträchtliche Anstrengungen ein, um Schritt zu halten. Während wir früher hauptsächlich 2U-Server mit 4-5 Netzwerkkarten und je zwei 10G-Ports verwendeten, arbeiten jetzt die meisten unserer Anwendungen mit 1U-Servern, die mit 2-3 Karten und je zwei 25G-Ports ausgestattet sind. Die Preise für 10G und 25G-Karten haben sich nahezu angeglichen, und die schnelleren Lösungen ermöglichen eine gleichzeitige Übertragung über 10G und 25G. Das Resultat ist eine klare Kosteneinsparung: weniger Serverkomponenten und Kabel für die Verbindung führen zu geringeren Kosten (und höherer Zuverlässigkeit). Zudem beanspruchen die Komponenten weniger Platz im Rack, was die Unterbringung einer größeren Anzahl von Servern auf derselben Fläche ermöglicht und folglich die Mietkosten senkt.

Doch der größere Vorteil liegt in der Geschwindigkeit! Jetzt können wir mit 1U mehr als 100G bereitstellen! Das ist besonders beeindruckend im Vergleich zu einigen großen russischen Projekten, die eine Übertragung von 40G mit 2U als "Erfolg" feiern. Solche Probleme hätten wir gerne!

Wir möchten darauf hinweisen, dass wir nach wie vor Netzwerkarten verwenden, die ausschließlich 10G unterstützen. Diese Ausrüstung funktioniert stabil und ist uns gut vertraut, weshalb wir sie nicht entsorgt, sondern einem neuen Zweck zugeführt haben. Diese Komponenten haben wir in Video-Storage-Server installiert, die zur effektiven Nutzung eindeutig mehr als nur ein oder zwei 1G-Interfaces benötigen. Hier kommen die 10G-Karten optimal zum Einsatz.

Speichersysteme haben ebenfalls zugenommen. In den letzten fünf Jahren haben sie sich von zwölfdiskigen (12x HDD 2U) auf sechsunddreißigdiskige (36x HDD 4U) Systeme erweitert. Einige scheuen sich, solche großen „Gehäuse“ zu verwenden, da bei einem Ausfall eines solchen Chassis die Leistung – oder sogar die Funktionsfähigkeit – des gesamten Systems bedroht sein kann. Doch bei uns wird so etwas nicht passieren: Wir haben eine Georedundanz auf Datenkopien implementiert. Wir haben die Chassis in verschiedenen Rechenzentren verteilt – insgesamt nutzen wir drei – was Probleme sowohl bei Chassis-Ausfällen als auch beim Ausfall eines Standorts ausschließt.

Natürlich hat dieser Ansatz die Notwendigkeit für hardwarebasiertes RAID überflüssig gemacht, auf das wir verzichtet haben. Indem wir auf Redundanz verzichtet haben, haben wir gleichzeitig die Zuverlässigkeit des Systems erhöht, die Lösung vereinfacht und einen potenziellen Fehlerpunkt entfernt. Denken Sie daran, dass unser Storage-System „maßgeschneidert“ ist. Wir haben diese Entscheidung ganz bewusst getroffen, und das Ergebnis hat uns voll und ganz zufriedengestellt.

Rechenzentren In den vergangenen fünf Jahren haben wir mehrere Umstellungen vorgenommen. Seit der Veröffentlichung des letzten Artikels haben wir nur ein Rechenzentrum nicht verändert – DataLine – die anderen mussten aufgrund der Weiterentwicklung unserer Infrastruktur ersetzt werden. Alle Umzüge zwischen den Standorten waren geplant.

Vor zwei Jahren haben wir innerhalb von MMTS-9 migriert und sind in eine Plattform mit hochwertiger Ausstattung, guter Kühlsystem, stabiler Stromversorgung und ohne Staub, der vorher in dicken Schichten auf allen Oberflächen lag und auch das Innere unserer Geräte massiv verstopfte, gewechselt. Die Entscheidung für hochwertige Dienstleistungen – und die Abwesenheit von Staub! – war der Grund für unseren Umzug.

Fast immer gilt: „Ein Umzug ist gleich zwei Bränden“, doch die Herausforderungen bei der Migration sind jedes Mal unterschiedlich. Diesmal stellte die optische Verkabelung innerhalb eines Rechenzentrums die größte Schwierigkeit dar – die Vielzahl an Querverbindungen zwischen den Etagen war nicht in einer gemeinsamen Verkabelung von den Netzwerkbetreibern zusammengeführt. Der Prozess der Aktualisierung und Neuverlegung der Verkabelungen (wobei uns die Ingenieure von MMT-9 unterstützt haben) war wohl der komplexeste Schritt der Migration.

Die zweite Migration fand vor einem Jahr statt, im Jahr 2019 zogen wir aus einem nicht besonders guten Rechenzentrum in das O2xygen um. Die Gründe für den Umzug waren ähnlich wie die zuvor besprochenen, jedoch kam das Problem der Unattraktivität des ursprünglichen Rechenzentrums für die Netzwerkbetreiber hinzu – viele Provider mussten wir eigenständig zu diesem Punkt hinführen.

Die Migration von 13 Racks zu einem hochwertigen Standort in MMTS-9 hat es uns ermöglicht, diesen Standort nicht nur als Betreiberstandort (ein paar Racks und „Durchleitungen“ von Betreibern) zu entwickeln, sondern ihn auch als einen der Hauptstandorte zu nutzen. Dies hat die Migration aus einem nicht gerade optimalen Rechenzentrum vereinfacht – die meisten Geräte haben wir auf einen anderen Standort verlagert, während O2xygen die Rolle eines sich entwickelnden Standorts übernommen hat, indem wir dort auch 5 Racks mit Geräten platzierten.

Heute ist O2xygen bereits eine vollwertige Plattform, die die für uns erforderlichen Betreiber aufgenommen hat und weiterhin neue hinzukommen. Für die Betreiber hat sich O2xygen ebenfalls als attraktiv erwiesen, was die strategische Entwicklung betrifft.

Die Hauptphase des Umzugs führen wir immer über Nacht durch. Dies gilt sowohl für Migrationen innerhalb von MMTS-9 als auch zu O2xygen. Wir möchten betonen, dass wir die Regel "Umzug über Nacht" strikt einhalten, unabhängig von der Anzahl der Racks! Es gab sogar einen Fall, in dem wir 20 Racks umgezogen haben und dies ebenfalls in einer Nacht erledigt haben. Die Migration ist ein relativ unkomplizierter Prozess, der Sorgfalt und Kontinuität erfordert. Aber auch hier gibt es einige Tricks, sowohl in der Vorbereitungsphase als auch beim Umzug und der Bereitstellung am neuen Standort. Gerne erzählen wir Ihnen im Detail mehr über die Migration, wenn Sie Interesse daran haben.

Ergebnisse Wir freuen uns über fünfjährige Entwicklungsphasen. Wir haben eine neue ausfallsichere Infrastruktur abgeschlossen, die auf drei Rechenzentren verteilt ist. Die Auslastung des Datenverkehrs hat drastisch zugenommen – während wir kürzlich noch mit 40-80G bei 2U zufrieden waren, ist es jetzt für uns normal, 100G mit 1U bereitzustellen. Selbst Terabit-Datenverkehr wird jetzt von uns als Routine angesehen. Wir sind bereit, unsere flexible und skalierbare Infrastruktur weiter auszubauen.

Frage: Was möchten wir Ihnen in den kommenden Texten erzählen, geschätzte Leser? Warum haben wir begonnen, eigene Speicherlösungen zu entwickeln? Über das Netzwerk-Kern und seine Besonderheiten? Über Tricks und Kniffe beim Migrationsprozess zwischen Rechenzentren? Über die Optimierung von Lösungen durch die Auswahl von Komponenten und Feineinstellungen? Über die Schaffung stabiler Lösungen durch redundante Backups und horizontale Skalierungsmöglichkeiten innerhalb eines Rechenzentrums, die in einer Struktur von drei Rechenzentren umgesetzt sind?

Autor: Peter Winogradov — Technischer Direktor von Uma.Tech Hamster

Quelle: habr.com