Nous avons lancé de nouveaux services, le trafic a augmenté, nous avons remplacé des serveurs, connecté de nouvelles plateformes et restructuré nos centres de données – aujourd'hui, nous allons raconter cette histoire que nous vous avons présentée il y a cinq ans..
Cinq ans – un moment caractéristique pour faire un bilan intermédiaire. C'est pourquoi nous avons décidé de parler du développement de notre infrastructure, qui a suivi un parcours incroyablement intéressant au cours des cinq dernières années, dont nous sommes fiers. Les changements quantitatifs que nous avons réalisés se sont transformés en changements qualitatifs, et maintenant notre infrastructure peut fonctionner dans des modes qui, au milieu de la dernière décennie, semblaient être de la science-fiction.
Nous assurons le fonctionnement de projets très complexes avec des exigences de fiabilité et de charge extrêmes, parmi lesquels PREMIER et Match TV. Lors des diffusions sportives et des premières de séries populaires, un débit de trafic de plusieurs téraoctets par seconde est nécessaire, et nous le réalisons facilement, si souvent que travailler à de telles vitesses est devenu une routine. Il y a cinq ans, le projet le plus lourd fonctionnant sur nos systèmes était Rutube, qui depuis a évolué, augmentant ses volumes et son trafic, ce qui devait être pris en compte lors de la planification des charges.
Nous avons parlé de la façon dont nous avons développé le « matériel » de notre infrastructure () et développé le système responsable de la livraison de vidéos (), mais depuis l'écriture de ces textes, beaucoup de temps s'est écoulé, de nombreuses autres solutions ont été créées et mises en œuvre, dont les résultats nous permettent de répondre aux exigences modernes et d'être suffisamment flexibles pour nous adapter à de nouvelles tâches.
Le cœur du réseau évolue constamment. Nous avons adopté l'équipement Cisco en 2015, comme nous l'avons mentionné dans notre précédent article. À l'époque, il s'agissait toujours de 10/40G, mais pour des raisons évidentes, nous avons modernisé les châssis existants quelques années plus tard, et utilisons désormais également du 25/100G.
Les liaisons 100G ne sont plus un luxe (c'est plutôt une exigence incontournable dans notre secteur) ni une rareté (de plus en plus d'opérateurs offrent des connexions à ces vitesses). Cependant, le 10/40G reste pertinent : à travers ces liaisons, nous continuons de connecter des opérateurs avec un faible volume de trafic, pour lesquels il n'est actuellement pas judicieux d'utiliser un port plus capacitaire.
Le cœur réseau que nous avons créé mérite une attention particulière et fera l'objet d'un article séparé plus tard. Nous y approfondirons les détails techniques et examinerons la logique de nos actions lors de sa création. Mais pour l'instant, continuons à esquisser l'infrastructure de manière plus schématique, car votre attention, chers lecteurs, n'est pas sans limites.
Serveurs de diffusion vidéo évoluent rapidement, pour cela nous déployons de nombreux efforts. Alors qu'auparavant nous utilisions principalement des serveurs 2U avec 4-5 cartes réseau, chacune ayant deux ports 10G, la grande majorité du trafic est maintenant délivrée par des serveurs 1U, équipés de 2-3 cartes ayant chacune deux ports 25G. Les cartes 10G et 25G se sont pratiquement égalisées en coût, et les solutions plus rapides permettent de délivrer à la fois en 10G et en 25G. Le résultat est une économie évidente : moins de composants dans le serveur et de câbles pour les connexions – moins de coûts (et une fiabilité accrue), les composants occupent moins d'espace dans le rack – ce qui permet d'héberger un plus grand nombre de serveurs par unité de surface, et par conséquent, le coût de la location est devenu plus bas.
Mais ce qui est encore plus important, c'est le gain de vitesse ! Maintenant, avec un 1U, nous pouvons délivrer plus de 100G ! Et cela dans un contexte où certains grands projets russes qualifient de « réalisation » la diffusion de 40G avec du 2U. Que nous serions heureux d'avoir leurs problèmes !
Notons que nous continuons à utiliser la génération de cartes réseau qui ne fonctionnent qu'en 10G. Cet équipement fonctionne de manière fiable et nous est bien connu, c'est pourquoi nous ne l'avons pas écarté, mais lui avons trouvé une nouvelle utilisation. Ces composants ont été installés dans des serveurs de stockage vidéo, qui ont déjà clairement besoin de plus d'un ou deux interfaces 1G pour fonctionner efficacement, ici les cartes 10G se sont révélées pertinentes.
Systèmes de stockage de données Ils augmentent également. Au cours des cinq dernières années, nous sommes passés de douze disques (12x HDD 2U) à trente-six disques (36x HDD 4U). Certains craignent d'utiliser de tels « carcasses » volumineuses, car la défaillance d'un châssis de ce type peut menacer les performances – voire la fonctionnalité – de tout le système. Mais cela ne nous arrivera pas : nous avons assuré la redondance au niveau des copies géo-distribuées de données. Nous avons réparti les châssis entre différents centres de données – au total, nous en utilisons trois – ce qui élimine les problèmes liés aux pannes de châssis ou à l'effondrement de la plate-forme.
Évidemment, cette approche a rendu redondant le RAID matériel, que nous avons abandonné. En nous débarrassant de la redondance, nous avons simultanément amélioré la fiabilité du système, simplifiant la solution et éliminant un des points de défaillance potentiels. Rappelons que nos systèmes de stockage sont « faits maison ». Nous avons fait ce choix de manière consciente et le résultat nous satisfait pleinement.
Centres de données au cours des cinq dernières années, nous les avons changés plusieurs fois. Depuis la rédaction de l'article précédent, nous n'avons changé qu'un seul centre de données – DataLine – les autres ont nécessité un remplacement au fur et à mesure du développement de notre infrastructure. Tous les déménagements entre les sites ont été planifiés.
Il y a deux ans, nous avons migré au sein de MMT-9, en passant à un site avec des réparations de qualité, un bon système de refroidissement, une alimentation électrique stable et sans la poussière qui auparavant s'accumulait épais sur toutes les surfaces et obstruait abondamment les entrailles de notre matériel. Le choix en faveur de la qualité des services – et l'absence de poussière ! – a été la raison de notre déménagement.
Il est presque toujours vrai que « un déménagement équivaut à deux incendies », mais les problèmes de migration sont à chaque fois différents. Cette fois-ci, la principale difficulté de déménagement au sein d'un même centre de données a été causée par les chemins de croisement optiques – leur abondance entre les étages sans centralisation par les opérateurs de télécommunication. Le processus de mise à jour et de re-câblage des croisements (dans lequel nous avons été aidés par les ingénieurs de MMT-9) a été, sans doute, l'étape la plus difficile de la migration.
La deuxième migration a eu lieu il y a un an, en 2019, où nous avons déménagé d'un data center pas très performant vers O2xygen. Les raisons du déménagement étaient similaires à celles évoquées ci-dessus, mais une problématique s'est ajoutée : l'attrait limité du data center d'origine pour les opérateurs de télécommunications - il fallait souvent « rattraper » de nombreux fournisseurs jusqu'à ce point par nos propres moyens.
La migration de 13 racks vers un emplacement de qualité à MMTS-9 a permis de développer cette localisation non seulement en tant qu'opérateur (quelques racks et des « passes » pour les opérateurs), mais aussi de la considérer comme l'un des principaux. Cela a quelque peu simplifié la migration depuis un data center pas très performant - la majorité de l'équipement a été transférée vers un autre site, et O2xygen a été désigné comme un site en développement, nous envoyant également 5 racks d'équipement.
Aujourd'hui, O2xygen est déjà un site pleinement fonctionnel, où les opérateurs nécessaires se sont « installés » et continuent de se connecter. O2xygen s'est également avéré attrayant pour les opérateurs en termes de développement stratégique.
Nous réalisons la phase principale du déménagement en une nuit, et lors de la migration à l'intérieur de MMTS-9 et vers O2xygen, nous avons respecté cette règle. Soulignons que la règle du « déménagement en une nuit » est strictement appliquée, quel que soit le nombre de racks ! Il y a même eu un précédent où nous avons déplacé 20 racks et avons également réalisé cela en une nuit. La migration est un processus assez simple, nécessitant soin et séquence, mais il y a aussi quelques astuces à connaître tant dans le processus de préparation que lors du déménagement et du déploiement sur le nouveau site. Nous sommes prêts à discuter en détail de la migration si cela vous intéresse.
Résultats Nous apprécions les périodes de cinq ans de développement. Nous avons achevé la construction d'une nouvelle infrastructure résiliente, répartie sur trois centres de données. Nous avons considérablement augmenté la densité de trafic - alors que récemment nous étions heureux avec 40-80G pour 2U, il est maintenant normal pour nous de délivrer 100G pour 1U. Maintenant, un trafic de téraoctets est considéré par nous comme quelque chose de banal. Nous sommes prêts à continuer à développer notre infrastructure, qui s'est avérée flexible et évolutive.
Question: De quoi parlerons-nous dans les prochains textes, chers lecteurs ? Pourquoi avons-nous commencé à créer des systèmes de stockage faits maison ? À propos du cœur réseau et de ses caractéristiques ? Des astuces et des subtilités de la migration entre data centers ? Sur l'optimisation des solutions de livraison par le choix des composants et le réglage fin des paramètres ? Sur la création de solutions résilientes grâce à la redondance et aux capacités de mise à l'échelle horizontale au sein du data center, réalisées dans une structure de trois DC ?
Auteur : Piotr Vinogradov — Directeur Technique de Uma.Tech
Source : habr.com
