Nous avons lancé de nouveaux services, augmenté le trafic, remplacé des serveurs, connecté de nouveaux sites et rénové des centres de données - et maintenant nous allons raconter cette histoire, dont nous vous avons présenté le début il y a cinq ans..
Cinq ans est une période typique pour résumer les résultats intermédiaires. Par conséquent, nous avons décidé de parler du développement de notre infrastructure, qui a suivi au cours des cinq dernières années une voie de développement étonnamment intéressante, dont nous sommes fiers. Les changements quantitatifs que nous avons mis en œuvre se sont transformés en changements qualitatifs ; désormais l’infrastructure peut fonctionner selon des modes qui semblaient fantastiques au milieu de la dernière décennie.
Nous assurons l'exploitation des projets les plus complexes avec les exigences de fiabilité et de charges les plus strictes, notamment PREMIER et Match TV. Les retransmissions sportives et les premières de séries télévisées populaires nécessitent un trafic en térabits/s, nous le mettons facilement en œuvre, et si souvent que travailler avec de telles vitesses est depuis longtemps devenu monnaie courante pour nous. Et il y a cinq ans, le projet le plus lourd en cours sur nos systèmes était Rutube, qui a depuis lors développé, augmenté les volumes et le trafic, ce qui devait être pris en compte lors de la planification des charges.
Nous avons parlé de la façon dont nous avons développé le matériel de notre infrastructure () et développé un système responsable du téléchargement de vidéos (), mais beaucoup de temps s'est écoulé depuis la rédaction de ces textes, de nombreuses autres solutions ont été créées et mises en œuvre, dont les résultats nous permettent de répondre aux exigences modernes et d'être suffisamment flexibles pour nous adapter aux nouvelles tâches.
Cœur du réseau Nous sommes en constante évolution. Nous sommes passés aux équipements Cisco en 2015, ce que nous évoquions dans l'article précédent. À l'époque, c'était toujours le même 10/40G, mais pour des raisons évidentes, après quelques années, ils ont mis à niveau le châssis existant, et maintenant nous utilisons activement le 25/100G.
Les liaisons 100G n'ont longtemps été ni un luxe (c'est plutôt une exigence urgente de l'époque dans notre segment), ni une rareté (de plus en plus d'opérateurs proposent des connexions à de tels débits). Cependant, le 10/40G reste d'actualité : grâce à ces liens, nous continuons à connecter des opérateurs avec un faible trafic, pour lequel il n'est actuellement pas approprié d'utiliser un port de plus grande capacité.
Le noyau de réseau que nous avons créé mérite une attention particulière et fera l'objet d'un article séparé un peu plus tard. Là, nous approfondirons les détails techniques et considérerons la logique de nos actions lors de sa création. Mais maintenant nous allons continuer à dessiner l'infrastructure de manière plus schématique, car votre attention, chers lecteurs, n'est pas illimitée.
Serveurs de sortie vidéo évoluer rapidement, pour lequel nous offrons beaucoup d'efforts. Si auparavant nous utilisions principalement des serveurs 2U avec 4 à 5 cartes réseau avec deux ports 10G chacune, la majeure partie du trafic est désormais envoyée à partir de serveurs 1U, qui disposent de 2 à 3 cartes avec deux ports 25G chacune. Les cartes 10G et 25G ont un coût presque égal, et des solutions plus rapides vous permettent de transmettre à la fois sur 10G et 25G. Le résultat a été des économies évidentes : moins de composants de serveur et de câbles pour la connexion - coût inférieur (et fiabilité plus élevée), les composants occupent moins de place dans le rack - il est devenu possible de placer plus de serveurs par unité de surface et, par conséquent, des coûts de location inférieurs.
Mais le plus important est le gain de vitesse ! Nous pouvons désormais envoyer plus de 1 G avec 100U ! Et cela dans le contexte d’une situation où certains grands projets russes qualifient la sortie 40G à partir de 2U de « réussite ». Nous aimerions leurs problèmes!
A noter que nous utilisons toujours la génération de cartes réseau qui ne peuvent fonctionner qu'en 10G. Cet équipement fonctionne de manière stable et nous est très familier, nous ne l'avons donc pas jeté, mais lui avons trouvé une nouvelle utilisation. Nous avons installé ces composants dans des serveurs de stockage vidéo, pour lesquels une ou deux interfaces 1G ne suffisent clairement pas pour fonctionner efficacement ; ici les cartes 10G se sont avérées pertinentes.
Systèmes de stockage sont également en croissance. Au cours des cinq dernières années, ils sont passés de douze disques (12x HDD 2U) à trente-six disques (36x HDD 4U). Certains ont peur d'utiliser des « carcasses » aussi volumineuses, car si l'un de ces châssis tombe en panne, la productivité, voire l'opérabilité, peut être menacée ! – pour l’ensemble du système. Mais cela n'arrivera pas chez nous : nous avons prévu une sauvegarde au niveau de copies de données géo-distribuées. Nous avons distribué le châssis dans différents centres de données - nous en utilisons trois au total - et cela élimine l'apparition de problèmes aussi bien en cas de panne du châssis que lorsque le site tombe.
Bien entendu, cette approche rendait le RAID matériel redondant, ce que nous avons abandonné. En éliminant la redondance, nous avons simultanément augmenté la fiabilité du système en simplifiant la solution et en supprimant l'un des points de défaillance potentiels. Rappelons que nos systèmes de stockage sont « faits maison ». Nous l'avons fait délibérément et nous avons été entièrement satisfaits du résultat.
Centres de données Au cours des cinq dernières années, nous avons changé plusieurs fois. Depuis la rédaction de l'article précédent, nous n'avons pas modifié un seul centre de données - DataLine - le reste devait être remplacé au fur et à mesure que notre infrastructure se développait. Tous les transferts entre sites étaient prévus.
Il y a deux ans, nous avons migré à l'intérieur de MMTS-9, vers un site avec des réparations de haute qualité, un bon système de refroidissement, une alimentation électrique stable et sans poussière, qui se trouvait auparavant en couches épaisses sur toutes les surfaces et obstruait également l'intérieur de nos équipements. . Choisissez des services de qualité – et pas de poussière ! – est devenu la raison de notre déménagement.
Presque toujours « un mouvement équivaut à deux incendies », mais les problèmes lors de la migration sont à chaque fois différents. Cette fois, la principale difficulté du déplacement au sein d'un même centre de données était « assurée » par les interconnexions optiques - leur abondance entre les étages sans être combinées en une seule interconnexion par les opérateurs télécoms. Le processus de mise à jour et de réacheminement des connexions croisées (avec lequel les ingénieurs de MMTS-9 nous ont aidés) a peut-être été l'étape la plus difficile de la migration.
La deuxième migration a eu lieu il y a un an ; en 2019, nous sommes passés d'un centre de données pas très bon à O2xygen. Les raisons de ce déménagement étaient similaires à celles évoquées ci-dessus, mais elles étaient complétées par le problème du manque d'attrait du centre de données d'origine pour les opérateurs de télécommunications - de nombreux fournisseurs ont dû « rattraper » leur propre retard jusqu'à présent.
La migration de 13 racks vers un site de qualité en MMTS-9 a permis de développer cet emplacement non seulement comme emplacement d'opérateur (quelques racks et « avants » d'opérateurs), mais aussi de l'utiliser comme l'un des les principaux. Cela a quelque peu simplifié la migration d'un centre de données pas très bon - nous avons transporté la plupart des équipements de celui-ci vers un autre site, et O2xygen s'est vu confier le rôle de développeur, en y envoyant 5 racks avec des équipements.
Aujourd'hui, O2xygen est déjà une plateforme à part entière, où les opérateurs dont nous avons besoin sont « arrivés » et de nouveaux continuent de se connecter. Pour les opérateurs, O2xygen s’est également révélé attractif du point de vue du développement stratégique.
Nous effectuons toujours la phase principale du déménagement en une nuit, et lors de la migration au sein de MMTS-9 et vers O2xygen, nous avons respecté cette règle. Nous soulignons que nous suivons strictement la règle du « déménagement du jour au lendemain », quel que soit le nombre de racks ! Il y a même eu un précédent lorsque nous avons déplacé 20 racks et réalisé cela également en une nuit. La migration est un processus assez simple qui nécessite précision et cohérence, mais il existe ici quelques astuces, à la fois dans le processus de préparation, lors du déplacement et lors du déploiement vers un nouvel emplacement. Nous sommes prêts à parler de migration en détail si vous êtes intéressé.
résultats Nous aimons les plans de développement sur cinq ans. Nous avons achevé la construction d'une nouvelle infrastructure tolérante aux pannes répartie dans trois centres de données. Nous avons fortement augmenté la densité du trafic - si récemment nous nous contentions de 40-80G avec 2U, la norme pour nous est désormais de 100G avec 1U. Désormais, même un térabit de trafic est perçu comme monnaie courante par nous. Nous sommes prêts à développer davantage notre infrastructure, qui s’est révélée flexible et évolutive.
question: Que dois-je vous dire dans les textes suivants, chers lecteurs ? Pourquoi avons-nous commencé à créer des systèmes de stockage de données faits maison ? À propos du cœur de réseau et de ses fonctionnalités ? Sur les astuces et subtilités de la migration entre centres de données ? De l'optimisation des décisions de livraison en sélectionnant les composants et en ajustant les paramètres ? De la création de solutions durables grâce à de multiples redondances et capacités d'évolutivité horizontale au sein d'un centre de données, mises en œuvre dans une structure de trois centres de données ?
Auteur : Petr Vinogradov - Directeur technique d'Uma.Tech
Source: habr.com