Hemos lanzado nuevos servicios, el tráfico ha crecido, hemos reemplazado servidores, conectado nuevas plataformas y reestructurado los centros de datos, y ahora contaremos esta historia, cuya introducción compartimos hace cinco años..
Cinco años es un tiempo característico para hacer un balance. Por eso, decidimos hablar sobre el desarrollo de nuestra infraestructura, que en este quinquenio ha recorrido un camino de desarrollo sorprendentemente interesante, del cual nos sentimos orgullosos. Los cambios cuantitativos que hemos realizado se han convertido en cualitativos, y ahora la infraestructura puede operar en modos que, a mediados de la década pasada, parecían fantásticos.
Garantizamos la operación de los proyectos más complejos con requisitos de fiabilidad y carga extremadamente estrictos, entre los que se encuentran PREMIER y Match TV. Durante las retransmisiones deportivas y el estreno de series populares, se requiere una salida de tráfico en terabits por segundo, y lo hacemos sin dificultad, tan a menudo que trabajar con estas velocidades se ha vuelto cotidiano para nosotros. Hace cinco años, el proyecto más pesado que operaba en nuestros sistemas era Rutube, que desde entonces ha crecido, aumentando volúmenes y tráfico, lo que debíamos tener en cuenta al planificar cargas.
Hemos hablado sobre cómo desarrollamos el 'hardware' de nuestra infraestructura () y desarrollamos el sistema responsable de la entrega de video (), pero desde que se escribieron esos textos ha pasado mucho tiempo, se han creado e implementado muchas otras soluciones, cuyos resultados nos permiten satisfacer las demandas actuales y ser lo suficientemente flexibles como para adaptarnos a nuevas tareas.
El núcleo de la red se desarrolla continuamente. Pasamos a equipos Cisco en 2015, como mencionamos en el artículo anterior. Entonces teníamos los mismos 10/40G, pero por razones obvias, en pocos años modernizamos los chasis existentes, y ahora utilizamos también 25/100G.
Los enlaces de 100G ya no son un lujo (más bien, son una necesidad urgente en nuestro sector) ni una rareza (cada vez más operadores ofrecen conexiones a estas velocidades). Sin embargo, el 10/40G sigue siendo relevante: a través de estos enlaces, continuamos conectando a operadores con un bajo volumen de tráfico, para los cuales actualmente no es rentable utilizar un puerto más grande.
El núcleo de red que hemos creado merece una consideración separada y más adelante será el tema de un artículo aparte. Ahí profundizaremos en los detalles técnicos y revisaremos la lógica detrás de nuestras acciones en su creación. Pero ahora continuaremos dibujando la infraestructura de manera más esquemática, ya que su atención, estimados lectores, no es infinita.
Los servidores de entrega de video evolucionan rápidamente, por lo que aportamos mucho esfuerzo. Si antes utilizábamos principalmente servidores de 2U con 4-5 tarjetas de red, cada una con dos puertos de 10G, ahora la mayor parte del tráfico se entrega desde servidores de 1U, en los que hay 2-3 tarjetas, cada una con dos puertos de 25G. Las tarjetas de 10G y 25G prácticamente han igualado sus precios, y las soluciones de mayor velocidad permiten entregar tanto a 10G como a 25G. El resultado ha sido un ahorro evidente: menos componentes del servidor y cables de conexión, lo que reduce el costo (y aumenta la fiabilidad); los componentes ocupan menos espacio en el rack, lo que ha permitido alojar un mayor número de servidores en un mismo espacio y, por lo tanto, ha reducido el costo del alquiler.
¡Pero lo más importante es la ganancia en velocidad! ¡Ahora podemos entregar más de 100G desde 1U! Y esto en un contexto en el que algunos grandes proyectos rusos consideran un 'logro' entregar 40G desde 2U. ¡Nos gustaría tener esos problemas!
Cabe destacar que seguimos utilizando la generación de tarjetas de red que solo pueden trabajar a 10G. Este equipo funciona de manera estable y es bien conocido para nosotros, por lo que no lo hemos desechado, sino que hemos encontrado una nueva aplicación para él. Estas piezas las hemos instalado en servidores de almacenamiento de video, que claramente requieren más de uno o dos interfaces de 1G para un funcionamiento efectivo; aquí, las tarjetas de 10G se han vuelto relevantes.
Sistemas de almacenamiento de datos también están creciendo. En el transcurso de los últimos cinco años, han pasado de ser unidades de doce discos (12x HDD 2U) a unidades de treinta y seis discos (36x HDD 4U). Algunos temen utilizar tales cajas tan grandes, ya que si falla una, podría poner en peligro el rendimiento —¡y hasta la operatividad!— de todo el sistema. Pero eso no nos sucederá: hemos asegurado la redundancia a nivel de copias geodistribuidas de datos. Hemos distribuido las cajas entre diferentes centros de datos —en total utilizamos tres— y esto elimina la posibilidad de problemas tanto en caso de fallas en la caja como en caso de caída de la plataforma.
Por supuesto, este enfoque ha hecho obsoleto el RAID de hardware, del que hemos prescindido. Al eliminar la redundancia, hemos mejorado la fiabilidad del sistema al simplificar la solución y eliminar un posible punto de fallo. Recordemos que nuestro sistema de almacenamiento es "artesanal". Esto lo hicimos de manera completamente consciente y el resultado nos ha satisfecho por completo.
Centros de datos hemos cambiado varias veces en los últimos cinco años. Desde la redacción del artículo anterior, solo hemos mantenido un centro de datos – DataLine – los demás han requerido reemplazo a medida que nuestra infraestructura ha ido evolucionando. Todos los traslados entre plataformas han sido planificados.
Hace dos años, migramos dentro de MMTС-9, trasladándonos a una plataforma con una buena remodelación, un buen sistema de refrigeración, suministro eléctrico estable y sin el polvo que antes cubría gruesas capas en todas las superficies y obstruía abundantemente el interior de nuestro equipo. La elección a favor de la calidad del servicio —y la ausencia de polvo!— fue la razón de nuestra mudanza.
Casi siempre "una mudanza equivale a dos incendios", pero los problemas durante la migración son diferentes cada vez. Esta vez, la principal dificultad para mudarse dentro de un mismo centro de datos fue provocada por las conexiones ópticas: su abundancia interplanta sin ser consolidadas en un solo cruce por parte de los operadores de telecomunicaciones. El proceso de actualización y reconfiguración de las conexiones (en lo que nos ayudaron los ingenieros de MMTС-9) fue, sin duda, la etapa más complicada de la migración.
La segunda migración se llevó a cabo hace un año, en 2019, cuando nos trasladamos de un centro de datos poco satisfactorio a O2xygen. Las razones de la mudanza fueron similares a las mencionadas anteriormente, pero se añadió el problema de la falta de atractivo del centro de datos original para los operadores de telecomunicaciones: muchos proveedores tenían que ser «alcanzados» hasta este punto por nuestros medios.
La migración de 13 racks a una plataforma de calidad en MMTS-9 permitió desarrollar esta ubicación no solo como operadora (un par o tres de racks y «conexiones» de operadores), sino también utilizarla como una de las principales. Esto simplificó un poco la migración desde un centro de datos poco satisfactorio: la mayoría de los equipos fueron trasladados a otra ubicación, y a O2xygen se le asignó el papel de desarrollo, enviando también allí 5 racks con equipos.
Hoy en día, O2xygen ya es una plataforma completa, a la que «han llegado» los operadores que necesitamos y continúan conectándose nuevos. O2xygen también resultó atractivo para los operadores en términos de desarrollo estratégico.
La fase principal de la mudanza la llevamos a cabo necesariamente en una sola noche, y al migrar dentro de MMTS-9 y a O2xygen nos adherimos a esta regla. Destacamos que la regla de «mudanza en una noche» se cumple estrictamente sin importar el número de racks. Hubo incluso un precedente en el que trasladamos 20 racks y también lo hicimos en una noche. La migración es un proceso relativamente sencillo que requiere precisión y secuenciación, pero aquí también hay ciertos trucos tanto en el proceso de preparación, como durante la mudanza y el despliegue en la nueva ubicación. Estamos listos para hablar en detalle sobre la migración si hay interés por su parte.
Resultados Nos gustan los quinquenios de desarrollo. Hemos completado la construcción de una nueva infraestructura tolerante a fallos, distribuida en tres centros de datos. Hemos aumentado drásticamente la densidad de entrega de tráfico: si recientemente nos complacíamos con 40-80G con 2U, ahora es norma para nosotros entregar 100G con 1U. Ahora incluso un terabit de tráfico lo percibimos como algo cotidiano. Estamos listos para seguir desarrollando nuestra infraestructura, que ha resultado ser flexible y escalable.
Pregunta: ¿Sobre qué deberíamos hablar en los próximos textos, estimados lectores? ¿Sobre por qué comenzamos a crear sistemas de almacenamiento hechos a medida? ¿Sobre el núcleo de la red y sus características? ¿Sobre los trucos y matices de la migración entre centros de datos? ¿Sobre la optimización de soluciones de entrega mediante la selección de componentes y ajustes precisos de parámetros? ¿Sobre la creación de soluciones resilientes gracias a la redundancia múltiple y las capacidades de escalado horizontal dentro del centro de datos, implementadas en una estructura de tres centros de datos?
Autor: Petr Vinogradov — Director técnico de Uma.Tech
Fuente: habr.com
