Abbiamo lanciato nuovi servizi, il traffico è aumentato, abbiamo sostituito server, connesso nuove piattaforme e rinnovato i Data Center: ora vi racconteremo questa storia, che abbiamo iniziato a presentarvi cinque anni fa..
Cinque anni è un periodo significativo per fare un bilancio intermedio. Perciò abbiamo deciso di raccontare l'evoluzione della nostra infrastruttura, che in questi cinque anni ha intrapreso un percorso di sviluppo straordinariamente interessante, di cui siamo orgogliosi. I cambiamenti quantitativi che abbiamo attuato si sono trasformati in miglioramenti qualitativi, ora l'infrastruttura può operare in modalità che a metà del decennio scorso sembravano fantascienza.
Gestiamo progetti complessi con rigorosi requisiti di affidabilità e carichiamo, tra cui PREMIER e Match TV. Le trasmissioni sportive e i debutti di serie popolari richiedono una capacità di esportazione del traffico in terabit/s; noi lo realizziamo senza problemi, ed è talmente comune che gestire tali velocità è diventato per noi routine. Cinque anni fa, il progetto più gravoso sulle nostre piattaforme era Rutube, che da allora si è sviluppato, espandendo i volumi e il traffico che dovevamo pianificare.
Abbiamo parlato di come abbiamo sviluppato l'hardware della nostra infrastruttura () e abbiamo sviluppato il sistema responsabile della distribuzione video (), ma da quando sono stati scritti questi testi sono passati molti anni, sono state create e implementate numerose altre soluzioni, i cui risultati ci permettono di rispondere alle attuali esigenze e di essere sufficientemente elastici per adattarci a nuove sfide.
Il nucleo della rete si evolve costantemente. Siamo passati a dispositivi Cisco nel 2015, come avevamo già accennato nel precedente articolo. Allora eravamo ancora sui 10/40G, ma per motivi evidenti, già dopo qualche anno abbiamo aggiornato i telai esistenti e ora utilizziamo attivamente anche 25/100G.
I link a 100G non sono più né un lusso (piuttosto, è una richiesta urgente del mercato nel nostro settore) né una rarità (sempre più operatori offrono connessioni a queste velocità). Tuttavia, il 10/40G rimane rilevante: attraverso questi link continuiamo a connettere operatori con un basso volume di traffico, per cui attualmente non è conveniente utilizzare una porta più capiente.
Il core di rete che abbiamo creato merita un'attenzione separata e diventerà oggetto di un articolo a parte. Qui approfondiremo i dettagli tecnici e esamineremo la logica delle nostre azioni durante la sua creazione. Ma ora continuiamo a rappresentare l'infrastruttura in modo più schematico, poiché la vostra attenzione, cari lettori, non è illimitata.
Server di streaming video evolvono rapidamente e noi investiamo non pochi sforzi in questo. Se un tempo utilizzavamo principalmente server 2U con 4-5 schede di rete, ciascuna con due porte 10G, ora la maggior parte del traffico è gestita da server 1U, nei quali ci sono 2-3 schede, ognuna con due porte 25G. I costi delle schede 10G e 25G sono praticamente livellati, e soluzioni di maggiore velocità consentono di trasmettere sia a 10G che a 25G. Il risultato è un evidente risparmio: meno componenti del server e cavi per le connessioni significano costi inferiori (e maggiore affidabilità), i componenti occupano meno spazio nel rack, rendendo possibile ospitare un numero maggiore di server per unità di superficie e, quindi, ridurre il costo dell'affitto.
Ma la cosa più importante è il guadagno in velocità! Ora possiamo trasmettere oltre 100G con un 1U! E ciò in un contesto in cui alcuni grandi progetti russi definiscono un "risultato" la trasmissione di 40G con un 2U. Vorremmo avere i loro problemi!
Notiamo che continuiamo a utilizzare la generazione di schede di rete che supportano solo il 10G. Questa attrezzatura funziona stabilmente ed è ben nota a noi, quindi non l'abbiamo scartata, ma abbiamo trovato un nuovo utilizzo per essa. Questi componenti sono stati installati in server di archiviazione video, dove non è più sufficiente un paio di interfacce 1G per un funzionamento efficace; qui le schede 10G si sono rivelate attuali.
Sistemi di archiviazione dati stanno crescendo. Negli ultimi cinque anni, sono passati da dodici dischi (12x HDD 2U) a trentasei dischi (36x HDD 4U). Questi pesanti "chassis" fanno paura a molti, poiché in caso di guasto di uno di essi potrebbe sorgere un problema di prestazioni – o addirittura di operatività! – per l'intero sistema. Ma da noi non succederà: abbiamo garantito la ridondanza a livello di copie geograficamente distribuite dei dati. Abbiamo distribuito i chassis in diversi data center – ne utilizziamo tre – il che esclude problemi sia in caso di guasti ai chassis che in caso di problemi nel sito.
Naturalmente, questo approccio ha reso obsoleto il RAID hardware, dal quale ci siamo allontanati. Eliminando la ridondanza, abbiamo contemporaneamente aumentato l'affidabilità del sistema, semplificando la soluzione e rimuovendo un potenziale punto di guasto. Ricordiamo che il nostro sistema di archiviazione dati è "fatto in casa". Abbiamo preso questa decisione deliberatamente e il risultato ci ha soddisfatti completamente.
Dati Center negli ultimi cinque anni abbiamo effettuato diversi cambiamenti. Dalla scrittura dell'articolo precedente, abbiamo cambiato solo un data center – DataLine – gli altri hanno richiesto sostituzioni man mano che la nostra infrastruttura si sviluppava. Tutti i trasferimenti tra le sedi sono stati pianificati.
Due anni fa abbiamo migrato all'interno del MMTS-9, spostandoci in una sede con ristrutturazione di qualità, un buon sistema di raffreddamento, alimentazione elettrica stabile e priva della polvere che prima si accumulava in spessi strati su tutte le superfici e intasava abbondantemente l'interno delle attrezzature. La scelta per la qualità dei servizi – e l'assenza di polvere! – è stata la ragione del nostro trasferimento.
Quasi sempre "un trasloco equivale a due incendi", ma i problemi durante la migrazione sono ogni volta diversi. Questa volta la principale difficoltà del trasferimento all'interno di un stesso data center è stata "garantita" dalle giunzioni ottiche – la loro abbondanza tra i piani senza essere centralizzate dai fornitori di telecomunicazioni. Il processo di aggiornamento e ripristino dei cablaggi (in cui ci hanno aiutato gli ingegneri del MMTS-9) è stato, forse, il passo più difficile della migrazione.
La seconda migrazione è avvenuta un anno fa, nel 2019, ci siamo trasferiti da un data center non molto buono a O2xygen. Le ragioni del trasferimento erano simili a quelle discusse sopra, ma a esse si è aggiunto il problema dell'attrattività del data center di origine per gli operatori di telecomunicazioni: molti fornitori dovevamo 'raggiungerli' a questo punto con le nostre forze.
La migrazione di 13 rack in una struttura di qualità presso MMTS-9 ha permesso di sviluppare questa località non solo come operatoria (un paio di rack e 'raccordi' per gli operatori), ma anche di utilizzarla come una delle principali. Questo ha semplificato la migrazione da un data center non molto buono: la maggior parte dell'attrezzatura è stata trasferita in un'altra sede, mentre a O2xygen è stato assegnato il ruolo di sviluppo, inviando anche lì 5 rack con attrezzature.
Oggi O2xygen è già una struttura completa, dove gli operatori necessari sono 'arrivati' e continuano a collegarsi nuovi. Per gli operatori, O2xygen si è dimostrata anche attraente dal punto di vista dello sviluppo strategico.
Effettuiamo sempre la fase principale del trasferimento in una sola notte, e seguendo questa regola sia per la migrazione all'interno di MMTS-9 che a O2xygen. Sottolineiamo che la regola 'trasferimento in una notte' la rispettiamo rigorosamente indipendentemente dal numero di rack! C'è stato anche un precedente in cui abbiamo spostato 20 rack e abbiamo completato l'operazione sempre in una notte. La migrazione è un processo piuttosto semplice, che richiede cura e sequenza, ma ci sono alcune astuzie sia nella fase di preparazione che nel trasferimento e nel dispiegamento nella nuova sede. Siamo pronti a raccontare in dettaglio la migrazione, se siete interessati.
Risultati Ci piacciono i piani quinquennali di sviluppo. Abbiamo completato la costruzione di una nuova infrastruttura resiliente, distribuita su tre centri di elaborazione dati. Abbiamo aumentato drasticamente la densità di erogazione del traffico: se recentemente eravamo soddisfatti di 40-80G con 2U, ora per noi è normale erogare 100G con 1U. Ora anche il traffico in terabit è percepito da noi come qualcosa di ordinario. Siamo pronti a continuare a sviluppare la nostra infrastruttura, che si è rivelata flessibile e scalabile.
Domanda: Cosa possiamo raccontare nei prossimi testi, cari lettori? Perché abbiamo iniziato a creare sistemi di archiviazione fatti in casa? Su quale sia il nucleo di rete e le sue caratteristiche? Sulle astuzie e le sfide della migrazione tra i data center? Sull'ottimizzazione delle soluzioni per l'erogazione mediante la selezione dei componenti e la fine regolazione dei parametri? Su come creare soluzioni resilienti grazie al backup multiplo e alle capacità di scalabilità orizzontale all'interno del data center, realizzate nella struttura di tre centri di elaborazione dati?
Autore: Pietro Vinogradov — Direttore tecnico di Uma.Tech
Fonte: habr.com
