Abbiamo lanciato nuovi servizi, il traffico è aumentato, abbiamo sostituito i server, collegato nuove piattaforme e ristrutturato i centri di dati – e ora vi racconteremo questa storia, di cui vi abbiamo parlato cinque anni fa..
Cinque anni – un periodo significativo per una valutazione intermedia. Per questo motivo abbiamo deciso di raccontarvi lo sviluppo della nostra infrastruttura, che in questi cinque anni ha fatto un percorso di evoluzione straordinariamente interessante, di cui siamo orgogliosi. I cambiamenti quantitativi che abbiamo realizzato si sono trasformati in cambiamenti qualitativi; ora l'infrastruttura può operare in modalità che, a metà del decennio scorso, sembravano fantascienza.
Gestiamo progetti complessi con elevati requisiti di affidabilità e carichi pesanti, tra cui PREMIER e Match TV. Per le trasmissioni sportive e il lancio di popolari serie, è necessaria una capacità di traffico in terabit/s, che realizziamo con facilità, tanto che lavorare a queste velocità è divenuto per noi routine. Solo cinque anni fa, il progetto più impegnativo sui nostri sistemi era Rutube, il quale da allora è cresciuto, aumentando il volume e il traffico, il che doveva essere considerato nella pianificazione dei carichi.
Abbiamo parlato di come abbiamo sviluppato l'hardware della nostra infrastruttura () e migliorato il sistema responsabile della distribuzione video (), ma da quando sono stati scritti questi testi è passato molto tempo, sono state create e implementate molte altre soluzioni, i cui risultati ci permettono di rispondere alle moderne esigenze e di essere sufficientemente flessibili per adattarci a nuove sfide.
Nucleo di rete stiamo costantemente evolvendo. Nel 2015, siamo passati all'hardware Cisco, come accennato nel nostro precedente articolo. All'epoca si trattava ancora di 10/40G, ma per ragioni ovvie, dopo qualche anno abbiamo aggiornato gli chassis esistenti e ora utilizziamo attivamente anche 25/100G.
Le connessioni 100G non sono più un lusso (piuttosto, sono un'esigenza impellente del nostro settore) né sono rare (sempre più operatori offrono connessioni a queste velocità). Tuttavia, 10/40G rimane pertinente: attraverso queste connessioni continuiamo a collegare operatori con un basso volume di traffico, per cui al momento non è economicamente vantaggioso utilizzare porte più capienti.
Il core di rete che abbiamo creato merita un'attenzione a parte e diventerà oggetto di un articolo dedicato. Lì approfondiremo i dettagli tecnici e esamineremo la logica delle nostre azioni nella sua creazione. Ma ora continuiamo a tracciare l'infrastruttura in modo più schematico, poiché la vostra attenzione, cari lettori, non è infinita.
Server di streaming video evolvono rapidamente, per questo investiamo notevoli sforzi. Se in passato utilizzavamo principalmente server 2U con 4-5 schede di rete, ognuna con due porte 10G, ora gran parte del traffico viene gestito da server 1U, dotati di 2-3 schede, ognuna con due porte 25G. I costi delle schede 10G e 25G si sono praticamente allineati, e le soluzioni più veloci permettono di operare sia a 10G che a 25G. Il risultato è stata una chiara economia: meno componenti del server e cavi per il collegamento - costi ridotti (e maggiore affidabilità), i componenti occupano meno spazio nel rack - è diventato possibile ospitare un numero maggiore di server su un'unità di superficie e, di conseguenza, i costi di affitto sono diminuiti.
Ma ciò che conta di più è il guadagno in velocità! Ora possiamo gestire oltre 100G con i server 1U! E questo mentre alcuni grandi progetti russi definiscono come "traguardo" il raggiungimento di 40G con server 2U. Vorremmo avere i loro problemi!
Osserviamo che continuiamo a utilizzare la generazione di schede di rete che funzionano solo a 10G. Quest'attrezzatura funziona in modo stabile ed è a noi ben nota, quindi non l'abbiamo scartata, ma le abbiamo trovato un nuovo utilizzo. Questi componenti sono stati installati nei server di archiviazione video, poiché per un funzionamento efficace sono chiaramente insufficienti uno o due interfacce 1G; qui le schede 10G si sono rivelate indispensabili.
Sistemi di archiviazione dati crescono anche. Negli ultimi cinque anni, sono passati da dodici dischi (12x HDD 2U) a trentasei dischi (36x HDD 4U). Questi "scocca" capienti suscitano timore in alcuni, poiché in caso di guasto di una di queste unità potrebbe esserci un rischio per le prestazioni – se non per l'intero sistema! – Ma da noi ciò non accadrà: abbiamo garantito il ridondanza a livello di copie dati geodistribuite. Abbiamo distribuito le unità in diversi data center – ne utilizziamo tre – il che esclude l'insorgenza di problemi sia con i guasti delle unità che con il crollo della sede.
Certamente, questo approccio ha reso superfluo l'uso del RAID hardware, da cui abbiamo rinunciato. Eliminando la ridondanza, abbiamo allo stesso tempo aumentato l'affidabilità del sistema, semplificando la soluzione e rimuovendo un potenziale punto di guasto. Ricordiamo che il nostro sistema di storage è "fatto in casa". Questa scelta è stata fatta consapevolmente e il risultato ci ha pienamente soddisfatti.
Data Center negli ultimi cinque anni abbiamo effettuato diversi cambiamenti. Dall'uscita del precedente articolo, abbiamo mantenuto solo un Data Center – DataLine – mentre gli altri sono stati sostituiti man mano che la nostra infrastruttura si sviluppava. Tutti gli spostamenti tra le sedi sono stati pianificati.
Due anni fa abbiamo effettuato una migrazione all'interno di MMT-9, trasferendoci in una sede con ristrutturazione di qualità, un buon sistema di raffreddamento, alimentazione elettrica stabile e priva di polvere, che in precedenza si accumulava in strati spessi su tutte le superfici, ostruendo abbondantemente gli interni delle nostre attrezzature. La scelta di puntare sulla qualità dei servizi – e sull'assenza di polvere! – è stata la motivazione principale del nostro trasferimento.
Quasi sempre "un trasloco equivale a due incendi", ma i problemi durante la migrazione sono sempre diversi. Questa volta la principale difficoltà del trasloco all'interno dello stesso data center è stata causata dalle connessioni ottiche – la loro abbondanza tra i piani senza un'unica connessione da parte degli operatori di telecomunicazioni. Il processo di aggiornamento e riprogettazione delle connessioni (in cui ci hanno assistito gli ingegneri di MMTs-9) è stato probabilmente il passaggio più difficile della migrazione.
La seconda migrazione è avvenuta un anno fa, nel 2019 siamo stati trasferiti da un data center non molto performante a O2xygen. Le ragioni del trasloco erano simili a quelle esaminate sopra, ma si è aggiunto il problema dell'attrattiva limitata del data center originale per gli operatori di telecomunicazioni – molti provider dovevamo "raggiungere" a questo punto con le nostre forze.
La migrazione di 13 rack verso una piattaforma di qualità in MMTS-9 ha permesso di sviluppare questa location non solo come operativa (una o due rack e 'passaggi' degli operatori), ma anche di utilizzarla come una delle principali. Questo ha semplificato notevolmente la migrazione da un data center non molto efficiente: la maggior parte dell'attrezzatura è stata trasferita su un'altra piattaforma, mentre a O2xygen è stata assegnata la funzione di svilupparsi, spostando lì anche 5 rack con l'attrezzatura.
Oggi O2xygen è già una piattaforma completa, dove sono 'arrivati' gli operatori di cui avevamo bisogno e continuano a collegarsi nuovi. Per gli operatori, O2xygen si è rivelato attraente anche in termini di sviluppo strategico.
La fase principale del trasferimento la realizziamo sempre in una notte, e durante la migrazione all'interno di MMTS-9 e su O2xygen ci siamo attenuti a questa regola. Sottolineiamo che la regola del "trasferimento in una notte" è rigorosamente rispettata indipendentemente dal numero di rack! C'è stato persino un caso in cui abbiamo trasferito 20 rack e l'abbiamo fatto sempre in una notte. La migrazione è un processo abbastanza semplice, che richiede attenzione e sequenza, ma ci sono alcuni trucchi sia nella fase di preparazione che durante il trasloco e il dispiegamento nella nuova sede. Siamo pronti a parlarvi in dettaglio della migrazione, se siete interessati.
Risultati Ci piacciono i quinquenni di sviluppo. Abbiamo completato la costruzione di una nuova infrastruttura resistente ai guasti, distribuita su tre centri di elaborazione dati. Abbiamo notevolmente aumentato la densità di output del traffico: se recentemente eravamo soddisfatti di 40-80G con 2U, ora per noi è normale restituire 100G con 1U. Ora anche il traffico di terabit è considerato una consuetudine. Siamo pronti a continuare a sviluppare la nostra infrastruttura, che si è rivelata flessibile e scalabile.
Domanda: Cosa dovremmo raccontarvi nei prossimi testi, cari lettori? Del perché abbiamo iniziato a creare sistemi di storage personalizzati? Del core di rete e delle sue peculiarità? Dei trucchi e dei dettagli della migrazione tra i data center? Dell'ottimizzazione delle soluzioni di distribuzione attraverso la selezione dei componenti e la messa a punto dei parametri? Della creazione di soluzioni resilienti grazie al backup multiplo e alle capacità di scaling orizzontale all'interno del data center, realizzate in una struttura di tre data center?
Autore: Petr Vinogradov — Direttore Tecnico di Uma.Tech
Fonte: habr.com
