Am lansat noi servicii, traficul a crescut, am înlocuit serverele, am conectat noi platforme și ne-am reconfigurat centrele de date - acum vă vom povesti această poveste, cu începutul căreia v-am familiarizat cu cinci ani în urmă..
Cinci ani este un termen semnificativ pentru a trasa un bilanț intermediar. De aceea, am decis să povestim despre dezvoltarea infrastructurii noastre, care, în cei cinci ani, a parcurs un drum deosebit de interesant, de care suntem mândri. Modificările cantitative pe care le-am realizat s-au transformat în unele calitative, iar acum infrastructura poate funcționa în moduri care, în mijlocul decadelor trecutului, păreau fantastice.
Asigurăm funcționarea celor mai complexe proiecte, cu cerințe riguroase de fiabilitate și sarcini, printre care se numără PREMIER și Match TV. La transmisiunile sportive și la premiera serialelor populare, este necesară o livrare a traficului în terabiți/s, ceea ce realizăm cu ușurință, și o facem atât de frecvent încât lucrul cu aceste viteze a devenit o obișnuință pentru noi. Iar acum cinci ani, cel mai greu proiect care funcționa pe sistemele noastre era Rutube, care de atunci s-a dezvoltat, a crescut în volum și trafic, ceea ce a trebuit luat în considerare în planificarea sarcinilor.
Am povestit despre cum am dezvoltat «hardware»-ul infrastructurii noastre () și am dezvoltat sistemul responsabil pentru livrarea video (), dar de la scrierea acestor texte a trecut mult timp, s-au creat și implementat numeroase alte soluții, ale căror rezultate ne permit să răspundem cerințelor moderne și să fim suficient de elastici pentru a ne adapta la noile provocări.
Nucleul de rețea se dezvoltă constant. Am trecut la echipamente Cisco în 2015, despre care am menționat și în articolul anterior. Atunci erau aceleași 10/40G, dar din motive evidente, după câțiva ani, am modernizat șasiurile existente și acum folosim activ și 25/100G.
Lichidele de 100G nu mai sunt de mult o lux (mai degrabă, acestea reprezintă o necesitate stringentă a vremurilor noastre în acest segment) și nici o raritate (tot mai mulți operatori oferă conexiuni la aceste viteze). Cu toate acestea, 10/40G rămâne relevant: prin aceste lichide continuăm să conectăm operatori cu un volum mic de trafic pentru care, în prezent, nu este rentabil să utilizăm un port mai mare.
Nucleul nostru de rețea merită o prezentare separată și va deveni subiectul unui articol distinct mai târziu. Acolo ne vom aprofunda în detalii tehnice și vom analiza logica acțiunilor noastre în timpul creării sale. Dar acum vom continua să desenăm infrastructura într-un mod mai schematic, deoarece atenția dumneavoastră, stimați cititori, nu este nelimitată.
Servere pentru livrarea video evoluează rapid, pentru care depunem multe eforturi. Dacă anterior foloseam predominant servere de 2U cu 4-5 plăci de rețea, fiecare având două porturi de 10G, acum cea mai mare parte a traficului este livrată de servere de 1U, care au 2-3 plăci, fiecare cu două porturi de 25G. Plăcile de 10G și cele de 25G au ajuns aproape la aceeași valoare, iar soluțiile mai rapide permit livrarea atât pe 10G, cât și pe 25G. Rezultatul este o economie evidentă: mai puține componente ale serverului și cabluri de conectare – costuri mai reduse (și o fiabilitate mai mare), componentele ocupă mai puțin spațiu în rack – a devenit posibilă amplasarea unui număr mai mare de servere pe unitatea de suprafață și, prin urmare, costul de închiriere a scăzut.
Dar câștigul în viteză este mai important! Acum, cu 1U putem livra mai mult de 100G! Și asta în contextul în care unele proiecte mari din Rusia numesc „realizare” livrarea de 40G cu 2U. Ne-ar plăcea problemele lor!
Observăm că generația de plăci de rețea care funcționează doar pe 10G este în continuare utilizată. Această echipament funcționează stabil și ne este foarte cunoscut, așa că nu l-am aruncat, ci i-am găsit o nouă aplicare. Aceste componente le-am instalat în serverele de stocare video, pentru care, pentru o funcționare eficientă, este evident că este insuficient un singur sau două interfețe de 1G, aici plăcile de 10G s-au dovedit a fi relevante.
Sisteme de stocare a datelor de asemenea cresc. În ultimii cinci ani, acestea au trecut de la unități cu douăsprezece discuri (12x HDD 2U) la unități cu treizeci și șase de discuri (36x HDD 4U). Aceste „carcase” capacitate mare sunt temute de unii, pentru că în cazul defectării uneia dintre ele, performanța - sau chiar funcționarea! - întregului sistem poate fi amenințată! Dar la noi nu va fi așa: am asigurat redundanța la nivel de copii de date georepartizate. Am distribuit carcasele în diferite centre de date - în total folosim trei - și acest lucru exclude apariția problemelor atât în cazul defecțiunilor la carcase, cât și în cazul căderilor platformelor.
Desigur, această abordare a făcut ca RAID-ul hardware să fie redundant, de la care am renunțat. Scăpând de redundanță, am crescut în același timp fiabilitatea sistemului, simplificând soluția și eliminând un punct de defecțiune potențial. Să ne amintim că stocările noastre sunt „personalizate”. Am făcut acest lucru conștient și rezultatul ne-a mulțumit pe deplin.
Centre de date în ultimii cinci ani le-am schimbat de câteva ori. De la scrierea articolului anterior, am schimbat doar un centru de date - DataLine - celelalte au necesitat înlocuirea pe măsură ce infrastructura noastră s-a dezvoltat. Toate relocările între platforme au fost planificate.
În urmă cu doi ani, am migrat în interiorul MMTS-9, trecând la o platformă cu reparații de calitate, un sistem bun de răcire, alimentare electrică stabilă și fără praf, care înainte se aduna în straturi groase pe toate suprafețele și se acumula abundent în interiorul echipamentului nostru. Alegerea în favoarea calității serviciilor – și absenței prafului! – a fost motivul pentru care ne-am mutat.
Aproape întotdeauna „o relocare este egală cu două incendii”, dar problemele în timpul migrației sunt de fiecare dată diferite. De data aceasta, principala dificultate a relocării în interiorul unui singur centru de date a fost asigurată de încrucișările optice - abundența lor pe etaje fără a le centraliza într-o singură soluție din partea operatorilor de telecomunicații. Procesul de actualizare și reproiectare a încrucișărilor (în care inginerii MMTS-9 ne-au ajutat) a fost, probabil, cea mai complicată etapă a migrației.
A doua migrație a avut loc acum un an, în 2019, când ne-am mutat dintr-un centru de date nu foarte bun în O2xygen. Motivele mutării au fost asemănătoare cu cele menționate anterior, dar la acestea s-a adăugat problema lipsei de atractivitate a centrului de date inițial pentru operatorii de telecomunicații – mulți furnizori trebuia să-i „ajungem” până la acest punct cu forțele proprii.
Migrarea a 13 rack-uri pe o platformă de calitate în MMTS-9 a permis dezvoltarea acestei locații nu doar ca o unitate operațională (câteva rack-uri și legături cu operatorii), ci și utilizarea ei ca una dintre principalele. Aceasta a simplificat oarecum migrarea din centrul de date nu foarte bun – majoritatea echipamentului din acesta l-am mutat pe o altă platformă, iar O2xygen a primit rolul de centru în dezvoltare, trimițând acolo 5 rack-uri cu echipament.
Astăzi O2xygen este deja o platformă completă, unde au „venit” operatorii necesari și continuă să se conecteze noi. O2xygen s-a dovedit a fi atractiv și pentru operatori din punct de vedere al dezvoltării strategice.
Faza principală a migrației o desfășurăm întotdeauna într-o singură noapte, iar în timpul migrației în MMTS-9 și la O2xygen ne-am respectat această regulă. Subliniază că regula „migrarea într-o noapte” este respectată cu strictețe, indiferent de numărul de rack-uri! A existat chiar un precedent când am mutat 20 de rack-uri și am finalizat și aceasta într-o singură noapte. Migrarea este un proces destul de simplu, dar care necesită atenție și consecvență, însă există și câteva trucuri atât în procesul de pregătire, cât și în timpul mutării și al desfășurării pe noua locație. Suntem pregătiți să discutăm în detaliu despre migrare, dacă sunteți interesați.
Rezultate Ne plac planurile de dezvoltare pe cinci ani. Am finalizat construcția unei infrastructuri rezistente, distribuite în trei centre de date. Am crescut semnificativ densitatea de livrare a traficului – dacă recent ne bucura 40-80G cu 2U, acum este normal pentru noi să livrăm 100G cu 1U. Acum, un terabit de trafic este perceput de noi ca o banalitate. Suntem pregătiți să continuăm dezvoltarea infrastructurii noastre, care s-a dovedit a fi flexibilă și scalabilă.
Întrebare: Despre ce să vă povestim în textele următoare, dragi cititori? Despre motivele pentru care am început să creăm sisteme de stocare personalizate? Despre nucleul de rețea și caracteristicile sale? Despre trucurile și subtilitățile migrării între centrele de date? Despre optimizarea soluțiilor prin selectarea componentelor și ajustarea fină a parametrelor? Despre crearea de soluții rezistente datorită rezervării multiple și posibilităților de scalare orizontală în cadrul centrului de date, realizate într-o structură formată din trei centre de date?
Autor: Petru Vinogradov — Director Tehnic Uma.Tech
Sursa: habr.com
