Lanseerasimme uusia palveluita, liikenne kasvoi, vaihdoimme palvelimia, liitimme uusia sivustoja ja uudistimme palvelinkeskuksia - ja nyt kerromme tämän tarinan, jonka alun esittelimme sinulle viisi vuotta sitten.
Viisi vuotta on tyypillinen aika välitulosten yhteenvedolle. Siksi päätimme puhua infrastruktuurimme kehittämisestä, joka on viimeisen viiden vuoden aikana käynyt yllättävän mielenkiintoisen kehityspolun, josta olemme ylpeitä. Toteuttamamme määrälliset muutokset ovat muuttuneet laadullisiksi, nyt infrastruktuuri voi toimia sellaisissa tiloissa, jotka tuntuivat vielä viime vuosikymmenen puolivälissä fantastisilta.
Varmistamme monimutkaisimpien projektien toiminnan tiukimpien luotettavuus- ja kuormitusvaatimusten mukaisesti, mukaan lukien PREMIER ja Match TV. Urheilulähetykset ja suosittujen tv-sarjojen ensi-ilta vaativat liikennettä terabiteissä/s, toteutamme tämän helposti ja niin usein, että sellaisilla nopeuksilla työskentely on meille jo pitkään tullut arkipäivää. Ja viisi vuotta sitten raskain järjestelmillämme käynnissä ollut projekti oli Rutube, joka on sittemmin kehittynyt, lisännyt volyymeja ja liikennettä, mikä piti ottaa huomioon kuormia suunniteltaessa.
Puhuimme siitä, kuinka kehitimme infrastruktuurimme laitteistoa () ja kehittänyt järjestelmän, joka vastaa videoiden lataamisesta (), mutta näiden tekstien kirjoittamisesta on kulunut paljon aikaa, on luotu ja otettu käyttöön monia muita ratkaisuja, joiden tuloksena voimme täyttää nykyajan vaatimukset ja olla riittävän joustavia sopeutumaan uusiin tehtäviin.
Verkon ydin Kehitämme jatkuvasti. Vaihdoimme Cisco-laitteisiin vuonna 2015, josta mainitsimme edellisessä artikkelissa. Tuolloin se oli vielä sama 10/40G, mutta ilmeisistä syistä muutaman vuoden kuluttua päivitettiin olemassa olevaa alustaa ja nyt käytämme aktiivisesti 25/100G:tä.
100G-linkit eivät ole pitkään aikaan olleet luksusta (tämä on aika kiireellinen vaatimus segmentillämme) eivätkä harvinaisuus (yhä useammat operaattorit tarjoavat yhteyksiä sellaisilla nopeuksilla). 10/40G on kuitenkin edelleen ajankohtainen: näiden linkkien kautta yhdistämme edelleen operaattoreita, joilla on vähän liikennettä, jolle ei tällä hetkellä ole tarkoituksenmukaista käyttää kapasiteetiltaan kapasiteettia.
Luomamme verkkoydin ansaitsee erillisen tarkastelun ja siitä tulee hieman myöhemmin erillisen artikkelin aihe. Siellä perehdymme teknisiin yksityiskohtiin ja huomioimme toimintamme logiikan sitä luodessasi. Mutta nyt jatkamme infrastruktuurin piirtämistä kaavamaisesti, koska huomionne, hyvät lukijat, ei ole rajatonta.
Videolähtöpalvelimet kehittyvät nopeasti, minkä eteen tarjoamme paljon vaivaa. Jos aiemmin käytimme pääasiassa 2U-palvelimia, joissa oli 4-5 verkkokorttia kahdella 10G-portilla, niin nyt suurin osa liikenteestä lähtee 1U-palvelimista, joissa on 2-3 korttia kahdella 25G-portilla. 10G- ja 25G-kortit ovat kustannuksiltaan lähes samat, ja nopeammat ratkaisut mahdollistavat tiedonsiirron sekä 10G:n että 25G:n kautta. Tuloksena oli ilmeisiä säästöjä: vähemmän palvelinkomponentteja ja yhteyksiä varten tarvittavia kaapeleita – alhaisemmat kustannukset (ja suurempi luotettavuus), komponentit vievät vähemmän tilaa telineessä – tuli mahdolliseksi sijoittaa enemmän palvelimia pinta-alayksikköä kohden ja siten alhaisemmat vuokrakustannukset.
Mutta tärkeämpää on nopeuden lisääminen! Nyt voimme lähettää yli 1G 100U:lla! Ja tämä taustalla on tilanne, jossa jotkut suuret venäläiset projektit kutsuvat 40U:n 2G-lähtöä "saavutukseksi". Haluaisimme heidän ongelmansa!
Huomaa, että käytämme edelleen verkkokorttien sukupolvea, joka toimii vain 10G:ssä. Tämä laite toimii vakaasti ja on meille hyvin tuttu, joten emme heittäneet sitä pois, vaan löysimme sille uuden käytön. Asensimme nämä komponentit videotallennuspalvelimiin, joille yksi tai kaksi 1G-liitäntää ei selvästikään riitä toimimaan tehokkaasti, vaan tässä 10G-kortit osoittautuivat tarkoituksenmukaisiksi.
Varastointijärjestelmät myös kasvavat. Viimeisen viiden vuoden aikana ne ovat muuttuneet kahdentoista levyn (12x HDD 2U) 36 levyn (4x HDD XNUMXU). Jotkut pelkäävät käyttää tällaisia tilavia "ruhoja", koska jos yksi tällainen runko epäonnistuu, se voi olla uhattuna tuottavuudelle - tai jopa käytettävyydelle! – koko järjestelmälle. Mutta näin ei tapahdu meillä: olemme antaneet varmuuskopion tiedoista maantieteellisesti jaettujen kopioiden tasolla. Olemme jakaneet rungon eri konesaleihin - käytämme yhteensä kolmea - ja tämä eliminoi ongelmien ilmenemisen sekä rungon vikojen yhteydessä että paikan kaatuessa.
Tietenkin tämä lähestymistapa teki laitteisto-RAIDista tarpeettoman, minkä hylkäsimme. Redundanssin eliminoimalla lisäsimme samalla järjestelmän luotettavuutta yksinkertaistamalla ratkaisua ja poistamalla yhden mahdollisista vikakohdista. Muistutetaan, että säilytysjärjestelmämme ovat "kotitekoisia". Teimme tämän aivan tarkoituksella ja olimme täysin tyytyväisiä tulokseen.
Datakeskukset Viimeisen viiden vuoden aikana olemme muuttuneet useita kertoja. Edellisen artikkelin kirjoittamisen jälkeen emme ole muuttaneet vain yhtä datakeskusta - DataLinea - loput vaativat vaihtoa infrastruktuurimme kehittyessä. Kaikki siirrot kohteiden välillä suunniteltiin.
Muutimme kaksi vuotta sitten MMTS-9:n sisälle ja muutimme paikkaan, jossa oli laadukkaat korjaukset, hyvä jäähdytysjärjestelmä, vakaa virtalähde ja pölytön, joka oli aiemmin paksuina kerroksina kaikilla pinnoilla ja tukkisi myös laitteidemme sisäosat. . Valitse laadukkaat palvelut – ilman pölyä! – siitä tuli muuttomme syy.
Melkein aina "yksi liike vastaa kahta tulipaloa", mutta muuttoliikkeen ongelmat ovat joka kerta erilaiset. Tällä kertaa suurin vaikeus liikkua yhden datakeskuksen sisällä "tarjottiin" optisista ristiliitännöistä - niiden runsaudesta kerrosten välillä ilman, että teleoperaattorit yhdistäisivät niitä yhdeksi ristiin. Ristiyhteyksien päivitys ja uudelleenreititys (jossa MMTS-9:n suunnittelijat auttoivat meitä) oli ehkä vaikein siirtymisen vaihe.
Toinen migraatio tapahtui vuosi sitten, vuonna 2019 siirryimme huonosta palvelinkeskuksesta O2xygeniin. Muuton syyt olivat samankaltaisia kuin yllä käsitellyt, mutta niitä täydensi ongelma alkuperäisen datakeskuksen houkuttelemattomuudesta teleoperaattoreille - monien palveluntarjoajien oli "kurottava" tähän pisteeseen itse.
MMTS-13:n 9 telineen siirtyminen korkealaatuiseen paikkaan mahdollisti tämän sijainnin kehittämisen paitsi operaattorin sijaintipaikaksi (pari telinettä ja operaattoreiden "eteenpäin"), vaan myös sen käytön yhtenä tärkeimmät. Tämä yksinkertaisti jonkin verran siirtymistä ei kovin hyvästä datakeskuksesta - kuljetimme suurimman osan laitteista sieltä toiseen paikkaan, ja O2xygenille annettiin kehitystyön rooli, joka lähetti sinne 5 telinettä varusteineen.
Nykyään O2xygen on jo täysimittainen alusta, jonne tarvitsemamme operaattorit ovat "saapuneet" ja uusia yhteyksiä jatkaa. Operaattoreille O2xygen osoittautui houkuttelevaksi myös strategisen kehityksen näkökulmasta.
Suoritamme muuton päävaiheen aina yhdessä yössä ja MMTS-9:n sisällä ja O2xygeniin siirtyessämme noudatimme tätä sääntöä. Korostamme, että noudatamme tiukasti "siirrä yön yli" -sääntöä telineiden lukumäärästä riippumatta! Oli jopa ennakkotapaus, kun siirsimme 20 telinettä ja saimme tämänkin valmiiksi yhdessä yössä. Siirtyminen on melko yksinkertainen prosessi, joka vaatii tarkkuutta ja johdonmukaisuutta, mutta tässä on joitain temppuja sekä valmisteluprosessissa, muutossa että uuteen paikkaan käyttöönotossa. Olemme valmiita keskustelemaan muuttoliikkeestä yksityiskohtaisesti, jos olet kiinnostunut.
Tulokset Pidämme viiden vuoden kehityssuunnitelmista. Olemme saaneet päätökseen uuden, kolmeen datakeskukseen hajautetun, vikasietoisen infrastruktuurin rakentamisen. Olemme kasvattaneet liikennetiheyttä rajusti - jos viime aikoina olimme tyytyväisiä 40-80G 2U:lla, niin nyt meillä normi on 100G 1U:lla. Nyt jopa terabitin liikenne on mielestämme arkipäivää. Olemme valmiita kehittämään edelleen infrastruktuuriamme, joka on osoittautunut joustavaksi ja skaalautuvaksi.
Kysymys: Mitä minun pitäisi kertoa teille seuraavissa teksteissä, hyvät lukijat? Tietoja siitä, miksi aloimme luoda kotitekoisia tiedontallennusjärjestelmiä? Tietoja verkon ytimestä ja sen ominaisuuksista? Tietokeskusten välisen siirtymisen temppuista ja hienouksista? Toimituspäätösten optimoinnista valitsemalla komponentteja ja hienosäätämällä parametreja? Tietoja kestävien ratkaisujen luomisesta palvelinkeskuksen useiden redundanssien ja horisontaalisten skaalausominaisuuksien ansiosta, jotka on toteutettu kolmen palvelinkeskuksen rakenteessa?
Kirjoittaja: Petr Vinogradov - Uma.Techin tekninen johtaja
Lähde: will.com