Új szolgáltatásokat indítottunk, növekedett a forgalom, szervereket váltottunk, új helyszíneket csatlakoztattunk és átalakítottuk az adatközpontokat – most pedig elmeséljük ezt a történetet, melynek kezdetével öt éve ismerkedtünk meg..
Öt év – jellemző időszak a részleges eredmények összegzésére. Ezért úgy döntöttünk, hogy beszámolunk az infrastruktúránk fejlődéséről, amely ez idő alatt rendkívül érdekes fejlődési utat tett meg, amire büszkék vagyunk. Az általunk megvalósított mennyiségi változások minőségi javulásokhoz vezettek, most az infrastruktúránk képes olyan üzemmódokban működni, amelyek a múlt évtized közepén még fantáziának tűntek.
A legösszetettebb projekteket biztosítjuk, amelyek rendkívüli megbízhatósági és terhelési követelményekkel rendelkeznek, ilyenek például a PREMIER és a Match TV. A sportközvetítések és népszerű sorozatok premierje során terabite per másodperces forgalomra van szükség, amit könnyedén megvalósítunk, és ez oly gyakran történik, hogy ezek a sebességek már régóta mindennaposak számunkra. Öt éve a legnehezebb projekt a Rutube volt, ami azóta fejlődött, növelte a forgalmát és a terheléseit, amelyeket figyelembe kellett venni a tervezés során.
Beszéltünk arról, hogyan fejlesztettük az infrastruktúránk "hardware"-jét () és fejlesztettük a videók kiszolgálásáért felelős rendszert (), de azóta sok idő telt el, számos más megoldás készült és került bevezetésre, melyek eredményei lehetővé teszik számunkra, hogy eleget tegyünk a modern követelményeknek, és eléggé rugalmasak maradjunk az új feladatokhoz való alkalmazkodáshoz.
Hálózati mag folyamatosan fejlődik. 2015-ben Cisco berendezésekre váltottunk, amiről már említést tettünk az előző cikkünkben. Akkor ezek még mind 10/40G-k voltak, de érthető okokból néhány éven belül modernizáltuk a meglévő chassikat, és most már aktívan használunk 25/100G-t is.
A 100G link is no longer a luxury (rather, it is an urgent requirement of our segment) or a rarity (more and more operators provide connections at such speeds). However, the relevance of 10/40G persists: through these links, we continue to connect operators with low traffic volumes, for which it is currently uneconomical to use a higher-capacity port.
The network core we created deserves separate consideration and will soon become the subject of a separate article. There, we will delve into technical details and examine the logic of our actions in its creation. But for now, we will continue to sketch the infrastructure more schematically, as your attention, dear readers, is not boundless.
Video delivery servers are evolving rapidly, which we are making a significant effort towards. Previously, we mainly used 2U servers with 4-5 network cards, each having two 10G ports, but now most of the traffic is delivered from 1U servers with 2-3 cards, each featuring two 25G ports. The costs of 10G and 25G cards have practically leveled out, and higher-speed solutions allow delivery at both 10G and 25G. The result is clear savings: fewer server components and cables for connection lead to lower costs (and higher reliability), while components take up less space in the rack, allowing a greater number of servers to be placed per unit area, and thus lower rental costs.
But the speed gain is even more important! Now we can deliver over 100G with 1U! And this is in contrast to some large Russian projects that consider achieving 40G with 2U as an 'achievement.' We would prefer their problems!
Note that we continue to use the generation of network cards that can only operate at 10G. This equipment works reliably and is well known to us, so we haven't discarded it but instead found a new application for it. We installed these components in video storage servers, which clearly need more than one or two 1G interfaces for efficient operation—thus, 10G cards have proven to be relevant.
Adatkezelő rendszerek ugyanakkor növekszenek. Az eltelt öt év alatt a tizenkétlemezes (12x HDD 2U) konfigurációk harminchatlemezesekké (36x HDD 4U) alakultak. Az ilyen hatalmas „tömböket” egyesek ódzkodnak használni, mivel ha egy ilyen ház meghibásodik, az a teljes rendszer teljesítményére – sőt, akár működőképességére is – fenyegetést jelenthet! De nálunk ez nem fog megtörténni: biztosítottuk az adataink geoelhelyezési szintű redundanciáját. A házakat különböző adatközpontokba helyeztük – összesen hármat használunk – ez kizárja a problémák felmerülését, akár a házak hibája, akár a platform összeomlása esetén.
Természetesen ez a megközelítés feleslegessé tette a hardver alapú RAID-et, amelytől lemondtunk. A redundancia megszüntetésével egyidejűleg növeltük a rendszer megbízhatóságát, egyszerűsítve a megoldást és eltávolítva egy potenciális meghibásodási pontot. Emlékezzünk, hogy a tárolórendszereink "önállóak". Ezt tudatosan választottuk, és az eredmény teljes mértékben kielégített minket.
ADATKÖZPONTOK az eltelt öt évben többször is cseréltük. Az előző cikk megírása óta csak egy adatközpontot nem váltottunk ki – a DataLine-t – a többi infrastruktúránk fejlődése folytán cserére szorult. Minden átköltözés tervezett volt.
Két évvel ezelőtt a MMTS-9-en belül átköltöztünk egy minőségi felújításon átesett helyszínre, jó hűtési rendszerrel, stabil áramellátással és pormentes környezetben, ahol korábban vastag rétegekben ült a por minden felületen, és bőségesen elzárta a berendezéseink belső részeit is. Az szolgáltatások minősége – és a por hiánya! – indokolta a költözésünket.
Szinte mindig „egy költözés két tűznek felel meg”, de a migrációs problémák mindig mások. Ezúttal a legfőbb nehézséget a fénymásolók belső elrendezése okozta – a padlók közötti gazdag elágazások egyesített kábelszervezésének hiánya miatt a távközlési szolgáltatók részéről. A keresztkötések aktualizálása és újrakábelezése (amiben a MMTS-9 mérnökei segítettek nekünk) volt talán a migráció legnehezebb szakasza.
A második migráció egy éve történt, 2019-ben költöztünk egy nem túl jó adatközpontból az O2xygenbe. A költözés okai hasonlóak voltak a fenti szempontokhoz, de ehhez hozzájárult az a probléma is, hogy a kiinduló adatközpont vonzótlansága miatt sok szolgáltatót saját magunknak kellett 'utolérnünk' erre a pontra.
A 13 állvány migrálása egy minőségi helyszínre az MMTS-9-ben lehetővé tette, hogy ezt a helyet ne csak operátorként (két-három állvány és a szolgáltatók 'átcsatlakoztatása'), hanem mint az egyik fő helyszínt is fejleszthessük. Ez némileg leegyszerűsítette a nem túl jó adatközpontból való migrációt – a legtöbb berendezést onnét egy másik helyszínre szállítottuk, míg az O2xygen küldetését a fejlődő helyszínként definiáltuk, ahová szintén 5 állványnyi berendezést küldtünk.
Ma az O2xygen már egy teljes értékű helyszín, ahová megérkeztek a szükséges szolgáltatók, és újabbak is folyamatosan csatlakoznak. Az O2xygen a szolgáltató számára is vonzó volt a stratégiai fejlődés szempontjából.
A költözés fő fázisát mindig egy éjszaka végrehajtjuk, és a MMTS-9-en és az O2xygenre történő migráció során is ezt a szabályt követtük. Hangsúlyozzuk, hogy az 'éjszakai költözés' szabályát szigorúan betartjuk, függetlenül az állványok számától! Volt már olyan precedent, amikor 20 állványt helyeztünk át, és ezt is egy éjszaka alatt végrehajtottuk. A migráció egy viszonylag egyszerű folyamat, amely figyelmet és következetességet igényel, de itt is vannak bizonyos trükkök a felkészülés, a költözés és az új helyszínen történő telepítés során. A migráció részleteiről szívesen beszélünk, ha érdeklik önt.
Eredmények Mi kedveljük az ötéves fejlődési terveket. Befejeztük az új, három adatközpont között elosztott hibatűrő infrastruktúra kiépítését. Drasztikusan megnöveltük a forgalmi kapacitás sűrűségét – ha nemrég még 40-80G-nek örültünk 2U-val, akkor most már normálisnak tekintjük a 100G kiszolgálását 1U-val. Most már a terabites forgalmat is hétköznapi dologként fogjuk fel. Készen állunk tovább fejleszteni az infrastruktúránkat, amely rugalmasan skálázható lett.
Kérdés: Miről meséljünk nektek a következő szövegekben, kedves olvasók? Arról, hogy miért kezdtünk el saját adatmentési rendszereket készíteni? A hálózati magról és annak jellemzőiről? A dátacenterek közötti migráció trükkjeiről és apró részleteiről? A megoldások optimalizálásáról az alkatrészek kiválasztásával és a paraméterek finomhangolásával? Az ellenálló megoldások létrehozásáról több szintű biztonsági mentéssel és vízszintes skálázási lehetőségekkel a dátacentereken belül, amelyeket három adatközpontban valósítottunk meg?
Szerző: Pjotr Vinogradov — Műszaki igazgató, Uma.Tech
Forrás: habr.com
