Új szolgáltatásokat vezettünk be, nőtt a forgalom, lecseréltük a szervereket, új oldalakat kötöttünk be és átalakítottuk az adatközpontokat – most pedig elmeséljük ezt a történetet, melynek kezdetét öt éve mutattuk be..
Öt év tipikus idő az időközi eredmények összegzésére. Ezért úgy döntöttünk, hogy infrastruktúránk fejlesztéséről beszélünk, amely az elmúlt öt évben meglepően érdekes fejlődési utat járt be, amire büszkék vagyunk. Az általunk végrehajtott mennyiségi változtatások minőségivé váltak, ma már az elmúlt évtized közepén fantasztikusnak tűnő üzemmódokban működhet az infrastruktúra.
A legszigorúbb megbízhatósági és terhelési követelmények mellett biztosítjuk a legösszetettebb projektek működését, beleértve a PREMIER-t és a Match TV-t is. A sportközvetítések és a népszerű tévésorozatok premierje terabit/s-os forgalmat igényel, ezt könnyen megvalósítjuk, és olyan gyakran, hogy nálunk már régen megszokottá vált az ilyen sebességgel való munka. Öt éve pedig a rendszereinken futó legsúlyosabb projekt a Rutube volt, amely azóta fejlődött, növelte a mennyiségeket és a forgalmat, amit a terhelések tervezésénél figyelembe kellett venni.
Beszélgettünk arról, hogyan fejlesztettük infrastruktúránk hardverét () és kifejlesztett egy videók feltöltéséért felelős rendszert (), de ezeknek a szövegeknek a megírása óta sok idő telt el, számos egyéb megoldás született és valósult meg, amelyek eredményei lehetővé teszik, hogy megfeleljünk a modern követelményeknek, és rugalmasak legyünk az új feladatokhoz való alkalmazkodáshoz.
Hálózati mag Folyamatosan fejlődünk. 2015-ben váltottunk Cisco berendezésekre, amit az előző cikkben említettünk. Akkor még ugyanaz a 10/40G volt, de érthető okokból néhány év után frissítették a meglévő alvázat, és most aktívan 25/100G-t használunk.
A 100G-s kapcsolatok már régóta nem luxusnak számítanak (inkább a mi szegmensünkben ez a kor sürgős követelménye), sem ritkaságnak számítanak (egyre több szolgáltató biztosít ilyen sebességű kapcsolatot). A 10/40G azonban továbbra is aktuális: ezeken a linkeken keresztül továbbra is kis forgalmú szolgáltatókat kötünk össze, amelyekhez jelenleg nem célszerű nagyobb kapacitású portot használni.
Az általunk létrehozott hálózati mag külön figyelmet érdemel, és egy kicsit később egy külön cikk témája lesz. Itt belemélyedünk a technikai részletekbe, és figyelembe vesszük cselekvéseink logikáját a létrehozáskor. Most azonban továbbra is sematikusabban rajzoljuk meg az infrastruktúrát, hiszen az Ön figyelme, kedves olvasók, nem korlátlan.
Videó kimeneti szerverek gyorsan fejlődnek, amiért sok erőfeszítést teszünk. Ha korábban főleg 2U-s szervereket használtunk 4-5 hálózati kártyával, két-két 10G porttal, akkor most a forgalom nagy része 1U-s szerverekről érkezik, amelyek 2-3 kártyával rendelkeznek, egyenként két-két 25G porttal. A 10G és 25G kártyák költsége szinte azonos, a gyorsabb megoldások pedig lehetővé teszik a 10G és 25G átvitelt is. Az eredmény nyilvánvaló megtakarítás volt: kevesebb szerveralkatrész és kábel a csatlakozáshoz – alacsonyabb költség (és nagyobb megbízhatóság), az alkatrészek kevesebb helyet foglalnak el a rackben – lehetővé vált több szerver elhelyezése egységnyi területen, és ezáltal alacsonyabb bérleti költségek.
De sokkal fontosabb a sebesség növelése! Most 1U-val több mint 100G-ot tudunk küldeni! És ez egy olyan helyzet hátterében, ahol néhány nagy orosz projekt „teljesítménynek” nevezi a 40U 2G kimenetét. Szeretnénk a problémáikat!
Vegye figyelembe, hogy továbbra is olyan hálózati kártyákat használunk, amelyek csak 10G-n működnek. Ez a berendezés stabilan működik és nagyon ismerős számunkra, ezért nem dobtuk ki, hanem új felhasználást találtunk neki. Ezeket a komponenseket olyan videótároló szerverekbe telepítettük, amelyeknél egy-két 1G interfész egyértelműen nem elég a hatékony működéshez, itt a 10G kártyák bizonyultak relevánsnak.
Tárolórendszerek is növekednek. Az elmúlt öt évben tizenkét lemezesről (12x HDD 2U) harminchat lemezesre (36x HDD 4U) változtak. Vannak, akik félnek az ilyen nagy méretű „hasított testek” használatától, hiszen ha egy ilyen alváz meghibásodik, az a termelékenységet – vagy akár a működőképességet – veszélyeztetheti! – az egész rendszerre. De ez velünk nem fog megtörténni: biztonsági mentést biztosítottunk az adatok földrajzilag elosztott másolatainak szintjén. A vázat különböző adatközpontokba osztottuk ki - összesen hármat használunk -, és ez kiküszöböli a problémák előfordulását mind az alváz meghibásodása, mind a helyszín elesése esetén.
Természetesen ez a megközelítés redundánssá tette a hardveres RAID-et, amit elhagytunk. A redundancia kiküszöbölésével egyszerre növeltük a rendszer megbízhatóságát a megoldás egyszerűsítésével és az egyik lehetséges meghibásodási pont eltávolításával. Emlékeztetjük Önöket, hogy tárolórendszereink „házi készítésűek”. Szándékosan tettük ezt, és teljesen elégedettek voltunk az eredménnyel.
Adatközpontok Az elmúlt öt évben többször változtunk. Az előző cikk megírása óta egyetlen adatközpontot - a DataLine-t - nem változtattunk meg, a többi infrastruktúra fejlődésével cserére szorult. Minden telephely közötti áthelyezést megterveztek.
Két éve költöztünk be az MMTS-9-be, ahol minőségi javításokkal, jó hűtési rendszerrel, stabil tápellátással, pormentes telephelyre költöztünk, amely korábban vastag rétegben feküdt minden felületen, és eltömítette a berendezéseink belsejét is. . Válassz minőségi szolgáltatásokat – pormentesen! – lett költözésünk oka.
Szinte mindig „egy mozdulat két tűzzel egyenlő”, de a migráció során felmerülő problémák minden alkalommal mások. Ezúttal az egy adatközponton belüli mozgás fő nehézségét az optikai keresztkapcsolatok „biztosították” – az emeletek közötti bőséges mennyiséget anélkül, hogy a távközlési szolgáltatók egyetlen keresztkapcsolatba egyesítenék őket. A keresztkapcsolatok frissítése és átirányítása (amelyben az MMTS-9 mérnökei segítettek nekünk) volt a migráció talán legnehezebb szakasza.
A második migráció egy éve történt, 2019-ben egy nem túl jó adatközpontból az O2xygenbe költöztünk. A költözés okai hasonlóak voltak a fentebb tárgyaltakhoz, de kiegészült azzal a problémával, hogy az eredeti adatközpont nem vonzó a távközlési szolgáltatók számára - sok szolgáltatónak egyedül kellett „utolérnie” ezt a pontot.
Az MMTS-13-ben 9 rack migrációja egy jó minőségű telephelyre lehetővé tette, hogy ezt a helyet ne csak kezelői helyszínként (néhány rack és operátor „előre”) alakítsák ki, hanem az egyik főbbek. Ez némileg leegyszerűsítette a migrációt egy nem túl jó adatközpontból - a berendezések nagy részét onnan szállítottuk át egy másik telephelyre, az O2xygen pedig fejlesztő szerepet kapott, oda 5 rack-et küldve felszereléssel.
Mára az O2xygen egy teljes értékű platform, ahová „megérkeztek” a szükséges operátorok, és folyamatosan újak csatlakoznak. Az üzemeltetők számára az O2xygen stratégiai fejlesztési szempontból is vonzónak bizonyult.
A költözés fő fázisát mindig egy éjszaka alatt hajtjuk végre, az MMTS-9-en belüli és az O2xygen felé történő migráció során ezt a szabályt betartottuk. Hangsúlyozzuk, hogy az állványok számától függetlenül szigorúan betartjuk a „mozgás egyik napról a másikra” szabályt! Még arra is volt példa, hogy 20 állványt költöztünk át, és ezt is egy éjszaka alatt végeztük el. A migráció meglehetősen egyszerű folyamat, amely pontosságot és következetességet igényel, de van néhány trükk, mind az előkészítési folyamatban, mind az áthelyezéskor és az új helyre történő telepítéskor. Ha érdekel, készek vagyunk részletesen is beszélni a migrációról.
Álláspontja Szeretjük az ötéves fejlesztési terveket. Befejeztük egy új, három adatközpontban elosztott hibatűrő infrastruktúra kiépítését. Erősen megnöveltük a forgalom sűrűségét - ha a közelmúltban 40-80G-nak örültünk 2U-val, most nálunk 100G 1U-val a norma. Ma már egy terabitnyi forgalmat is közhelynek érzékelünk. Készek vagyunk a rugalmasnak és skálázhatónak bizonyult infrastruktúránk továbbfejlesztésére.
Kérdés: Miről meséljek a következő szövegekben, kedves olvasók? Arról, hogy miért kezdtünk el házi készítésű adattároló rendszereket készíteni? A hálózati magról és annak jellemzőiről? Az adatközpontok közötti migráció fortélyairól és finomságairól? A szállítási döntések optimalizálása az összetevők kiválasztásával és a paraméterek finomhangolásával? Fenntartható megoldások létrehozásáról az adatközponton belüli többszörös redundanciáknak és vízszintes skálázási lehetőségeknek köszönhetően, amelyeket három adatközpontból álló struktúrában valósítanak meg?
Szerző: Petr Vinogradov - az Uma.Tech műszaki igazgatója
Forrás: will.com