Uruchomiliśmy nowe usługi, wzrósł ruch, wymieniliśmy serwery, podłączyliśmy nowe witryny i przebudowaliśmy centra danych – a teraz opowiemy tę historię, którą przedstawiliśmy Państwu pięć lat temu.
Pięć lat to typowy czas na podsumowanie wyników śródrocznych. Dlatego postanowiliśmy porozmawiać o rozwoju naszej infrastruktury, która na przestrzeni ostatnich pięciu lat przeszła zaskakująco ciekawą ścieżkę rozwoju, z czego jesteśmy dumni. Zmiany ilościowe, które wprowadziliśmy, zamieniły się w jakościowe, teraz infrastruktura może działać w trybach, które w połowie ostatniej dekady wydawały się fantastyczne.
Zapewniamy obsługę najbardziej skomplikowanych projektów z najbardziej rygorystycznymi wymaganiami dotyczącymi niezawodności i obciążenia, w tym PREMIER i Match TV. Transmisje sportowe i premiery popularnych seriali wymagają ruchu w terabajtach/s, łatwo to realizujemy i to na tyle często, że praca z takimi prędkościami już dawno stała się dla nas codziennością. A pięć lat temu najcięższym projektem realizowanym na naszych systemach był Rutube, który od tego czasu się rozwinął, zwiększył wolumeny i ruch, co trzeba było wziąć pod uwagę przy planowaniu ładunków.
Rozmawialiśmy o tym, jak rozwijaliśmy sprzęt naszej infrastruktury () i opracowałem system odpowiedzialny za przesyłanie filmów (), ale od napisania tych tekstów minęło sporo czasu, powstało i wdrożono wiele innych rozwiązań, których rezultaty pozwalają nam sprostać współczesnym wymaganiom i być na tyle elastyczni, aby dostosować się do nowych zadań.
Rdzeń sieci Stale się rozwijamy. W 2015 roku przeszliśmy na sprzęt Cisco, o czym wspominaliśmy w poprzednim artykule. Wtedy to było jeszcze to samo 10/40G, ale z oczywistych powodów po kilku latach zmodernizowano istniejące obudowy i teraz aktywnie korzystamy z 25/100G.
Łącza 100G od dawna nie są ani luksusem (jest to raczej pilna potrzeba czasów w naszym segmencie), ani rzadkością (coraz więcej operatorów udostępnia łącza z takimi prędkościami). Jednak 10/40G pozostaje aktualny: za pośrednictwem tych łączy w dalszym ciągu łączymy operatorów o niewielkim natężeniu ruchu, w przypadku których obecnie nieodpowiednie jest korzystanie z bardziej pojemnych portów.
Stworzony przez nas rdzeń sieci zasługuje na osobne rozważenie i stanie się tematem osobnego artykułu nieco później. Tam zagłębimy się w szczegóły techniczne i rozważymy logikę naszych działań podczas jego tworzenia. Ale teraz będziemy nadal rysować infrastrukturę bardziej schematycznie, ponieważ wasza uwaga, drodzy czytelnicy, nie jest nieograniczona.
Serwery wyjściowe wideo szybko ewoluować, dla czego oferujemy wiele wysiłku. Jeśli wcześniej korzystaliśmy głównie z serwerów 2U z 4-5 kartami sieciowymi po dwa porty 10G każda, teraz większość ruchu wysyłana jest z serwerów 1U, które posiadają 2-3 karty z dwoma portami 25G każda. Karty 10G i 25G są prawie porównywalne kosztowo, a szybsze rozwiązania umożliwiają transmisję zarówno w 10G, jak i 25G. Rezultatem były oczywiste oszczędności: mniej komponentów serwerowych i kabli do podłączenia – niższy koszt (i większa niezawodność), komponenty zajmują mniej miejsca w szafie – stało się możliwe umieszczenie większej liczby serwerów na jednostkę powierzchni, a co za tym idzie, niższe koszty wynajmu.
Ale ważniejsze jest zwiększenie prędkości! Teraz możemy wysłać ponad 1G za pomocą 100U! Dzieje się tak na tle sytuacji, w której niektóre duże rosyjskie projekty nazywają moc wyjściową 40G z 2U „osiągnięciem”. Chcielibyśmy ich problemów!
Należy pamiętać, że nadal korzystamy z generacji kart sieciowych, które mogą działać tylko w sieci 10G. Sprzęt ten działa stabilnie i jest nam bardzo znany, dlatego nie wyrzuciliśmy go, a znaleźliśmy dla niego nowe zastosowanie. Instalowaliśmy te komponenty w serwerach przechowywania wideo, dla których jeden czy dwa interfejsy 1G to zdecydowanie za mało do efektywnej pracy, tutaj odpowiednie okazały się karty 10G.
Systemy przechowywania również rosną. W ciągu ostatnich pięciu lat zmieniono je z dwunastu dysków (12x HDD 2U) na trzydzieści sześć dysków (36x HDD 4U). Niektórzy boją się używać tak pojemnych „tusz”, gdyż w przypadku awarii jednego z takich podwozi może wystąpić zagrożenie dla produktywności – a nawet funkcjonalności! – dla całego systemu. Ale u nas tak się nie stanie: zapewniliśmy kopię zapasową na poziomie rozproszonych geograficznie kopii danych. Rozesłaliśmy obudowę do różnych centrów danych – w sumie korzystamy z trzech – co eliminuje występowanie problemów zarówno w przypadku awarii obudowy, jak i upadku witryny.
Oczywiście takie podejście spowodowało, że sprzętowy RAID stał się zbędny, co porzuciliśmy. Eliminując redundancję, jednocześnie zwiększyliśmy niezawodność systemu, upraszczając rozwiązanie i usuwając jeden z potencjalnych punktów awarii. Przypomnijmy, że nasze systemy przechowywania są „domowej roboty”. Zrobiliśmy to zupełnie świadomie i byliśmy w pełni usatysfakcjonowani efektem.
Centra danych W ciągu ostatnich pięciu lat zmienialiśmy się kilkukrotnie. Od czasu napisania poprzedniego artykułu nie zmieniliśmy tylko jednego centrum danych - DataLine - reszta wymagała wymiany w miarę rozwoju naszej infrastruktury. Zaplanowano wszystkie transfery pomiędzy lokalizacjami.
Dwa lata temu przeprowadziliśmy się do wnętrza MMTS-9, przenosząc się do serwisu z wysokiej jakości naprawami, dobrym systemem chłodzenia, stabilnym zasilaniem i brakiem kurzu, który wcześniej zalegał grubymi warstwami na wszystkich powierzchniach i dodatkowo zatykał wnętrza naszego sprzętu . Wybierz usługi wysokiej jakości – i bez kurzu! – stało się powodem naszej przeprowadzki.
Prawie zawsze „jeden ruch równa się dwóm pożarom”, ale problemy podczas migracji za każdym razem są inne. Tym razem główną trudność w poruszaniu się w obrębie jednego centrum danych „zapewniały” krosownice optyczne - ich obfitość między piętrami bez łączenia w jedną krosownicę przez operatorów telekomunikacyjnych. Proces aktualizacji i zmiany tras połączeń krosowych (w którym pomogli nam inżynierowie MMTS-9) był chyba najtrudniejszym etapem migracji.
Druga migracja miała miejsce rok temu, w 2019 roku przenieśliśmy się z niezbyt dobrego data center do O2xygen. Powody przeprowadzki były podobne do tych omówionych powyżej, jednak uzupełnił je problem nieatrakcyjności pierwotnego data center dla operatorów telekomunikacyjnych – wielu dostawców musiało „nadrobić” ten moment na własną rękę.
Migracja 13 regałów do wysokiej jakości lokalizacji w MMTS-9 umożliwiła zagospodarowanie tej lokalizacji nie tylko jako lokalizacji operatorskiej (kilka regałów i „przesyłek” operatorów), ale także wykorzystanie jej jako jednego z główne. To nieco uprościło migrację z niezbyt dobrego data center - przewieźliśmy z niego większość sprzętu w inne miejsce, a O2xygen otrzymał rolę rozwijającego, wysyłając tam 5 racków ze sprzętem.
Dziś O2xygen to już pełnoprawna platforma, na którą „przyjechali” potrzebni nam operatorzy, a nowi nadal się łączą. Dla operatorów O2xygen okazał się atrakcyjny także z punktu widzenia strategicznego rozwoju.
Główną fazę przeprowadzki przeprowadzamy zawsze w ciągu jednej nocy i przy migracji w obrębie MMTS-9 i do O2xygen trzymaliśmy się tej zasady. Podkreślamy, że rygorystycznie przestrzegamy zasady „przenieś z dnia na dzień”, niezależnie od ilości stojaków! Był nawet precedens, kiedy przenieśliśmy 20 regałów i wykonaliśmy to również w ciągu jednej nocy. Migracja to dość prosty proces, który wymaga dokładności i konsekwencji, ale są tu pewne triki, zarówno w procesie przygotowań, jak i podczas przenoszenia, czy wdrażania w nowej lokalizacji. Jeśli jesteś zainteresowany, jesteśmy gotowi porozmawiać szczegółowo na temat migracji.
wyniki Lubimy pięcioletnie plany rozwoju. Zakończyliśmy budowę nowej, odpornej na awarie infrastruktury rozproszonej w trzech centrach danych. Mocno zwiększyliśmy gęstość ruchu – o ile ostatnio zadowalaliśmy się 40-80G przy 2U, to teraz normą jest dla nas 100G przy 1U. Teraz nawet terabit ruchu jest dla nas czymś normalnym. Jesteśmy gotowi na dalszy rozwój naszej infrastruktury, która okazała się elastyczna i skalowalna.
Pytanie: O czym mam Wam, drodzy czytelnicy, opowiedzieć w poniższych tekstach? O tym, dlaczego zaczęliśmy tworzyć domowe systemy przechowywania danych? O rdzeniu sieci i jego funkcjach? O trikach i subtelnościach migracji pomiędzy centrami danych? O optymalizacji decyzji dotyczących dostaw poprzez dobór komponentów i dostrojenie parametrów? O tworzeniu zrównoważonych rozwiązań dzięki wielokrotnej redundancji i możliwościom skalowania poziomego w obrębie centrum danych, które są realizowane w strukturze trzech centrów danych?
Autor: Petr Vinogradov – dyrektor techniczny Uma.Tech
Źródło: www.habr.com