Biz yeni xidmətləri işə saldıq, trafik artdı, serverləri dəyişdirdik, yeni saytları birləşdirdik və məlumat mərkəzlərini yenidən qurduq - indi biz sizi beş il əvvəl tanış etdiyimiz bu hekayəni danışacağıq..
Beş il aralıq nəticələrin ümumiləşdirilməsi üçün tipik vaxtdır. Ona görə də biz son beş il ərzində heyrətamiz dərəcədə maraqlı inkişaf yolu keçmiş və fəxr etdiyimiz infrastrukturumuzun inkişafı haqqında danışmaq qərarına gəldik. Həyata keçirdiyimiz kəmiyyət dəyişiklikləri keyfiyyət dəyişikliklərinə çevrildi, indi infrastruktur son onilliyin ortalarında fantastik görünən rejimlərdə işləyə bilər.
Biz PREMIER və Match TV də daxil olmaqla etibarlılıq və yüklərə ən sərt tələblərlə ən mürəkkəb layihələrin işləməsini təmin edirik. İdman verilişləri və populyar teleserialların premyerası terabit/s ilə trafik tələb edir, biz bunu asanlıqla həyata keçiririk və tez-tez belə sürətlərlə işləmək bizim üçün çoxdan adi hala çevrilib. Beş il əvvəl, sistemlərimizdə işləyən ən ağır layihə o vaxtdan bəri inkişaf etdirmiş, həcmləri və yükləri planlaşdırarkən nəzərə alınmalı olan trafiki artıran Rutube idi.
İnfrastrukturumuzun avadanlıqlarını necə inkişaf etdirdiyimizdən danışdıq () və videoların yüklənməsinə cavabdeh olan bir sistem hazırladı (), lakin bu mətnlərin yazılmasından xeyli vaxt keçib, bir çox başqa həllər yaradılıb və həyata keçirilib, onların nəticələri müasir tələblərə cavab verməyə və yeni vəzifələrə uyğunlaşmaq üçün kifayət qədər çevik olmağa imkan verir.
Şəbəkə nüvəsi Biz daim inkişaf edirik. Əvvəlki məqalədə qeyd etdiyimiz Cisco avadanlığına 2015-ci ildə keçdik. O vaxtlar hələ də eyni 10/40G idi, lakin məlum səbəblərdən bir neçə ildən sonra mövcud şassiləri təkmilləşdirdilər və indi biz 25/100G-dən fəal şəkildə istifadə edirik.
100G bağlantıları çoxdan nə dəbdəbə (daha doğrusu, bu, seqmentimizdə zamanın təcili tələbidir), nə də nadirdir (daha çox operator belə sürətlə əlaqə təmin edir). Bununla belə, 10/40G aktual olaraq qalır: bu bağlantılar vasitəsilə biz az miqdarda trafikə malik operatorları birləşdirməyə davam edirik, bunun üçün hazırda daha tutumlu portdan istifadə etmək qeyri-münasibdir.
Yaratdığımız şəbəkə nüvəsi ayrıca nəzərdən keçirməyə layiqdir və bir az sonra ayrıca məqalənin mövzusuna çevriləcəkdir. Orada texniki təfərrüatları araşdıracağıq və onu yaratarkən hərəkətlərimizin məntiqini nəzərə alacağıq. Ancaq indi biz infrastrukturu daha sxematik şəkildə çəkməyə davam edəcəyik, çünki diqqətiniz hədsiz deyil, əziz oxucular.
Video çıxış serverləri sürətlə inkişaf edin, bunun üçün biz çox səy göstəririk. Əgər əvvəllər biz əsasən hər birində iki 2G portu olan 4-5 şəbəkə kartı olan 10U serverlərdən istifadə edirdiksə, indi trafikin böyük hissəsi hər birində iki 1G portu olan 2-3 kart olan 25U serverlərindən göndərilir. 10G və 25G ilə kartların dəyəri demək olar ki, bərabərdir və daha sürətli həllər sizə həm 10G, həm də 25G üzərindən ötürməyə imkan verir. Nəticə aşkar qənaət oldu: qoşulma üçün daha az server komponentləri və kabellər - daha aşağı qiymət (və daha yüksək etibarlılıq), komponentlər rafda daha az yer tutur - vahid sahəyə daha çox server yerləşdirmək və buna görə də icarə xərclərini azaltmaq mümkün oldu.
Ancaq daha vacib sürət qazanmasıdır! İndi 1U ilə 100G-dən çox göndərə bilərik! Və bu, bəzi böyük Rusiya layihələrinin 40U-dan 2G çıxışını “nailiyyət” adlandırdığı bir vəziyyətin fonundadır. Biz onların problemlərini istərdik!
Qeyd edək ki, biz hələ də yalnız 10G-də işləyə bilən şəbəkə kartlarının nəsillərindən istifadə edirik. Bu avadanlıq sabit işləyir və bizə çox tanışdır, ona görə də biz onu atmadıq, lakin onun üçün yeni bir istifadə tapdıq. Biz bu komponentləri video saxlama serverlərində quraşdırdıq, bunun üçün bir və ya iki 1G interfeysi effektiv işləmək üçün kifayət deyil; burada 10G kartları uyğun oldu.
Saxlama sistemləri da böyüyürlər. Son beş il ərzində onlar on iki diskdən (12x HDD 2U) otuz altı diskə (36x HDD 4U) dəyişiblər. Bəziləri belə tutumlu "cəsədlərdən" istifadə etməkdən qorxurlar, çünki belə şassilərdən biri uğursuz olarsa, məhsuldarlığa, hətta işləmə qabiliyyətinə təhlükə yarana bilər! - bütün sistem üçün. Ancaq bu, bizimlə baş verməyəcək: biz məlumatların geo-paylanmış nüsxələri səviyyəsində ehtiyat nüsxəsini təmin etdik. Biz şassiləri müxtəlif məlumat mərkəzlərinə payladıq - cəmi üçdən istifadə edirik - və bu, həm şassidəki nasazlıqlar, həm də saytın yıxılması zamanı problemlərin baş verməsini aradan qaldırır.
Əlbəttə ki, bu yanaşma RAID aparatını lazımsız etdi, biz ondan imtina etdik. Artıqlığı aradan qaldırmaqla, həlli sadələşdirmək və potensial uğursuzluq nöqtələrindən birini aradan qaldırmaqla eyni vaxtda sistemin etibarlılığını artırdıq. Nəzərinizə çatdıraq ki, saxlama sistemlərimiz “ev istehsalıdır”. Biz bunu çox qəsdən etdik və nəticədən tam razı qaldıq.
Məlumat mərkəzləri Son beş il ərzində biz bir neçə dəfə dəyişmişik. Əvvəlki məqalənin yazılmasından bəri biz yalnız bir məlumat mərkəzini dəyişməmişik - DataLine - infrastrukturumuz inkişaf etdikcə qalanları dəyişdirilməli idi. Saytlar arasında bütün köçürmələr planlaşdırılırdı.
İki il əvvəl biz MMTS-9-un içərisinə köçdük, yüksək keyfiyyətli təmirli, yaxşı soyutma sistemi, dayanıqlı enerji təchizatı və əvvəllər bütün səthlərdə qalın təbəqələrlə örtülmüş, həmçinin avadanlığımızın daxili hissələrini tıxanmış bir yerə köçdük. . Keyfiyyətli xidmətləri seçin - tozsuz! – köçməyimizə səbəb oldu.
Demək olar ki, həmişə “bir hərəkət iki atəşə bərabərdir”, lakin köç zamanı problemlər hər dəfə fərqli olur. Bu dəfə bir məlumat mərkəzi daxilində hərəkət etməyin əsas çətinliyi optik çarpaz bağlantılarla "təmin edildi" - telekommunikasiya operatorları tərəfindən vahid çarpaz əlaqədə birləşdirilmədən mərtəbələr arasında bolluğu. Çarpaz əlaqələrin yenilənməsi və marşrutunun dəyişdirilməsi prosesi (MMTS-9 mühəndisləri bizə kömək etdi) bəlkə də köçün ən çətin mərhələsi idi.
İkinci miqrasiya bir il əvvəl baş verdi; 2019-cu ildə biz çox yaxşı olmayan məlumat mərkəzindən O2xygen-ə keçdik. Hərəkətin səbəbləri yuxarıda müzakirə edilənlərə bənzəyirdi, lakin bunlar telekommunikasiya operatorları üçün orijinal məlumat mərkəzinin cəlbediciliyi problemi ilə tamamlandı - bir çox provayderlər bu nöqtəyə özlərini "yaxalamalı" idilər.
MMTS-13-da 9 rafın yüksək keyfiyyətli bir yerə köçürülməsi bu yeri təkcə operator yeri kimi deyil (bir neçə rəf və operatorların "irəli"), həm də ondan biri kimi istifadə etməyə imkan verdi. əsas olanlar. Bu, çox yaxşı olmayan bir məlumat mərkəzindən miqrasiyanı bir qədər asanlaşdırdı - biz avadanlığın çoxunu oradan başqa bir sayta daşıdıq və O2xygen-ə inkişaf edən bir rol verildi, orada avadanlıqla 5 rəf göndərildi.
Bu gün O2xygen artıq tam hüquqlu platformadır, burada bizə lazım olan operatorlar “gəlib” və yeniləri qoşulmağa davam edir. Operatorlar üçün O2xygen də strateji inkişaf baxımından cəlbedici oldu.
Biz həmişə hərəkətin əsas mərhələsini bir gecədə həyata keçiririk və MMTS-9 daxilində və O2xygenə köçərkən bu qaydaya əməl edirdik. Rəflərin sayından asılı olmayaraq “gecədə hərəkət et” qaydasına ciddi şəkildə əməl etdiyimizi vurğulayırıq! Hətta bir presedent var idi ki, biz 20 rəf köçürdük və bunu da bir gecədə tamamladıq. Miqrasiya dəqiqlik və ardıcıllıq tələb edən kifayət qədər sadə prosesdir, lakin burada həm hazırlıq prosesində, həm köçərkən, həm də yeni yerə yerləşdirərkən bəzi fəndlər var. Əgər maraqlanırsınızsa, miqrasiya haqqında ətraflı danışmağa hazırıq.
Tapıntılar Biz beşillik inkişaf planlarını bəyənirik. Biz üç məlumat mərkəzi arasında paylanmış yeni nasazlığa dözümlü infrastrukturun tikintisini başa çatdırdıq. Trafik sıxlığını kəskin şəkildə artırdıq - əgər bu yaxınlarda biz 40U ilə 80-2G ilə razı idiksə, indi bizim üçün norma 100U ilə 1G-dir. İndi bizdə hətta bir terabit trafik adi hal kimi qəbul edilir. Biz çevik və genişlənən infrastrukturumuzu daha da inkişaf etdirməyə hazırıq.
Sual: Aşağıdakı mətnlərdə sizə nə deməliyəm, əziz oxucular? Nə üçün evdə hazırlanmış məlumat saxlama sistemləri yaratmağa başladıq? Şəbəkə nüvəsi və onun xüsusiyyətləri haqqında? Məlumat mərkəzləri arasında miqrasiyanın hiylələri və incəlikləri haqqında? Komponentlər və incə tənzimləmə parametrləri seçməklə çatdırılma qərarlarının optimallaşdırılması haqqında? Üç məlumat mərkəzinin strukturunda həyata keçirilən bir məlumat mərkəzi daxilində çoxsaylı ehtiyatlar və üfüqi miqyaslama imkanları sayəsində davamlı həllərin yaradılması haqqında?
Müəllif: Petr Vinogradov - Uma.Tech şirkətinin texniki direktoru
Mənbə: www.habr.com