Мы запускалі новыя сэрвісы, трафік рос, замянялі серверы, падключалі новыя пляцоўкі і перараблялі ЦАДы - а цяпер раскажам гэтую гісторыю, з пачаткам якой знаёмілі вас пяць гадоў таму..
Пяць гадоў - характэрны час для падвядзення прамежкавых вынікаў. Таму мы вырашылі расказаць аб развіцці нашай інфраструктуры, якая за пяцігодку прайшла дзіўна цікавы шлях развіцця, якім мы ганарымся. Рэалізаваныя намі колькасныя змены перайшлі ў якасныя, зараз інфраструктура можа працаваць у рэжымах, якія ў сярэдзіне мінулага дзесяцігоддзя здаваліся фантастыкай.
Мы забяспечваем працу найскладанейшых праектаў з найжорсткімі патрабаваннямі да надзейнасці, і да нагрузак, сярод якіх PREMIER і Матч ТБ. На спартовых трансляцыях і на прэм'еры папулярных серыялаў патрабуецца аддача трафіку ў тэрабіты/з, мы гэта лёгка рэалізуемы, прычым так часта, што праца з такімі хуткасцямі даўно стала для нас штодзённасцю. А пяць гадоў таму самым цяжкім праектам, які працуе на нашых сістэмах, быў Rutube, які з таго часу развіваўся, нарошчваў аб'ёмы і трафік, што трэба было ўлічваць пры планаванні нагрузак.
Мы расказвалі пра тое, як развівалі «жалеза» нашай інфраструктуры () і развівалі сістэму, адказную за адгрузку відэа (), але з моманту напісання гэтых тэкстаў прайшло шмат часу, створана і ўкаранёна мноства іншых рашэнняў, вынікі якіх дазваляюць нам адпавядаць сучасным патрабаванням і быць дастаткова эластычнымі, каб перабудоўвацца для новых задач.
Сеткавае ядро стала развіваем. Мы перайшлі на абсталяванне Cisco у 2015 году, аб чым згадвалі яшчэ ў мінулым артыкуле. Тады гэта былі ўсё тыя ж 10/40G, але па зразумелым чынніку ўжо праз некалькі гадоў мадэрнізавалі існыя шасі, і зараз актыўна выкарыстоўваны яшчэ і 25/100G.
Лінкі 100G ужо даўно не з'яўляюцца ні раскошай (хутчэй, гэта настойлівае патрабаванне часу ў нашым сегменце), ні рэдкасцю (усё больш аператараў падаюць падлучэнне на такіх хуткасцях). Аднак, 10/40G захоўвае актуальнасць: праз гэтыя лінкі мы працягваем падлучаць аператараў з невялікім аб'ёмам трафіку, па якіх на дадзены момант немэтазгодна задзейнічаць больш ёмісты порт.
Створанае намі сеткавае ядро заслугоўвае асобнага разгляду і крыху пазней стане тэмай асобнага артыкула. Тамака мы паглыбімся ў тэхнічныя дэталі і разгледзім логіку нашых дзеянняў пры ім стварэнні. Але зараз працягнем маляваць інфраструктуру больш схематычна, бо ваша ўвага, паважаныя чытачы, не бязмежная.
Серверы аддачы відэа эвалюцыянуюць хутка, для чаго мы прапануем нямала намаганняў. Калі раней мы выкарыстоўвалі пераважна 2U серверы з 4-5 сеткавымі картамі па два 10G-порта ў кожнай, то зараз большая частка трафіку аддаецца з 1U сервераў, у якіх 2-3 карткі па два 25G-порта ў кожнай. Карты з 10G і з 25G практычна зраўняліся ў кошце, а больш хуткасныя рашэнні дазваляюць аддаваць як па 10G, так і па 25G. Вынікам стала відавочная эканомія: менш кампанентаў сервера і кабеляў для падлучэння – менш кошт (і вышэй надзейнасць), кампаненты займаюць менш месцы ў стойцы – стала магчымым размяшчэнне большай колькасці сервераў на адзінку пляца і, такім чынам, стала ніжэй кошт арэнды.
Але важней выйгрыш у хуткасці! Цяпер мы з 1U можам аддаваць больш за 100G! І гэта на фоне сітуацыі, калі некаторыя буйныя расійскія праекты называюць "дасягненнем" аддачу 40G з 2U. Нам бы іх праблемы!
Заўважым, што пакаленне сеткавых карт, якія ўмеюць працаваць толькі на 10G, мы па-ранейшаму выкарыстоўваем. Гэтае абсталяванне стабільна працуе і выдатна нам знаёма, таму мы яго не выкінулі, а знайшлі яму новае ўжыванне. Гэтыя камплектавалыя мы ўсталявалі ў серверы захоўвання відэа, якім ужо для эфектыўнай працы відавочна нядосыць аднаго-двух 1G-інтэрфейсаў, тут 10G-карты апынуліся актуальнымі.
Сістэмы захоўвання дадзеных таксама растуць. За мінулую пяцігодку яны з дванаццацідыскавых (12x HDD 2U) сталі трыццацішасцідыскавымі (36х HDD 4U). Такія ёмістыя «тушкі» некаторыя баяцца выкарыстоўваць, бо ў выпадку выхаду са строю аднаго такога шасі можа ўзнікнуць пагроза для прадукцыйнасці – а то і працаздольнасці! - для ўсёй сістэмы. Але ў нас такога не здарыцца: мы забяспечылі рэзерваванне на ўзроўні геаразмеркаваных дзід дадзеных. Мы разнеслі шасі па розных дата-цэнтрах - усяго мы выкарыстоўваем тры - і гэта выключае ўзнікненне праблем як пры збоях у шасі, так і пры падзенні пляцоўкі.
Зразумела, такі падыход зрабіў залішнім апаратны RAID, ад якога мы адмовіліся. Пазбавіўшыся ад надмернасці, мы адначасова павысілі надзейнасць сістэмы, спрасціўшы рашэнне і прыбраўшы адну з патэнцыйных кропак адмовы. Нагадаем, што СГД у нас самаробныя . На гэта мы пайшлі зусім свядома і вынік нас цалкам задаволіў.
ЦАДы за мінулыя пяць гадоў мы мянялі некалькі разоў. З часу напісання папярэдняга артыкула мы не змянялі толькі адзін ЦАД - DataLine - астатнія запатрабавалі замены па меры развіцця нашай інфраструктуры. Усе пераезды паміж пляцоўкамі былі планавыя.
Два гады таму мы мігравалі ўнутры ММТС-9, перайшоўшы на пляцоўку з якасным рамонтам, добрай сістэмай астуджэння, стабільным электрасілкаваннем і без пылу, якая раней ляжала тоўстымі пластамі на ўсіх паверхнях, а таксама багата забівала вантробы нашага абсталявання. Выбар на карысць якасці паслуг - і адсутнасці пылу! - стаў прычынай для нашага пераезду.
Амаль заўсёды "адзін пераезд роўны двум пажарам", але праблемы пры міграцыі кожны раз розныя. На гэты раз асноўная складанасць пераезду ўнутры аднаго ЦАДа "забяспечылі" аптычныя кросіроўкі – іх міжпавярховае багацце без звесткі ў адзіную кросавую з боку аператараў сувязі. Працэс актуалізацыі і перапракладкі кросіровак (у чым нам дапамаглі інжынеры ММТС-9), быў, мабыць, самым складаным этапам міграцыі.
Другая міграцыя адбылася год таму, у 2019 годзе пераязджалі мы з не вельмі добрага ЦАД у O2xygen. Прычыны пераезду былі падобныя з разгледжанымі вышэй, але да іх дадалася праблема з непрывабнасцю зыходнага ЦАД для аператараў сувязі – многіх правайдэраў даводзілася "даганяць" да гэтай кропкі саматугам.
Міграцыя 13 стоек на якасную пляцоўку ў ММТС-9 дазволіла развіваць гэтую лакацыю не толькі як аператарскую (пара-тройка стоек і "пракіды" аператараў), але і задзейнічаць у якасці адной з асноўных. Гэта некалькі спрасціла міграцыю з не вельмі добрага ЦАД - большасць абсталявання з яго мы перавезлі на іншую пляцоўку, а O2xygen адвялі ролю які развіваецца, адправіўшы і туды 5 стоек з абсталяваннем.
Сёння O2xygen ужо паўнавартасная пляцоўка, куды "прыйшлі" неабходныя нам аператары і працягваюць падключацца новыя. Для аператараў O2xygen аказаўся таксама прывабны з пункту гледжання стратэгічнага развіцця.
Асноўную фазу пераезду мы абавязкова праводзім за адну ноч, і пры міграцыі ўнутры ММТС-9 і на O2xygen прытрымліваліся гэтага правіла. Падкрэслім, што правіла "пераезд за ноч" мы строга выконваем незалежна ад колькасці стоек! Быў нават прэцэдэнт, калі мы перамяшчалі 20 стоек і выканалі гэта таксама за адну ноч. Міграцыя досыць няхітры працэс, які патрабуе акуратнасці і паслядоўнасці, але і тут ёсць некаторыя хітрасці як падчас падрыхтоўкі, так і пры пераездзе, і пры разгортванні на новай лакацыі. Аб міграцыі ў дэталях мы гатовы падрабязна расказаць, калі ў вас будзе зацікаўленасць.
Вынікі пяцігодкі развіцця нам падабаюцца. Мы завяршылі пабудову новай адмоваўстойлівай інфраструктуры, размеркаванай па трох цэнтрах апрацоўкі дадзеных. Рэзка павысілі шчыльнасць аддачы трафіку - калі нядаўна радаваліся 40-80G з 2U, то цяпер для нас норма аддаваць 100G з 1U. Цяпер і тэрабіт трафіку ўспрымаецца намі як штодзённасць. Мы гатовы і далей развіваць нашу інфраструктуру, якая атрымалася гнуткай маштабуемай.
Пытанне: пра што расказаць вам у наступных тэкстах, паважаныя чытачы? Аб тым, чаму мы сталі ствараць самаробныя сістэмы захоўвання дадзеных? Пра сеткавае ядро і яго асаблівасці? Аб хітрасцях і тонкасцях міграцыі паміж дата-цэнтрамі? Аб аптымізацыі рашэнняў па выдачы шляхам падбору кампанент і тонкай наладкі параметраў? Пра стварэнне ўстойлівых рашэнняў дзякуючы шматразоваму рэзерваванню і гарызантальным магчымасцям маштабавання ўнутры дата-цэнтра, якія рэалізаваны ў структуры з трох ЦАДаў?
Аўтар: Пётр Вінаградаў – Тэхнічны дырэктар Uma.Tech
Крыніца: habr.com