Naglunsad kami og mga bag-ong serbisyo, mitubo ang trapiko, gipulihan ang mga server, konektado sa bag-ong mga site ug gi-remodel nga mga sentro sa datos - ug karon among isulti kini nga istorya, ang sinugdanan nga among gipaila kanimo lima ka tuig na ang milabay.
Ang lima ka tuig maoy kasagarang panahon sa pagsumaryo sa mga interim nga resulta. Busa, nakahukom kami sa paghisgot mahitungod sa pagpalambo sa among imprastraktura, nga sa milabay nga lima ka tuig miagi sa usa ka makapakurat nga makapaikag nga dalan sa kalamboan, nga atong gipasigarbo. Ang quantitative nga mga pagbag-o nga among gipatuman nahimo na nga kwalitatibo; karon ang imprastraktura mahimo’g molihok sa mga mode nga ingon talagsaon sa tunga-tunga sa miaging dekada.
Gipaneguro namon ang operasyon sa labing komplikado nga mga proyekto nga adunay labing higpit nga mga kinahanglanon alang sa kasaligan ug mga karga, lakip ang PREMIER ug Match TV. Ang mga sibya sa sports ug ang premiere sa sikat nga mga serye sa TV nanginahanglan ug trapiko sa terabits/s, dali namong ipatuman kini, ug sa kasagaran nga ang pagtrabaho sa ingon nga mga katulin dugay nang nahimong komon alang kanamo. Ug lima ka tuig na ang milabay, ang pinakabug-at nga proyekto nga nagdagan sa among mga sistema mao ang Rutube, nga sukad naugmad, nagdugang ang gidaghanon ug trapiko, nga kinahanglan nga tagdon kung magplano sa mga karga.
Naghisgot kami kung giunsa namo pagpalambo ang hardware sa among imprastraktura () ug nakahimo og sistema nga responsable sa pag-upload og mga video (), apan daghang panahon ang milabay sukad kini nga mga teksto gisulat, daghang uban pang mga solusyon ang nahimo ug gipatuman, ang mga resulta niini nagtugot kanato sa pagtagbo sa modernong mga kinahanglanon ug igo nga flexible sa pagpahiangay sa bag-ong mga buluhaton.
Network core Kanunay kaming nag-uswag. Nagbalhin kami sa kagamitan sa Cisco kaniadtong 2015, nga among gihisgutan sa miaging artikulo. Kaniadto mao ra gihapon ang 10/40G, apan sa klaro nga mga hinungdan, pagkahuman sa pipila ka tuig gi-upgrade nila ang naa na nga chassis, ug karon aktibo namong gigamit ang 25/100G.
Ang mga link sa 100G dugay na nga dili usa ka kaluho (hinoon, kini usa ka dinalian nga kinahanglanon sa oras sa among bahin), o usa ka panagsa ra (kadaghan nga mga operator ang naghatag mga koneksyon sa ingon nga katulin). Bisan pa, ang 10 / 40G nagpabilin nga may kalabutan: pinaagi sa kini nga mga link nagpadayon kami sa pagkonektar sa mga operator nga adunay gamay nga trapiko, diin sa pagkakaron dili angay nga mogamit usa ka labi ka lapad nga pantalan.
Ang kinauyokan sa network nga among gibuhat angayan nga lahi nga konsiderasyon ug mahimong hilisgutan sa usa ka lahi nga artikulo sa ulahi. Didto atong susihon ang mga teknikal nga detalye ug ikonsiderar ang lohika sa atong mga aksyon sa paghimo niini. Apan karon magpadayon kami sa pagdrowing sa imprastraktura nga mas eskematiko, tungod kay ang imong pagtagad, minahal nga mga magbabasa, dili limitado.
Mga server sa output sa video dali nga molambo, diin kami nagtanyag daghang paningkamot. Kung kaniadto gigamit namon ang nag-una nga 2U server nga adunay 4-5 nga network card nga adunay duha ka 10G port matag usa, karon kadaghanan sa trapiko gipadala gikan sa 1U server, nga adunay 2-3 kard nga adunay duha ka 25G port matag usa. Ang mga kard nga adunay 10G ug 25G halos managsama sa gasto, ug ang mas paspas nga mga solusyon nagtugot kanimo sa pagpadala sa 10G ug 25G. Ang resulta mao ang dayag nga mga savings: mas diyutay nga mga sangkap sa server ug mga kable alang sa koneksyon - mas ubos nga gasto (ug mas taas nga kasaligan), ang mga sangkap nagkinahanglan og gamay nga luna sa rack - nahimong posible nga magbutang og dugang nga mga server matag unit area ug, busa, mas ubos nga gasto sa pag-abang.
Apan mas importante mao ang ganansya sa katulin! Karon makapadala kami labaw pa sa 1G nga adunay 100U! Ug kini batok sa backdrop sa usa ka sitwasyon diin ang pipila ka dagkong mga proyekto sa Russia nagtawag sa 40G nga output gikan sa 2U nga usa ka "achievement." Gusto namon ang ilang mga problema!
Timan-i nga gigamit gihapon namo ang henerasyon sa mga network card nga mahimo ra nga magamit sa 10G. Kini nga ekipo nagtrabaho nga lig-on ug pamilyar kaayo kanamo, mao nga wala namo kini ilabay, apan nakakita og bag-ong gamit niini. Gi-install namon kini nga mga sangkap sa mga server sa pagtipig sa video, diin ang usa o duha nga mga interface sa 1G klaro nga dili igo aron epektibo nga molihok; dinhi ang mga kard nga 10G nahimo nga may kalabotan.
Mga sistema sa pagtipig nagkadako usab. Sulod sa milabay nga lima ka tuig, sila nausab gikan sa dose-disk (12x HDD 2U) ngadto sa katloan ug unom ka-disk (36x HDD 4U). Ang uban nahadlok nga mogamit sa ingon ka daghan nga "mga bangkay", tungod kay kung mapakyas ang usa sa ingon nga mga chassis, mahimo’g adunay hulga sa pagka-produktibo - o bisan ang pag-opera! - alang sa tibuok nga sistema. Apan dili kini mahitabo kanamo: naghatag kami og backup sa lebel sa geo-distributed nga mga kopya sa datos. Giapod-apod namon ang mga chassis sa lainlaing mga sentro sa datos - gigamit namon ang tulo sa kinatibuk-an - ug kini nagwagtang sa mga panghitabo sa mga problema kung adunay mga kapakyasan sa chassis ug kung mahulog ang site.
Siyempre, kini nga pamaagi naghimo sa hardware RAID nga sobra, nga among gibiyaan. Pinaagi sa pagwagtang sa redundancy, dungan natong gipataas ang kasaligan sa sistema pinaagi sa pagpayano sa solusyon ug pagtangtang sa usa sa posibleng mga punto sa kapakyasan. Pahinumdoman ka namo nga ang among mga sistema sa pagtipig kay "homemade". Gibuhat namo kini nga tinuyo ug hingpit kaming natagbaw sa resulta.
Mga sentro sa datos Sulod sa milabay nga lima ka tuig kami nausab sa makadaghang higayon. Sukad sa pagsulat sa miaging artikulo, wala kami nagbag-o lamang sa usa ka sentro sa datos - DataLine - ang nahabilin kinahanglan nga puli samtang nag-uswag ang among imprastraktura. Ang tanan nga pagbalhin tali sa mga site giplano.
Duha ka tuig ang milabay, kami milalin sa sulod sa MMTS-9, mibalhin sa usa ka site nga adunay taas nga kalidad nga pag-ayo, usa ka maayo nga sistema sa paglamig, lig-on nga suplay sa kuryente ug wala’y abug, nga kaniadto gibutang sa baga nga mga sapaw sa tanan nga mga ibabaw ug usab nagbara sa sulod sa among kagamitan. . Pilia ang kalidad nga mga serbisyo - ug walay abog! – nahimong rason sa among paglihok.
Hapit kanunay "usa ka paglihok katumbas sa duha ka sunog," apan ang mga problema sa panahon sa paglalin lahi sa matag higayon. Niining higayona, ang nag-unang kalisud sa paglihok sulod sa usa ka sentro sa datos "gihatag" sa mga optical cross-koneksyon - ang ilang kadagaya tali sa mga salog nga wala gihiusa sa usa ka cross-connect sa mga operator sa telecom. Ang proseso sa pag-update ug pag-re-routing sa mga cross-koneksyon (diin gitabangan kami sa mga inhenyero sa MMTS-9) mao tingali ang labing lisud nga yugto sa paglalin.
Ang ikaduhang paglalin nahitabo usa ka tuig na ang milabay; sa 2019, mibalhin kami gikan sa dili kaayo maayo nga data center ngadto sa O2xygen. Ang mga hinungdan sa paglihok parehas sa nahisgutan sa ibabaw, apan gidugangan sila sa problema sa pagkadili madanihon sa orihinal nga sentro sa datos alang sa mga operator sa telecom - daghang mga taghatag kinahanglan nga "maabut" sa kini nga punto sa ilang kaugalingon.
Ang paglalin sa 13 ka racks ngadto sa usa ka taas nga kalidad nga site sa MMTS-9 nagpaposible sa pagpalambo niini nga lokasyon dili lamang isip usa ka lokasyon sa operator (usa ka pares nga mga rack ug "forward" sa mga operator), apan usab sa paggamit niini isip usa sa mga nag-una. Kini medyo gipasimple ang paglalin gikan sa dili kaayo maayo nga sentro sa datos - among gidala ang kadaghanan sa mga ekipo gikan niini ngadto sa lain nga site, ug ang O2xygen gihatagan og papel nga usa ka nag-uswag, nagpadala sa 5 nga mga rack nga adunay mga kagamitan didto.
Karon ang O2xygen usa na ka hingpit nga plataporma, diin ang mga operator nga atong gikinahanglan "miabot" ug ang mga bag-o nagpadayon sa pagkonektar. Alang sa mga operator, ang O2xygen nahimo usab nga madanihon gikan sa punto sa panglantaw sa estratehikong kalamboan.
Kanunay namon nga himuon ang panguna nga yugto sa paglihok sa usa ka gabii, ug kung mobalhin sa sulod sa MMTS-9 ug sa O2xygen, gisunod namon kini nga lagda. Gihatagan namon og gibug-aton nga kami hugot nga nagsunod sa "move overnight" nga lagda, bisan unsa pa ang gidaghanon sa mga racks! Adunay bisan usa ka precedent sa dihang mibalhin kami og 20 ka racks ug nahuman usab kini sa usa ka gabii. Ang paglalin usa ka yano nga proseso nga nanginahanglan katukma ug pagkamakanunayon, apan adunay pipila ka mga limbong dinhi, sa proseso sa pag-andam, ug kung naglihok, ug kung nag-deploy sa usa ka bag-ong lokasyon. Andam kami nga maghisgot bahin sa paglalin sa detalye kung interesado ka.
Результаты Gusto namo ang lima ka tuig nga mga plano sa pagpalambo. Nakompleto na namo ang pagtukod sa bag-ong imprastraktura nga matugoton sa sayop nga gipang-apod-apod sa tulo ka mga sentro sa datos. Gidugangan namon pag-ayo ang densidad sa trapiko - kung bag-o lang nalipay kami sa 40-80G nga adunay 2U, karon ang naandan alang kanamo mao ang 100G nga adunay 1U. Karon bisan ang usa ka terabit sa trapiko giisip namong ordinaryo. Andam kami sa dugang nga pagpalambo sa among imprastraktura, nga nahimong flexible ug scalable.
Pangutana: Unsa ang akong isulti kaninyo mahitungod sa mosunod nga mga teksto, minahal nga mga magbabasa? Mahitungod sa nganong nagsugod kami sa paghimo sa mga homemade data storage system? Mahitungod sa core sa network ug sa mga bahin niini? Mahitungod sa mga limbong ug mga subtleties sa paglalin tali sa mga sentro sa datos? Mahitungod sa pag-optimize sa mga desisyon sa paghatud pinaagi sa pagpili sa mga sangkap ug pag-ayo sa mga parameter? Mahitungod sa pagmugna og malungtarong mga solusyon salamat sa daghang mga redundancies ug horizontal scaling nga mga kapabilidad sulod sa usa ka data center, nga gipatuman sa usa ka istruktura sa tulo ka mga data center?
Awtor: Petr Vinogradov - Teknikal nga Direktor sa Uma.Tech
Source: www.habr.com