Naglunsad kami ng mga bagong serbisyo, lumaki ang trapiko, pinalitan ang mga server, nakakonekta ang mga bagong site at na-remodel na mga sentro ng data - at ngayon ay sasabihin namin ang kuwentong ito, ang simula kung saan ipinakilala namin sa iyo limang taon na ang nakakaraan..
Ang limang taon ay isang karaniwang oras para sa pagbubuod ng mga pansamantalang resulta. Samakatuwid, nagpasya kaming pag-usapan ang tungkol sa pag-unlad ng aming imprastraktura, na sa nakalipas na limang taon ay dumaan sa isang nakakagulat na kawili-wiling landas ng pag-unlad, na aming ipinagmamalaki. Ang quantitative na mga pagbabago na ipinatupad namin ay naging qualitative; ngayon ang imprastraktura ay maaaring gumana sa mga mode na tila hindi kapani-paniwala sa kalagitnaan ng huling dekada.
Tinitiyak namin ang pagpapatakbo ng mga pinaka-kumplikadong proyekto na may pinakamahigpit na kinakailangan para sa pagiging maaasahan at pag-load, kabilang ang PREMIER at Match TV. Ang mga sports broadcast at ang premiere ng sikat na serye sa TV ay nangangailangan ng trapiko sa mga terabit/s, madali naming ipinapatupad ito, at madalas na ang pagtatrabaho sa ganoong bilis ay matagal nang naging karaniwan para sa amin. At limang taon na ang nakalilipas, ang pinakamabigat na proyektong tumatakbo sa aming mga system ay ang Rutube, na mula noon ay binuo, tumaas ang dami at trapiko, na kailangang isaalang-alang kapag nagpaplano ng mga pag-load.
Pinag-usapan namin kung paano namin binuo ang hardware ng aming imprastraktura () at bumuo ng isang sistema na responsable para sa pag-upload ng mga video (), ngunit maraming oras ang lumipas mula nang isulat ang mga tekstong ito, maraming iba pang mga solusyon ang nalikha at ipinatupad, ang mga resulta nito ay nagpapahintulot sa amin na matugunan ang mga modernong pangangailangan at maging sapat na kakayahang umangkop upang umangkop sa mga bagong gawain.
Core ng network Kami ay patuloy na umuunlad. Lumipat kami sa kagamitan ng Cisco noong 2015, na binanggit namin sa nakaraang artikulo. Noon ay pareho pa rin ang 10/40G, ngunit para sa mga malinaw na kadahilanan, pagkatapos ng ilang taon ay na-upgrade nila ang umiiral na chassis, at ngayon ay aktibong ginagamit namin ang 25/100G.
Ang mga link ng 100G ay matagal nang hindi isang luho (sa halip, ito ay isang kagyat na pangangailangan ng oras sa aming segment), o isang pambihira (parami nang parami ang mga operator na nagbibigay ng mga koneksyon sa ganoong bilis). Gayunpaman, nananatiling may-katuturan ang 10/40G: sa pamamagitan ng mga link na ito ay patuloy naming ikinokonekta ang mga operator na may kaunting trapiko, kung saan kasalukuyang hindi naaangkop na gumamit ng mas malawak na port.
Ang network core na ginawa namin ay nararapat na hiwalay na pagsasaalang-alang at magiging paksa ng isang hiwalay na artikulo sa ibang pagkakataon. Doon ay susuriin namin ang mga teknikal na detalye at isasaalang-alang ang lohika ng aming mga aksyon kapag nilikha ito. Ngunit ngayon ay patuloy naming iguguhit ang imprastraktura nang mas eskematiko, dahil ang iyong pansin, mahal na mga mambabasa, ay hindi walang limitasyon.
Mga server ng output ng video mabilis na umunlad, kung saan nag-aalok kami ng maraming pagsisikap. Kung dati ay gumagamit kami ng pangunahing 2U server na may 4-5 network card na may dalawang 10G port bawat isa, ngayon ang karamihan sa trapiko ay ipinadala mula sa 1U server, na mayroong 2-3 card na may dalawang 25G port bawat isa. Ang mga card na may 10G at 25G ay halos magkapareho sa halaga, at binibigyang-daan ka ng mas mabilis na mga solusyon na magpadala sa parehong 10G at 25G. Ang resulta ay malinaw na pagtitipid: mas kaunting mga bahagi ng server at mga cable para sa koneksyon - mas mababang gastos (at mas mataas na pagiging maaasahan), ang mga bahagi ay kumukuha ng mas kaunting espasyo sa rack - naging posible na maglagay ng higit pang mga server sa bawat unit area at, samakatuwid, mas mababang mga gastos sa pag-upa.
Ngunit ang mas mahalaga ay ang pakinabang sa bilis! Ngayon ay maaari na kaming magpadala ng higit sa 1G gamit ang 100U! At ito ay laban sa backdrop ng isang sitwasyon kung saan tinatawag ng ilang malalaking proyekto ng Russia ang 40G na output mula sa 2U bilang isang "achievement." Gusto namin ang kanilang mga problema!
Tandaan na ginagamit pa rin namin ang henerasyon ng mga network card na maaari lamang gumana sa 10G. Ang kagamitan na ito ay gumagana nang matatag at pamilyar sa amin, kaya hindi namin ito itinapon, ngunit nakahanap ng bagong gamit para dito. Na-install namin ang mga bahaging ito sa mga server ng imbakan ng video, kung saan ang isa o dalawang 1G interface ay malinaw na hindi sapat upang gumana nang epektibo; dito naging may kaugnayan ang mga 10G card.
Mga sistema ng imbakan lumalaki din. Sa nakalipas na limang taon, nagbago sila mula sa labindalawang disk (12x HDD 2U) hanggang tatlumpu't anim na disk (36x HDD 4U). Ang ilan ay natatakot na gumamit ng napakalawak na "mga bangkay", dahil kung ang isang ganoong chassis ay nabigo, maaaring may banta sa pagiging produktibo - o kahit na operability! β para sa buong sistema. Ngunit hindi ito mangyayari sa amin: nagbigay kami ng backup sa antas ng geo-distributed na mga kopya ng data. Ibinahagi namin ang chassis sa iba't ibang data center - gumagamit kami ng tatlo sa kabuuan - at inaalis nito ang paglitaw ng mga problema kapwa sa kaso ng mga pagkabigo sa chassis at kapag bumagsak ang site.
Siyempre, ginawa ng diskarteng ito na paulit-ulit ang RAID ng hardware, na tinalikuran namin. Sa pamamagitan ng pag-aalis ng redundancy, sabay-sabay naming pinataas ang pagiging maaasahan ng system sa pamamagitan ng pagpapasimple sa solusyon at pag-alis ng isa sa mga potensyal na punto ng pagkabigo. Ipaalala namin sa iyo na ang aming mga storage system ay "homemade". Sinadya namin ito at lubos kaming nasiyahan sa resulta.
Mga sentro ng data Sa nakalipas na limang taon, ilang beses tayong nagbago. Mula nang isulat ang nakaraang artikulo, hindi lamang namin binago ang isang data center - DataLine - ang iba ay nangangailangan ng kapalit habang binuo ang aming imprastraktura. Ang lahat ng paglilipat sa pagitan ng mga site ay pinlano.
Dalawang taon na ang nakalilipas, lumipat kami sa loob ng MMTS-9, lumipat sa isang site na may mataas na kalidad na pag-aayos, isang mahusay na sistema ng paglamig, matatag na supply ng kuryente at walang alikabok, na dati ay nakahiga sa makapal na mga layer sa lahat ng mga ibabaw at nakaharang din sa loob ng aming kagamitan . Pumili ng mga serbisyong may kalidad β at walang alikabok! β naging dahilan ng aming paglipat.
Halos palaging "isang galaw ay katumbas ng dalawang apoy," ngunit ang mga problema sa panahon ng migration ay naiiba sa bawat oras. Sa pagkakataong ito, ang pangunahing kahirapan sa paglipat sa loob ng isang data center ay "ibinigay" ng mga optical cross-connection - ang kanilang kasaganaan sa pagitan ng mga sahig nang hindi pinagsama sa isang solong cross-connect ng mga operator ng telecom. Ang proseso ng pag-update at muling pagruta ng mga cross-connection (kung saan tinulungan kami ng mga inhinyero ng MMTS-9) ay marahil ang pinakamahirap na yugto ng paglipat.
Ang pangalawang paglipat ay naganap noong isang taon; noong 2019, lumipat kami mula sa isang hindi masyadong magandang data center patungo sa O2xygen. Ang mga dahilan para sa paglipat ay katulad sa mga tinalakay sa itaas, ngunit sila ay dinagdagan ng problema ng hindi kaakit-akit ng orihinal na sentro ng data para sa mga operator ng telecom - maraming mga tagapagkaloob ang kailangang "mahuli" sa puntong ito sa kanilang sarili.
Ang paglipat ng 13 rack sa isang de-kalidad na site sa MMTS-9 ay naging posible upang mabuo ang lokasyong ito hindi lamang bilang lokasyon ng isang operator (isang pares ng mga rack at "forward" ng mga operator), ngunit gamitin din ito bilang isa sa mga mga pangunahing. Ito ay medyo pinasimple ang paglipat mula sa isang hindi masyadong magandang data center - inilipat namin ang karamihan sa mga kagamitan mula dito patungo sa isa pang site, at ang O2xygen ay binigyan ng papel ng isang umuunlad, na nagpapadala ng 5 rack na may kagamitan doon.
Ngayon ang O2xygen ay isa nang ganap na platform, kung saan ang mga operator na kailangan natin ay "dumating" at ang mga bago ay patuloy na kumonekta. Para sa mga operator, ang O2xygen ay naging kaakit-akit din mula sa punto ng view ng strategic development.
Palagi naming isinasagawa ang pangunahing yugto ng paglipat sa isang gabi, at kapag lumilipat sa loob ng MMTS-9 at sa O2xygen, sumunod kami sa panuntunang ito. Binibigyang-diin namin na mahigpit naming sinusunod ang panuntunang "move overnight", anuman ang bilang ng mga rack! Nagkaroon pa nga ng precedent noong naglipat kami ng 20 racks at natapos din ito sa isang gabi. Ang paglipat ay isang medyo simpleng proseso na nangangailangan ng katumpakan at pagkakapare-pareho, ngunit mayroong ilang mga trick dito, kapwa sa proseso ng paghahanda, at kapag lumilipat, at kapag nagde-deploy sa isang bagong lokasyon. Handa kaming pag-usapan nang detalyado ang tungkol sa paglipat kung interesado ka.
Natuklasan Gusto namin ang limang taong mga plano sa pagpapaunlad. Nakumpleto na namin ang pagtatayo ng bagong imprastraktura na hindi mapagparaya sa fault na ipinamahagi sa tatlong data center. Nadagdagan namin nang husto ang densidad ng trapiko - kung kamakailan lamang ay masaya kami sa 40-80G na may 2U, ngayon ang pamantayan para sa amin ay 100G na may 1U. Ngayon kahit isang terabit ng trapiko ay nakikita sa amin bilang karaniwan. Handa kaming paunladin pa ang aming imprastraktura, na naging flexible at scalable.
Tanong: Ano ang dapat kong sabihin sa iyo tungkol sa mga sumusunod na teksto, mahal na mga mambabasa? Tungkol sa kung bakit nagsimula kaming lumikha ng mga homemade data storage system? Tungkol sa core ng network at mga tampok nito? Tungkol sa mga trick at subtleties ng paglipat sa pagitan ng mga data center? Tungkol sa pag-optimize ng mga desisyon sa paghahatid sa pamamagitan ng pagpili ng mga bahagi at fine-tuning na mga parameter? Tungkol sa paglikha ng mga napapanatiling solusyon salamat sa maraming redundancies at horizontal scaling na mga kakayahan sa loob ng isang data center, na ipinapatupad sa isang istraktura ng tatlong data center?
May-akda: Petr Vinogradov - Direktor ng Teknikal ng Uma.Tech
Pinagmulan: www.habr.com