{"id":90281,"date":"2020-07-30T13:42:14","date_gmt":"2020-07-30T11:42:14","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-uma-tech-infrastrukturu-razvivala"},"modified":"2020-07-30T13:42:14","modified_gmt":"2020-07-30T11:42:14","slug":"kak-uma-tech-infrastrukturu-razvivala","status":"publish","type":"post","link":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/kak-uma-tech-infrastrukturu-razvivala","title":{"rendered":"Hvordan Uma.Tech utviklet infrastrukturen sin","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Vi lanserte nye tjenester, trafikken vokste, vi byttet servere, koblet til nye plattformer og ombygde datasentre \u2013 n\u00e5 skal vi fortelle denne historien, som vi introduserte for deg for fem \u00e5r siden<\/i>.<\/a><\/noindex><\/p>\n

Fem \u00e5r er en karakteristisk tid for \u00e5 oppsummere interimsresultater. Derfor har vi bestemt oss for \u00e5 fortelle om utviklingen av infrastrukturen v\u00e5r, som i l\u00f8pet av fem\u00e5rsperioden har g\u00e5tt en utrolig interessant utviklingsvei, som vi er stolte av. De kvantitative endringene vi har gjennomf\u00f8rt har blitt til kvalitetsforbedringer, n\u00e5 kan infrastrukturen fungere i moduser som p\u00e5 midten av forrige ti\u00e5r s\u00e5 ut som science fiction. <\/p>\n

Vi st\u00f8tter driften av de mest komplekse prosjektene med strenge krav til p\u00e5litelighet og belastning, inkludert PREMIER og Match TV. I sportsutsendelsene og ved premieren av popul\u00e6re serier kreves det trafikksendinger i terabiter\/s, noe vi enkelt kan realisere, faktisk s\u00e5 ofte at arbeid med slike hastigheter har blitt en del av v\u00e5r hverdag. For fem \u00e5r siden var det tyngste prosjektet som kj\u00f8rte p\u00e5 v\u00e5re systemer Rutube, som siden den gang har utviklet seg, \u00f8kt volum og trafikk, noe som m\u00e5tte tas hensyn til ved planlegging av belastninger.<\/p>\n

Vi har fortalt om hvordan vi utviklet 'jernet' i infrastrukturen v\u00e5r (\u00abRutube 2009-2015: historien om v\u00e5rt jern\u00bb<\/a><\/noindex>) og utviklet systemet ansvarlig for videolevering (\u00abFra null til 700 gigabit per sekund \u2014 hvordan ett av de st\u00f8rste videohostingene i Russland leverer video\u00bb<\/a><\/noindex>), men siden den gang har det g\u00e5tt mye tid, og vi har implementert mange andre l\u00f8sninger, hvis resultater gj\u00f8r at vi kan m\u00f8te moderne krav og v\u00e6re fleksible nok til \u00e5 omstille oss for nye oppgaver.<\/p>\n

\"Hvordan
\n
\nKjerne nettverket<\/b> blir kontinuerlig utviklet. Vi gikk over til Cisco-utstyr i 2015, noe vi nevnte i den forrige artikkelen. Da var det fortsatt de samme 10\/40G, men av \u00e5penbare grunner oppgraderte vi eksisterende chassis kort tid senere, og n\u00e5 bruker vi aktivt b\u00e5de 25\/100G. <\/p>\n

\"Hvordan
\n
\n100G-lenker er ikke lenger en luksus (snarere er det en presserende n\u00f8dvendighet i v\u00e5rt segment) eller en sjeldenhet (flere og flere operat\u00f8rer tilbyr tilkoblinger med slike hastigheter). Men 10\/40G er fortsatt relevant: gjennom disse lenkene fortsetter vi \u00e5 koble operat\u00f8rer med lite trafikk, hvor det for \u00f8yeblikket ikke er \u00f8konomisk forsvarlig \u00e5 bruke en mer kapabel port.<\/p>\n

Det nettverkskjernen vi har utviklet, fortjener spesiell oppmerksomhet og vil bli temaet for en egen artikkel senere. Der vil vi g\u00e5 dypere inn i de tekniske detaljene og se p\u00e5 logikken bak v\u00e5re handlinger ved opprettelsen. Men n\u00e5 fortsetter vi \u00e5 skissere infrastrukturen mer oversiktlig, da deres oppmerksomhet, kj\u00e6re lesere, ikke er ubegrenset.<\/p>\n

Videoutstr\u00f8mmingsservere <\/b>evoluerer raskt, og vi legger ned betydelig innsats i dette. Tidligere brukte vi hovedsakelig 2U-servere med 4-5 nettverkskort, hvor hvert kort hadde to 10G-porter. N\u00e5 g\u00e5r det meste av trafikken fra 1U-servere, som har 2-3 kort med to 25G-porter hver. Kostnaden for 10G- og 25G-kortene har nesten jevnet seg ut, og de raskere l\u00f8sningene tillater avspilling b\u00e5de p\u00e5 10G og 25G. Resultatet har v\u00e6rt \u00e5penbar besparelse: f\u00e6rre serverkomponenter og kabler for tilkobling \u2013 lavere kostnad (og h\u00f8yere p\u00e5litelighet), komponentene tar mindre plass i racken \u2013 noe som har muliggjort plass til flere servere p\u00e5 en enhet av areal, og dermed er leiekostnadene senket.<\/p>\n

Men viktigere er gevinsten i hastighet! N\u00e5 kan vi fra 1U levere mer enn 100G! Og dette i en situasjon hvor noen store russiske prosjekter anser 40G fra 2U for \u00e5 v\u00e6re en \u00abprestasjon\u00bb. Vi skulle gjerne hatt deres problemer!<\/p>\n

\"Hvordan
\n
\nVi m\u00e5 merke oss at generasjonen av nettverkskort som bare kan operere p\u00e5 10G, fortsatt er i bruk. Dette utstyret fungerer stabilt og er godt kjent for oss, s\u00e5 vi kastet det ikke, men fant en ny anvendelse for det. Disse komponentene har vi installert i videolagringsservere, som \u00e5penbart ikke er tilstrekkelige med en eller to 1G-grensesnitt; her viste 10G-kortene seg \u00e5 v\u00e6re relevante.<\/p>\n

Lagringssystemer<\/b> de \u00f2g vokser. I l\u00f8pet av de siste fem \u00e5rene har de g\u00e5tt fra tolv-disk (12x HDD 2U) til seks-og-tredve-disk (36x HDD 4U). Slike massive \"kropper\" mange er redde for \u00e5 bruke, da det ved feil p\u00e5 et slikt chassis kan oppst\u00e5 trussel mot ytelsen \u2013 og kanskje til og med funksjonaliteten! \u2013 til hele systemet. Men vi vil ikke oppleve det: Vi har s\u00f8rget for redundans p\u00e5 niv\u00e5 med geo-replikerte data. Vi har fordelt chassisene p\u00e5 forskjellige datasentre \u2013 vi bruker totalt tre \u2013 og dette eliminerer risikoen for problemer b\u00e5de ved feil i chassisene og ved nedfall av plattformen.<\/p>\n

\"Hvordan
\n
\nSelvf\u00f8lgelig har denne tiln\u00e6rmingen gjort maskinvare-RAID overfl\u00f8dig, som vi har droppet. Ved \u00e5 kvitte oss med redundansen har vi samtidig \u00f8kt systemets p\u00e5litelighet, forenklet l\u00f8sningen og fjernet et potensielt feilpunkt. La oss minne om at v\u00e5rt lagringssystem er \"hjemmelaget\". Vi tok dette valget bevisst, og resultatet har v\u00e6rt helt tilfredsstillende.<\/p>\n

Datasentre<\/b> i l\u00f8pet av de siste fem \u00e5rene har vi byttet flere ganger. Siden publiseringen av den forrige artikkelen har vi bare ikke byttet ett datasenter \u2013 DataLine \u2013 de andre har m\u00e5tte byttes etter hvert som infrastrukturen v\u00e5r har utviklet seg. Alle flyttinger mellom plattformene har v\u00e6rt planlagte.<\/p>\n

For to \u00e5r siden migrerte vi innen MMTS-9, og gikk over til en plattform med kvalitetsrenovering, godt klimaanlegg, stabil str\u00f8mforsyning og uten st\u00f8v, som tidligere l\u00e5 i tykke lag p\u00e5 alle overflater, og som ogs\u00e5 rikelig tettet til innmaten i utstyret v\u00e5rt. Valget for kvalitets tjenester \u2013 og frav\u00e6r av st\u00f8v! \u2013 var grunnen til v\u00e5r flytting.<\/p>\n

\"Hvordan
\n
\nNesten alltid er \"\u00e9n flytting lik to branner\", men problemene ved migrering er hver gang forskjellige. Denne gangen ble hovedvanskeligheten med flyttingen innen ett datasenter \"tilvejebragt\" av optiske krysningspunkter \u2013 deres overflod mellom etasjene uten \u00e5 bli samlet i en enhetlig kryssing fra telekommunikasjonsoperat\u00f8rene. Prosessen med oppdatering og omlegging av krysningspunktene (hvor ingeni\u00f8rene i MMTS-9 hjalp oss), var kanskje det mest komplekse stadiet i migreringen.<\/p>\n

Den andre migrasjonen fant sted for ett \u00e5r siden, i 2019, da vi flyttet fra et ikke s\u00e5 bra datasenter til O2xygen. \u00c5rsakene til flyttingen var lik de som ble dr\u00f8ftet tidligere, men vi fikk ogs\u00e5 et problem med hvor lite attraktivt det opprinnelige datasenteret var for teleoperat\u00f8rer \u2013 mange leverand\u00f8rer m\u00e5tte vi \u00abjakte\u00bb til dette punktet med egne ressurser.<\/p>\n

\"Hvordan
\n
\nMigrasjonen av 13 stativer til en kvalitetsplassering i MMTS-9 har gjort det mulig \u00e5 utvikle denne lokasjonen ikke bare som en operat\u00f8rsentrisk (noen f\u00e5 stativer og \u00abforbindelser\u00bb for operat\u00f8rene), men ogs\u00e5 \u00e5 benytte den som en av hovedlokasjonene. Dette har forenklet migrasjonen fra et ikke s\u00e5 bra datasenter \u2013 mesteparten av utstyret derfra flyttet vi til en annen plassering, og O2xygen fikk rollen som utviklende, og vi sendte dit 5 stativer med utstyr.<\/p>\n

I dag er O2xygen allerede en fullverdig lokasjon, hvor de n\u00f8dvendige operat\u00f8rene har \u00abkommet\u00bb og fortsetter \u00e5 koble seg til nye. For operat\u00f8rene har O2xygen ogs\u00e5 vist seg \u00e5 v\u00e6re attraktivt med tanke p\u00e5 strategisk utvikling.<\/p>\n

Den viktigste fasen av flyttingen gjennomf\u00f8rer vi alltid i l\u00f8pet av en natt, og ved migrering innen MMTS-9 og til O2xygen holdt vi oss til denne regelen. Vi understreker atregelen om \u00abflytting om natten\u00bb etterf\u00f8lges strengt uavhengig av antallet stativer! Det har til og med v\u00e6rt et tilfelle hvor vi flyttet 20 stativer og gjennomf\u00f8rte dette ogs\u00e5 p\u00e5 \u00e9n natt. Migrasjon er en relativt enkel prosess som krever n\u00f8yaktighet og rekkef\u00f8lge, men det finnes ogs\u00e5 noen knep b\u00e5de i forberedelsesprosessen, under flyttingen, og n\u00e5r man implementerer p\u00e5 den nye lokasjonen. Vi er klare til \u00e5 fortelle mer detaljert om migrasjon hvis du skulle v\u00e6re interessert.<\/p>\n

Resultater<\/b> Vi liker fem\u00e5rsplaner. Vi har fullf\u00f8rt byggingen av en ny feilfri infrastruktur, fordelt p\u00e5 tre datasentre. Vi har kraftig \u00f8kt tettheten av b\u00e5ndbredde \u2013 hvis vi nylig var glade for 40-80G med 2U, s\u00e5 er det n\u00e5 normalt for oss \u00e5 gi 100G med 1U. N\u00e5 oppfattes en terabit b\u00e5ndbredde som hverdagskost for oss. Vi er klar til \u00e5 videreutvikle v\u00e5r infrastruktur, som har vist seg \u00e5 v\u00e6re fleksibel og skalerbar.<\/p>\n

Sp\u00f8rsm\u00e5l: <\/b>Hva skal vi fortelle deg om i de kommende tekstene, kj\u00e6re lesere? Om hvorfor vi begynte \u00e5 lage egne datasystemer? Om nettverkskjernen og dens egenskaper? Om triks og detaljer rundt migrering mellom datasentre? Om optimalisering av l\u00f8sninger for utlevering ved hjelp av komponentutvalg og finjustering av parametere? Om \u00e5 skape robuste l\u00f8sninger takket v\u00e6re redundans og horisontale skaleringsmuligheter innen datasenteret, som er implementert i strukturen av tre datasentre?<\/p>\n

Forfatter: Pjotr Vinogradov \u2014 Teknisk direkt\u00f8r i Uma.Tech Hamstere<\/a><\/noindex> <\/i>
\n
Kilde: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041c\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b, \u0442\u0440\u0430\u0444\u0438\u043a \u0440\u043e\u0441, \u0437\u0430\u043c\u0435\u043d\u044f\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430, \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0435 \u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0438 \u0438 \u043f\u0435\u0440\u0435\u0434\u0435\u043b\u044b\u0432\u0430\u043b\u0438 \u0426\u041e\u0414\u044b \u2013 \u0430 \u0441\u0435\u0439\u0447\u0430\u0441 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u044d\u0442\u0443 \u0438\u0441\u0442\u043e\u0440\u0438\u044e, \u0441 \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043b\u0438 \u0432\u0430\u0441 \u043f\u044f\u0442\u044c \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434. \u041f\u044f\u0442\u044c \u043b\u0435\u0442 \u2013 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0434\u043b\u044f \u043f\u043e\u0434\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0438\u0442\u043e\u0433\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0438 \u043d\u0430\u0448\u0435\u0439 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430 \u043f\u044f\u0442\u0438\u043b\u0435\u0442\u043a\u0443 \u043f\u0440\u043e\u0448\u043b\u0430 \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":90282,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-90281","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hvordan Uma.Tech utviklet infrastrukturen | ProHoster","description":"Vi har lansert nye tjenester, trafikken har \u00f8kt, serverne har blitt byttet ut, nye lokasjoner har blitt koblet til, og datasentrene har blitt ombygget \u2013 n\u00e5 skal vi fortelle denne historien, som vi introduserte for fem \u00e5r siden.","canonical_url":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/kak-uma-tech-infrastrukturu-razvivala","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nn_NO","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a Uma.Tech \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u043b\u0430 | ProHoster","og:description":"\u041c\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b, \u0442\u0440\u0430\u0444\u0438\u043a \u0440\u043e\u0441, \u0437\u0430\u043c\u0435\u043d\u044f\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430, \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0435 \u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0438 \u0438 \u043f\u0435\u0440\u0435\u0434\u0435\u043b\u044b\u0432\u0430\u043b\u0438 \u0426\u041e\u0414\u044b \u2013 \u0430 \u0441\u0435\u0439\u0447\u0430\u0441 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u044d\u0442\u0443 \u0438\u0441\u0442\u043e\u0440\u0438\u044e, \u0441 \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043b\u0438 \u0432\u0430\u0441 \u043f\u044f\u0442\u044c \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434.","og:url":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/kak-uma-tech-infrastrukturu-razvivala","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-07-30T11:42:14+00:00","article:modified_time":"2020-07-30T11:42:14+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"90281","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:54:27","updated":"2022-09-30 02:23:08","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/90281","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/comments?post=90281"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/90281\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/media\/90282"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/media?parent=90281"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/categories?post=90281"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/tags?post=90281"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}