Maalin kasta, malaayiin daawadayaal ah ayaa ka daawata fiidiyowyada internetka. Laakin si uu muuqaalku u noqdo mid diyaar ah, waa in aan lagu shubin server-ka oo kaliya, balse waa in sidoo kale la farsameeyaa. Sida ugu dhakhsiyaha badan ee tani u dhacdo, way u roon tahay adeegga iyo isticmaaleyaasheeda.
Magacaygu waa Askar Kamalov, sanad ka hor waxaan ku biiray kooxda tignoolajiyada fiidiyowga ee Yandex. Maanta waxaan si kooban ugu sheegi doonaa akhristayaasha Habr oo ku saabsan sida, annagoo isbar-bar-dhigaya habka cod-bixinta, waxaan u suurtagashay in aan si weyn u dedejino gaarsiinta fiidiyowga isticmaalaha.
Boostada ayaa ugu horrayn xiiso u yeelan doonta kuwa aan horay uga fikirin waxa ka dhacaya hoosta adeegyada fiidyaha. Faallooyinka waxaad ku weydiin kartaa su'aalo oo waxaad soo jeedin kartaa mawduucyada qoraallada mustaqbalka.
Dhowr eray oo ku saabsan hawsha lafteeda. Yandex kaliya kuma caawinayso inaad ka raadiso fiidiyowyada bogagga kale, laakiin sidoo kale waxay ku kaydisaa fiidiyowyada adeegyadeeda. Haddi ay tahay barnaamij asal ah ama ciyaar isboorti oo hawada ku jirta, filim ku jira KinoPoisk ama fiidiyowyada Zen iyo News - waxaas oo dhan waxa lagu shubaa adeegayaashayada. Si isticmaalayaashu u daawadaan fiidiyowga, waxay u baahan tahay in la diyaariyo: loo beddelo qaabka loo baahan yahay, la sameeyo horudhac, ama xitaa iyada oo loo marayo farsamada . Fayl aan diyaarsanayn ayaa meel uun qaadaya. Waxaa intaa dheer, waxaan ka hadleynaa ma aha oo kaliya ku saabsan isticmaalka ugu fiican ee hardware, laakiin sidoo kale ku saabsan xawaaraha gaarsiinta content ee isticmaala. Tusaale: duubista wakhtiga ugu muhiimsan ee ciyaarta xeegada waxa la raadin karaa hal daqiiqo gudaheed ka dib dhacdada lafteeda.
Codaynta isku xigta
Marka, farxadda isticmaaluhu waxay inta badan ku xiran tahay sida ugu dhakhsaha badan fiidiyowgu u noqdo mid la heli karo. Tan waxaa inta badan lagu go'aamiyaa xawaaraha transcoding. Marka aysan jirin shuruudo adag oo loogu talagalay xawaaraha gelinta fiidiyowga, markaa ma jiraan wax dhibaato ah. Waxaad qaadaa hal fayl oo aan la qaybin karin, beddelo, oo soo geliyaan. Bilowgii safarkayaga, waa sidaan u shaqeynay:
Macmiilku wuxuu ku dhejiyaa fiidiyowga kaydinta, qaybta Falanqeeyaha waxay ururisaa macluumaadka meta waxayna u wareejisaa fiidiyowga qaybta Shaqaalaha si loogu beddelo. Dhammaan heerarka waxaa loo fuliyaa si isdaba joog ah. Xaaladdan oo kale, waxaa jiri kara server-yo badan oo cod-bixineed, laakiin mid keliya ayaa ku mashquulsan socodsiinta muuqaal gaar ah. Fudud, jaantus hufan. Halkaas ayay faa'iidooyinkeedu ku dhammaanayaan. Nidaamkan waxa kaliya oo loo miisaami karaa si toos ah (sabato ah iibsashada adeegayaal ka awood badan).
Codayn isku xigta oo leh natiijo dhexdhexaad ah
Si loo fududeeyo sugitaanka xanuunka badan, warshaduhu waxay la yimaadeen doorasho kood degdeg ah. Magacu waa marin habaabin, sababtoo ah dhab ahaantii, codaynta buuxa waxay u dhacdaa si isdaba joog ah waxayna qaadataa waqti dheer. Laakiin leh natiijo dhexdhexaad ah. Fikradda ayaa ah tan: u diyaari oo daabac muuqaal yar oo muuqaal ah sida ugu dhakhsaha badan ee suurtogalka ah, ka dibna kaliya noocyada xallinta sare.
Dhinaca kale, muuqaalku wuxuu noqonayaa mid la heli karo si degdeg ah. Waxayna faa'iido u leedahay dhacdooyinka muhiimka ah. Laakin dhanka kale, sawirku waxa uu noqdaa mid mugdi ah, taasina waxay ka cadhaysiisay daawadayaasha.
Waxay soo baxday inaad u baahan tahay inaadan si dhakhso ah u shaqeynin fiidiyowga, laakiin sidoo kale ilaali tayada. Tani waa waxa isticmaalayaashu ay hadda ka filayaan adeegga fiidiyowga. Waxaa laga yaabaa inay u muuqato inay ku filan tahay iibsashada adeegayaasha ugu wax soo saarka badan (oo si joogto ah u cusbooneysiiya dhammaantood hal mar). Laakiin tani waa dhammaad dhintay, sababtoo ah had iyo jeer waxaa jira muuqaal ka dhigi doona xitaa qalabka ugu awoodda badan inuu hoos u dhigo.
Isbarbardhigga codeynta
Aad bay u wanagsan tahay in dhibka qalafsan loo qaybiyo kuwo badan oo ka adag oo lagu xalliyo si barbar socda server-yada kala duwan. Kani waa MapReduce ee fiidiyowga. Xaaladdan oo kale, kuma xaddidna waxqabadka hal server waxaanan cabbiri karnaa si siman (adigoo ku daraya mashiinno cusub).
By habka, fikradda ah in la kala qaybiyo videos qaybo yaryar, iyaga ka baaraandegi si barbar ah iyo isku dhejinta ma aha qaar sir ah. Waxaad ka heli kartaa tixraacyo badan oo habkan ah (tusaale ahaan, HabrΓ© waxaan ku talinayaa qoraal ku saabsan mashruuca ). Laakiin tani ma fududaynayso guud ahaan, sababtoo ah ma qaadan kartid kaliya xal diyaar ah oo ku dhis gurigaaga. Waxaan u baahanahay la qabsiga kaabayaashayaga, muuqaalkeena iyo xitaa culeyskayaga. Guud ahaan, way fududahay inaad adigu qorto.
Markaa, qaab dhismeedka cusub, waxaanu u qaybinay block Worker monolithic oo leh koodh xidhiidhsan oo u kala qaybinay adeegaha yaryar ee Segmenter, Tcoder, Combiner.
- Qaybtu waxay u jebisaa fiidyaha qaybo ka mid ah ku dhawaad ββ10 ilbiriqsi. Jajabku wuxuu ka kooban yahay hal ama in ka badan GOPs (). GOP kastaa wuu madax banaan yahay oo si gaar ah ayaa loo koodka u yeelay si loo kala saaro iyada oo aan loo eegin xayndaabyada GOP-yada kale. Taasi waa, jajabku si madaxbannaan ayaa loo ciyaari karaa midba midka kale. Sharding Tani waxay yaraynaysaa daahitaanka, taas oo u oggolaanaysa habaynta in la bilaabo goor hore.
- Tcoder wuxuu farsameeyaa jajab kasta. Waxay qaadataa hawl safka ah, soo dejisa jajab ka mid ah kaydinta, waxay ku dhejisaa xalal kala duwan (xusuusnow in ciyaartoygu dooran karo nooc ku salaysan xawaaraha isku xirka), ka dibna natiijada dib ugu celisa kaydinta oo calaamadee jajabkii sida loo farsameeyay. database-ka. Ka dib markii la farsameeyay dhammaan jajabyada, Tcoder waxay soo dirtaa hawsha si ay u soo saarto natiijooyinka qaybta xigta.
- Combiner wuxuu ururiyaa natiijooyinka si wadajir ah: wuxuu soo dejiyaa dhammaan jajabyada uu sameeyay Tcoder, wuxuu soo saaraa qulqulo loogu talagalay xallinta kala duwan.
Dhowr eray oo ku saabsan codka Codka maqalka ee AAC ee ugu caansan wuxuu leeyahay sifo aan fiicneyn. Haddii aad si gooni gooni ah u codeeeyso jajabyada, markaa si fudud ma awoodid inaad isku dhejiso si aan kala go 'lahayn. Kala-guurka ayaa noqon doona mid la dareemo. Codsiyada fiidiyooga dhibkan ma haysto. Fikrad ahaan, waxaad raadin kartaa xal farsamo oo adag, laakiin ciyaartani maaha mid u qalanta shumaca weli (maqalku si aad ah ayuu uga yar yahay fiidiyowga). Sidaa darteed, fiidyaha kaliya ayaa si isku mid ah u qaabaysan, oo dhammaan raadadka maqalka ah waa la habeeyey.
Π Π΅Π·ΡΠ»ΡΡΠ°ΡΡ
Waad ku mahadsan tahay habaynta fiidyaha barbar socda, waxaan si weyn u yareynay daahitaanka u dhexeeya fiidyaha nalagu soo shubo iyo in la heli karo isticmaalayaasha. Tusaale ahaan, markii hore waxay qaadan kartaa laba saacadood in la abuuro dhowr nooc oo buuxa oo tayo kala duwan leh filim FullHD ah oo soconaya saacad iyo badh. Hadda waxaas oo dhan waxay qaadanayaan 15 daqiiqo. Waxaa intaa dheer, iyada oo isbarbar-dhigga, waxaanu abuurnaa qaab-xalinta sare leh xitaa ka dhaqso badan nooca xallinta hoose oo leh qaabkii hore ee natiijada dhexe.
Iyo hal shay oo kale. Habka hore, ama ma jiraan server ku filan, ama waxay ahaayeen kuwo aan shaqaynayn oo aan hawl lahayn. Codaynta isbarbar-dhigga waxay kuu oggolaaneysaa inaad kordhiso saamiga dib-u-warshadaynta birta. Hadda kooxdeenna oo ka badan kun server waxay had iyo jeer ku mashquulsan yihiin wax.
Dhab ahaantii, weli waxaa jira meel lagu hagaajin karo. Tusaale ahaan, waxaan badbaadin karnaa waqti muhiim ah haddii aan bilowno socodsiinta jajabyada fiidyaha ka hor inta uusan noo imaanin gabi ahaanba. Sida ay yiraahdaan, wax badan ayaa soo socda.
Ku qor faallooyinka waxa hawlaha goobta la shaqaynta fiidyaha aad jeceshahay inaad wax ka akhrido.
Xiriirinta waxtarka leh ee waayo-aragnimada asxaabta warshadaha
Source: www.habr.com