Txhua txhua hnub, ntau lab tus neeg saib yeeb yaj kiab hauv Is Taws Nem. Tab sis kom cov vis dis aus los ua muaj, nws yuav tsum tsis tsuas yog muab tso rau hauv server, tab sis kuj ua tiav. Qhov no tshwm sim sai dua, qhov zoo dua rau cov kev pabcuam thiab nws cov neeg siv.
Kuv lub npe yog Askar Kamalov, ib xyoos dhau los kuv tau koom nrog Yandex video technology team. Hnub no kuv yuav qhia luv luv rau Habr cov neeg nyeem txog yuav ua li cas, los ntawm kev sib piv cov txheej txheem encoding, peb tau tswj xyuas kom ceev ceev xa cov video rau cov neeg siv.
Cov ntawv tshaj tawm no feem ntau yuav txaus siab rau cov uas tsis tau xav txog yav dhau los txog qhov tshwm sim hauv qab hood ntawm cov kev pabcuam video. Hauv cov lus koj tuaj yeem nug cov lus nug thiab qhia cov ncauj lus rau cov ntawv tshaj tawm yav tom ntej.
Ob peb lo lus hais txog txoj haujlwm nws tus kheej. Yandex tsis tsuas yog pab koj tshawb cov yeeb yaj kiab ntawm lwm qhov chaw, tab sis tseem khaws cov yeeb yaj kiab rau nws cov kev pabcuam. Txawm hais tias nws yog thawj qhov kev pabcuam lossis kev sib tw kis las hauv huab cua, ib zaj duab xis ntawm KinoPoisk lossis cov yeeb yaj kiab ntawm Zen thiab Xov Xwm - tag nrho cov no tau muab tso rau hauv peb cov servers. Txhawm rau kom cov neeg siv saib cov yees duab, nws yuav tsum tau npaj: hloov mus rau hom ntawv xav tau, tsim kev saib ua ntej, lossis txawm tias khiav los ntawm kev siv tshuab. . Ib cov ntaub ntawv tsis tau npaj tsuas yog siv qhov chaw. Ntxiv mus, peb tab tom tham tsis yog tsuas yog hais txog kev pom zoo ntawm kev siv kho vajtse, tab sis kuj hais txog kev xa cov ntsiab lus rau cov neeg siv ceev ceev. Piv txwv li: cov ntaub ntawv teev tseg ntawm lub sijhawm txiav txim siab ntawm kev sib tw hockey tuaj yeem tshawb nrhiav hauv ib feeb tom qab qhov kev tshwm sim nws tus kheej.
Sequential encoding
Yog li, qhov kev zoo siab ntawm cov neeg siv feem ntau nyob ntawm seb cov yees duab tau sai npaum li cas. Thiab qhov no tsuas yog txiav txim siab los ntawm kev hloov pauv ceev. Thaum tsis muaj kev txwv nruj rau video upload ceev, ces tsis muaj teeb meem. Koj muab ib daim ntawv, indivisible, hloov nws, thiab upload nws. Thaum pib ntawm peb txoj kev taug, qhov no yog qhov peb ua haujlwm:
Tus neeg siv uploads cov yees duab mus rau qhov chaw khaws cia, cov Analyzer tivthaiv sau cov ntaub ntawv meta thiab hloov cov vis dis aus mus rau cov neeg ua haujlwm tivthaiv rau kev hloov pauv. Tag nrho cov theem yog ua raws li. Nyob rau hauv cov ntaub ntawv no, muaj peev xwm muaj ntau encoding servers, tab sis tsuas yog ib tug yog tibneeg hu tauj coob ua ib tug tshwj xeeb video. Daim duab yooj yim, pob tshab. Qhov no yog qhov uas nws qhov zoo kawg nkaus. Cov tswv yim no tsuas tuaj yeem ntsuas vertically (vim kev yuav khoom ntawm cov servers muaj zog dua).
Sequential encoding nrog cov txiaj ntsig nruab nrab
Yuav ua li cas smooth tawm qhov mob tos, kev lag luam tuaj nrog kev xaiv ceev coding. Lub npe yog lus dag, vim hais tias qhov tseeb, tag nrho coding tshwm sim ua ntu zus thiab siv sijhawm ntev npaum li cas. Tab sis nrog qhov tshwm sim nruab nrab. Lub tswv yim yog qhov no: npaj thiab tshaj tawm cov kev daws teeb meem qis ntawm cov yees duab sai li sai tau, thiab tsuas yog tom qab ntawd cov kev daws teeb meem siab dua.
Ntawm ib sab, video yuav muaj sai dua. Thiab nws muaj txiaj ntsig rau cov xwm txheej tseem ceeb. Tab sis ntawm qhov tod tes, daim duab tig tawm qhov muag plooj, thiab qhov no cuam tshuam cov neeg saib.
Nws hloov tawm hais tias koj yuav tsum tsis tsuas yog ceev ceev cov video, tab sis kuj tswj nws zoo. Nov yog qhov cov neeg siv xav tau los ntawm kev pabcuam video tam sim no. Tej zaum nws yuav zoo li tias nws txaus los yuav cov khoom siv tau zoo tshaj plaws (thiab niaj hnub hloov kho lawv txhua lub sijhawm). Tab sis qhov no yog qhov kawg tuag, vim tias ib txwm muaj cov yeeb yaj kiab uas yuav ua rau txawm tias cov khoom siv muaj zog tshaj plaws qeeb.
Parallel encoding
Nws yog qhov ua tau zoo dua los faib cov teeb meem nyuaj rau hauv ntau qhov tsis yooj yim thiab daws lawv nyob rau tib lub sijhawm ntawm cov servers sib txawv. Qhov no yog MapReduce rau video. Hauv qhov no, peb tsis txwv los ntawm kev ua haujlwm ntawm ib tus neeg rau zaub mov thiab tuaj yeem ntsuas kab rov tav (los ntawm kev ntxiv cov tshuab tshiab).
Los ntawm txoj kev, lub tswv yim ntawm kev faib cov yeeb yaj duab rau hauv me me, ua lawv nyob rau hauv parallel thiab gluing lawv ua ke tsis yog ib co zais cia. Koj tuaj yeem nrhiav tau ntau qhov kev xa mus rau txoj hauv kev no (piv txwv li, ntawm HabrΓ© Kuv pom zoo kom tshaj tawm txog qhov project ). Tab sis qhov no tsis ua rau nws yooj yim dua tag nrho, vim tias koj tsis tuaj yeem siv cov tshuaj npaj tau thiab tsim nws hauv koj lub tsev. Peb xav tau kev yoog raws peb cov txheej txheem, peb cov yeeb yaj kiab thiab txawm tias peb cov khoom thauj. Feem ntau, nws yooj yim dua los sau koj tus kheej.
Yog li, nyob rau hauv lub tshiab architecture, peb faib cov monolithic Worker block nrog sequential coding rau microservices Segmenter, Tcoder, Combiner.
- Segmenter lov cov yees duab mus rau hauv fragments ntawm kwv yees li 10 vib nas this. Fragments muaj ib lossis ntau dua GOPs (). Txhua GOP yog kev ywj pheej thiab sib cais cais kom nws tuaj yeem txiav txim siab yam tsis muaj kev siv cov thav duab los ntawm lwm cov GOPs. Ntawd yog, cov khoom tawg tuaj yeem ua si ntawm nws tus kheej ntawm ib leeg. Qhov no sharding txo latency, tso cai rau kev pib ua ntej.
- Tcoder ua txhua ntu. Nws yuav siv sij hawm ib tug hauj lwm los ntawm cov kab, downloads ib feem ntawm lub cia, encodes nws mus rau hauv txawv kev daws teeb meem (nco ntsoov tias tus neeg uas ua ntawv muaj peev xwm xaiv ib tug version raws li kev sib txuas ceev), ces muab tso rau qhov tshwm sim rov qab mus rau hauv lub cia thiab cim lub fragment raws li tiav. hauv database. Tom qab ua tiav tag nrho cov khoom tawg, Tcoder xa cov haujlwm los tsim cov txiaj ntsig rau cov khoom txuas ntxiv.
- Combiner sau cov txiaj ntsig ua ke: rub tawm tag nrho cov khoom tawg ua los ntawm Tcoder, tsim cov kwj deg rau cov kev daws teeb meem sib txawv.
Ob peb lo lus hais txog lub suab. Qhov nrov tshaj plaws AAC suab codec muaj qhov tsis zoo. Yog tias koj encode cov khoom sib cais, ces koj tsuas yog tsis tuaj yeem muab lawv ua ke seamlessly. Kev hloov pauv yuav pom tau. Video codecs tsis muaj qhov teeb meem no. Raws li txoj cai, koj tuaj yeem nrhiav kev daws teeb meem nyuaj, tab sis qhov kev ua si no tsuas yog tsis tsim nyog rau lub tswm ciab tseem (suab hnyav dua li video). Yog li ntawd, tsuas yog tus yees duab yog encoded nyob rau hauv parallel, thiab tag nrho cov suab khiav yog ua tiav.
Π Π΅Π·ΡΠ»ΡΡΠ°ΡΡ
Ua tsaug rau kev ua yeeb yaj kiab sib luag, peb tau txo qis qhov ncua sij hawm ntawm cov yeeb yaj kiab tau muab tso rau peb thiab muaj rau cov neeg siv. Piv txwv li, yav dhau los nws tuaj yeem siv sijhawm ob teev los tsim ntau qhov sib txawv ntawm qhov zoo sib txawv rau FullHD zaj duab xis kav ntev li ib teev thiab ib nrab. Tam sim no tag nrho cov no siv sijhawm 15 feeb. Ntxiv mus, nrog rau kev sib txuas ua ke, peb tsim cov kev daws teeb meem siab tshaj plaws txawm tias nrawm dua li qhov kev daws teeb meem qis nrog cov txiaj ntsig qub nruab nrab.
Thiab ib qho ntxiv. Nrog rau txoj hauv kev qub, txawm tias tsis muaj servers txaus, lossis lawv tsis ua haujlwm yam tsis muaj haujlwm. Parallel coding tso cai rau koj kom muaj kev sib koom ntawm cov hlau rov ua dua tshiab. Tam sim no peb pawg ntawm ntau tshaj ib txhiab servers ib txwm tsis khoom nrog ib yam dab tsi.
Qhov tseeb, tseem muaj chaw rau kev txhim kho. Piv txwv li, peb tuaj yeem txuag lub sijhawm tseem ceeb yog tias peb pib ua cov ntu ntawm cov yeeb yaj kiab ua ntej nws tuaj txog rau peb tag nrho. Raws li lawv hais, ntau ntxiv tuaj.
Sau rau hauv cov lus hais txog dab tsi ua haujlwm hauv kev ua haujlwm nrog video koj xav nyeem txog.
Muaj txiaj ntsig txuas rau kev paub ntawm cov neeg ua haujlwm hauv kev lag luam
Tau qhov twg los: www.hab.com