{"id":75722,"date":"2020-03-28T07:42:04","date_gmt":"2020-03-28T05:42:04","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-my-uskorili-kodirovanie-video-v-vosem-raz"},"modified":"2020-03-28T07:42:04","modified_gmt":"2020-03-28T05:42:04","slug":"kak-my-uskorili-kodirovanie-video-v-vosem-raz","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kak-my-uskorili-kodirovanie-video-v-vosem-raz","title":{"rendered":"Kuidas me kiirusime videode kodeerimist kaheksa korda","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Kuidas
\n
\nIga p\u00e4ev vaatavad miljonid vaatajad veebis videoid. Aga et video oleks kergesti k\u00e4ttesaadav, tuleb see mitte ainult serverisse laadida, vaid ka t\u00f6\u00f6delda. Mida kiiremini see toimub, seda parem on teenusele ja tema kasutajatele. <\/p>\n

Minu nimi on Askar Kamalov. Aasta tagasi liitusin Yandexi videotehnoloogia meeskonnaga. T\u00e4na jagan ma Habra lugejatega, kuidas suutsime kodeerimisprotsessi paralleelitlemise abil video edastamist kasutajatele mitu korda kiirendada. <\/p>\n

See postitus huvitab eelk\u00f5ige neid, kes pole kunagi m\u00f5elnud, mis toimub videoteenuste taga. Kommentaarides saate esitada k\u00fcsimusi ja pakkuda teemasid tulevaste postituste jaoks.
\n<\/a><\/noindex>
\nM\u00f5ned s\u00f5nad \u00fclesande kohta. Yandex mitte ainult ei aita otsida videoid teistel saitidel, vaid salvestab videoid ka oma teenustele. Olgu selleks autorisaade v\u00f5i spordim\u00e4ng otse\u00fclekandes, film KinoPoiskis v\u00f5i l\u00f5igud Zenis ja Uudistes \u2014 k\u00f5ik see laaditakse meie serveritesse. Et kasutajad saaksid videot vaadata, tuleb see ette valmistada: konverteerida vajalikku formaati, luua eelvaade v\u00f5i isegi l\u00e4bi viia tehnoloogilisi protsesse. DeepHD<\/a><\/noindex>. Valmistamata fail lihtsalt v\u00f5tab ruumi. Ja see puudutab mitte ainult optimaalset riistvara kasutamist, vaid ka sisu edastamise kiirusest kasutajateni. N\u00e4ide: salvestus otsustavast hetkes hoki m\u00e4ngust v\u00f5ib otsingus olla juba minuti p\u00e4rast p\u00e4rast s\u00fcndmust.<\/p>\n

J\u00e4rkj\u00e4rguline kodeerimine<\/h3>\n

\nNii et kasutaja \u00f5nnelikkus s\u00f5ltub suurel m\u00e4\u00e4ral sellest, kui kiiresti video k\u00e4ttesaadavaks muutub. Ja see s\u00f5ltub peamiselt transkodeerimise kiirusest. Kui pole rangeid n\u00f5udmisi video \u00fcleslaadimise kiirusel, pole ka probleeme. V\u00f5tate tervikliku faili, konverteerite selle ja laadite \u00fcles. Oma teekonna alguses tegime me just niimoodi.<\/p>\n

\"Kuidas
\n
\nKlient laadib video salvestusse, komponent Analyzer kogub metaandmeid ja edastab video t\u00f6\u00f6tlemiseks komponendile Worker. K\u00f5ik etapid toimuvad j\u00e4rjestikku. Samas v\u00f5ib kodeerimiseks olla mitu serverit, kuid ainult \u00fcks on konkreetse video t\u00f6\u00f6tlemiseks h\u00f5ivatud. Lihtne ja l\u00e4bipaistev skeem. Selle kasud sellega l\u00f5ppevad. Tegu on skeemaga, mis skaleerub ainult vertikaalselt (ostes v\u00f5imsamaid servereid). <\/p>\n

J\u00e4rjestikune kodeerimine vahepealse tulemusega<\/h3>\n

\nOotamise leevendamiseks on t\u00f6\u00f6stuses v\u00e4lja m\u00f5eldud kiire kodeerimise variant. Petlik nimetus, kuna tegelikult toimub t\u00e4iemahuline kodeerimine j\u00e4rjestikuses protsessis ja sama kaua. Ent selle eelisega, et on vahepealne tulemus. Idee on v\u00f5imalikult kiiresti valmistada ja avaldada video madala eraldusv\u00f5imega versioon, ning hiljem \u2014 k\u00f5rgema eraldusv\u00f5imega versioonid. <\/p>\n

\u00dchest k\u00fcljest saab video kergemini k\u00e4tte. See on kasulik oluline s\u00fcndmuste puhul. Kuid teisest k\u00fcljest j\u00e4\u00e4b pilt h\u00e4guseks, mis h\u00e4irib vaatjaid.<\/p>\n

Seega tuleb videote t\u00f6\u00f6tlemisega mitte ainult kiiresti tegeleda, vaid ka s\u00e4ilitada nende kvaliteet. Just seda ootavad kasutajad t\u00e4nap\u00e4eva videoteenustelt. V\u00f5ib tunduda, et piisab lihtsalt k\u00f5ige v\u00f5imekamate serverite ostmisest (ja nende regulaarsetest uuendamistest). Kuid see on pimeda tee, sest alati leidub video, mis paneb isegi k\u00f5ige j\u00f5ulisemat riistvara pidurduma. <\/p>\n

Paralleelne kodeerimine<\/h3>\n

\nOluliselt t\u00f5husam on jagada keeruline \u00fclesanne v\u00e4iksemateks, v\u00e4hem keerukateks osadeks ja lahendada neid paralleelselt erinevates serverites. Selline MapReduce videode jaoks. Sel juhul ei j\u00e4\u00e4 me kinni \u00fche serveri j\u00f5udluses ja saame horisontaalselt skaleeruda (uute masinate lisamise kaudu). <\/p>\n

Muide, idee jagada video v\u00e4ikesteks t\u00fckkideks, neid paralleelselt t\u00f6\u00f6delda ja seej\u00e4rel kokku panna \u2014 ei ole mingi saladus. V\u00f5ite leida palju viiteid sellele l\u00e4henemisele (n\u00e4iteks soovitan Habras postitust projekti DistVIDc<\/a><\/noindex>). Kuid sellest ei muutu asi lihtsamaks, sest ei saa lihtsalt v\u00f5tta juba olemasolevat lahendust ja seda enda juurde integreerida. Me vajame kohandamist meie infrastruktuuri, meie video ja isegi meie koormuse j\u00e4rgi. \u00dches\u00f5naga, on lihtsam kirjutada oma. <\/p>\n

N\u00fc\u00fcd oleme uues arhitektuuri monoliitse Workeri ploki, kus on j\u00e4rk-j\u00e4rgulise kodeerimise, jaganud mikroteenusteks Segmenter, Tcoder, Combiner.<\/p>\n

\"Kuidas
\n<\/p>\n

    \n
  1. Segmenter jagab video umbes 10-sekundilisteks fragmentideks. Fragmendid koosnevad \u00fchest v\u00f5i mitmest GOP-st (group of pictures<\/a><\/noindex>). Iga GOP on s\u00f5ltumatu ja kodeeritakse eraldi, seega saab seda dekodeerida ilma viiteta teiste GOP-de raamidele. See t\u00e4hendab, et fragmente saab esitamiseks eraldi kasutada. Selline segmenteerimine v\u00e4hendab viivitust, v\u00f5imaldades t\u00f6\u00f6tlemise kiiret algust.<\/li>\n
  2. Tcoder t\u00f6\u00f6tleb iga fragmenti. Ta v\u00f5tab \u00fclesande j\u00e4rjekorrast, laadib fragi v\u00e4lja ladustamisest, kodeerib erinevatesse lahendustesse (meenutame, et m\u00e4ngija v\u00f5ib valida versiooni v\u00f5rgu\u00fchenduse kiirusest l\u00e4htudes), seej\u00e4rel salvestab tulemuse tagasi ladustamisse ja m\u00e4rgib fragmendi andmebaasis t\u00f6\u00f6deldud. P\u00e4rast k\u00f5igi fragmentide t\u00f6\u00f6tlemist saadab Tcoder \u00fclesande tulemuste genereerimiseks j\u00e4rgmisele komponendile.<\/li>\n
  3. Combiner kogub tulemused kokku: laadib alla k\u00f5ik Tcodere loodud fragmendid ja moodustab voogusid erinevate lahenduste jaoks.<\/li>\n<\/ol>\n

    \nVeidi helist. Populaarseimatel helikodekitel AAC-l on \u00fcks ebameeldiv omadus. Kui koodida fragmente eraldi, siis ei \u00f5nnestu neid sujuvalt kokku liita. \u00dcleminekud on silmatorkavad. Videokodekitel sellist probleemi ei esine. Teoreetiliselt v\u00f5ib otsida keerulist tehnilist lahendust, kuid see m\u00e4ng ei tasu end hetkel \u00e4ra (heli kaalub oluliselt v\u00e4hem kui video). Seet\u00f5ttu kodeeritakse meil paralleelselt ainult video, samas kui heliriba t\u00f6\u00f6deldakse tervikuna.<\/p>\n

    Tulemused<\/h3>\n

    \nParalleelse video t\u00f6\u00f6tlemise t\u00f5ttu oleme oluliselt v\u00e4hendanud viivitust video \u00fcleslaadimise ja selle kasutajatele k\u00e4ttesaadavuse vahel. N\u00e4iteks varem v\u00f5is t\u00e4ielike eri kvaliteediklassidega versioonide loomine FullHD filmi kestusega \u00fcks ja pool tundi v\u00f5tta kuni kaks tundi. N\u00fc\u00fcd kulub selleks vaid 15 minutit. Veelgi enam, paralleelse t\u00f6\u00f6tlemise korral loome k\u00f5rge eraldusv\u00f5imega versiooni isegi kiiremini, kui madala eraldusv\u00f5imega versiooni vanade vahenditega, mille tulemuseks oli vahepealne variant. <\/p>\n

    Ja veel midagi. Vanas l\u00e4henemisviisis kas j\u00e4i serveritest puudu v\u00f5i seisid nad lihtsalt tegevuseta. Paralleelne kodeerimine aitab t\u00f5sta riistvara kasutusprotsenti. N\u00fc\u00fcd on meie klaster, mis koosneb \u00fcle tuhande serveri, pidevalt millegagi h\u00f5ivatud. <\/p>\n

    Tegelikult on veel kuhu p\u00fc\u00fcelda. N\u00e4iteks saame oluliselt aega kokku hoida, kui hakkame videofragmente t\u00f6\u00f6tlema juba enne, kui need t\u00e4ielikult meieni j\u00f5uavad. Nagu \u00f6eldakse, edasi -- rohkem. <\/p>\n

    Kirjutage kommentaaridesse, millistest videot\u00f6\u00f6tlemise \u00fclesannetest sooviksite lugeda. <\/p>\n

    Kasulikud lingid kolleegide t\u00f6\u00f6stuse kogemustele<\/h3>\n

    <\/p>\n