Ինչպես է աշխատում տեսոդեկոդերը։ Բաժին 1։ Հիմունքներ

Երկրորդ մասը: Վիդեո կոդեկի աշխատանքային սկզբունքները

Յուրաքանչյուր ռաստրային պատկեր կարող է ներկայացվել որպես երկչափ մատրիցա. Երբ խոսքը վերաբերում է գույներին, գաղափարը կարելի է զարգացնել, դիտարկելով պատկերն ինչպես երեքչափ մատրիցա, որտեղ լրացուցիչ չափումները օգտագործվում են յուրաքանչյուր գույնի տվյալները պահպանելու համար։

Եթե դիտարկենք վերջնական գույնը որպես հիմնական գույների (կարմիր, կանաչ և կապույտ) համակցություն, մեր երեքչափ մատրիցայում որոշում ենք երեք հարթություններ. առաջինը ` կարմիր գույնի համար, երկրորդը ` կանաչի և վերջինը ` կապույտի։

Անուն տանք այս մատրիցայի յուրաքանչյուր կետին ` պիքսել (պատկերին պատկանող տարր)։ Յուրաքանչյուր պիքսել պարունակում է տեղեկատվություն գույներից յուրաքանչյուրի ինտենսիվության մասին (հիմնականում թվային արժեքի տեսքով)։ Օրինակ, կարմիր պիքսելը նշանակում է, որ դրանում 0 կանաչ գույն կա, 0 կապույտ և առավելագույն կարմիր։ Արևածաղկի գույնի պիքսելը կարող է կազմվել երեք գույների համակցության միջոցով։ Անդրադառնալով թվային միջակայքին 0-ից 255, վարդագույն պիքսելը սահմանվում է որպես Կարմիր = 255, Կանաչ = 192 և Կապույտ = 203.

Հոդվածը հրապարակվել է EDISON ընկերության աջակցությամբ:

Մենք մշակել ենք վիդեո դիտման, հոսքային տեսանյութի հավելվածներ, ինչպես նաև զբաղվում ենք վիդեոագրություն վիրահատական սենյակում.

Գույնային պատկերակների այլ ծածկման եղանակներ

Պատկերն կազմող գույները ներկայացնելու համար կան նաև բազմաթիվ այլ մոդելներ։ Օրինակ, կարելի է օգտագործել ինդեքսավորված ներկապնակ, որտեղ յուրաքանչյուր պիքսելի ներկայացման համար պահանջվում է միայն մեկ բայթ, փոխարեն անհրաժեշտ երեքի RGB մոդելի ժամանակ։ Այդպիսի մոդելում կարող եք օգտագործել 2D-մատրիցա փոխարեն 3D-մատրիցա յուրաքանչյուր գույնի ներկայացման։ Սա խնայեցում է հիշողությունը, սակայն տվել է ավելի փոքր գունային տրամադրություն։

RGB

Օրինակ, նայեք ստորև բերված պատկերին։ Առաջին դեմքը ամբողջովին ներկա եղել է։ Մյուսները ` կարմիր, կանաչ և կապույտ հարթություններ են (կոնկրետ գույների ինտենսիվությունը ցուցադրվում է սևերի թվում)։

Ուզում ենք նկատել, որ սկզբնական կարմիր երանգները կլինեն այն նույն վայրերում, որտեղ նկատվում են երկրորդ դեմքի ամենահայտնի մասերը։ Միևնույն ժամանակ, կապույտ գույնի ներդրումը հիմնականում կարելի է տեսնել միայն Մարիոյի աչքերում (վերջին դեմքը) և նրա հագուստի տարրերում։ Նշենք, թե ուր են երեք գույնի հարթությունները թողնում նվազագույն ներդրումը (ամենամութ մասեր) ` Մարիոյի մուսերի մեջ։

Յուրաքանչյուր գույնի ինտենսիվությունը պահպանելու համար պահանջվում է որոշակի թվով բիթեր, այս չափումը կոչվում է բիթային խորություն։ Նկարագրենք, որ 8 բիթ (0-255 միջև արժեքի նշելով) ծախսվում է մեկ գույնի հարթության համար։ Այդ դեպքում մենք կունենանք գույնի խորություն ` 24 բիթ (8 բիթ * 3 hրթա R/G/B)։

Մեկ այլ դեպքում պատկերների ` լուծաչափ, որն արտահայտում է մեկ չափում պիքսելների քանակը։ Այ häufig նշվում է որպես առջև × բարձրություն, ինչպես ցույց է տրված 4x4 օրինակների պատկերում:


Մեկ այլ հատկություն, որը մենք տեսնում ենք նկարների/վիդեոների հետ աշխատելիս, դա Aspect Ratio, որը նկարագրում է ներդաշնակ հարաբերությունը լայնության և բարձրության կամ պիքսելների միջեւ:

Երբ ասում են, որ որևէ ֆիլմ կամ պատկեր ունի 16x9 չափ, սովորաբար նկատի ունեն էկրանի ձևաչափը (DAR — անձրև Display Aspect Ratio). Բայց երբեմն յատուկ պիքսելների տարբեր ձևեր կարող են լինել, այդ դեպքում խոսքը գնում է պիքսելների հարաբերության մասին (PAR — անձրև Pixel Aspect Ratio).

Տանտիրուհիերի համար տեղեկություն. DVD է և DAR 4:3

Չնայած DVD-ի իրական լուծումը 704×480 է, այն պահպանում է 4:3 հարաբերությունը, որովհետև PAR-ը 10:11 է (704×10 / 480×11):

Եվ վերջապես, կարող ենք սահմանել վիդեո որպես ժամանակի ընթացքում n մասերի հաջորդականություն , որը կարելի է դիտարկել որպես լրացուցիչ չափման տարր: ԻսկԱյդ դեպքում դա кадровի հաճախականությունն է կամ кадрերի քանակը մեկ վայրկյանում ( n FPSFrames per Second — անձրև Նախքան տեսանյութերը ցուցադրելու համար անհրաժեշտ բիթերի քանակը նրա).

հեռարձակման արագությունն է bitrate — битрейт = լայնություն * բարձրություն * բիթի խորություն * кадрների քանակը մեկ վայրկյանում.

Օրինակ, 30 кадр մեկ վայրկյանում, 24 բիթ մեկ պիքսելի համար, 480×240 կարգավորմամբ կպահանջվի 82,944,000 բիթ մեկ վայրկյանում կամ 82.944 Մբիթ/ս (30x480x240x24)՝ բայց դա եթե որևէ սեղմման մեթոդ չի օգտագործվում:

Եթե հեռարձակման արագությունը

հ כמעט մշտական է , ապա դա կոչվում էմշտական հեռարձակման առաջին դասի մակարդակ CBR (constant bit rate — անձրև ). Բայց այն կարող է նաև փոփոխական լինել, որում դեպքում կոչվում էփոփոխական հեռացման մակարդակ VBR (variable bit rate — անձրև Այս գրաֆիկը ցուցադրում է սահմանափակ VBR, երբ լրիվ մութ кадրերի դեպքում չի վատնում շատ բիթեր:).

Առաջին անգամ ինժեներները մշակել են հաղորդման ողջ պահակության հաճախականությունը կրկնապատկելու մեթոդը առանց լրացուցիչ bandwidth-ի օգտագործման: Այս մեթոդը հայտնի է որպես

անգամատերային տեսանյութ ; հիմնականում, դա առաջին « кадрым» կեսն է, իսկ մյուս կեսը՝ հաջորդ « кадры».Այժմ պատկերների դիտարկումը հիմնականում կատարվում է

նախընտրելի սրացմամբ . Սա մեթոդ է մղվող պատկերների ցուցադրելու, պահելու կամ փոխանցելու, որտեղ յուրաքանչյուր кадրի բոլոր շարքերը կանխատեսվում են հաջորդաբար:Վերջապես! Այժմ մենք գիտենք, թե ինչպես պատկերն է ներկայացվում թվային ձևաչափով, ինչպես են կազմվում դրա գույները, քանի որ բիթ մեկ վայրկյանում ծախսվում է տեսանյութը ցուցադրելու համար, արդյոք փոխանցման արագությունը մշտական է (CBR), թե փոփոխական (VBR): Գիտենք թե ինչպես է սահմանված կարգավորումը ըստ սահմանված кадրերի հաճախականության, ծանոթ ենք բազմաթիվ այլ տերմինների, ինչպես օրինակ՝ ангамատերային տեսանյութ, PAR և մի քանի ուրիշների:

Պիտանիությունը վերացման մասին

Удаление избыточности

Բայց հայտնի է, որ անվտագող տեսանյութը սովորական օգտագործման համար չի կարող օգտագործվել: 720p լուծմամբ և 30 նկար/վայրկյան հաճախականությամբ ժամական տեսանյութը կզբաղեցնի 278 Գբ, որին հասնում ենք բազմապատկելով 1280 x 720 x 24 x 30 x 3600 (լայնություն, բարձրություն, բիթեր պիկսիայի համար, Ֆրեմպերի հաճախականություն և ժամանակի չափման մեջ վայրկյաններով):

Օգտագործումը կորստի nél գործունեության ալգորիթմներ, ինչպիսիք են DEFLATE (օգտագործվում է PKZIP, Gzip և PNG-ում), բավարար նվազեցում չի տա պահանջվող լայնության համար: Պիտի գտնել այլ տեսանյութերի կրճատման եղանակներ:

Դրա համար կարող ենք օգտագործել մեր տեսողության առանձնահատկությունները: Մենք ավելի լավ տեսնում ենք պայծառությունն, քան գույները: Վիդեոն անընդհատ պատկերների հավաքածու է, որոնք կրկնվում են ժամանակի ընթացքում: Դիրքերը, որոնք նույն տեսարանի կողքին են, ունեն փոքր տարբերություններ: Բացի այդ, յուրաքանչյուր फ्रեամ պարունակում է շատ տարածքներ, որոնք օգտագործում են նույն (կամ նման) գույնը:

Գույն, պայծառություն և մեր աչքերը

Մեր աչքերը ավելի զգայուն են պայծառության նկատմամբ, քան գույնի: Դուք կարող եք համոզվել, փորձելով այս տախտակի վրա:

Եթե դուք չեք տեսնում, որ պատկերի ձախ կեսում կռաչների գույները A և B իրականում նույնն են, դա նորմալ է: Մեր ուղեղը ստիպում է, որ մենք ավելի շատ ուշադրություն դարձնենք լույսին և ստվերին, ոչ թե գույնին: Ակնկալված կռաչների միջև աջ կողմում կա նույն գույնի տեղադրություն, այնպես որ մենք (այսինքն, մեր ուղեղը) հեշտությամբ հասկանում ենք, որ այնտեղ իրականում նույն գույնն է:

Ահա բացատրենք (սահմանափակ կերպով), թե ինչպես են աշխատում մեր աչքերը: Աչքը բարդ օրգան է, որը բաղկացած է բազմաթիվ մասերից: Սակայն մեզ ավելի շատ հետաքրքրում են կոնիկները և պալիկները: Աչքը պարունակում է մոտ 120 միլիոն պալիկ և 6 միլիոն կոնիկ:

Տեսնենք գալի գույնի և պայծառության ընկալումը ինչպես տարբեր մասերի գործառույթներ (իրականում, ամեն ինչ ավելի բարդ է, բայց մենք պարզեցնենք): Պալիկային բջիջները հիմնականում պատասխանատու են պայծառության համար, մինչդեռ կոնիկային բջիջները պատասխանատու են գույնի համար: Կոնիկները բաժանված են երեք տեսակի, դրանք содержատի պիգմենտի հիման վրա: S-կոնիկներ (կարմիր գույն), M-կոնիկներ (կանաչ գույն) և L-կոնիկներ (կարմիր գույն):

Որպեսզի у нас гораздо больше паликов (пայծառություն), чем կոնիկ (գույն), можем անել եզրակացություն, что мы более способны различать переходы между тёмно и светлом, чем цветами.

Նաև կոնտրաստային զգայունության ֆունկցիաները

Մարդկային տեսողության հարցում փորձարարական հոգեբանության և բազմաթիվ այլ ոլորտների հետազոտողները մշակում են բազմաթիվ տեսություններ: Եվ դրանցից մեկը կոչվում է կոնտրաստային զգայուֆությունների ֆունկցիաները. Բնութագրված են տարածքային և ժամանակային լուսավորությամբ։ Մի խոսքով, քննարկում է, թե որքան փոփոխություն է պահանջվում, նախքան դիտողի կողմից նկատվելու։ Փաստորեն, ուշադրություն դարձրեք «ֆունկցիա» բառի բազմայականությանը։ Դա պայմանավորված է նրան, որ մենք կարող ենք չափել կոնտրաստի զգացողության ֆունկցիաները ոչ միայն սև-սպիտակ պատկերների, այլ նաև գունավորի նկատմամբ։ Այս փորձարկումների արդյունքները ցույց են տալիս, որ մեծամասամբ մեր աչքերը ավելի զգայուն են պայծառության նկատմամբ, քան գույնի։

Ինչպես հայտնի է, մենք ավելի զգայուն ենք պատկերների պայծառության նկատմամբ, կարելի է փորձել օգտվել այս փաստից։

Գույնային մոդել

Մենք մի փոքր ուսումնասիրեցինք գունավոր պատկերների հետ RGB-դիագրի օգտագործումը։ Ինչ-որ այլ մոդելներ էլ կան։ Արդյունքում կա մոդել, որը բաժանում է պայծառությունը գույնից, և այն հայտնի է որպես YCbCr. Üց, կան նաև այլ մոդելներ, որոնք նման զատակում են կատարում, սակայն մենք միայն այս մոդելը կքննարկենք։

Այս գույնային մոդելը Y — դա պայծառության ներկայացում է, ինչպես նաև օգտագործվում են երկու գույնային ալիքներ՝ Cb (հագեցած կապույտ) և Cr (հագեցած կարմիր)։ YCbCr-ն կարող է ստանալ RGB-ից, ինչպես նաև հնարավոր է գնալ հակառակ վերափոխումներ։ Այս մոդելը օգտագործելով՝ մենք կարող ենք ստեղծել լրիվ գունավոր պատկերներ, ինչպես տեսնում ենք ստորև՝

YCbCr-ից RGB փոխարկում

Որ ոքս կարող է հակադրել. ինչպես կարելի է ստանալ բոլոր գույները, եթե կանաչը չի օգտագործվում։

Այս հարցին պատասխանելու համար, փոխենք RGB-ն YCbCr։ Օգտագործենք գործակիցները, որոնք ընդունվել են BT.601, որը առաջարկվել է ՄԿԱ-Ռ։ Այս բաժինը սահմանում է թվային վիդեո ստանդարտները։ Օրինակ՝ ինչպիսին է 4K-ը։ Ինչքան պետք է լինեն շրջանակների հաճախականությունը, լուծաչափը, գույնային մոդելը։

Նախ, հաշվենք պայծառությունը։ Օգտագործենք ՄԿԱ-ի առաջարկած կայոնները և փոխենք RGB արժեքները։

Y = 0.299R + 0.587G + 0.114B

Հետո, երբ մեզ տեղեկացված է պայծառությունը, տարանջատենք երկնագույնն ու կարմիրը․

Cb = 0.564(B — Y)

Cr = 0.713(R — Y)

Եվ մենք կարող ենք նաև վերափոխել մեջ և անգամ ստանալ կանաչը YCbCr-ից։

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y — 0.344Cb — 0.714Cr

ՆGenerally, displays (monitors, TVs, screens, etc.) only use RGB model. But this model can be organized differently:

Գույնային ենթախախտում

Պատկերի հետ, որը ներկայացված է պայծառության և գունայնության կոմբինացիայով, մենք կարող ենք օգտագործել մարդկային տեսողական համակարգի ավելի բարձր զգայունությունը պայծռության نسبت, քան գունային նկատմամբ, եթե ընտրելով հեռացնենք տեղեկատվությունը։ Գույնային ենթախախտումը — սա պատկերների ծածկագրման մեթոդ է, որը օգտագործում է գունայնության համար ցածր լուծաչափ, քան պայծառության համար։

Որքանով թույլատրելի է գունայնության լուծաչափը նվազեցնել?! Ավելիս, արդեն կան որոշ կիրառումներ, որոնք նկարագրում են լուծաչափի և միաձուլման (Վերջնական գույն = Y + Cb + Cr) պրոցեսները։

Այս схемաները հայտնի են որպես ենթախախտման համակարգեր և ներկայացվում է 3-մերի հարաբերությամբ — a:x:y, որը սահմանում է լուսավորական և գունապաշտական ազդակներիsample-ների քանակը։

a — հորիզոնական ընտրության չափանիշ (անհրաժեշտաբար հավասար է 4-ին)
x — գույնի փոփոխման քանակը առաջին շարքի պիքսելների համեմատ (հորիզոնական լուծում՝ համեմատած a)
y — գույնի ընտրված փոփոխությունների քանակը առաջին և երկրորդ շարքի պիքսելների միջև։

Հարաբերական բացառություն է 4:1:0, ապահովող գույն հրաման ընտրվածության յուրաքանչյուրը 4-ի վրա 4 վառության շրջանի մեկ ընտրութան համար։

Հանրահայտ սխեմաներ, որոնք օգտագործվում են ժամանակակից կոդեկներում:

• 4:4:4 (ուրիշ դիսկեր աստիճանական կյանք չունի)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 — միավորման օրինակ

Ահա միավորումով տրամագծում նկարի մի մասը YCbCr 4:2:0 օգտագործելով։ Նշեք, որ մենք միայն 12 բիթ ծախսում ենք մեկ պիքսելի վրա։

Դիտեք նույն նկարը, որ ծածկագրված է հիմնական գույնի տարբերակի հատկանիշներով։ Միայն վերևի շարքը վերջնական YCbCr-ն է, իսկ ներքևի շարքը ցույց է տալիս գույնի լուծումը։ Կան շատ լավ արդյունքներ, նկատի ունենալով որակների փոքր կորուստը։

Հիշեք, որ մենք 278 Գբ ծավալ ակղնելոււ համար հաշվել ենք 720p լուծումով մեկ ժամանոց տեսանյութի համար, որը 30 ֆրեյմ է։ YCbCr 4:2:0 օգտագործելով այս չափը կրճատվում է կեսին՝ 139 Գբ։ Արդյունքում այսքան դեռ հեռու է ընդունելի արդյունքից։

Դուք կարող եք ինքներդ ստանալ YCbCr-ի գիստոգրամը FFmpeg ծրագրով։ Վրանեկած նկարում կապույտը գերակայում է կարմիրին, ինչը շատ ակնախաղ է ինքն ախողջ գիստոգրամը։

Գույնը, լուսավորությունը, գույնների տեսականին — տեսանյութի դիտում

Խորհուրդ է տրվում դիտել այս հրաշալի տեսանյութը։ Այստեղ բացատրվում է, ինչ է լուսավորությունը, և ինչպիսի տպավորություններ են ստեղծում դրա մասին։ որ լուսավորության և գույնի շուրջ։

Ֆրեյմի տեսակները

Շարունակվում ենք։ Փորձենք ժամանակային ավելցուկությունը հեռացնել։ Բայց նախ որոշենք որոշ հիմնական տերմինալոգիա։ Կարծում ենք, որ ունենք 30 ֆրեյմ ունեցող ֆիլմ, ահա դրա առաջին 4 ֆրեյմերը։

Մենք կարող ենք շատ կրկնություններ տեսնել ֆրեյմերում՝ օրինակ, կապույտ ֆոնը, որը չի փոխվում ֆրեյմերի միջև։ Այս խնդիրը լուծելու համար մենք կարող ենք զգացմունքային դասակարգել դրանք երեք ֆրեյմի տեսակների։

I-ֆրեյմ (IIntro Frame)

I-ֆրեյմ (հղումային ֆրեյմ, հիմնական ֆրեյմ) ինքնուրույն է։ Աներդասահմանంగా, I-ֆրեյմը, ըստ էության, ստատիկ լուսանկար է։ Առաջին ֆրեյմը սովորաբար I-ֆրեյմ է, սակայն մշտապես կհանդիպենք I-ֆրեյմի հետ, նույնիսկ հեռու չէ առաջին ֆրեյմերից։

P-ֆրեյմ (PPredictive Frame)

P-կադր (մասնագիտական կանխատեսվող կադր) օգտագործում է այն փաստի առավելությունը, որ գրեթե միշտ ընթացիկ պատկերն կարող է վերարտադրվել նախորդ կադրից։ Օրինակ, երկրորդ կադրում միակ փոփոխությունն առաջ շարժվող գնդակն է։ Մենք կարող ենք ստանալ կադր 2 պարզապես մի փոքր փոփոխելով կադր 1-ն, միայն օգտագործելով այդ կադրերի միջև եղած տարբերությունը։ Կադր 2-ն կառուցելու համար հղվում ենք նախորդ կադրին՝ կադր 1-ին։

←

B-կադր (Bi-թևաձև կադր)

Երևի թե ինչ-որ մի գայլի մասին նորություն եմ ասում, բայց ինչպես է պետք կապել ոչ միայն վերջին, այլև ապագա կադրերը, որպեսզի ապահովենք ավելի լավ սեղմում?! Դա, հիմնականում, B-կադրն է (երկակի ուղղակի կադր):

← →

Միջէջային արդյունք

Այս դասի կադրերը օգտագործվում են առավելագույն սեղմումը ապահովելու համար։ Մենք կքննարկենք, ինչպես դա տեղի է ունենում, հաջորդ հատվածում։ Իսկ մինչ այդ նշենք, որ ամեն «թանկ» կադրն է I-կադր, P-կադրն զգալիորեն ավելի էժան է, իսկ ամենահետաքրքիր տարբերակը B-կադրն է։

Ժամանակային ավելցուկություն (միջքադրային կանխատեսում)

Ուղղենք, որ ունենք ինչ հնարավորություններ ժամանակի ընթացքում կրկնությունները նվազեցնելու համար։ Այս հավելճ կենտրոնանում է փոխադարձ կանխատեսման մեթոդներով։

Պետք է փորձենք նվազեցնել կադրերի 0 և 1-ի զոդումների համար անհրաժեշտ բիթերը։

Մենք կարող ենք արտադրել թվային հանման, պարզապես հանելով կադր 1-ից կադր 0-ը։ Ստանում ենք կադր 1, միայն օգտագործելով նրա և նախորդ ոսպնյակի միջև եղած տարբերությունը, փաստորեն կոդավորում ենք պարզապես ստացվող մնացորդը։

Բայց ինչ կլինի, եթե ասեմ, որ կա ավելի լավ մեթոդ, որը օգտագործում է դեռ էլ ավելի քիչ բիթեր?! Նախ, եկեք կադր 0-ն բաժանենք հստակ ցանցի, բաղկացած բլոկներից։ Այնուհետև փորձենք համեմատել բլոկները կադր 0-ից կադր 1-ին։ Այլ կերպ ասած, գնահատենք շարժումը կադրերի միջև։

Վիքիպեդիայում — բլոկային շարժման փոխհատուցում

Բլոկային շարժման փոխհատուցումը բաժանում է ընթացիկ կադրն աննախադեպ բլոկների և փոխհատուցման վեկտորները հայտնում են, որտեղից բլոկները են գալիս (ընդհանուր սխալ համոզմունք կա, որ նախորդ կադրն բաժանվում է աննախադեպ բլոկների, իսկ փոխհատուցման վեկտորները հայտնում են, թե ուր են շարժվում այդ բլոկները։ Իսկ փաստացի հակառակը՝ այստեղ չի վերլուծվում նախորդ կադր, այլ հաջորդը, պարզվում է, թե ոչ թե ուր է շարժվում բլոկները, այլ որտեղից են նրանք գալիս)։ Որքան էլ ուղահայել բլոկները ծածկվում են ընթացիկ կադրում։ Որիկ սկզբնական բլոկները համարվում են շատ պակաս հարակից նախորդ կադրերից ապրանքներ, որոշ տեսանյութերի սեղմման ալգորիթմներ հավաքում են ընթացիկ կադրն մի քանի դեպքում նախորդ կադրերի մասերից։

Արժևորում կատարելու գործընթացում նկատում ենք, որ գնդակը տեղափոխվել է (x=0, y=25) վրա (x=6, y=26), արժեքներ x և y շրջանակում շարժման վեկտորը սահմանվում է: Օրինակ, որն ենք կարող անել բիթերը պահպանելու համար՝ դա բացառապես շարժման վեկտորների տարբերությունը կոդավորել վերջին բլոկի դիրքից և կանխատեսվողից, այսպիսով վերջնական շարժման վեկտորը կլինի (x=6-0=6, y=26-25=1):

իրական իրավիճակում այս գնդակը կբաժանվի n բլոկների, բայց էությունը չի փոխվում:

Իրերի շարժումը պատրաստվում է երեք չափերով, հետևաբար, երբ գնդակը շարժվում է, այն կարող է տեսականորեն փոքրանալ (կամ մեծանալ, եթե շարժվում է դիտողի ուղղությամբ): Պատահում է, որ բլոկների միջև իդեկան համընկնում չլինի: Դիտենք մեր գնահատման և իրական պատկերի համադրությունը:

Դ但 տեսնում ենք, որ երբ կիրառվում է շարժման գնահատումը, տվյալների քանակը կոդավորման համար նկատելիորեն փոքր է, քան ավելի պարզ մեթոդի միջոցով, որը հաշվարկում է դելտան հիմնական շրջանակների միջև:

Ինչպես կլինի իրական շարժման փոխհատուցումը

Այս մոտեցումը կիրառվում է անմիջապես բոլոր բլոկների նկատմամբ: Հաճախ մեր պայմանական շարժվող գնդակը բաժանվում է միանգամից մի քանի բլոկի:

Դուք կարող եք ինքներդ զգալ այս գաղափարները, օգտագործելով Jupyter.

Շարժման վեկտորները տեսնելու համար կարելի է ստեղծել տեսանյութ արտաքին կանխատեսմամբ օգտագործելով ffmpeg.

Նույնպես կարելի է օգտվել Intel Video Pro Analyzer (այն վճարովի է, բայց ունի անվճար փորձաշրջան, որը սահմանափակված է միայն առաջին տասը շրջանակներով):

Տարածական ավելցուկություն (ներգաղթային կանխատեսում)

Եթե վիդեոյի յուրաքանչյուր շրջանակը վերլուծենք, ապա կստանանք բազմաթիվ փոխկապակցված տարածքներ:

Ամփոփենք այս օրինակով: Այս տեսարանը հիմնականում բաղկացած է կապույտ և սպիտակ գույներից:

Սա I-շրջան է: Նախորդ շրջանակները կանխատեսման համար չենք կարող վերցնել, բայց կարող ենք այն սեղմել: Կոդավորենք կարմիր բլոկի առանձնացումը: Եթե նայենք նրա հարևաններին, ապա նկատում ենք, որ նրա շուրջ կան որոշ գունային միտումներ:

Ենթադրում ենք, որ շրջանակում գույները տարածվում են հորիզոնական: Դա նշանակում է, որ անհայտ փիքսելների գույքը կունենա հարևանների արժեքները:

Այսպիսի կանխատեսումը կարող է լինել նաև սխալ: Հենց այդ իսկ պատճառով պետք է կիրառել այս մեթոդը (ներգաղթային կանխատեսում), ապա ևս պետք է երկրորդ անգամ հանենք իրական արժեքները: Սա կտա մնում բլոկը, որը արդյունքում հանգեցնելու է ավելի սեղմած հետևանքի, քան օրիգինալը:

Եթե ցանկանում եք պարապել ներգաղթային կանխատեսումների հետ, ապա կարող եք ստեղծել տեսանյութ մակրոբլոկներով և նրանց կանխատեսումներով օգտագործելով ffmpeg: Մաքուր հասկանալու համար յուրաքանչյուր բլոկի գույնի արժեքը, անհրաժեշտ կլինի ծանոթանալ ffmpeg-ի փաստաթղթին:

Այլ կերպ կարելի է օգտագործել Intel Video Pro Analyzer (ինչպես արդեն նշեցի, փորձաշրջանի անվճար տարբերակում սահմանափակություն ունի առաջին 10 շրջանակների վրա, բայց ձեզ դա բավարար կլինի սկզբում):

Երկրորդ մասը: Վիդեո կոդեկի աշխատանքային սկզբունքները

Ընտանիք: habr.com