વિડિઓ કોડેક કેવી રીતે કાર્ય કરે છે? ભાગ 2. શું, શા માટે, કેવી રીતે

પ્રથમ ભાગ: વિડિઓ અને છબીઓ સાથે કામ કરવાની મૂળભૂત બાબતો

શું વિડિયો કોડેક એ સોફ્ટવેર/હાર્ડવેરનો એક ભાગ છે જે ડિજિટલ વિડિયોને સંકુચિત કરે છે અને/અથવા ડિકમ્પ્રેસ કરે છે.

શેના માટે? બેન્ડવિડ્થ અને બંનેની દ્રષ્ટિએ ચોક્કસ મર્યાદાઓ હોવા છતાં
અને ડેટા સ્ટોરેજ સ્પેસના સંદર્ભમાં, બજાર વધુને વધુ ઉચ્ચ ગુણવત્તાવાળા વિડિયોની માંગ કરે છે. શું તમને યાદ છે કે છેલ્લી પોસ્ટમાં અમે 30x24 ના રિઝોલ્યુશન સાથે 480 ફ્રેમ્સ પ્રતિ સેકન્ડ, 240 બિટ્સ પ્રતિ પિક્સેલ માટે જરૂરી ન્યૂનતમ ગણતરી કેવી રીતે કરી? અમને કમ્પ્રેશન વિના 82,944 Mbit/s પ્રાપ્ત થયા. સામાન્ય રીતે ટેલિવિઝન સ્ક્રીન અને ઈન્ટરનેટ પર HD/FullHD/4K ટ્રાન્સમિટ કરવા માટે હાલમાં કમ્પ્રેશન એકમાત્ર રસ્તો છે. આ કેવી રીતે પ્રાપ્ત થાય છે? હવે ચાલો સંક્ષિપ્તમાં મુખ્ય પદ્ધતિઓ જોઈએ.

અનુવાદ EDISON સૉફ્ટવેરના સમર્થનથી કરવામાં આવ્યો હતો.

અમે રોકાયેલા છીએ વિડિઓ સર્વેલન્સ સિસ્ટમ્સનું એકીકરણ, અને અમે માઇક્રોટોમોગ્રાફ વિકસાવી રહ્યા છીએ.

કોડેક વિ કન્ટેનર

નવા લોકો કરે છે તે સામાન્ય ભૂલ એ ડિજિટલ વિડિયો કોડેક અને ડિજિટલ વિડિયો કન્ટેનરને ગૂંચવણમાં મૂકે છે. કન્ટેનર એ ચોક્કસ ફોર્મેટ છે. વિડિયો (અને સંભવતઃ ઓડિયો) મેટાડેટા ધરાવતું રેપર. સંકુચિત વિડિઓને કન્ટેનર પેલોડ તરીકે વિચારી શકાય છે.

સામાન્ય રીતે, વિડિઓ ફાઇલનું એક્સ્ટેંશન તેના કન્ટેનરનો પ્રકાર સૂચવે છે. ઉદાહરણ તરીકે, ફાઇલ video.mp4 કદાચ એક કન્ટેનર છે MPEG-4 ભાગ 14, અને video.mkv નામની ફાઇલ મોટા ભાગે છે matryoshka. કોડેક અને કન્ટેનર ફોર્મેટની સંપૂર્ણ ખાતરી કરવા માટે, તમે ઉપયોગ કરી શકો છો ffmpeg અથવા MediaInfo.

ઇતિહાસ એક બીટ

અમે મેળવવા પહેલાં કેવી રીતે?, ચાલો કેટલાક જૂના કોડેક્સને વધુ સારી રીતે સમજવા માટે ઇતિહાસમાં થોડો ડૂબકી મારીએ.

વિડિઓ કોડેક H.261 1990 માં દેખાયો (તકનીકી રીતે - 1988 માં) અને 64 Kbps ના ડેટા ટ્રાન્સફર દરે કામ કરવા માટે બનાવવામાં આવ્યું હતું. તે પહેલેથી જ રંગ સબસેમ્પલિંગ, મેક્રોબ્લોક વગેરે જેવા વિચારોનો ઉપયોગ કરે છે. વિડિઓ કોડેક ધોરણ 1995 માં પ્રકાશિત થયું હતું H.263, જેનો વિકાસ 2001 સુધી થયો હતો.

પ્રથમ સંસ્કરણ 2003 માં પૂર્ણ થયું હતું H.264/AVC. તે જ વર્ષે, ટ્રુમોશનને તેનું ફ્રી લોસી વિડિયો કોડેક કહેવાય છે VP3. ગૂગલે આ કંપનીને 2008માં ખરીદી, બહાર પાડી VP8 એ જ વર્ષે. ડિસેમ્બર 2012 માં, ગૂગલે રિલીઝ કર્યું VP9, અને તે લગભગ ¾ બ્રાઉઝર માર્કેટમાં (મોબાઇલ ઉપકરણો સહિત) સમર્થિત છે.

AV1 દ્વારા વિકસિત એક નવું મફત અને ઓપન સોર્સ વિડિયો કોડેક છે ઓપન મીડિયા માટે જોડાણ (એઓમીડિયા), જેમાં સૌથી પ્રખ્યાત કંપનીઓ શામેલ છે, જેમ કે: Google, Mozilla, Microsoft, Amazon, Netflix, AMD, ARM, NVidia, Intel અને Cisco. કોડેકનું પ્રથમ સંસ્કરણ, 0.1.0, એપ્રિલ 7, 2016 ના રોજ પ્રકાશિત થયું હતું.

AV1 નો જન્મ

2015ની શરૂઆતમાં ગૂગલ પર કામ કરી રહ્યું હતું VP10Xiph (જે Mozilla ની માલિકીનું છે) પર કામ કરી રહ્યું હતું ડાલા, અને સિસ્કોએ તેનું પોતાનું મફત વિડિયો કોડેક બનાવ્યું જેને કહેવાય છે થોર.

પછી એમપીઇજી એલએ માટે પ્રથમ જાહેર કરેલ વાર્ષિક મર્યાદા હેવીસી (H.265) અને ફી H.8 કરતા 264 ગણી વધારે છે, પરંતુ તેમણે ટૂંક સમયમાં નિયમો ફરીથી બદલ્યા:

કોઈ વાર્ષિક મર્યાદા નથી,
સામગ્રી ફી (આવકના 0,5%) અને
યુનિટ ફી H.10 કરતા લગભગ 264 ગણી વધારે છે.

ઓપન મીડિયા માટે જોડાણ વિવિધ ક્ષેત્રોની કંપનીઓ દ્વારા બનાવવામાં આવી હતી: સાધનો ઉત્પાદકો (Intel, AMD, ARM, Nvidia, Cisco), સામગ્રી પ્રદાતાઓ (Google, Netflix, Amazon), બ્રાઉઝર સર્જકો (Google, Mozilla) અને અન્ય.

કંપનીઓનો એક સામાન્ય ધ્યેય હતો - રોયલ્ટી-મુક્ત વિડિઓ કોડેક. પછી દેખાય છે AV1 વધુ સરળ પેટન્ટ લાઇસન્સ સાથે. ટિમોથી બી. ટેરીબેરીએ અદભૂત પ્રસ્તુતિ આપી જે વર્તમાન AV1 કોન્સેપ્ટ અને તેના લાઇસન્સિંગ મોડલનું મૂળ બની ગયું.

તમને જાણીને આશ્ચર્ય થશે કે તમે બ્રાઉઝર દ્વારા AV1 કોડેકનું વિશ્લેષણ કરી શકો છો (જેઓ રસ ધરાવતા હોય તેઓ અહીં જઈ શકે છે. aomanalyzer.org).

યુનિવર્સલ કોડેક

ચાલો સાર્વત્રિક વિડિઓ કોડેક અંતર્ગત મુખ્ય પદ્ધતિઓ જોઈએ. આમાંના મોટાભાગના ખ્યાલો ઉપયોગી છે અને તેનો ઉપયોગ આધુનિક કોડેકમાં થાય છે જેમ કે VP9, AV1 и હેવીસી. હું તમને ચેતવણી આપું છું કે સમજાવવામાં આવેલી ઘણી બધી બાબતો સરળ કરવામાં આવશે. કેટલીકવાર વાસ્તવિક દુનિયાના ઉદાહરણો (જેમ કે H.264 સાથે)નો ઉપયોગ ટેક્નોલોજી દર્શાવવા માટે કરવામાં આવશે.

1 લી પગલું - છબીને વિભાજીત કરવી

પ્રથમ પગલું એ ફ્રેમને કેટલાક વિભાગો, પેટાવિભાગો અને તેનાથી આગળ વિભાજિત કરવાનું છે.

શેના માટે? ઘણા કારણો છે. જ્યારે આપણે કોઈ ઈમેજને વિભાજીત કરીએ છીએ, ત્યારે આપણે નાના ફરતા ભાગો માટે નાના વિભાગોનો ઉપયોગ કરીને મોશન વેક્ટરની વધુ ચોક્કસ આગાહી કરી શકીએ છીએ. જ્યારે સ્થિર પૃષ્ઠભૂમિ માટે તમે તમારી જાતને મોટા વિભાગો સુધી મર્યાદિત કરી શકો છો.

કોડેક્સ સામાન્ય રીતે આ વિભાગોને વિભાગો (અથવા હિસ્સા), મેક્રોબ્લોક (અથવા કોડિંગ ટ્રી બ્લોક્સ) અને બહુવિધ પેટા વિભાગોમાં ગોઠવે છે. આ પાર્ટીશનોનું મહત્તમ કદ બદલાય છે, HEVC તેને 64x64 પર સેટ કરે છે જ્યારે AVC 16x16 વાપરે છે, અને સબપાર્ટીશનોને 4x4 કદ સુધી વિભાજિત કરી શકાય છે.

શું તમને છેલ્લા લેખમાંથી ફ્રેમના પ્રકારો યાદ છે?! તે જ બ્લોક્સ પર લાગુ કરી શકાય છે, તેથી અમારી પાસે I-ફ્રેગમેન્ટ, B-બ્લોક, P-મેક્રોબ્લોક વગેરે હોઈ શકે છે.

જેઓ પ્રેક્ટિસ કરવા માગે છે તેમના માટે જુઓ કે કેવી રીતે ઇમેજને વિભાગો અને પેટા વિભાગોમાં વિભાજિત કરવામાં આવે છે. આ કરવા માટે, તમે અગાઉના લેખમાં પહેલેથી જ ઉલ્લેખિત એકનો ઉપયોગ કરી શકો છો. ઇન્ટેલ વિડિઓ પ્રો વિશ્લેષક (જે ચૂકવવામાં આવે છે, પરંતુ મફત અજમાયશ સંસ્કરણ સાથે જે પ્રથમ 10 ફ્રેમ્સ સુધી મર્યાદિત છે). વિભાગોનું અહીં વિશ્લેષણ કરવામાં આવ્યું છે VP9:

2 જી પગલું - આગાહી

એકવાર અમારી પાસે વિભાગો છે, અમે તેમના માટે જ્યોતિષીય આગાહી કરી શકીએ છીએ. માટે INTER આગાહી ટ્રાન્સફર થવી જોઈએ ગતિ વેક્ટર અને બાકી, અને INTRA આગાહી માટે તે પ્રસારિત થાય છે આગાહી દિશા અને બાકીના.

3 જી પગલું - પરિવર્તન

એકવાર અમારી પાસે એક અવશેષ બ્લોક (અનુમાનિત વિભાગ → વાસ્તવિક વિભાગ) હોય, તો તેને એવી રીતે રૂપાંતરિત કરવું શક્ય છે કે આપણે જાણીએ છીએ કે એકંદર ગુણવત્તા જાળવી રાખીને કયા પિક્સેલ કાઢી શકાય છે. કેટલાક પરિવર્તનો છે જે ચોક્કસ વર્તન પ્રદાન કરે છે.

જો કે ત્યાં અન્ય પદ્ધતિઓ છે, ચાલો તેમને વધુ વિગતવાર જોઈએ. અલગ કોસાઇન ટ્રાન્સફોર્મ (ડીસીટી - થી અલગ કોસાઇન ટ્રાન્સફોર્મ). DCT ના મુખ્ય કાર્યો:

• પિક્સેલ્સના બ્લોક્સને આવર્તન ગુણાંકના સમાન કદના બ્લોક્સમાં રૂપાંતરિત કરે છે.
• અવકાશી રીડન્ડન્સીને દૂર કરવામાં મદદ કરવા માટે શક્તિને ઘટ્ટ કરે છે.
• રિવર્સિબિલિટી પૂરી પાડે છે.

ફેબ્રુઆરી 2, 2017 સિન્ટ્રા આર.જે. (સિન્ટ્રા, આરજે) અને બેયર એફ.એમ. (બેયર એફએમ) એ ઇમેજ કમ્પ્રેશન માટે ડીસીટી-જેવા રૂપાંતર વિશે એક લેખ પ્રકાશિત કર્યો છે જેમાં ફક્ત 14 ઉમેરાઓની જરૂર છે.

જો તમે દરેક વસ્તુના ફાયદા ન સમજતા હોવ તો ચિંતા કરશો નહીં. હવે ચાલો ચોક્કસ ઉદાહરણોનો ઉપયોગ તેમની વાસ્તવિક કિંમત જોવા માટે કરીએ.

ચાલો આ 8x8 પિક્સેલનો બ્લોક લઈએ:

આ બ્લોક નીચેની 8 બાય 8 પિક્સેલ ઈમેજમાં રેન્ડર થયેલ છે:

પિક્સેલ્સના આ બ્લોક પર DCT લાગુ કરો અને ગુણાંકનો 8x8 બ્લોક મેળવો:

અને જો આપણે ગુણાંકના આ બ્લોકને રેન્ડર કરીએ, તો આપણને નીચેની છબી મળશે:

જેમ તમે જોઈ શકો છો, તે મૂળ છબી જેવું લાગતું નથી. તમે જોઈ શકો છો કે પ્રથમ ગુણાંક બીજા બધા કરતા ઘણો અલગ છે. આ પ્રથમ ગુણાંકને DC ગુણાંક તરીકે ઓળખવામાં આવે છે, જે ઇનપુટ એરેમાંના તમામ નમૂનાઓનું પ્રતિનિધિત્વ કરે છે, કંઈક સરેરાશ જેવું.

ગુણાંકના આ બ્લોકમાં રસપ્રદ ગુણધર્મ છે: તે ઉચ્ચ-આવર્તન ઘટકોને ઓછી-આવર્તન ઘટકોથી અલગ કરે છે.

ઇમેજમાં, મોટાભાગની શક્તિ ઓછી ફ્રીક્વન્સીઝ પર કેન્દ્રિત હોય છે, તેથી જો તમે ઇમેજને તેના આવર્તન ઘટકોમાં રૂપાંતરિત કરો છો અને ઉચ્ચ આવર્તન ગુણાંકને કાઢી નાખો છો, તો તમે વધુ પડતી ચિત્ર ગુણવત્તાને બલિદાન આપ્યા વિના છબીને વર્ણવવા માટે જરૂરી ડેટાની માત્રા ઘટાડી શકો છો.

ફ્રીક્વન્સી એ સંકેત કેટલી ઝડપથી બદલાય છે તેનો ઉલ્લેખ કરે છે.

ચાલો DCT નો ઉપયોગ કરીને મૂળ ઇમેજને તેની આવર્તન (ગુણાંકોના બ્લોક) માં રૂપાંતરિત કરીને અને પછી ઓછામાં ઓછા મહત્વના ગુણાંકનો ભાગ કાઢી નાખીને પરીક્ષણ કેસમાં પ્રાપ્ત જ્ઞાનને લાગુ કરવાનો પ્રયાસ કરીએ.

પહેલા આપણે તેને ફ્રીક્વન્સી ડોમેનમાં કન્વર્ટ કરીએ છીએ.

આગળ, અમે ગુણાંકનો ભાગ (67%) કાઢી નાખીએ છીએ, મુખ્યત્વે નીચેનો જમણો ભાગ.

અંતે, અમે ગુણાંકના આ કાઢી નાખેલા બ્લોકમાંથી છબીનું પુનઃનિર્માણ કરીએ છીએ (યાદ રાખો, તે ઉલટાવી શકાય તેવું હોવું જોઈએ) અને તેની મૂળ સાથે સરખામણી કરીએ છીએ.

આપણે જોઈએ છીએ કે તે મૂળ છબીને મળતું આવે છે, પરંતુ મૂળથી ઘણા તફાવતો છે. અમે 67,1875% ફેંકી દીધા અને હજી પણ મૂળ જેવું કંઈક મળ્યું. વધુ સારી ગુણવત્તાની છબી મેળવવા માટે ગુણાંકને વધુ વિચારપૂર્વક કાઢી નાખવાનું શક્ય હતું, પરંતુ તે હવે પછીનો વિષય છે.

દરેક ગુણાંક બધા પિક્સેલનો ઉપયોગ કરીને જનરેટ થાય છે

મહત્વપૂર્ણ: દરેક ગુણાંકને એક પિક્સેલ પર સીધો મેપ કરવામાં આવતો નથી, પરંતુ તે તમામ પિક્સેલનો ભારિત સરવાળો છે. આ અદ્ભુત ગ્રાફ બતાવે છે કે દરેક અનુક્રમણિકા માટે અનન્ય વજનનો ઉપયોગ કરીને પ્રથમ અને બીજા ગુણાંકની ગણતરી કેવી રીતે કરવામાં આવે છે.

તમે તેના પર આધારિત એક સરળ છબી રચનાને જોઈને DCT ને વિઝ્યુઅલાઈઝ કરવાનો પણ પ્રયાસ કરી શકો છો. ઉદાહરણ તરીકે, અહીં દરેક ગુણાંક વજનનો ઉપયોગ કરીને જનરેટ થયેલ પ્રતીક A છે:

4થું પગલું - પરિમાણીકરણ

અમે પાછલા પગલા પર કેટલાક ગુણાંકને ફેંકી દીધા પછી, છેલ્લા પગલા (રૂપાંતરણ) પર અમે પરિમાણનું એક વિશિષ્ટ સ્વરૂપ કરીએ છીએ. આ તબક્કે માહિતી ગુમાવવી સ્વીકાર્ય છે. અથવા, વધુ સરળ રીતે, અમે સંકોચન પ્રાપ્ત કરવા માટે ગુણાંકનું પરિમાણ કરીશું.

તમે ગુણાંકના બ્લોકનું પરિમાણ કેવી રીતે કરી શકો? સૌથી સરળ પદ્ધતિઓમાંની એક એક સમાન પરિમાણ છે, જ્યારે આપણે બ્લોક લઈએ છીએ, ત્યારે તેને એક મૂલ્ય (10 દ્વારા) દ્વારા વિભાજીત કરો અને પરિણામને રાઉન્ડ કરો.

શું આપણે ગુણાંકના આ બ્લોકને ઉલટાવી શકીએ? હા, આપણે તે જ મૂલ્ય વડે ગુણાકાર કરી શકીએ છીએ જેના દ્વારા આપણે ભાગ્યા હતા.

આ અભિગમ શ્રેષ્ઠ નથી કારણ કે તે દરેક ગુણાંકના મહત્વને ધ્યાનમાં લેતું નથી. કોઈ એક મૂલ્યને બદલે ક્વોન્ટાઈઝરના મેટ્રિક્સનો ઉપયોગ કરી શકે છે, અને આ મેટ્રિક્સ નીચેના જમણા ભાગની બહુમતી અને ઉપલા ડાબા ભાગની લઘુમતીનું પરિમાણ કરીને DCT ગુણધર્મનું શોષણ કરી શકે છે.

પગલું 5 - એન્ટ્રોપી કોડિંગ

એકવાર અમે ડેટા (ઇમેજ બ્લોક્સ, ટુકડાઓ, ફ્રેમ્સ) નું પરિમાણ કરી લીધા પછી, અમે તેને નુકસાન વિના સંકુચિત કરી શકીએ છીએ. ડેટાને સંકુચિત કરવાની ઘણી અલ્ગોરિધમિક રીતો છે. અમે તેમાંથી કેટલાક પર એક ઝડપી નજર નાખીશું, વધુ ઊંડી સમજણ માટે તમે અન્ડરસ્ટેન્ડિંગ કમ્પ્રેશન: ડેટા કમ્પ્રેશન ફોર મોડર્ન ડેવલપર્સ ("કમ્પ્રેશનને સમજવું: આધુનિક વિકાસકર્તાઓ માટે ડેટા કમ્પ્રેશન").

VLC નો ઉપયોગ કરીને વિડિઓ એન્કોડિંગ

ચાલો કહીએ કે અમારી પાસે પાત્રોનો પ્રવાહ છે: a, e, r и t. સ્ટ્રીમમાં દરેક અક્ષર કેટલી વાર દેખાય છે તેની સંભાવના (0 થી 1 સુધીની) આ કોષ્ટકમાં પ્રસ્તુત છે.

	a	e	r	t
સંભાવના	0,3	0,3	0,2	0,2

અમે અનોખા દ્વિસંગી કોડ્સ (પ્રાધાન્યમાં નાના કોડ્સ) સૌથી વધુ સંભવિત લોકોને અને મોટા કોડ્સ ઓછા સંભવને સોંપી શકીએ છીએ.

	a	e	r	t
સંભાવના	0,3	0,3	0,2	0,2
બાઈનરી કોડ	0	10	110	1110

અમે સ્ટ્રીમને સંકુચિત કરીએ છીએ, એમ ધારીને કે અમે દરેક પાત્ર માટે 8 બિટ્સ ખર્ચ કરીશું. કમ્પ્રેશન વિના, અક્ષર દીઠ 24 બિટ્સની જરૂર પડશે. જો તમે દરેક અક્ષરને તેના કોડ સાથે બદલો છો, તો તમને બચત મળશે!

પ્રથમ પગલું એ પાત્રને એન્કોડ કરવાનું છે e, જે 10 ની બરાબર છે અને બીજો અક્ષર છે a, જે ઉમેરવામાં આવે છે (ગાણિતિક રીતે નહીં): [10][0], અને અંતે ત્રીજો અક્ષર t, જે આપણા અંતિમ સંકુચિત બીટસ્ટ્રીમને [10][0][1110] અથવા સમાન બનાવે છે 1001110, જેને માત્ર 7 બિટ્સની જરૂર છે (મૂળ કરતાં 3,4 ગણી ઓછી જગ્યા).

કૃપા કરીને નોંધો કે દરેક કોડ ઉપસર્ગ સાથેનો અનન્ય કોડ હોવો જોઈએ. હફમેન અલ્ગોરિધમ તમને આ નંબરો શોધવામાં મદદ કરશે. જો કે આ પદ્ધતિ તેની ખામીઓ વિના નથી, ત્યાં વિડિઓ કોડેક્સ છે જે હજી પણ કમ્પ્રેશન માટે આ અલ્ગોરિધમિક પદ્ધતિ પ્રદાન કરે છે.

એન્કોડર અને ડીકોડર બંને પાસે તેમના દ્વિસંગી કોડ્સ સાથે પ્રતીક કોષ્ટકની ઍક્સેસ હોવી આવશ્યક છે. તેથી, ઇનપુટ તરીકે ટેબલ મોકલવું પણ જરૂરી છે.

અંકગણિત કોડિંગ

ચાલો કહીએ કે અમારી પાસે પાત્રોનો પ્રવાહ છે: a, e, r, s и t, અને તેમની સંભાવના આ કોષ્ટકમાં રજૂ કરવામાં આવી છે.

	a	e	r	s	t
સંભાવના	0,3	0,3	0,15	0,05	0,2

આ કોષ્ટકનો ઉપયોગ કરીને, અમે તમામ સંભવિત અક્ષરો ધરાવતી શ્રેણીઓ બનાવીશું, જે સૌથી મોટી સંખ્યા દ્વારા સૉર્ટ કરવામાં આવશે.

હવે ચાલો ત્રણ અક્ષરોના સ્ટ્રીમને એન્કોડ કરીએ: ખાવું.

પ્રથમ પ્રથમ અક્ષર પસંદ કરો e, જે 0,3 થી 0,6 સુધી સબરેન્જમાં છે (સહિત નથી). અમે આ સબરેન્જ લઈએ છીએ અને તેને ફરીથી પહેલાના સમાન પ્રમાણમાં વિભાજીત કરીએ છીએ, પરંતુ આ નવી શ્રેણી માટે.

ચાલો અમારી સ્ટ્રીમનું કોડિંગ ચાલુ રાખીએ ખાવું. હવે બીજું પાત્ર લો a, જે 0,3 થી 0,39 સુધી નવા સબરેન્જમાં છે અને પછી અમારું છેલ્લું અક્ષર લો t અને તે જ પ્રક્રિયાને ફરીથી પુનરાવર્તિત કરવાથી, આપણને 0,354 થી 0,372 સુધીની અંતિમ પેટા શ્રેણી મળે છે.

આપણે ફક્ત છેલ્લી સબરેન્જમાં 0,354 થી 0,372 સુધીની સંખ્યા પસંદ કરવાની જરૂર છે. ચાલો 0,36 પસંદ કરીએ (પરંતુ તમે આ સબરેન્જમાં કોઈપણ અન્ય નંબર પસંદ કરી શકો છો). ફક્ત આ નંબર વડે જ અમે અમારા મૂળ પ્રવાહને પુનઃસ્થાપિત કરી શકીશું. એવું લાગે છે કે અમે અમારી સ્ટ્રીમને એન્કોડ કરવા માટે રેન્જની અંદર એક રેખા દોરી રહ્યા છીએ.

વિપરીત કામગીરી (એટલે ​​કે, ડીકોડિંગ) એટલું જ સરળ છે: અમારા નંબર 0,36 અને અમારી પ્રારંભિક શ્રેણી સાથે, અમે સમાન પ્રક્રિયા ચલાવી શકીએ છીએ. પરંતુ હવે, આ નંબરનો ઉપયોગ કરીને, અમે આ નંબરનો ઉપયોગ કરીને એન્કોડ કરેલ સ્ટ્રીમને ઓળખીએ છીએ.

પ્રથમ શ્રેણી સાથે, અમે નોંધ્યું છે કે અમારી સંખ્યા સ્લાઇસને અનુરૂપ છે, તેથી આ અમારું પ્રથમ અક્ષર છે. હવે આપણે આ પેટા-શ્રેણીને પહેલાની સમાન પ્રક્રિયાને અનુસરીને ફરીથી વિભાજીત કરીએ છીએ. અહીં તમે જોઈ શકો છો કે 0,36 એ પ્રતીકને અનુરૂપ છે a, અને પ્રક્રિયાને પુનરાવર્તિત કર્યા પછી અમે છેલ્લા અક્ષર પર પહોંચ્યા t (અમારું મૂળ એન્કોડેડ સ્ટ્રીમ બનાવવું ખાવું).

એન્કોડર અને ડીકોડર બંનેમાં પ્રતીક સંભાવનાઓનું કોષ્ટક હોવું આવશ્યક છે, તેથી તેને ઇનપુટ ડેટામાં પણ મોકલવું જરૂરી છે.

તદ્દન ભવ્ય, તે નથી? જે પણ આ સોલ્યુશન લઈને આવ્યો તે ખૂબ જ સ્માર્ટ હતો. કેટલાક વિડિયો કોડેક્સ આ તકનીકનો ઉપયોગ કરે છે (અથવા ઓછામાં ઓછા તેને વિકલ્પ તરીકે ઓફર કરે છે).

ક્વોન્ટાઇઝ્ડ બીટ સ્ટ્રીમને નુકશાન વિના સંકુચિત કરવાનો વિચાર છે. ચોક્કસ આ લેખમાં ઘણી બધી વિગતો, કારણો, ટ્રેડ-ઓફ વગેરે ખૂટે છે. પરંતુ જો તમે વિકાસકર્તા છો, તો તમારે વધુ જાણવું જોઈએ. નવા કોડેક વિવિધ એન્ટ્રોપી એન્કોડિંગ અલ્ગોરિધમનો ઉપયોગ કરવાનો પ્રયાસ કરે છે જેમ કે એએનએસ.

પગલું 6 - બીટસ્ટ્રીમ ફોર્મેટ

આ બધું કર્યા પછી, જે બાકી રહે છે તે પગલાંના સંદર્ભમાં સંકુચિત ફ્રેમ્સને અનપેક કરવાનું છે. ડીકોડરને એન્કોડર દ્વારા લેવામાં આવેલા નિર્ણયો વિશે સ્પષ્ટપણે જાણ કરવી આવશ્યક છે. ડીકોડરને તમામ જરૂરી માહિતી પ્રદાન કરવી આવશ્યક છે: બીટ ઊંડાઈ, રંગ જગ્યા, રીઝોલ્યુશન, આગાહી માહિતી (મોશન વેક્ટર, દિશાત્મક ઇન્ટર પ્રિડિક્શન), પ્રોફાઇલ, સ્તર, ફ્રેમ દર, ફ્રેમ પ્રકાર, ફ્રેમ નંબર અને ઘણું બધું.

અમે બીટસ્ટ્રીમ પર એક ઝડપી નજર નાખીશું H.264. અમારું પ્રથમ પગલું ન્યૂનતમ H.264 બિટસ્ટ્રીમ બનાવવાનું છે (FFmpeg મૂળભૂત રીતે તમામ એન્કોડિંગ વિકલ્પો ઉમેરે છે જેમ કે SEI NAL - અમે શોધીશું કે તે થોડું આગળ શું છે). અમે અમારી પોતાની રીપોઝીટરી અને FFmpeg નો ઉપયોગ કરીને આ કરી શકીએ છીએ.

./s/ffmpeg -i /files/i/minimal.png -pix_fmt yuv420p /files/v/minimal_yuv420.h264

આ આદેશ કાચો બીટસ્ટ્રીમ જનરેટ કરશે H.264 એક ફ્રેમ સાથે, 64×64 રિઝોલ્યુશન, કલર સ્પેસ સાથે YUV420. આ કિસ્સામાં, નીચેની છબીનો ઉપયોગ ફ્રેમ તરીકે થાય છે.

H.264 બીટસ્ટ્રીમ

સ્ટાન્ડર્ડ AVC (H.264) નિર્ધારિત કરે છે કે માહિતી મેક્રોફ્રેમમાં મોકલવામાં આવશે (નેટવર્ક અર્થમાં), કહેવાય છે એનએએલ (આ નેટવર્ક એબ્સ્ટ્રેક્શન લેવલ છે). NAL નો મુખ્ય ધ્યેય "વેબ-ફ્રેન્ડલી" વિડિયો પ્રસ્તુતિ પ્રદાન કરવાનો છે. આ ધોરણ ટીવી (સ્ટ્રીમ-આધારિત), ઇન્ટરનેટ (પેકેટ-આધારિત) પર કામ કરવું જોઈએ.

NAL તત્વોની સીમાઓ વ્યાખ્યાયિત કરવા માટે સિંક્રનાઇઝેશન માર્કર છે. દરેક સમન્વયન ટોકન એક મૂલ્ય ધરાવે છે 0x00 0x00 0x01, પ્રથમ એક સિવાય, જે બરાબર છે 0x00 0x00 0x00 0x01. જો આપણે લોન્ચ કરીએ હેક્સડમ્પ જનરેટ કરેલ H.264 બીટસ્ટ્રીમ માટે, અમે ફાઇલની શરૂઆતમાં ઓછામાં ઓછા ત્રણ NAL પેટર્નને ઓળખીએ છીએ.

જણાવ્યા મુજબ, ડીકોડરને માત્ર ઇમેજ ડેટા જ નહીં, પણ વિડિયો, ફ્રેમ, રંગો, વપરાયેલ પરિમાણો અને ઘણું બધું જાણવાની જરૂર છે. દરેક NAL ની પ્રથમ બાઈટ તેની શ્રેણી અને પ્રકાર વ્યાખ્યાયિત કરે છે.

NAL પ્રકાર ઓળખકર્તા	વર્ણન
0	અજ્ઞાત પ્રકાર
1	IDR વગર એન્કોડેડ ઇમેજ ફ્રેગમેન્ટ
2	કોડેડ સ્લાઇસ ડેટા વિભાગ A
3	કોડેડ સ્લાઇસ ડેટા વિભાગ B
4	કોડેડ સ્લાઇસ ડેટા વિભાગ C
5	IDR છબીનો એન્કોડેડ IDR ટુકડો
6	SEI એક્સ્ટેંશન વિશે વધુ માહિતી
7	SPS સિક્વન્સ પેરામીટર સેટ
8	PPS છબી પરિમાણોનો સમૂહ
9	ઍક્સેસ વિભાજક
10	ક્રમનો અંત
11	થ્રેડનો અંત
...	...

સામાન્ય રીતે બીટસ્ટ્રીમનું પ્રથમ NAL છે એસપીએસ. આ પ્રકારનું NAL સામાન્ય એન્કોડિંગ ચલો જેમ કે પ્રોફાઇલ, સ્તર, રીઝોલ્યુશન વગેરે વિશે માહિતી આપવા માટે જવાબદાર છે.

જો આપણે પ્રથમ સિંક માર્કર છોડી દઈએ, તો કયો NAL પ્રકાર પ્રથમ છે તે શોધવા માટે અમે પ્રથમ બાઈટ ડીકોડ કરી શકીએ છીએ.

ઉદાહરણ તરીકે, સિંક ટોકન પછીનો પ્રથમ બાઈટ છે 01100111, જ્યાં પ્રથમ બીટ (0) ક્ષેત્ર f માં છેorbidden_zero_bit. આગામી 2 બિટ્સ (11) અમને ક્ષેત્ર કહે છે nal_ref_idc, જે સૂચવે છે કે આ NAL સંદર્ભ ક્ષેત્ર છે કે નહીં. અને બાકીના 5 બિટ્સ (00111) અમને ક્ષેત્ર કહે છે nal_unit_type, આ કિસ્સામાં તે SPS બ્લોક છે (7) NAL.

બીજી બાઈટ (દ્વિસંગી=01100100, હેક્સ=0x64, ડિસે=100) SPS NAL માં ક્ષેત્ર છે profile_idc, જે એન્કોડર દ્વારા ઉપયોગમાં લેવાતી પ્રોફાઇલ દર્શાવે છે. આ કિસ્સામાં, મર્યાદિત ઉચ્ચ પ્રોફાઇલનો ઉપયોગ કરવામાં આવ્યો હતો (એટલે ​​​​કે, દ્વિપક્ષીય બી-સેગમેન્ટ સપોર્ટ વિનાની ઉચ્ચ પ્રોફાઇલ).

જો તમે બીટસ્ટ્રીમ સ્પષ્ટીકરણ જુઓ છો H.264 SPS NAL માટે, અમે પરિમાણ નામ, શ્રેણી અને વર્ણન માટે ઘણા મૂલ્યો શોધીશું. ઉદાહરણ તરીકે, ચાલો ક્ષેત્રો જોઈએ pic_width_in_mbs_minus_1 и pic_height_in_map_units_minus_1.

પરિમાણ નામ	શ્રેણી	વર્ણન
pic_width_in_mbs_minus_1	0	ue(v)
pic_height_in_map_units_minus_1	0	ue(v)

જો આપણે આ ક્ષેત્રોના મૂલ્યો સાથે કેટલીક ગાણિતિક ક્રિયાઓ કરીએ, તો આપણે રીઝોલ્યુશન મેળવીશું. એક 1920 x 1080 નો ઉપયોગ કરીને રજૂ કરી શકે છે pic_width_in_mbs_minus_1 119 ની કિંમત સાથે (119 + 1) * macroblock_size = 120 * 16 = 1920). ફરીથી, જગ્યા બચાવવા માટે, 1920 એન્કોડિંગને બદલે, અમે 119 સાથે કર્યું.

જો આપણે અમારા બનાવેલા વિડિયોને બાઈનરી સ્વરૂપમાં તપાસવાનું ચાલુ રાખીએ (ઉદાહરણ તરીકે: xxd -b -c 11 v/minimal_yuv420.h264), પછી તમે છેલ્લા NAL પર જઈ શકો છો, જે ફ્રેમ પોતે છે.

અહીં આપણે તેના પ્રથમ 6 બાઈટ મૂલ્યો જોઈએ છીએ: 01100101 10001000 10000100 00000000 00100001 11111111. પ્રથમ બાઈટ NAL પ્રકાર સૂચવવા માટે જાણીતી હોવાથી, આ કિસ્સામાં (00101) એ IDR ટુકડો છે (5), અને પછી તમે તેને વધુ અન્વેષણ કરી શકો છો:

સ્પષ્ટીકરણ માહિતીનો ઉપયોગ કરીને, ટુકડાના પ્રકારને ડીકોડ કરવાનું શક્ય બનશે (સ્લાઇસ_પ્રકાર) અને ફ્રેમ નંબર (ફ્રેમ નંબર) અન્ય મહત્વપૂર્ણ ક્ષેત્રો વચ્ચે.

કેટલાક ક્ષેત્રોના મૂલ્યો મેળવવા માટે (ue(v), me(v), se(v) અથવા te(v)), અમારે તેના આધારે વિશિષ્ટ ડીકોડરનો ઉપયોગ કરીને ટુકડાને ડીકોડ કરવાની જરૂર છે ઘાતાંકીય ગોલોમ્બ કોડ. આ પદ્ધતિ ચલ મૂલ્યોને એન્કોડ કરવા માટે ખૂબ જ કાર્યક્ષમ છે, ખાસ કરીને જ્યારે ત્યાં ઘણી મૂળભૂત કિંમતો હોય.

મૂલ્યો સ્લાઇસ_પ્રકાર и ફ્રેમ નંબર આ વિડિયોના 7 (I-ફ્રેગમેન્ટ) અને 0 (પ્રથમ ફ્રેમ) છે.

થોડી સ્ટ્રીમને પ્રોટોકોલ તરીકે વિચારી શકાય છે. જો તમે બીટસ્ટ્રીમ વિશે વધુ જાણવા માંગતા હો, તો તમારે સ્પષ્ટીકરણનો સંદર્ભ લેવો જોઈએ ITU H.264. અહીં એક મેક્રો ડાયાગ્રામ છે જે દર્શાવે છે કે ઇમેજ ડેટા ક્યાં છે (YUV સંકુચિત સ્વરૂપમાં).

અન્ય બિટસ્ટ્રીમ્સની તપાસ કરી શકાય છે, જેમ કે VP9, H.265 (હેવીસી) અથવા તો અમારી નવી શ્રેષ્ઠ બિટસ્ટ્રીમ AV1. શું તેઓ બધા સમાન છે? ના, પરંતુ એકવાર તમે ઓછામાં ઓછું એક સમજી લો, બાકીનું સમજવું વધુ સરળ છે.

પ્રેક્ટિસ કરવા માંગો છો? H.264 બીટસ્ટ્રીમનું અન્વેષણ કરો

તમે એક ફ્રેમ વિડિઓ જનરેટ કરી શકો છો અને બીટસ્ટ્રીમનું પરીક્ષણ કરવા માટે MediaInfo નો ઉપયોગ કરી શકો છો H.264. વાસ્તવમાં, બીટ સ્ટ્રીમનું વિશ્લેષણ કરતા સ્ત્રોત કોડને જોવાથી પણ કંઈપણ તમને રોકતું નથી H.264 (AVC).

પ્રેક્ટિસ માટે, તમે ઇન્ટેલ વિડિઓ પ્રો વિશ્લેષકનો ઉપયોગ કરી શકો છો (શું મેં પહેલેથી જ કહ્યું છે કે પ્રોગ્રામ ચૂકવવામાં આવે છે, પરંતુ 10 ફ્રેમ્સની મર્યાદા સાથે મફત અજમાયશ સંસ્કરણ છે?).

ઝાંખી

નોંધ કરો કે ઘણા આધુનિક કોડેક્સ એ જ મોડેલનો ઉપયોગ કરે છે જેનો અમે હમણાં જ અભ્યાસ કર્યો છે. અહીં, ચાલો વિડિયો કોડેકના બ્લોક ડાયાગ્રામ પર એક નજર કરીએ થોર. તેમાં આપણે જે પગલાઓમાંથી પસાર થયા છીએ તે તમામ પગલાં સમાવે છે. આ પોસ્ટનો આખો મુદ્દો ઓછામાં ઓછો તમને આ ક્ષેત્રમાં નવીનતાઓ અને દસ્તાવેજીકરણની વધુ સારી સમજ આપવાનો છે.

અગાઉ, એવી ગણતરી કરવામાં આવી હતી કે 139p ગુણવત્તા અને 720 fps પર એક કલાક ચાલતી વિડિયો ફાઇલને સ્ટોર કરવા માટે 30 GB ડિસ્ક સ્પેસની જરૂર પડશે. જો તમે આ લેખમાં ચર્ચા કરેલી પદ્ધતિઓનો ઉપયોગ કરો છો (આંતર-ફ્રેમ અને આંતરિક અનુમાનો, પરિવર્તન, પરિમાણીકરણ, એન્ટ્રોપી કોડિંગ, વગેરે), તો તમે (અમે પિક્સેલ દીઠ 0,031 બિટ્સ ખર્ચીએ છીએ તે હકીકતના આધારે) તદ્દન સંતોષકારક ગુણવત્તાનો વિડિયો હાંસલ કરી શકો છો. , માત્ર 367,82 MB કબજે કરે છે, 139 GB મેમરી નહીં.

H.265 H.264 કરતાં વધુ સારી કમ્પ્રેશન રેશિયો કેવી રીતે પ્રાપ્ત કરે છે?

હવે જ્યારે આપણે કોડેક્સ કેવી રીતે કાર્ય કરે છે તે વિશે વધુ જાણીએ છીએ, તે સમજવું વધુ સરળ છે કે કેવી રીતે નવા કોડેક્સ ઓછા બિટ્સ સાથે ઉચ્ચ રીઝોલ્યુશન આપી શકે છે.

જો આપણે સરખામણી કરીએ AVC и હેવીસી, તે યાદ રાખવું યોગ્ય છે કે આ મોટા ભાગે CPU લોડ અને કમ્પ્રેશન રેશિયો વચ્ચેની પસંદગી છે.

હેવીસી કરતાં વધુ વિભાગ (અને પેટાવિભાગ) વિકલ્પો ધરાવે છે AVC, વધુ આંતરિક આગાહી દિશાઓ, સુધારેલ એન્ટ્રોપી કોડિંગ અને વધુ. આ તમામ સુધારા કરવામાં આવ્યા છે H.265 કરતાં 50% વધુ સંકુચિત કરવામાં સક્ષમ H.264.

પ્રથમ ભાગ: વિડિઓ અને છબીઓ સાથે કામ કરવાની મૂળભૂત બાબતો

સોર્સ: www.habr.com