વિડિઓ કોડેક કેવી રીતે કાર્ય કરે છે? ભાગ 1: મૂળભૂત

બીજો ભાગ: વિડિઓ કોડેક કેવી રીતે કાર્ય કરે છે

કોઈપણ રાસ્ટર છબી ફોર્મમાં રજૂ કરી શકાય છે દ્વિ-પરિમાણીય મેટ્રિક્સ. જ્યારે રંગોની વાત આવે છે, ત્યારે છબીને જોઈને વિચાર વિકસાવી શકાય છે ત્રિ-પરિમાણીય મેટ્રિક્સ, જેમાં દરેક રંગો માટે ડેટા સ્ટોર કરવા માટે વધારાના પરિમાણોનો ઉપયોગ કરવામાં આવે છે.

જો આપણે કહેવાતાના સંયોજન તરીકે અંતિમ રંગને ધ્યાનમાં લઈએ. પ્રાથમિક રંગો (લાલ, લીલો અને વાદળી), અમારા ત્રિ-પરિમાણીય મેટ્રિક્સમાં આપણે ત્રણ પ્લેન વ્યાખ્યાયિત કરીએ છીએ: પ્રથમ લાલ માટે, બીજો લીલા માટે અને છેલ્લો વાદળી માટે.

અમે આ મેટ્રિક્સના દરેક બિંદુને પિક્સેલ (ઇમેજ એલિમેન્ટ) કહીશું. દરેક પિક્સેલ દરેક રંગની તીવ્રતા (સામાન્ય રીતે આંકડાકીય મૂલ્ય તરીકે) વિશેની માહિતી ધરાવે છે. દાખ્લા તરીકે, લાલ પિક્સેલ મતલબ કે તેમાં 0 લીલો, 0 વાદળી અને મહત્તમ લાલ છે. ગુલાબી પિક્સેલ ત્રણ રંગોના મિશ્રણનો ઉપયોગ કરીને રચના કરી શકાય છે. 0 થી 255 સુધીની આંકડાકીય શ્રેણીનો ઉપયોગ કરીને, ગુલાબી પિક્સેલને આ રીતે વ્યાખ્યાયિત કરવામાં આવે છે લાલ = 255, લીલો = 192 и વાદળી = 203.

આ લેખ EDISON ના સમર્થન સાથે પ્રકાશિત કરવામાં આવ્યો હતો.

અમે વિકાસ કરી રહ્યા છીએ વિડિઓ સર્વેલન્સ, વિડિઓ સ્ટ્રીમિંગ માટે એપ્લિકેશન, અને અમે પણ રોકાયેલા છીએ સર્જિકલ રૂમમાં વિડિઓ રેકોર્ડિંગ.

રંગની છબીને એન્કોડ કરવાની વૈકલ્પિક રીતો

રંગોને રજૂ કરવા માટે અન્ય ઘણા મોડેલો છે જે છબી બનાવે છે. ઉદાહરણ તરીકે, તમે અનુક્રમિત પેલેટનો ઉપયોગ કરી શકો છો, જેને RGB મોડલનો ઉપયોગ કરતી વખતે જરૂરી ત્રણને બદલે દરેક પિક્સેલને રજૂ કરવા માટે માત્ર એક બાઈટની જરૂર પડે છે. આવા મોડેલમાં, દરેક રંગને રજૂ કરવા માટે 2D મેટ્રિક્સને બદલે 3D મેટ્રિક્સનો ઉપયોગ કરવો શક્ય છે. આ મેમરીને બચાવે છે, પરંતુ એક નાની કલર ગમટ આપે છે.

આરજીબી

ઉદાહરણ તરીકે, નીચે આ ચિત્ર પર એક નજર નાખો. પ્રથમ ચહેરો સંપૂર્ણપણે દોરવામાં આવે છે. અન્ય લાલ, લીલા અને વાદળી વિમાનો છે (અનુરૂપ રંગોની તીવ્રતા ગ્રેસ્કેલમાં બતાવવામાં આવે છે).

આપણે જોઈએ છીએ કે મૂળમાં લાલ રંગના શેડ્સ એ જ જગ્યાએ હશે જ્યાં બીજા ચહેરાના સૌથી તેજસ્વી ભાગો જોવા મળે છે. જ્યારે વાદળીનું યોગદાન મુખ્યત્વે મારિયોની આંખો (છેલ્લો ચહેરો) અને તેના કપડાંના ઘટકોમાં જ જોઈ શકાય છે. નોંધ લો કે જ્યાં ત્રણેય રંગીન વિમાનો સૌથી ઓછું યોગદાન આપે છે (છબીઓના ઘાટા ભાગો) - મારિયોની મૂછો.

દરેક રંગની તીવ્રતાને સંગ્રહિત કરવા માટે, ચોક્કસ સંખ્યામાં બિટ્સ જરૂરી છે - આ જથ્થાને કહેવામાં આવે છે થોડી ઊંડાઈ. ચાલો કહીએ કે કલર પ્લેન દીઠ 8 બિટ્સ ખર્ચવામાં આવે છે (0 થી 255 ની કિંમતના આધારે). પછી આપણી પાસે 24 બિટ્સ (8 બિટ્સ * 3 R/G/B પ્લેન્સ) ની રંગ ઊંડાઈ છે.

છબીની બીજી મિલકત છે રીઝોલ્યુશન, જે એક પરિમાણમાં પિક્સેલ્સની સંખ્યા છે. ઘણીવાર તરીકે સૂચવવામાં આવે છે પહોળાઈ × ઊંચાઈ, નીચેની 4 બાય 4 ઉદાહરણની છબીની જેમ.


છબીઓ/વિડિયો સાથે કામ કરતી વખતે અમે જેની સાથે વ્યવહાર કરીએ છીએ તે બીજી મિલકત છે પાસા ગુણોત્તર, છબી અથવા પિક્સેલની પહોળાઈ અને ઊંચાઈ વચ્ચેના સામાન્ય પ્રમાણસર સંબંધનું વર્ણન કરે છે.

જ્યારે તેઓ કહે છે કે ચોક્કસ ફિલ્મ અથવા ચિત્રનું કદ 16 બાય 9 છે, ત્યારે તેનો સામાન્ય રીતે અર્થ થાય છે આસ્પેક્ટ રેશિયો દર્શાવો (ડાર - થી ડિસ્પ્લે એસ્પેક્ટ રેશિયો). જો કે, કેટલીકવાર વ્યક્તિગત પિક્સેલ્સના વિવિધ આકારો હોઈ શકે છે - આ કિસ્સામાં અમે વાત કરી રહ્યા છીએ પિક્સેલ ગુણોત્તર (PAR - થી પિક્સેલ એસ્પેક્ટ રેશિયો).

પરિચારિકા માટે નોંધ: ડીવીડી соответствует DAR 4 થી 3

વાસ્તવિક DVD રીઝોલ્યુશન 704x480 હોવા છતાં, તે હજુ પણ 4:3 પાસા રેશિયો જાળવી રાખે છે કારણ કે PAR 10:11 (704x10 / 480x11) છે.

અને અંતે, અમે નક્કી કરી શકીએ છીએ видео ના ક્રમની જેમ n સમયગાળા માટે ફ્રેમ્સ સમય, જેને વધારાનું પરિમાણ ગણી શકાય. એ n પછી ફ્રેમ દર અથવા સેકન્ડ દીઠ ફ્રેમ્સની સંખ્યા છે (FPS - થી દીઠ ફ્રેમ્સ).

વિડિયો પ્રદર્શિત કરવા માટે જરૂરી બિટ્સ પ્રતિ સેકન્ડની સંખ્યા છે ટ્રાન્સમિશન ઝડપ - બિટરેટ.

bitrate = પહોળાઈ * ઊંચાઈ * બીટ ઊંડાઈ * ફ્રેમ પ્રતિ સેકન્ડ

ઉદાહરણ તરીકે, 30 fps, 24 bps, 480x240 વિડિયો માટે 82,944,000 bps અથવા 82,944 Mbps (30x480x240x24) ની જરૂર પડશે - પરંતુ જો કોઈ કમ્પ્રેશન પદ્ધતિનો ઉપયોગ કરવામાં ન આવે તો તે છે.

જો ટ્રાન્સફર ઝડપ લગભગ સતત, પછી તેને કહેવામાં આવે છે સતત ટ્રાન્સમિશન ઝડપ (સીબીઆર - થી સતત બીટ રેટ). પરંતુ તે પણ બદલાઈ શકે છે, આ કિસ્સામાં તેને કહેવામાં આવે છે ચલ બાઉડ દર (વીબીઆર - થી ચલ બીટ દર).

આ આલેખ મર્યાદિત VBR બતાવે છે, જ્યાં સંપૂર્ણ અંધારી ફ્રેમના કિસ્સામાં ઘણા બધા બિટ્સ વેડફાઈ જતા નથી.

એન્જિનિયરોએ શરૂઆતમાં વધારાની બેન્ડવિડ્થનો ઉપયોગ કર્યા વિના વિડિયો ડિસ્પ્લેના ફ્રેમ રેટને બમણી કરવાની પદ્ધતિ વિકસાવી હતી. આ પદ્ધતિ તરીકે ઓળખાય છે ઇન્ટરલેસ્ડ વિડિઓ; મૂળભૂત રીતે, તે પ્રથમ "ફ્રેમ" માં અડધી સ્ક્રીન અને બીજી અડધી આગામી "ફ્રેમ" માં મોકલે છે.

હાલમાં, દ્રશ્યો મોટે ભાગે ઉપયોગ કરીને રેન્ડર કરવામાં આવે છે પ્રગતિશીલ સ્કેનીંગ ટેકનોલોજી. તે મૂવિંગ ઇમેજને પ્રદર્શિત, સંગ્રહિત અથવા ટ્રાન્સમિટ કરવાની એક પદ્ધતિ છે જેમાં દરેક ફ્રેમની તમામ રેખાઓ ક્રમિક રીતે દોરવામાં આવે છે.

સારું! હવે આપણે જાણીએ છીએ કે ઇમેજ કેવી રીતે ડિજિટલ રીતે રજૂ થાય છે, તેના રંગો કેવી રીતે ગોઠવાય છે, અમે વિડિયો બતાવવા માટે કેટલા બિટ્સ પ્રતિ સેકન્ડ ખર્ચીએ છીએ, જો બીટ રેટ કોન્સ્ટન્ટ (CBR) અથવા ચલ (VBR) હોય તો. અમે આપેલ ફ્રેમ દરનો ઉપયોગ કરીને આપેલ રીઝોલ્યુશન વિશે જાણીએ છીએ, અમે અન્ય ઘણા શબ્દોથી પરિચિત છીએ, જેમ કે ઇન્ટરલેસ્ડ વિડિઓ, PAR અને કેટલાક અન્ય.

નિરર્થકતા દૂર કરી રહ્યા છીએ

તે જાણીતું છે કે કમ્પ્રેશન વિના વિડિઓનો સામાન્ય રીતે ઉપયોગ કરી શકાતો નથી. 720p રિઝોલ્યુશન અને 30 ફ્રેમ્સ પ્રતિ સેકન્ડ પર એક કલાક લાંબી વિડિઓ 278 GB લેશે. અમે 1280 x 720 x 24 x 30 x 3600 (પહોળાઈ, ઊંચાઈ, પિક્સેલ દીઠ બિટ્સ, FPS અને સેકન્ડમાં સમય) નો ગુણાકાર કરીને આ મૂલ્ય પર પહોંચીએ છીએ.

ઉપયોગ કરો લોસલેસ કમ્પ્રેશન એલ્ગોરિધમ્સ, જેમ કે DEFLATE (PKZIP, Gzip અને PNG માં વપરાય છે), જરૂરી બેન્ડવિડ્થને પૂરતી ઘટાડશે નહીં. અમારે વિડિયોને સંકુચિત કરવાની અન્ય રીતો શોધવી પડશે.

આ કરવા માટે, તમે અમારી દ્રષ્ટિની સુવિધાઓનો ઉપયોગ કરી શકો છો. અમે રંગ કરતાં તેજને અલગ કરવામાં વધુ સારા છીએ. વિડિઓ એ ક્રમિક છબીઓની શ્રેણી છે જે સમય જતાં પુનરાવર્તિત થાય છે. સમાન દ્રશ્યના અડીને આવેલા ફ્રેમ્સ વચ્ચે નાના તફાવતો છે. વધુમાં, દરેક ફ્રેમમાં સમાન (અથવા સમાન) રંગનો ઉપયોગ કરીને ઘણા વિસ્તારો હોય છે.

રંગ, તેજ અને આપણી આંખો

આપણી આંખો રંગ કરતાં તેજ પ્રત્યે વધુ સંવેદનશીલ હોય છે. આ તસવીર જોઈને તમે જાતે જ જોઈ શકો છો.

જો તમને તે છબીની ડાબી બાજુએ ચોરસના રંગો દેખાતા નથી A и B વાસ્તવમાં સમાન છે, તો તે સામાન્ય છે. આપણું મગજ આપણને રંગને બદલે પ્રકાશ અને શેડ પર વધુ ધ્યાન આપવા દબાણ કરે છે. નિયુક્ત ચોરસ વચ્ચે જમણી બાજુએ સમાન રંગનો જમ્પર છે - તેથી આપણે (એટલે ​​​​કે આપણું મગજ) સરળતાથી નક્કી કરી શકીએ છીએ કે, હકીકતમાં, તે સમાન રંગના છે.

ચાલો જોઈએ (સરળ રીતે) આપણી આંખો કેવી રીતે કામ કરે છે. આંખ એ એક જટિલ અંગ છે જેમાં ઘણા ભાગોનો સમાવેશ થાય છે. જો કે, અમને શંકુ અને સળિયામાં સૌથી વધુ રસ છે. આંખમાં લગભગ 120 મિલિયન સળિયા અને 6 મિલિયન શંકુ હોય છે.

ચાલો આંખના અમુક ભાગોના અલગ કાર્યો તરીકે રંગ અને તેજની ધારણાને ધ્યાનમાં લઈએ (હકીકતમાં, બધું કંઈક અંશે વધુ જટિલ છે, પરંતુ અમે તેને સરળ બનાવીશું). રોડ કોશિકાઓ મુખ્યત્વે તેજ માટે જવાબદાર છે, જ્યારે શંકુ કોષો રંગ માટે જવાબદાર છે. શંકુને ત્રણ પ્રકારમાં વહેંચવામાં આવે છે, તેમાં રહેલા રંગદ્રવ્યના આધારે: એસ-કોન્સ (વાદળી), એમ-કોન્સ (લીલો), અને એલ-કોન્સ (લાલ).

શંકુ (રંગ) કરતાં આપણી પાસે ઘણી વધુ સળિયા (તેજ) હોવાથી, આપણે તારણ કાઢી શકીએ છીએ કે આપણે રંગો કરતાં શ્યામ અને પ્રકાશ વચ્ચેના સંક્રમણોને પારખવામાં વધુ સક્ષમ છીએ.

કોન્ટ્રાસ્ટ સેન્સિટિવિટી ફીચર્સ

પ્રાયોગિક મનોવિજ્ઞાન અને અન્ય ઘણા ક્ષેત્રોના સંશોધકોએ માનવ દ્રષ્ટિના ઘણા સિદ્ધાંતો વિકસાવ્યા છે. અને તેમાંથી એક કહેવાય છે વિપરીત સંવેદનશીલતા કાર્યો. તેઓ અવકાશી અને ટેમ્પોરલ રોશની સાથે સંબંધિત છે. ટૂંકમાં, નિરીક્ષક તેમની નોંધ લે તે પહેલાં કેટલા ફેરફારો જરૂરી છે તે વિશે છે. "કાર્ય" શબ્દના બહુવચનની નોંધ લો. આ એ હકીકતને કારણે છે કે આપણે માત્ર કાળી અને સફેદ છબીઓ માટે જ નહીં, પણ રંગીન છબીઓ માટે પણ કોન્ટ્રાસ્ટ સેન્સિટિવિટી ફંક્શનને માપી શકીએ છીએ. આ પ્રયોગોના પરિણામો દર્શાવે છે કે મોટાભાગના કિસ્સાઓમાં આપણી આંખો રંગ કરતાં તેજ પ્રત્યે વધુ સંવેદનશીલ હોય છે.

અમે જાણીએ છીએ કે અમે છબીની તેજસ્વીતા માટે વધુ સંવેદનશીલ છીએ, અમે આ હકીકતનો ઉપયોગ કરવાનો પ્રયાસ કરી શકીએ છીએ.

રંગ મોડેલ

RGB સ્કીમનો ઉપયોગ કરીને કલર ઈમેજો સાથે કેવી રીતે કામ કરવું તે અમે થોડું શોધી કાઢ્યું છે. અન્ય મોડલ પણ છે. ત્યાં એક મોડેલ છે જે ક્રોમાથી લ્યુમિનેન્સને અલગ કરે છે અને તે તરીકે ઓળખાય છે YCbCr. માર્ગ દ્વારા, ત્યાં અન્ય મોડેલો છે જે સમાન વિભાગ બનાવે છે, પરંતુ અમે ફક્ત આને ધ્યાનમાં લઈશું.

આ રંગ મોડેલમાં Y તેજનું પ્રતિનિધિત્વ છે, અને બે રંગ ચેનલોનો પણ ઉપયોગ કરે છે: Cb (સમૃદ્ધ વાદળી) અને Cr (સમૃદ્ધ લાલ). YCbCr RGB માંથી મેળવી શકાય છે, અને રિવર્સ કન્વર્ઝન પણ શક્ય છે. આ મૉડલનો ઉપયોગ કરીને અમે સંપૂર્ણ રંગીન ઈમેજો બનાવી શકીએ છીએ જેમ આપણે નીચે જોઈએ છીએ:

YCbCr અને RGB વચ્ચે કન્વર્ટ કરો

કોઈ વાંધો ઉઠાવશે: જો લીલો ઉપયોગ ન થાય તો બધા રંગો કેવી રીતે મેળવવું શક્ય છે?

આ પ્રશ્નનો જવાબ આપવા માટે, ચાલો RGB ને YCbCr માં કન્વર્ટ કરીએ. ચાલો ધોરણમાં અપનાવેલ ગુણાંકનો ઉપયોગ કરીએ બીટી .601, જેની એકમ દ્વારા ભલામણ કરવામાં આવી હતી ITU-R. આ વિભાગ ડિજિટલ વિડિયો માટેના ધોરણો નક્કી કરે છે. ઉદાહરણ તરીકે: 4K શું છે? ફ્રેમ રેટ, રિઝોલ્યુશન, કલર મોડલ શું હોવું જોઈએ?

પ્રથમ ચાલો તેજની ગણતરી કરીએ. ચાલો ITU દ્વારા પ્રસ્તાવિત સ્થિરાંકોનો ઉપયોગ કરીએ અને RGB મૂલ્યોને બદલીએ.

Y = 0.299R + 0.587G + 0.114B

અમારી પાસે તેજ છે તે પછી, અમે વાદળી અને લાલ રંગોને અલગ કરીશું:

Cb = 0.564(B - Y)

Cr = 0.713(R - Y)

અને અમે YCbCr નો ઉપયોગ કરીને પાછા કન્વર્ટ પણ કરી શકીએ છીએ અને ગ્રીન પણ મેળવી શકીએ છીએ:

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y - 0.344Cb - 0.714Cr

સામાન્ય રીતે, ડિસ્પ્લે (મોનિટર, ટીવી, સ્ક્રીન, વગેરે) માત્ર RGB મોડલનો ઉપયોગ કરે છે. પરંતુ આ મોડેલ વિવિધ રીતે ગોઠવી શકાય છે:

રંગ સબસેમ્પલિંગ

લ્યુમિનન્સ અને ક્રોમિનેન્સના સંયોજન તરીકે રજૂ કરાયેલી છબી સાથે, અમે માહિતીને પસંદગીયુક્ત રીતે દૂર કરીને ક્રોમિનેન્સ કરતાં લ્યુમિનેન્સ પ્રત્યે માનવ વિઝ્યુઅલ સિસ્ટમની વધુ સંવેદનશીલતાનો ઉપયોગ કરી શકીએ છીએ. ક્રોમા સબસેમ્પલિંગ એ લ્યુમિનન્સ કરતાં ક્રોમા માટે ઓછા રિઝોલ્યુશનનો ઉપયોગ કરીને ઈમેજોને એન્કોડ કરવાની એક પદ્ધતિ છે.

કલર રિઝોલ્યુશન ઘટાડવું કેટલું માન્ય છે?! તે તારણ આપે છે કે ત્યાં પહેલેથી જ કેટલાક આકૃતિઓ છે જે રીઝોલ્યુશન અને મર્જિંગને કેવી રીતે હેન્ડલ કરવું તે વર્ણવે છે (પરિણામી રંગ = Y + Cb + Cr).

આ યોજનાઓ તરીકે ઓળખાય છે ડાઉનસેમ્પલિંગ સિસ્ટમ્સ અને 3-ગણા ગુણોત્તર તરીકે દર્શાવવામાં આવે છે - a:x:y, જે લ્યુમિનેન્સ અને રંગ તફાવત સંકેતોના નમૂનાઓની સંખ્યા નક્કી કરે છે.

a - આડા નમૂનાનું ધોરણ (સામાન્ય રીતે 4 જેટલું)
x — પિક્સેલ્સની પ્રથમ પંક્તિમાં ક્રોમા નમૂનાઓની સંખ્યા (સાપેક્ષે આડું રીઝોલ્યુશન a)
y — પિક્સેલ્સની પ્રથમ અને બીજી પંક્તિઓ વચ્ચે ક્રોમા નમૂનાઓમાં ફેરફારોની સંખ્યા.

અપવાદ છે 4:1:0, દરેક 4-બાય-4 લ્યુમિનન્સ રિઝોલ્યુશન બ્લોકમાં એક ક્રોમા નમૂના પ્રદાન કરે છે.

આધુનિક કોડેકમાં વપરાતી સામાન્ય યોજનાઓ:

• 4:4:4 (કોઈ ડાઉનસેમ્પલિંગ નથી)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 - ફ્યુઝન ઉદાહરણ

અહીં YCbCr 4:2:0 નો ઉપયોગ કરીને મર્જ કરેલી છબી છે. નોંધ કરો કે અમે પિક્સેલ દીઠ માત્ર 12 બિટ્સ ખર્ચીએ છીએ.

આ તે જ છબી જેવો દેખાય છે, મુખ્ય પ્રકારના રંગ સબસેમ્પલિંગ સાથે એન્કોડેડ. પ્રથમ પંક્તિ અંતિમ YCbCr છે, નીચેની પંક્તિ ક્રોમા રિઝોલ્યુશન દર્શાવે છે. ગુણવત્તામાં સહેજ નુકશાનને ધ્યાનમાં રાખીને ખૂબ જ યોગ્ય પરિણામો.

યાદ રાખો કે જ્યારે અમે 278p રિઝોલ્યુશન અને 720 ફ્રેમ પ્રતિ સેકન્ડ પર એક કલાક લાંબી વિડિયો ફાઇલ સ્ટોર કરવા માટે 30 GB સ્ટોરેજ સ્પેસ ગણી હતી? જો આપણે YCbCr 4:2:0 નો ઉપયોગ કરીએ, તો આ કદ અડધો - 139 GB ઘટશે. અત્યાર સુધી, તે હજુ પણ સ્વીકાર્ય પરિણામથી દૂર છે.

તમે FFmpeg નો ઉપયોગ કરીને YCbCr હિસ્ટોગ્રામ જાતે મેળવી શકો છો. આ છબીમાં, વાદળી લાલ પર પ્રભુત્વ ધરાવે છે, જે હિસ્ટોગ્રામમાં જ સ્પષ્ટપણે દેખાય છે.

રંગ, તેજ, ​​રંગ શ્રેણી - વિડિઓ સમીક્ષા

અમે આ અદ્ભુત વિડિઓ જોવાની ભલામણ કરીએ છીએ. તે સમજાવે છે કે તેજ શું છે, અને સામાન્ય રીતે તમામ બિંદુઓ ડોટેડ છે ё તેજ અને રંગ વિશે.

ફ્રેમ પ્રકારો

ચલો આગળ વધીએ. ચાલો સમયની નિરર્થકતાને દૂર કરવાનો પ્રયાસ કરીએ. પરંતુ પ્રથમ, ચાલો કેટલીક મૂળભૂત પરિભાષા વ્યાખ્યાયિત કરીએ. ચાલો કહીએ કે અમારી પાસે પ્રતિ સેકન્ડ 30 ફ્રેમ્સવાળી મૂવી છે, અહીં તેની પ્રથમ 4 ફ્રેમ્સ છે:

આપણે ફ્રેમ્સમાં પુષ્કળ પુનરાવર્તન જોઈ શકીએ છીએ: ઉદાહરણ તરીકે, વાદળી પૃષ્ઠભૂમિ જે ફ્રેમથી ફ્રેમમાં બદલાતી નથી. આ સમસ્યાને ઉકેલવા માટે, અમે તેમને અમૂર્ત રીતે ત્રણ પ્રકારની ફ્રેમમાં વર્ગીકૃત કરી શકીએ છીએ.

આઈ-ફ્રેમ (Iએનટ્રો ફ્રેમ)

આઇ-ફ્રેમ (સંદર્ભ ફ્રેમ, કી ફ્રેમ, આંતરિક ફ્રેમ) સ્વ-સમાયેલ છે. તમે શું વિઝ્યુઅલાઈઝ કરવા માંગો છો તે ધ્યાનમાં લીધા વિના, I-ફ્રેમ અનિવાર્યપણે એક સ્થિર ફોટોગ્રાફ છે. પ્રથમ ફ્રેમ સામાન્ય રીતે I-ફ્રેમ હોય છે, પરંતુ અમે નિયમિતપણે I-ફ્રેમનું અવલોકન કરીશું, ભલે પ્રથમ ફ્રેમ ન હોય.

પી-ફ્રેમ (Pરીડેક્ટેડ ફ્રેમ)

પી-ફ્રેમ (અનુમાનિત ફ્રેમ) એ હકીકતનો લાભ લે છે કે લગભગ હંમેશા વર્તમાન છબીને પાછલી ફ્રેમનો ઉપયોગ કરીને પુનઃઉત્પાદિત કરી શકાય છે. ઉદાહરણ તરીકે, બીજી ફ્રેમમાં એકમાત્ર ફેરફાર બોલ આગળ વધવાનો છે. અમે ફ્રેમ 2 માં થોડો ફેરફાર કરીને ફ્રેમ 1 મેળવી શકીએ છીએ, ફક્ત આ ફ્રેમ્સ વચ્ચેના તફાવતનો ઉપયોગ કરીને. ફ્રેમ 2 બનાવવા માટે, અમે પહેલાની ફ્રેમ 1 નો સંદર્ભ લઈએ છીએ.

←

B-ફ્રેમ (Bઆઇ-પ્રેડિક્ટિવ ફ્રેમ)

માત્ર ભૂતકાળની જ નહીં, પણ ભવિષ્યની ફ્રેમ્સની પણ વધુ સારી કમ્પ્રેશન પ્રદાન કરવા માટેની લિંક્સ વિશે શું?! આ મૂળભૂત રીતે બી-ફ્રેમ (દ્વિદિશ ફ્રેમ) છે.

← →

મધ્યવર્તી આઉટપુટ

આ ફ્રેમ પ્રકારોનો ઉપયોગ શ્રેષ્ઠ શક્ય સંકોચન પ્રદાન કરવા માટે થાય છે. અમે આગળના વિભાગમાં આ કેવી રીતે થાય છે તે જોઈશું. હમણાં માટે, ચાલો નોંધ લઈએ કે વપરાશમાં લેવાયેલી મેમરીની દ્રષ્ટિએ સૌથી "ખર્ચાળ" આઇ-ફ્રેમ છે, પી-ફ્રેમ નોંધપાત્ર રીતે સસ્તી છે, પરંતુ વિડિઓ માટે સૌથી નફાકારક વિકલ્પ બી-ફ્રેમ છે.

ટેમ્પોરલ રીડન્ડન્સી (ઇન્ટર-ફ્રેમ અનુમાન)

ચાલો જોઈએ કે સમય જતાં પુનરાવર્તન ઘટાડવા માટે આપણી પાસે કયા વિકલ્પો છે. અમે ક્રોસ-પ્રેડિક્શન પદ્ધતિઓનો ઉપયોગ કરીને આ પ્રકારની નિરર્થકતાને હલ કરી શકીએ છીએ.

અમે ફ્રેમ 0 અને 1 ના ક્રમને એન્કોડ કરવા માટે શક્ય તેટલા ઓછા બિટ્સ ખર્ચવાનો પ્રયાસ કરીશું.

અમે ઉત્પાદન કરી શકીએ છીએ બાદબાકી, આપણે ફક્ત ફ્રેમ 1 માંથી ફ્રેમ 0 બાદ કરીએ છીએ. અમને ફ્રેમ 1 મળે છે, ફક્ત તેની અને પહેલાની ફ્રેમ વચ્ચેના તફાવતનો ઉપયોગ કરો, હકીકતમાં આપણે ફક્ત પરિણામી શેષને એન્કોડ કરીએ છીએ.

પરંતુ જો મેં તમને કહ્યું કે ત્યાં એક વધુ સારી પદ્ધતિ છે જે ઓછા બિટ્સનો ઉપયોગ કરે છે તો શું?! પ્રથમ, ચાલો ફ્રેમ 0 ને બ્લોક્સ ધરાવતા સ્પષ્ટ ગ્રીડમાં તોડીએ. અને પછી અમે ફ્રેમ 0 ના બ્લોક્સને ફ્રેમ 1 સાથે મેચ કરવાનો પ્રયાસ કરીશું. બીજા શબ્દોમાં કહીએ તો, અમે ફ્રેમ્સ વચ્ચેની હિલચાલનો અંદાજ લગાવીશું.

વિકિપીડિયા પરથી - બ્લોક ગતિ વળતર

બ્લોક ગતિ વળતર વર્તમાન ફ્રેમને બિન-ઓવરલેપિંગ બ્લોક્સમાં વિભાજિત કરે છે અને ગતિ વળતર વેક્ટર બ્લોકની ઉત્પત્તિની જાણ કરે છે (એક સામાન્ય ગેરસમજ એ છે કે પાછલું ફ્રેમને બિન-ઓવરલેપિંગ બ્લોક્સમાં વિભાજિત કરવામાં આવે છે, અને ગતિ વળતર વેક્ટર જણાવે છે કે તે બ્લોક્સ ક્યાં જાય છે. પરંતુ વાસ્તવમાં, તે બીજી રીતે છે - તે અગાઉની ફ્રેમ નથી જેનું વિશ્લેષણ કરવામાં આવ્યું છે, પરંતુ તે પછીનું છે; તે સ્પષ્ટ નથી કે બ્લોક્સ ક્યાંથી આગળ વધી રહ્યા છે, પરંતુ તે ક્યાંથી આવ્યા છે). સામાન્ય રીતે સ્રોત બ્લોક્સ સ્ત્રોત ફ્રેમમાં ઓવરલેપ થાય છે. કેટલાક વિડિયો કમ્પ્રેશન એલ્ગોરિધમ વર્તમાન ફ્રેમને એક પણ નહીં, પરંતુ અગાઉ પ્રસારિત કરવામાં આવેલી ઘણી ફ્રેમના ભાગોમાંથી એસેમ્બલ કરે છે.

મૂલ્યાંકન પ્રક્રિયા દરમિયાન, આપણે જોઈએ છીએ કે બોલ (x= 0, y=25) દ્વારા (x= 6, y=26), મૂલ્યો x и y ગતિ વેક્ટર નક્કી કરો. બિટ્સને સાચવવા માટે આપણે બીજું એક પગલું એ છે કે છેલ્લી બ્લોક પોઝિશન અને અનુમાનિત એક વચ્ચે માત્ર ગતિ વેક્ટરના તફાવતને એન્કોડ કરવાનું છે, તેથી અંતિમ ગતિ વેક્ટર હશે (x=6-0=6, y=26-25=1 ).

વાસ્તવિક પરિસ્થિતિમાં, આ બોલને વિભાજિત કરવામાં આવશે n બ્લોક્સ, પરંતુ આ બાબતના સારને બદલતું નથી.

ફ્રેમમાં ઓબ્જેક્ટો ત્રણ પરિમાણોમાં આગળ વધે છે, તેથી જ્યારે બોલ આગળ વધે છે, ત્યારે તે દૃષ્ટિની રીતે નાનો બની શકે છે (અથવા જો તે દર્શક તરફ આગળ વધે છે) તે સામાન્ય છે કે બ્લોક્સ વચ્ચે સંપૂર્ણ મેચ નહીં હોય. અહીં અમારા અંદાજ અને વાસ્તવિક ચિત્રનું સંયુક્ત દૃશ્ય છે.

પરંતુ આપણે જોઈએ છીએ કે જ્યારે આપણે ગતિ અનુમાનનો ઉપયોગ કરીએ છીએ, ત્યારે ફ્રેમ વચ્ચેના ડેલ્ટાની ગણતરી કરવાની સરળ પદ્ધતિનો ઉપયોગ કરતાં કોડિંગ માટે નોંધપાત્ર રીતે ઓછો ડેટા હોય છે.

વાસ્તવિક ગતિ વળતર કેવું દેખાશે

આ તકનીક એક જ સમયે તમામ બ્લોક્સ પર લાગુ થાય છે. ઘણીવાર આપણો શરતી મૂવિંગ બોલ એકસાથે અનેક બ્લોકમાં વિભાજિત થશે.

તમે ઉપયોગ કરીને આ વિભાવનાઓ માટે જાતે અનુભવ મેળવી શકો છો જ્યુપીટર.

ગતિ વેક્ટર્સ જોવા માટે, તમે ઉપયોગ કરીને બાહ્ય આગાહી વિડિઓ બનાવી શકો છો ffmpeg.

તમે પણ ઉપયોગ કરી શકો છો ઇન્ટેલ વિડિઓ પ્રો વિશ્લેષક (તે ચૂકવવામાં આવે છે, પરંતુ એક મફત અજમાયશ છે જે ફક્ત પ્રથમ દસ ફ્રેમ્સ સુધી મર્યાદિત છે).

અવકાશી રીડન્ડન્સી (આંતરિક આગાહી)

જો આપણે વિડિયોમાં દરેક ફ્રેમનું પૃથ્થકરણ કરીશું, તો આપણને ઘણા એકબીજા સાથે જોડાયેલા વિસ્તારો મળશે.

ચાલો આ ઉદાહરણમાં જઈએ. આ દ્રશ્યમાં મુખ્યત્વે વાદળી અને સફેદ રંગોનો સમાવેશ થાય છે.

આ એક આઈ-ફ્રેમ છે. અમે પૂર્વાનુમાન માટે અગાઉની ફ્રેમ લઈ શકતા નથી, પરંતુ અમે તેને સંકુચિત કરી શકીએ છીએ. ચાલો લાલ બ્લોકની પસંદગીને એન્કોડ કરીએ. જો આપણે તેના પડોશીઓને જોઈએ છીએ, તો આપણે નોંધ્યું છે કે તેની આસપાસ કેટલાક રંગ વલણો છે.

અમે ધારીએ છીએ કે રંગો ફ્રેમમાં ઊભી રીતે ફેલાય છે. જેનો અર્થ છે કે અજાણ્યા પિક્સેલના રંગમાં તેના પડોશીઓની કિંમતો હશે.

આવી આગાહી ખોટી હોઈ શકે છે. તે આ કારણોસર છે કે તમારે આ પદ્ધતિ (આંતરિક આગાહી) લાગુ કરવાની જરૂર છે, અને પછી વાસ્તવિક મૂલ્યોને બાદ કરો. આ અમને એક શેષ બ્લોક આપશે, જે મૂળની સરખામણીમાં વધુ સંકુચિત મેટ્રિક્સમાં પરિણમશે.

જો તમે આંતરિક આગાહીઓ સાથે પ્રેક્ટિસ કરવા માંગતા હો, તો તમે ffmpeg નો ઉપયોગ કરીને મેક્રોબ્લોક અને તેમની આગાહીઓનો વિડિઓ બનાવી શકો છો. દરેક બ્લોક રંગનો અર્થ સમજવા માટે, તમારે ffmpeg દસ્તાવેજીકરણ વાંચવું પડશે.

અથવા તમે Intel Video Pro Analyzer નો ઉપયોગ કરી શકો છો (જેમ મેં ઉપર કહ્યું છે, મફત અજમાયશ સંસ્કરણ પ્રથમ 10 ફ્રેમ્સ સુધી મર્યાદિત છે, પરંતુ આ તમારા માટે પહેલા પૂરતું હશે).

બીજો ભાગ: વિડિઓ કોડેક કેવી રીતે કાર્ય કરે છે

સોર્સ: www.habr.com