भिडियो कोडेक कसरी काम गर्छ? भाग १: आधारभूत कुरा

दोस्रो भाग: भिडियो कोडेकले कसरी काम गर्छ

कुनै पनि रास्टर छवि फारममा प्रतिनिधित्व गर्न सकिन्छ दुई-आयामी म्याट्रिक्स। जब यो रंग को लागी आउँछ, विचार को रूप मा एक छवि हेरेर विकसित गर्न सकिन्छ त्रि-आयामी म्याट्रिक्स, जसमा प्रत्येक रङको लागि डेटा भण्डारण गर्न अतिरिक्त आयामहरू प्रयोग गरिन्छ।

यदि हामीले अन्तिम रङलाई तथाकथितको संयोजनको रूपमा विचार गर्छौं। प्राथमिक रङहरू (रातो, हरियो र निलो), हाम्रो त्रि-आयामी म्याट्रिक्समा हामी तीनवटा प्लेनहरू परिभाषित गर्छौं: पहिलो रातो, दोस्रो हरियो र अन्तिम नीलोको लागि।

हामी यस म्याट्रिक्सको प्रत्येक बिन्दुलाई पिक्सेल (छवि तत्व) भन्नेछौं। प्रत्येक पिक्सेलले प्रत्येक रङको तीव्रता (सामान्यतया संख्यात्मक मानको रूपमा) बारे जानकारी समावेश गर्दछ। उदाहरणका लागि, रातो पिक्सेल यसको मतलब ० हरियो, ० नीलो र अधिकतम रातो हुन्छ। गुलाबी पिक्सेल तीन रंग को संयोजन प्रयोग गरेर गठन गर्न सकिन्छ। 0 देखि 255 सम्मको संख्यात्मक दायरा प्रयोग गरेर, गुलाबी पिक्सेललाई परिभाषित गरिएको छ रातो = 255, हरियो = १९२ и नीलो = 203.

यो लेख EDISON को समर्थन संग प्रकाशित भएको थियो।

विकास गरिरहेका छौं भिडियो निगरानी, ​​भिडियो स्ट्रिमिङका लागि आवेदनहरू, र हामी पनि संलग्न छौं सर्जिकल कोठामा भिडियो रेकर्डिङ.

रङ छवि इन्कोड गर्ने वैकल्पिक तरिकाहरू

त्यहाँ धेरै अन्य मोडेलहरू छन् रङहरू प्रतिनिधित्व गर्न जुन छवि बनाउँछ। उदाहरणका लागि, तपाईंले अनुक्रमित प्यालेट प्रयोग गर्न सक्नुहुन्छ, जसलाई RGB मोडेल प्रयोग गर्दा आवश्यक तीनवटाको सट्टा प्रत्येक पिक्सेललाई प्रतिनिधित्व गर्न केवल एक बाइट चाहिन्छ। यस्तो मोडेलमा, प्रत्येक रंग प्रतिनिधित्व गर्न 2D म्याट्रिक्सको सट्टा 3D म्याट्रिक्स प्रयोग गर्न सम्भव छ। यसले मेमोरी बचत गर्छ, तर सानो रङ गामुट दिन्छ।

RGB

उदाहरणको लागि, तलको यो चित्रलाई हेर्नुहोस्। पहिलो अनुहार पूर्ण रूपमा चित्रित छ। अन्यहरू रातो, हरियो र नीलो विमानहरू हुन् (सम्बन्धित रंगहरूको तीव्रता ग्रेस्केलमा देखाइएको छ)।

हामी देख्छौं कि मूलमा रातो रंगहरू उही ठाउँहरूमा हुनेछ जहाँ दोस्रो अनुहारको उज्यालो भागहरू अवलोकन गरिन्छ। जबकि नीलोको योगदान मुख्यतया मारियोको आँखा (अन्तिम अनुहार) र उसको कपडाको तत्वहरूमा मात्र देख्न सकिन्छ। ध्यान दिनुहोस् जहाँ सबै तीन रङ प्लेनहरूले कम से कम योगदान गर्दछ (तस्बिरहरूको सबैभन्दा गाढा भागहरू) - मारियोको जुँगा।

प्रत्येक रंगको तीव्रता भण्डारण गर्न, बिट्स को एक निश्चित संख्या आवश्यक छ - यो मात्रा भनिन्छ बिट गहिराई। मानौं 8 बिटहरू प्रति रङ प्लेनमा खर्च गरिन्छ (0 देखि 255 सम्मको मानमा आधारित)। त्यसपछि हामीसँग 24 बिट (8 बिट * 3 R/G/B प्लेनहरू) को रंग गहिराइ छ।

छविको अर्को गुण हो संकल्प, जुन एक आयाममा पिक्सेलको संख्या हो। प्रायः को रूपमा संकेत गरिएको चौडाइ × उचाइ, तलको 4 by 4 उदाहरण छविमा जस्तै।


छविहरू/भिडियोहरूसँग काम गर्दा हामीले सम्झौता गर्ने अर्को सम्पत्ति हो आकार अनुपात, छवि वा पिक्सेलको चौडाइ र उचाइ बीचको सामान्य समानुपातिक सम्बन्धको वर्णन गर्दै।

जब तिनीहरू भन्छन् कि कुनै निश्चित फिल्म वा तस्विर 16 बाइ 9 साइजमा छ, तिनीहरूले सामान्यतया मतलब गर्छन् प्रदर्शन पक्ष अनुपात (DAR - बाट प्रदर्शन पक्ष अनुपात)। यद्यपि, कहिलेकाहीँ त्यहाँ व्यक्तिगत पिक्सेलको विभिन्न आकारहरू हुन सक्छन् - यस अवस्थामा हामी कुरा गर्दैछौं पिक्सेल अनुपात (PAR - बाट पिक्सेल पक्ष अनुपात).

परिचारिकालाई नोट: डीभिडी यससँग सम्बन्धित छ DAR 4 देखि 3

यद्यपि वास्तविक DVD रिजोल्युसन 704x480 हो, यसले अझै पनि 4:3 पक्ष अनुपात कायम राख्छ किनभने PAR 10:11 (704x10 / 480x11) हो।

र अन्तमा, हामी निर्धारण गर्न सक्छौं видео को एक क्रम जस्तै n अवधिको लागि फ्रेमहरू समय, जसलाई अतिरिक्त आयाम मान्न सकिन्छ। ए n त्यसपछि फ्रेम दर वा फ्रेम संख्या प्रति सेकेन्ड (FPS - बाट फ्रेम प्रति सेकेन्ड).

भिडियो प्रदर्शन गर्न प्रति सेकेन्ड बिट संख्या आवश्यक छ प्रसारण गति - बिटरेट.

बिटरेट = चौडाइ * उचाइ * बिट गहिराई * फ्रेम प्रति सेकेन्ड

उदाहरणका लागि, एउटा 30 fps, 24 bps, 480x240 भिडियोलाई 82,944,000 bps वा 82,944 Mbps (30x480x240x24) चाहिन्छ - तर यदि कुनै कम्प्रेसन विधि प्रयोग गरिएको छैन भने।

यदि स्थानान्तरण गति लगभग स्थिर, त्यसपछि यो भनिन्छ निरन्तर प्रसारण गति (सीबीआर - बाट स्थिर बिट दर)। तर यो पनि फरक हुन सक्छ, यस अवस्थामा यो भनिन्छ चर बाउड दर (Vrirse - बाट चर बिट दर).

यो ग्राफले सीमित VBR देखाउँछ, जहाँ पूर्णतया अँध्यारो फ्रेमको अवस्थामा धेरै बिटहरू बर्बाद हुँदैनन्।

ईन्जिनियरहरूले सुरुमा अतिरिक्त ब्यान्डविथ प्रयोग नगरी भिडियो डिस्प्लेको कथित फ्रेम दर दोब्बर गर्ने विधि विकास गरे। यो विधि को रूपमा चिनिन्छ interlaced भिडियो; सामान्यतया, यसले पहिलो "फ्रेम" मा आधा स्क्रिन र अर्को आधा अर्को "फ्रेम" मा पठाउँछ।

हाल, दृश्यहरू प्रायः प्रयोग गरेर रेन्डर गरिएका छन् प्रगतिशील स्क्यानिङ प्रविधिहरू। यो चलिरहेको छविहरू प्रदर्शन, भण्डारण वा प्रसारण गर्ने विधि हो जसमा प्रत्येक फ्रेमका सबै रेखाहरू क्रमबद्ध रूपमा कोरिन्छन्।

खैर! अब हामी जान्दछौं कि छवि कसरी डिजिटल रूपमा प्रतिनिधित्व गरिन्छ, कसरी यसको रंगहरू व्यवस्थित हुन्छन्, हामी भिडियो देखाउन कति बिट प्रति सेकेन्ड खर्च गर्छौं, यदि बिट दर स्थिर छ (CBR) वा चल (VBR)। हामीलाई दिइएको फ्रेम रेट प्रयोग गरी दिइएको रिजोल्युसनको बारेमा थाहा छ, हामी अन्य धेरै सर्तहरू जस्तै इन्टरलेस गरिएको भिडियो, PAR र केही अन्यसँग परिचित छौं।

अनावश्यकता हटाउँदै

यो थाहा छ कि कम्प्रेसन बिना भिडियो सामान्य रूपमा प्रयोग गर्न सकिँदैन। 720p रिजोल्युसन र 30 फ्रेम प्रति सेकेन्डमा एक घण्टा लामो भिडियोले 278 GB लिन्छ। हामी 1280 x 720 x 24 x 30 x 3600 (चौडाइ, उचाइ, बिट्स प्रति पिक्सेल, FPS र सेकेन्डमा समय) गुणन गरेर यो मानमा पुग्छौं।

प्रयोग गर्नुहोस् हानिरहित कम्प्रेसन एल्गोरिदम, जस्तै DEFLATE (PKZIP, Gzip र PNG मा प्रयोग गरिन्छ), आवश्यक ब्यान्डविथ पर्याप्त मात्रामा घटाउने छैन। हामीले भिडियो कम्प्रेस गर्न अन्य तरिकाहरू खोज्नु पर्छ।

यो गर्न, तपाईं हाम्रो दृष्टि को सुविधाहरू प्रयोग गर्न सक्नुहुन्छ। हामी रंग भन्दा चमक छुट्याउन राम्रो छ। भिडियो क्रमिक छविहरूको एक श्रृंखला हो जुन समयसँगै दोहोरिन्छ। एउटै दृश्यको छेउछाउका फ्रेमहरू बीच सानो भिन्नताहरू छन्। थप रूपमा, प्रत्येक फ्रेमले एउटै (वा समान) रंग प्रयोग गरेर धेरै क्षेत्रहरू समावेश गर्दछ।

रंग, चमक र हाम्रो आँखा

हाम्रा आँखा रङभन्दा चमकप्रति बढी संवेदनशील हुन्छन्। यो तस्विर हेरेर तपाई आफैले यो कुरा देख्न सक्नुहुन्छ।

यदि तपाईंले त्यो छविको बायाँ आधामा वर्गका रंगहरू देख्नुभएन भने A и B वास्तवमा उस्तै छन्, त्यसपछि त्यो सामान्य हो। हाम्रो मस्तिष्कले हामीलाई रंग भन्दा प्रकाश र छायामा बढी ध्यान दिन बाध्य पार्छ। तोकिएको वर्गहरू बीचको दायाँ तिर एउटै रङको जम्पर छ - त्यसैले हामी (अर्थात हाम्रो मस्तिष्क) सजिलै निर्धारण गर्छौं कि, वास्तवमा, तिनीहरू एउटै रङ हुन्।

हाम्रो आँखाले कसरी काम गर्छ भनेर हेरौं (सरल तरिकामा)। आँखा धेरै भागहरु मिलेर बनेको जटिल अंग हो। यद्यपि, हामी कोन र रडहरूमा सबैभन्दा बढी चासो राख्छौं। आँखामा लगभग 120 मिलियन रडहरू र 6 मिलियन कोनहरू छन्।

आँखाका केही भागहरूको अलग-अलग प्रकार्यहरूको रूपमा रंग र चमकको धारणालाई विचार गरौं (वास्तवमा, सबै कुरा केही हदसम्म जटिल छ, तर हामी यसलाई सरल बनाउनेछौं)। रड कोशिकाहरु मुख्यतया चमक को लागी जिम्मेवार छन्, जबकि कोन कोशिकाहरु रंग को लागी जिम्मेवार छन्। शंकुहरूलाई तीन प्रकारमा विभाजन गरिएको छ, तिनीहरूमा भएको वर्णकको आधारमा: S-cones (नीलो), M-cones (हरियो), र L-cones (रातो)।

हामीसँग कोन (रङ) भन्दा धेरै रडहरू (चमक) भएकाले, हामी निष्कर्षमा पुग्न सक्छौं कि हामी रंगहरू भन्दा अँध्यारो र उज्यालो बीचको संक्रमणलाई छुट्याउन सक्षम छौं।

कन्ट्रास्ट संवेदनशीलता सुविधाहरू

प्रयोगात्मक मनोविज्ञान र अन्य धेरै क्षेत्रहरूमा अनुसन्धानकर्ताहरूले मानव दृष्टिको धेरै सिद्धान्तहरू विकास गरेका छन्। र ती मध्ये एक भनिन्छ विपरीत संवेदनशीलता कार्यहरू। तिनीहरू स्थानिक र अस्थायी रोशनीसँग सम्बन्धित छन्। छोटकरीमा, यो एक पर्यवेक्षकले नोटिस गर्नु अघि कति परिवर्तनहरू आवश्यक छ भन्ने बारे हो। "कार्य" शब्दको बहुवचनलाई ध्यान दिनुहोस्। यो तथ्यको कारण हो कि हामी कालो र सेतो छविहरूको लागि मात्र होइन, तर रङहरूका लागि पनि कन्ट्रास्ट संवेदनशीलता कार्यहरू मापन गर्न सक्छौं। यी प्रयोगहरूको नतिजाले देखाउँछ कि धेरै जसो केसहरूमा हाम्रो आँखा रङको तुलनामा चमकप्रति बढी संवेदनशील हुन्छ।

हामीलाई थाहा छ कि हामी छविको चमकप्रति बढी संवेदनशील छौं, हामी यो तथ्य प्रयोग गर्ने प्रयास गर्न सक्छौं।

रङ मोडेल

हामीले RGB योजना प्रयोग गरेर रङ छविहरूसँग कसरी काम गर्ने भनेर अलिकति पत्ता लगायौं। त्यहाँ अन्य मोडेलहरू पनि छन्। त्यहाँ एक मोडेल छ जसले क्रोमाबाट लुमिनेन्स अलग गर्दछ र यसलाई भनिन्छ YCbCr। वैसे, त्यहाँ अन्य मोडेलहरू छन् जसले समान विभाजन गर्दछ, तर हामी यसलाई मात्र विचार गर्नेछौं।

यो रंग मोडेल मा Y चमक को एक प्रतिनिधित्व हो, र पनि दुई रङ च्यानल प्रयोग गर्दछ: Cb (रिच नीलो) र Cr (धनी रातो)। YCbCr RGB बाट व्युत्पन्न गर्न सकिन्छ, र उल्टो रूपान्तरण पनि सम्भव छ। यो मोडेल प्रयोग गरेर हामी पूर्ण रङ छविहरू सिर्जना गर्न सक्छौं जुन हामी तल देख्छौं:

YCbCr र RGB बीच रूपान्तरण गर्नुहोस्

कसैले आपत्ति गर्नेछ: हरियो प्रयोग नगरेको खण्डमा सबै रङ कसरी पाउन सकिन्छ?

यस प्रश्नको जवाफ दिन, RGB लाई YCbCr मा रूपान्तरण गरौं। मानकमा अपनाइएका गुणांकहरू प्रयोग गरौं बीटी २०२०, जुन इकाई द्वारा सिफारिस गरिएको थियो ITU-R। यो विभाजनले डिजिटल भिडियोको लागि मापदण्डहरू सेट गर्दछ। उदाहरण को लागी: 4K के हो? फ्रेम दर, रिजोल्युसन, रङ मोडेल कस्तो हुनुपर्छ?

पहिले चमक गणना गरौं। ITU द्वारा प्रस्तावित स्थिरांकहरू प्रयोग गरौं र RGB मानहरू बदलौं।

Y = 0.299R + 0.587G + 0.114B

हामीसँग उज्यालो भएपछि, हामी नीलो र रातो रंगहरू अलग गर्नेछौं:

Cb = ६(B - Y)

Cr = ६(R - Y)

र हामी YCbCr प्रयोग गरेर फिर्ता रूपान्तरण र हरियो पनि प्राप्त गर्न सक्छौं:

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y - 0.344Cb - 0.714Cr

सामान्यतया, डिस्प्लेहरू (मोनिटरहरू, टिभीहरू, स्क्रिनहरू, आदि) मात्र RGB मोडेल प्रयोग गर्छन्। तर यो मोडेल विभिन्न तरिकामा व्यवस्थित गर्न सकिन्छ:

रङ सबसम्पलिंग

ल्युमिनेन्स र क्रोमिनेन्सको संयोजनको रूपमा प्रतिनिधित्व गरिएको छविको साथ, हामीले छनोट गरी जानकारी हटाएर क्रोमिनेन्स भन्दा ल्युमिनेन्सको लागि मानव दृश्य प्रणालीको ठूलो संवेदनशीलताको शोषण गर्न सक्छौं। क्रोमा सबसम्पलिंग भनेको लुमिनेन्सको तुलनामा क्रोमाको लागि कम रिजोल्युसन प्रयोग गरी छविहरू इन्कोड गर्ने विधि हो।

रङ रिजोल्युसन कम गर्न कति अनुमति छ?! यो बाहिर जान्छ कि त्यहाँ पहिले नै केहि रेखाचित्रहरू छन् जसले कसरी रिजोल्युसन र मर्ज गर्ने भनेर वर्णन गर्दछ (परिणामी रंग = Y + Cb + Cr)।

यी योजनाहरू भनेर चिनिन्छन् डाउनसम्पलिंग प्रणालीहरू र 3-गुना अनुपातको रूपमा व्यक्त गरिन्छ - a:x:y, जसले ल्युमिनेन्स र रंग भिन्नता संकेतहरूको नमूनाहरूको संख्या निर्धारण गर्दछ।

a - तेर्सो नमूना मानक (सामान्यतया 4 बराबर)
x — पिक्सेलको पहिलो पङ्क्तिमा क्रोमा नमूनाहरूको सङ्ख्या (सापेक्ष तेर्सो रिजोल्युसन a)
y - पिक्सेलको पहिलो र दोस्रो पङ्क्तिहरू बीच क्रोमा नमूनाहरूमा परिवर्तनहरूको संख्या।

अपवाद छ 4:1:0, प्रत्येक 4-by-4 ल्युमिनेन्स रिजोल्युसन ब्लकमा एउटा क्रोमा नमूना प्रदान गर्दै।

आधुनिक कोडेकहरूमा प्रयोग हुने साधारण योजनाहरू:

• 4:4:4 (डाउनसम्पलिंग छैन)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 - फ्युजन उदाहरण

यहाँ YCbCr 4:2:0 प्रयोग गरी मर्ज गरिएको छवि छ। ध्यान दिनुहोस् कि हामी केवल 12 बिट प्रति पिक्सेल खर्च गर्दैछौं।

यो उही छवि जस्तो देखिन्छ, मुख्य प्रकारको रङ सबसम्पलिंगसँग इन्कोड गरिएको। पहिलो पङ्क्ति अन्तिम YCbCr हो, तलको पङ्क्तिले क्रोमा रिजोल्युसन देखाउँछ। गुणस्तरमा थोरै हानिलाई ध्यानमा राख्दै धेरै राम्रो परिणामहरू।

याद गर्नुहोस् जब हामीले 278p रिजोल्युसन र 720 फ्रेम प्रति सेकेन्डमा एक घण्टा लामो भिडियो फाइल भण्डारण गर्न 30 GB भण्डारण ठाउँ गन्यौं? यदि हामीले YCbCr 4:2:0 प्रयोग गर्छौं भने, यो साइज आधा - 139 GB ले घट्नेछ। अहिलेसम्म, यो अझै पनि स्वीकार्य परिणामबाट टाढा छ।

तपाईंले FFmpeg प्रयोग गरेर YCbCr हिस्टोग्राम आफैं प्राप्त गर्न सक्नुहुन्छ। यस छविमा, नीलो रातोमा हावी हुन्छ, जुन हिस्टोग्राममा स्पष्ट रूपमा देखिन्छ।

रंग, चमक, रंग सरगम ​​- भिडियो समीक्षा

हामी यो अद्भुत भिडियो हेर्न सिफारिस गर्दछौं। यसले चमक भनेको के हो भनेर बताउँछ, र सामान्यतया सबै थोप्लाहरू डट गरिएका छन् ё चमक र रंग को बारे मा।

फ्रेम प्रकारहरू

अगाडि बढौं। समयको अनावश्यकता हटाउन प्रयास गरौं। तर पहिले, केही आधारभूत शब्दावली परिभाषित गरौं। मानौं हामीसँग ३० फ्रेम प्रति सेकेन्ड भएको चलचित्र छ, यहाँ यसको पहिलो ४ फ्रेमहरू छन्:

हामी फ्रेमहरूमा धेरै पुनरावृत्ति देख्न सक्छौं: उदाहरणका लागि, नीलो पृष्ठभूमि जुन फ्रेमबाट फ्रेममा परिवर्तन हुँदैन। यो समस्या समाधान गर्न, हामी तिनीहरूलाई तीन प्रकारका फ्रेमहरूमा अमूर्त रूपमा वर्गीकृत गर्न सक्छौं।

I-फ्रेम (Iएनट्रो फ्रेम)

I-फ्रेम (सन्दर्भ फ्रेम, कुञ्जी फ्रेम, भित्री फ्रेम) आत्म-निहित छ। तपाईं के कल्पना गर्न चाहानुहुन्छ, एक I-फ्रेम अनिवार्य रूपमा एक स्थिर फोटो हो। पहिलो फ्रेम सामान्यतया एक I-फ्रेम हो, तर हामी नियमित रूपमा I-फ्रेमहरू पहिलो फ्रेमहरू नभई पनि अवलोकन गर्नेछौं।

P-फ्रेम (Pपरिमार्जन गरिएको फ्रेम)

P-फ्रेम (भविष्यवाणी फ्रेम) ले यस तथ्यको फाइदा लिन्छ कि लगभग सधैं हालको छवि अघिल्लो फ्रेम प्रयोग गरेर पुन: उत्पादन गर्न सकिन्छ। उदाहरणका लागि, दोस्रो फ्रेममा मात्र परिवर्तन बल अगाडि बढ्दै छ। हामीले फ्रेम 2 लाई थोरै परिमार्जन गरेर मात्र यी फ्रेमहरू बीचको भिन्नता प्रयोग गरेर फ्रेम 1 प्राप्त गर्न सक्छौं। फ्रेम 2 निर्माण गर्न, हामी अघिल्लो फ्रेम 1 लाई सन्दर्भ गर्छौं।

←

B-फ्रेम (Bi-भविष्यवाणी फ्रेम)

विगतमा मात्र नभई भविष्यका फ्रेमहरूमा अझ राम्रो कम्प्रेसन प्रदान गर्नका लागि लिङ्कहरूको बारेमा के हो?! यो मूलतया एक B-फ्रेम (द्वि दिशात्मक फ्रेम) हो।

← →

मध्यवर्ती निकासी

यी फ्रेम प्रकारहरू उत्तम सम्भावित सङ्कुचन प्रदान गर्न प्रयोग गरिन्छ। हामी अर्को खण्डमा यो कसरी हुन्छ हेर्नेछौं। अहिलेको लागि, ध्यान दिनुहोस् कि मेमोरीको सन्दर्भमा सबैभन्दा "महंगा" I-फ्रेम हो, P-फ्रेम उल्लेखनीय रूपमा सस्तो छ, तर भिडियोको लागि सबैभन्दा लाभदायक विकल्प B-फ्रेम हो।

टेम्पोरल रिडन्डन्सी (अन्तर-फ्रेम भविष्यवाणी)

समयसँगै पुनरावृत्तिलाई कम गर्न हामीसँग के विकल्पहरू छन् भनी हेरौं। हामी क्रस-पूर्वानुमान विधिहरू प्रयोग गरेर यस प्रकारको अनावश्यकता समाधान गर्न सक्छौं।

हामी फ्रेमहरू 0 र 1 को अनुक्रम सङ्केतन गर्न सकेसम्म थोरै बिटहरू खर्च गर्ने प्रयास गर्नेछौं।

उत्पादन गर्न सक्छौं घटाउ, हामी केवल फ्रेम 1 बाट फ्रेम 0 घटाउँछौं। हामीले फ्रेम 1 पाउँछौं, केवल यो र अघिल्लो फ्रेम बीचको भिन्नता प्रयोग गर्छौं, वास्तवमा हामीले नतिजा बाँकीलाई मात्र इन्कोड गर्छौं।

तर के हुन्छ यदि मैले तपाईंलाई भनें कि त्यहाँ अझ राम्रो विधि छ जसले थोरै बिटहरू प्रयोग गर्दछ?! पहिले, ब्लकहरू समावेश भएको स्पष्ट ग्रिडमा फ्रेम ० लाई तोडौं। र त्यसपछि हामी फ्रेम १ सँग फ्रेम ० बाट ब्लकहरू मिलाउने प्रयास गर्नेछौं। अर्को शब्दमा, हामी फ्रेमहरू बीचको आन्दोलनको अनुमान गर्नेछौं।

विकिपिडिया बाट - अवरोध गति क्षतिपूर्ति

ब्लक गति क्षतिपूर्तिले हालको फ्रेमलाई गैर-ओभरल्यापिङ ब्लकहरूमा विभाजन गर्दछ र गति क्षतिपूर्ति भेक्टरले ब्लकहरूको उत्पत्ति रिपोर्ट गर्दछ (सामान्य गलत धारणा यो हो। अघिल्लो फ्रेमलाई गैर-ओभरल्यापिङ ब्लकहरूमा विभाजन गरिएको छ, र गति क्षतिपूर्ति भेक्टरहरूले ती ब्लकहरू कहाँ जान्छन् भनी बताउँछन्। तर वास्तवमा, यो अर्को तरिका हो - यो विश्लेषण गरिएको अघिल्लो फ्रेम होइन, तर अर्को; यो स्पष्ट छैन कि ब्लकहरू कहाँ सर्दैछन्, तर तिनीहरू कहाँबाट आएका छन्)। सामान्यतया स्रोत ब्लकहरू स्रोत फ्रेममा ओभरल्याप हुन्छन्। केही भिडियो कम्प्रेसन एल्गोरिदमहरूले हालको फ्रेमलाई एक पनि होइन, तर धेरै पहिले प्रसारण गरिएका फ्रेमहरूको भागहरूबाट जम्मा गर्दछ।

मूल्याङ्कन प्रक्रियाको क्रममा, हामी देख्छौं कि बल (x= 0, y=25) द्वारा (x= 6, y= 26), मानहरू x и y गति वेक्टर निर्धारण गर्नुहोस्। बिट्स सुरक्षित गर्न हामीले गर्न सक्ने अर्को कदम भनेको अन्तिम ब्लक स्थिति र भविष्यवाणी गरिएको बीचको गति भेक्टरको भिन्नतालाई मात्र सङ्केत गर्नु हो, त्यसैले अन्तिम गति भेक्टर (x=6-0=6, y=26-25=1) हुनेछ। )।

वास्तविक अवस्थामा, यो बल विभाजित हुनेछ n ब्लकहरू, तर यसले कुराको सार परिवर्तन गर्दैन।

फ्रेममा भएका वस्तुहरू तीन आयामहरूमा सर्छन्, त्यसैले जब बल चल्छ, यो दृश्य रूपमा सानो हुन सक्छ (वा यदि यो दर्शकतिर सर्छ भने ठूलो)। यो सामान्य हो कि त्यहाँ ब्लकहरू बीच पूर्ण मेल नहोस्। यहाँ हाम्रो अनुमान र वास्तविक तस्वीर को एक संयुक्त दृश्य छ।

तर हामी देख्छौं कि जब हामी गति अनुमान प्रयोग गर्छौं, फ्रेमहरू बीचको डेल्टा गणना गर्ने सरल विधि प्रयोग गर्दा कोडिङको लागि उल्लेखनीय रूपमा कम डेटा हुन्छ।

वास्तविक गति क्षतिपूर्ति कस्तो देखिन्छ

यो प्रविधि एकैचोटि सबै ब्लकहरूमा लागू हुन्छ। प्रायः हाम्रो सशर्त चलिरहेको बल एकै पटक धेरै ब्लकहरूमा विभाजित हुनेछ।

तपाईं आफैं प्रयोग गरेर यी अवधारणाहरूको लागि महसुस गर्न सक्नुहुन्छ जुपिटर.

गति भेक्टरहरू हेर्नको लागि, तपाइँ प्रयोग गरेर बाह्य भविष्यवाणी भिडियो सिर्जना गर्न सक्नुहुन्छ ffmpeg.

तपाईं पनि प्रयोग गर्न सक्नुहुन्छ इंटेल भिडियो प्रो विश्लेषक (यो भुक्तान गरिएको छ, तर त्यहाँ एक निःशुल्क परीक्षण छ जुन पहिलो दस फ्रेमहरूमा मात्र सीमित छ)।

स्पेसियल रिडन्डन्सी (आन्तरिक पूर्वानुमान)

यदि हामीले भिडियोमा प्रत्येक फ्रेमलाई विश्लेषण गर्छौं भने, हामीले धेरै अन्तरसम्बन्धित क्षेत्रहरू भेट्टाउनेछौं।

यो उदाहरण मार्फत जाऔं। यो दृश्य मुख्यतया नीलो र सेतो रंगहरू समावेश गर्दछ।

यो I-फ्रेम हो। हामी भविष्यवाणीको लागि अघिल्लो फ्रेमहरू लिन सक्दैनौं, तर हामी यसलाई कम्प्रेस गर्न सक्छौं। रातो ब्लकको चयनलाई एन्कोड गरौं। यदि हामीले यसको छिमेकीहरूलाई हेर्छौं भने, हामीले थाहा पाउँछौं कि यसको वरिपरि केही रंग प्रवृत्तिहरू छन्।

हामी मान्दछौं कि रङहरू फ्रेममा ठाडो रूपमा फैलिएको छ। जसको मतलब अज्ञात पिक्सेलको रंगमा यसको छिमेकीहरूको मान समावेश हुनेछ।

यस्तो भविष्यवाणी गलत हुन सक्छ। यो यस कारणको लागि हो कि तपाईंले यो विधि (आन्तरिक पूर्वानुमान) लागू गर्न आवश्यक छ, र त्यसपछि वास्तविक मानहरू घटाउनुहोस्। यसले हामीलाई अवशिष्ट ब्लक दिनेछ, जसको परिणाम मूलको तुलनामा धेरै कम्प्रेस गरिएको म्याट्रिक्स हुनेछ।

यदि तपाइँ आन्तरिक भविष्यवाणीहरूसँग अभ्यास गर्न चाहनुहुन्छ भने, तपाइँ म्याक्रोब्लकहरू र तिनीहरूको भविष्यवाणीहरू ffmpeg प्रयोग गरेर भिडियो बनाउन सक्नुहुन्छ। प्रत्येक ब्लक रङको अर्थ बुझ्नको लागि, तपाईंले ffmpeg कागजात पढ्नु पर्छ।

वा तपाइँ इंटेल भिडियो प्रो विश्लेषक प्रयोग गर्न सक्नुहुन्छ (जस्तै मैले माथि उल्लेख गरें, नि: शुल्क परीक्षण संस्करण पहिलो 10 फ्रेमहरूमा सीमित छ, तर यो तपाइँको लागि सुरुमा पर्याप्त हुनेछ)।

दोस्रो भाग: भिडियो कोडेकले कसरी काम गर्छ

स्रोत: www.habr.com