वीडियो कोडेक कैसे काम करता है? भाग 1: मूल बातें

दूसरा भाग: वीडियो कोडेक कैसे काम करता है

कोई भी रेखापुंज छवि रूप में प्रस्तुत किया जा सकता है द्वि-आयामी मैट्रिक्स. जब रंगों की बात आती है, तो छवि को देखकर विचार विकसित किया जा सकता है त्रि-आयामी मैट्रिक्स, जिसमें प्रत्येक रंग के लिए डेटा संग्रहीत करने के लिए अतिरिक्त आयामों का उपयोग किया जाता है।

यदि हम अंतिम रंग को तथाकथित के संयोजन के रूप में मानते हैं। प्राथमिक रंग (लाल, हरा और नीला), हमारे त्रि-आयामी मैट्रिक्स में हम तीन स्तरों को परिभाषित करते हैं: पहला लाल के लिए, दूसरा हरे के लिए और आखिरी नीला के लिए।

हम इस मैट्रिक्स के प्रत्येक बिंदु को एक पिक्सेल (छवि तत्व) कहेंगे। प्रत्येक पिक्सेल में प्रत्येक रंग की तीव्रता (आमतौर पर एक संख्यात्मक मान के रूप में) के बारे में जानकारी होती है। उदाहरण के लिए, लाल पिक्सेल इसका मतलब है कि इसमें 0 हरा, 0 नीला और अधिकतम लाल है। गुलाबी पिक्सेल तीन रंगों के संयोजन का उपयोग करके बनाया जा सकता है। 0 से 255 तक की संख्यात्मक सीमा का उपयोग करते हुए, एक गुलाबी पिक्सेल को इस प्रकार परिभाषित किया गया है लाल = 255, हरा = 192 и नीला = 203.

यह लेख EDISON के सहयोग से प्रकाशित किया गया था।

हम विकास कर रहे हैं वीडियो निगरानी, ​​वीडियो स्ट्रीमिंग के लिए एप्लिकेशन, और हम भी लगे हुए हैं शल्य चिकित्सा कक्ष में वीडियो रिकॉर्डिंग.

रंगीन छवि को एन्कोड करने के वैकल्पिक तरीके

किसी छवि को बनाने वाले रंगों का प्रतिनिधित्व करने के लिए कई अन्य मॉडल भी हैं। उदाहरण के लिए, आप एक अनुक्रमित पैलेट का उपयोग कर सकते हैं, जिसमें आरजीबी मॉडल का उपयोग करते समय आवश्यक तीन के बजाय प्रत्येक पिक्सेल का प्रतिनिधित्व करने के लिए केवल एक बाइट की आवश्यकता होती है। ऐसे मॉडल में, प्रत्येक रंग को दर्शाने के लिए 2डी मैट्रिक्स के बजाय 3डी मैट्रिक्स का उपयोग करना संभव है। यह मेमोरी बचाता है, लेकिन एक छोटा रंग सरगम ​​देता है।

आरजीबी

उदाहरण के लिए, नीचे दी गई इस तस्वीर को देखें। पहला चेहरा पूरी तरह से रंगा हुआ है. अन्य लाल, हरे और नीले तल हैं (संबंधित रंगों की तीव्रता ग्रेस्केल में दिखाई गई है)।

हम देखते हैं कि मूल में लाल रंग के शेड उन्हीं स्थानों पर होंगे जहां दूसरे चेहरे के सबसे चमकीले हिस्से देखे गए हैं। जबकि नीले रंग का योगदान मुख्य रूप से केवल मारियो की आँखों (अंतिम चेहरे) और उसके कपड़ों के तत्वों में देखा जा सकता है। ध्यान दें कि सभी तीन रंगीन तल सबसे कम योगदान कहाँ देते हैं (छवियों के सबसे गहरे हिस्से) - मारियो की मूंछें।

प्रत्येक रंग की तीव्रता को संग्रहित करने के लिए एक निश्चित संख्या में बिट्स की आवश्यकता होती है - इस मात्रा को कहा जाता है थोड़ी गहराई. मान लीजिए कि प्रति रंग तल पर 8 बिट खर्च किए जाते हैं (0 से 255 तक के मान के आधार पर)। तब हमारे पास 24 बिट्स (8 बिट्स * 3 आर/जी/बी प्लेन) की रंग गहराई होती है।

छवि का एक अन्य गुण है परमिट, जो एक आयाम में पिक्सेल की संख्या है। प्रायः के रूप में दर्शाया जाता है चौड़ाई × ऊंचाई, जैसा कि नीचे 4 बाय 4 उदाहरण छवि में है।


छवियों/वीडियो के साथ काम करते समय हम एक अन्य संपत्ति से निपटते हैं पहलू अनुपात, किसी छवि या पिक्सेल की चौड़ाई और ऊंचाई के बीच सामान्य आनुपातिक संबंध का वर्णन करना।

जब वे कहते हैं कि एक निश्चित फिल्म या चित्र 16 गुणा 9 आकार का है, तो उनका आमतौर पर यही मतलब होता है पहलू अनुपात प्रदर्शित करें (लेकिन - से पहलू अनुपात प्रदर्शित करें). हालाँकि, कभी-कभी अलग-अलग पिक्सेल के अलग-अलग आकार हो सकते हैं - इस मामले में हम बात कर रहे हैं पिक्सेल अनुपात (PAR - से पिक्सेल पहलू अनुपात).

परिचारिका को ध्यान दें: डीवीडी से मेल खाती है डीएआर 4 से 3

हालाँकि वास्तविक डीवीडी रिज़ॉल्यूशन 704x480 है, फिर भी यह 4:3 पहलू अनुपात बनाए रखता है क्योंकि PAR 10:11 (704x10 / 480x11) है।

और अंततः, हम निर्धारित कर सकते हैं वीडियो के एक क्रम की तरह n अवधि के लिए फ़्रेम समय, जिसे एक अतिरिक्त आयाम माना जा सकता है। ए n फिर फ़्रेम दर या प्रति सेकंड फ़्रेम की संख्या है (एफपीएस - से चित्र हर क्षण में).

किसी वीडियो को प्रदर्शित करने के लिए प्रति सेकंड आवश्यक बिट्स की संख्या होती है संचरण गति - बिटरेट.

बिटरेट = चौड़ाई * ऊँचाई * बिट गहराई * फ़्रेम प्रति सेकंड

उदाहरण के लिए, 30 एफपीएस, 24 बीपीएस, 480x240 वीडियो के लिए 82,944,000 बीपीएस या 82,944 एमबीपीएस (30x480x240x24) की आवश्यकता होगी - लेकिन ऐसा तब होगा जब कोई संपीड़न विधि का उपयोग नहीं किया जाता है।

यदि स्थानांतरण गति लगभग स्थिर, तो इसे कहा जाता है निरंतर संचरण गति (सीबीआर - से स्थिर बिट दर). लेकिन यह भिन्न भी हो सकता है, इस स्थिति में इसे कहा जाता है परिवर्तनीय बॉड दर (VBR - से परिवर्तनीय बिट दर).

यह ग्राफ़ सीमित वीबीआर दिखाता है, जहां पूरी तरह से अंधेरे फ्रेम के मामले में बहुत अधिक बिट्स बर्बाद नहीं होते हैं।

इंजीनियरों ने शुरू में अतिरिक्त बैंडविड्थ का उपयोग किए बिना वीडियो डिस्प्ले की कथित फ्रेम दर को दोगुना करने की एक विधि विकसित की। इस विधि को कहा जाता है इंटरलेस्ड वीडियो; मूलतः, यह आधी स्क्रीन को पहले "फ़्रेम" में भेजता है और दूसरे आधे को अगले "फ़्रेम" में भेजता है।

वर्तमान में, दृश्यों को अधिकतर उपयोग करके प्रस्तुत किया जाता है प्रगतिशील स्कैनिंग प्रौद्योगिकियाँ. यह चलती छवियों को प्रदर्शित करने, संग्रहीत करने या प्रसारित करने की एक विधि है जिसमें प्रत्येक फ्रेम की सभी रेखाएँ क्रमिक रूप से खींची जाती हैं।

कुंआ! अब हम जानते हैं कि किसी छवि को डिजिटल रूप से कैसे दर्शाया जाता है, उसके रंगों को कैसे व्यवस्थित किया जाता है, वीडियो दिखाने के लिए हम प्रति सेकंड कितने बिट खर्च करते हैं, यदि बिट दर स्थिर (सीबीआर) या परिवर्तनशील (वीबीआर) है। हम किसी दिए गए फ़्रेम दर का उपयोग करके दिए गए रिज़ॉल्यूशन के बारे में जानते हैं, हम कई अन्य शब्दों से परिचित हैं, जैसे इंटरलेस्ड वीडियो, PAR और कुछ अन्य।

अतिरेक हटाना

यह ज्ञात है कि बिना संपीड़न के वीडियो का सामान्य रूप से उपयोग नहीं किया जा सकता है। 720p रिज़ॉल्यूशन और 30 फ्रेम प्रति सेकंड पर एक घंटे का वीडियो 278 जीबी तक लेगा। हम 1280 x 720 x 24 x 30 x 3600 (चौड़ाई, ऊंचाई, प्रति पिक्सेल बिट्स, एफपीएस और सेकंड में समय) को गुणा करके इस मान पर पहुंचते हैं।

उपयोग दोषरहित संपीड़न एल्गोरिदम, DEFLATE की तरह (पीकेज़िप, जीज़िप और पीएनजी में प्रयुक्त), आवश्यक बैंडविड्थ को पर्याप्त रूप से कम नहीं करेगा। हमें वीडियो को कंप्रेस करने के अन्य तरीके तलाशने होंगे।

ऐसा करने के लिए, आप हमारी दृष्टि की सुविधाओं का उपयोग कर सकते हैं। हम रंग की तुलना में चमक में अंतर करने में बेहतर हैं। वीडियो अनुक्रमिक छवियों की एक श्रृंखला है जो समय के साथ दोहराई जाती है। एक ही दृश्य के आसन्न फ़्रेमों के बीच छोटे अंतर होते हैं। इसके अतिरिक्त, प्रत्येक फ़्रेम में समान (या समान) रंग का उपयोग करने वाले कई क्षेत्र होते हैं।

रंग, चमक और हमारी आँखें

हमारी आंखें रंग की तुलना में चमक के प्रति अधिक संवेदनशील होती हैं। ये आप इस तस्वीर को देखकर खुद ही समझ सकते हैं.

यदि आप छवि के बाएँ आधे भाग पर वर्गों के रंग नहीं देखते हैं A и B वास्तव में वही हैं, तो यह सामान्य है। हमारा मस्तिष्क हमें रंग के बजाय प्रकाश और छाया पर अधिक ध्यान देने के लिए मजबूर करता है। निर्दिष्ट वर्गों के बीच दाईं ओर एक ही रंग का एक जम्पर है - इसलिए हम (यानी हमारा मस्तिष्क) आसानी से निर्धारित करते हैं कि, वास्तव में, वे एक ही रंग के हैं।

आइए (सरलीकृत तरीके से) देखें कि हमारी आंखें कैसे काम करती हैं। आँख एक जटिल अंग है जिसमें कई भाग होते हैं। हालाँकि, हमारी सबसे अधिक रुचि शंकुओं और छड़ों में है। आँख में लगभग 120 मिलियन छड़ें और 6 मिलियन शंकु होते हैं।

आइए रंग और चमक की धारणा को आंख के कुछ हिस्सों के अलग-अलग कार्यों के रूप में मानें (वास्तव में, सब कुछ कुछ अधिक जटिल है, लेकिन हम इसे सरल बना देंगे)। रॉड कोशिकाएं मुख्य रूप से चमक के लिए जिम्मेदार होती हैं, जबकि शंकु कोशिकाएं रंग के लिए जिम्मेदार होती हैं। शंकुओं को उनमें मौजूद वर्णक के आधार पर तीन प्रकारों में विभाजित किया जाता है: एस-शंकु (नीला), एम-शंकु (हरा), और एल-शंकु (लाल)।

चूंकि हमारे पास शंकु (रंग) की तुलना में कई अधिक छड़ें (चमक) हैं, इसलिए हम यह निष्कर्ष निकाल सकते हैं कि हम रंगों की तुलना में अंधेरे और प्रकाश के बीच संक्रमण को अलग करने में अधिक सक्षम हैं।

कंट्रास्ट संवेदनशीलता विशेषताएं

प्रायोगिक मनोविज्ञान और कई अन्य क्षेत्रों के शोधकर्ताओं ने मानव दृष्टि के कई सिद्धांत विकसित किए हैं। और उनमें से एक को बुलाया जाता है कंट्रास्ट संवेदनशीलता कार्य. वे स्थानिक और लौकिक रोशनी से संबंधित हैं। संक्षेप में, यह इस बारे में है कि किसी पर्यवेक्षक को नोटिस करने से पहले कितने बदलावों की आवश्यकता होती है। "फ़ंक्शन" शब्द के बहुवचन पर ध्यान दें। यह इस तथ्य के कारण है कि हम न केवल काले और सफेद छवियों के लिए, बल्कि रंगीन छवियों के लिए भी विपरीत संवेदनशीलता कार्यों को माप सकते हैं। इन प्रयोगों के नतीजे बताते हैं कि ज्यादातर मामलों में हमारी आंखें रंग की तुलना में चमक के प्रति अधिक संवेदनशील होती हैं।

चूँकि हम जानते हैं कि हम छवि चमक के प्रति अधिक संवेदनशील हैं, हम इस तथ्य का उपयोग करने का प्रयास कर सकते हैं।

रंग मॉडल

हमने थोड़ा पता लगाया कि आरजीबी योजना का उपयोग करके रंगीन छवियों के साथ कैसे काम किया जाए। अन्य मॉडल भी हैं. एक मॉडल है जो ल्यूमिनेंस को क्रोमा से अलग करता है और इसे इस नाम से जाना जाता है वाईसीबीसीआर. वैसे, ऐसे अन्य मॉडल भी हैं जो समान विभाजन करते हैं, लेकिन हम केवल इस पर विचार करेंगे।

इस रंग मॉडल में Y चमक का प्रतिनिधित्व करता है, और दो रंग चैनलों का भी उपयोग करता है: Cb (गहरा नीला) और Cr (गहरा लाल). YCbCr को RGB से प्राप्त किया जा सकता है, और रिवर्स रूपांतरण भी संभव है। इस मॉडल का उपयोग करके हम पूर्ण रंगीन छवियां बना सकते हैं जैसा कि हम नीचे देखते हैं:

YCbCr और RGB के बीच कनवर्ट करें

किसी को आपत्ति होगी: यदि हरे रंग का उपयोग नहीं किया जाता है तो सभी रंग प्राप्त करना कैसे संभव है?

इस प्रश्न का उत्तर देने के लिए, आइए RGB को YCbCr में बदलें। आइए मानक में अपनाए गए गुणांकों का उपयोग करें बीटी.601, जिसकी यूनिट द्वारा अनुशंसा की गई थी आईटीयू-आर. यह प्रभाग डिजिटल वीडियो के लिए मानक निर्धारित करता है। उदाहरण के लिए: 4K क्या है? फ़्रेम दर, रिज़ॉल्यूशन, रंग मॉडल क्या होना चाहिए?

सबसे पहले आइए चमक की गणना करें। आइए ITU द्वारा प्रस्तावित स्थिरांक का उपयोग करें और RGB मानों को प्रतिस्थापित करें।

Y = 0.299R + 0.587G + 0.114B

चमक प्राप्त करने के बाद, हम नीले और लाल रंगों को अलग कर देंगे:

Cb = 0.564(B - Y)

Cr = 0.713(R - Y)

और हम YCbCr का उपयोग करके वापस भी परिवर्तित कर सकते हैं और हरा भी प्राप्त कर सकते हैं:

R = Y + 1.402Cr

B = Y + 1.772Cb

G = Y - 0.344Cb - 0.714Cr

आमतौर पर, डिस्प्ले (मॉनीटर, टीवी, स्क्रीन आदि) केवल RGB मॉडल का उपयोग करते हैं। लेकिन इस मॉडल को विभिन्न तरीकों से व्यवस्थित किया जा सकता है:

रंग उपनमूनाकरण

ल्यूमिनेंस और क्रोमिनेंस के संयोजन के रूप में दर्शाई गई छवि के साथ, हम चुनिंदा जानकारी को हटाकर क्रोमिनेंस की तुलना में ल्यूमिनेंस के प्रति मानव दृश्य प्रणाली की अधिक संवेदनशीलता का फायदा उठा सकते हैं। क्रोमा सबसैंपलिंग ल्यूमिनेंस की तुलना में क्रोमा के लिए कम रिज़ॉल्यूशन का उपयोग करके छवियों को एन्कोड करने की एक विधि है।

रंग रिज़ॉल्यूशन को कितना कम करने की अनुमति है?! यह पता चला है कि पहले से ही कुछ आरेख हैं जो बताते हैं कि रिज़ॉल्यूशन और विलय को कैसे संभालना है (परिणाम रंग = वाई + सीबी + सीआर)।

इन योजनाओं को कहा जाता है डाउनसैंपलिंग सिस्टम और तीन गुना अनुपात के रूप में व्यक्त किए जाते हैं - a:x:y, जो चमक और रंग अंतर संकेतों के नमूनों की संख्या निर्धारित करता है।

a - क्षैतिज नमूनाकरण मानक (आमतौर पर 4 के बराबर)
x -पिक्सेल की पहली पंक्ति में क्रोमा नमूनों की संख्या (क्षैतिज रिज़ॉल्यूशन के सापेक्ष)। a)
y -पिक्सेल की पहली और दूसरी पंक्तियों के बीच क्रोमा नमूनों में परिवर्तनों की संख्या।

अपवाद है 4:1:0, प्रत्येक 4-बाय-4 ल्यूमिनेंस रिज़ॉल्यूशन ब्लॉक में एक क्रोमा नमूना प्रदान करना।

आधुनिक कोडेक्स में उपयोग की जाने वाली सामान्य योजनाएँ:

• 4:4:4 (कोई डाउनसैंपलिंग नहीं)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 - संलयन उदाहरण

यहां YCbCr 4:2:0 का उपयोग करके एक मर्ज की गई छवि है। ध्यान दें कि हम प्रति पिक्सेल केवल 12 बिट्स खर्च कर रहे हैं।

यह वही छवि है जो मुख्य प्रकार के रंग उप-नमूनाकरण के साथ एन्कोडेड दिखती है। पहली पंक्ति अंतिम YCbCr है, निचली पंक्ति क्रोमा रिज़ॉल्यूशन दिखाती है। गुणवत्ता में मामूली कमी को ध्यान में रखते हुए, परिणाम बहुत अच्छे हैं।

याद रखें जब हमने 278p रिज़ॉल्यूशन और 720 फ्रेम प्रति सेकंड पर एक घंटे की वीडियो फ़ाइल को स्टोर करने के लिए 30 जीबी स्टोरेज स्पेस की गिनती की थी? यदि हम YCbCr 4:2:0 का उपयोग करते हैं, तो यह आकार आधा - 139 GB कम हो जाएगा। अब तक, यह स्वीकार्य परिणाम से दूर है।

आप FFmpeg का उपयोग करके स्वयं YCbCr हिस्टोग्राम प्राप्त कर सकते हैं। इस छवि में, नीला लाल पर हावी है, जो हिस्टोग्राम में ही स्पष्ट रूप से दिखाई देता है।

रंग, चमक, रंग सरगम ​​- वीडियो समीक्षा

हम इस अद्भुत वीडियो को देखने की सलाह देते हैं। यह बताता है कि चमक क्या है, और सामान्य तौर पर सभी बिंदु बिंदीदार होते हैं ё चमक और रंग के बारे में.

फ़्रेम प्रकार

पर चलते हैं। आइए समय के अतिरेक को ख़त्म करने का प्रयास करें। लेकिन पहले, आइए कुछ बुनियादी शब्दावली को परिभाषित करें। मान लीजिए कि हमारे पास 30 फ्रेम प्रति सेकंड वाली एक फिल्म है, यहां इसके पहले 4 फ्रेम हैं:

हम फ़्रेम में बहुत अधिक दोहराव देख सकते हैं: उदाहरण के लिए, एक नीली पृष्ठभूमि जो फ़्रेम से फ़्रेम में नहीं बदलती है। इस समस्या को हल करने के लिए, हम उन्हें संक्षेप में तीन प्रकार के फ़्रेमों में वर्गीकृत कर सकते हैं।

आई-फ़्रेम (Iएनट्रो फ्रेम)

आई-फ़्रेम (संदर्भ फ़्रेम, कुंजी फ़्रेम, आंतरिक फ़्रेम) स्व-निहित है। भले ही आप जो भी कल्पना करना चाहते हों, एक आई-फ़्रेम अनिवार्य रूप से एक स्थिर तस्वीर है। पहला फ़्रेम आम तौर पर एक आई-फ़्रेम होता है, लेकिन हम नियमित रूप से पहले फ़्रेमों के बीच भी आई-फ़्रेम का निरीक्षण करेंगे।

पी-फ़्रेम (Pपुनर्निर्देशित फ़्रेम)

पी-फ़्रेम (भविष्य कहनेवाला फ़्रेम) इस तथ्य का लाभ उठाता है कि लगभग हमेशा वर्तमान छवि को पिछले फ़्रेम का उपयोग करके पुन: प्रस्तुत किया जा सकता है। उदाहरण के लिए, दूसरे फ्रेम में एकमात्र बदलाव यह है कि गेंद आगे बढ़ रही है। हम केवल इन फ़्रेमों के बीच अंतर का उपयोग करके, फ़्रेम 2 को थोड़ा संशोधित करके फ़्रेम 1 प्राप्त कर सकते हैं। फ़्रेम 2 का निर्माण करने के लिए, हम पूर्ववर्ती फ़्रेम 1 का संदर्भ लेते हैं।

←

बी-फ़्रेम (Bi-भविष्यवाणी फ़्रेम)

न केवल अतीत, बल्कि भविष्य के फ़्रेमों के लिंक के बारे में भी क्या कहना बेहतर संपीड़न प्रदान करने के लिए?! यह मूलतः एक बी-फ़्रेम (द्विदिशात्मक फ़्रेम) है।

← →

इंटरमीडिएट वापसी

इन फ़्रेम प्रकारों का उपयोग सर्वोत्तम संभव संपीड़न प्रदान करने के लिए किया जाता है। हम देखेंगे कि यह अगले भाग में कैसे होता है। अभी के लिए, आइए ध्यान दें कि खपत की गई मेमोरी के मामले में सबसे "महंगा" आई-फ्रेम है, पी-फ्रेम काफी सस्ता है, लेकिन वीडियो के लिए सबसे लाभदायक विकल्प बी-फ्रेम है।

अस्थायी अतिरेक (अंतर-फ़्रेम भविष्यवाणी)

आइए देखें कि समय के साथ पुनरावृत्ति को कम करने के लिए हमारे पास क्या विकल्प हैं। हम क्रॉस-भविष्यवाणी विधियों का उपयोग करके इस प्रकार की अतिरेक को हल कर सकते हैं।

हम फ़्रेम 0 और 1 के अनुक्रम को एन्कोड करने के लिए यथासंभव कम बिट्स खर्च करने का प्रयास करेंगे।

हम उत्पादन कर सकते हैं घटाव, हम बस फ़्रेम 1 को फ़्रेम 0 से घटाते हैं। हमें फ़्रेम 1 मिलता है, केवल इसके और पिछले फ़्रेम के बीच के अंतर का उपयोग करते हैं, वास्तव में हम केवल परिणामी शेष को एनकोड करते हैं।

लेकिन क्या होगा अगर मैं आपसे कहूं कि एक और भी बेहतर तरीका है जो कम बिट्स का उपयोग करता है?! सबसे पहले, फ़्रेम 0 को ब्लॉकों से युक्त एक स्पष्ट ग्रिड में तोड़ दें। और फिर हम फ्रेम 0 से ब्लॉक को फ्रेम 1 के साथ मिलाने का प्रयास करेंगे। दूसरे शब्दों में, हम फ्रेम के बीच की गति का अनुमान लगाएंगे।

विकिपीडिया से - ब्लॉक मोशन मुआवजा

ब्लॉक मोशन मुआवजा वर्तमान फ्रेम को गैर-अतिव्यापी ब्लॉकों में विभाजित करता है और मोशन मुआवजा वेक्टर ब्लॉकों की उत्पत्ति की रिपोर्ट करता है (एक आम गलतफहमी यह है कि पूर्व फ़्रेम को गैर-अतिव्यापी ब्लॉकों में विभाजित किया गया है, और गति क्षतिपूर्ति वैक्टर बताते हैं कि वे ब्लॉक कहाँ जाते हैं। लेकिन वास्तव में, यह दूसरा तरीका है - यह पिछले फ्रेम का नहीं है जिसका विश्लेषण किया गया है, बल्कि अगले का; यह स्पष्ट नहीं है कि ब्लॉक कहाँ बढ़ रहे हैं, लेकिन वे कहाँ से आए हैं)। आमतौर पर स्रोत ब्लॉक स्रोत फ्रेम में ओवरलैप होते हैं। कुछ वीडियो संपीड़न एल्गोरिदम वर्तमान फ़्रेम को एक भी नहीं, बल्कि पहले से प्रसारित कई फ़्रेमों के हिस्सों से इकट्ठा करते हैं।

मूल्यांकन प्रक्रिया के दौरान, हम देखते हैं कि गेंद (x= 0, y=25) द्वारा (x= 6, y=26), मान x и y गति वेक्टर निर्धारित करें. बिट्स को संरक्षित करने के लिए हम एक और कदम उठा सकते हैं, वह है केवल अंतिम ब्लॉक स्थिति और अनुमानित स्थिति के बीच गति वैक्टर के अंतर को एनकोड करना, इसलिए अंतिम गति वेक्टर (x=6-0=6, y=26-25=1) होगा ).

वास्तविक स्थिति में, इस गेंद को विभाजित किया जाएगा n रोकता है, लेकिन इससे मामले का सार नहीं बदलता है।

फ़्रेम में वस्तुएं तीन आयामों में चलती हैं, इसलिए जब गेंद चलती है, तो यह दृष्टि से छोटी हो सकती है (या दर्शक की ओर बढ़ने पर बड़ी हो सकती है)। यह सामान्य है कि ब्लॉकों के बीच पूर्ण मिलान नहीं होगा। यहां हमारे अनुमान और वास्तविक तस्वीर का एक संयुक्त दृश्य है।

लेकिन हम देखते हैं कि जब हम गति अनुमान का उपयोग करते हैं, तो फ्रेम के बीच डेल्टा की गणना करने की सरल विधि का उपयोग करने की तुलना में कोडिंग के लिए डेटा काफी कम होता है।

वास्तविक गति मुआवज़ा कैसा दिखेगा

यह तकनीक सभी ब्लॉकों पर एक साथ लागू की जाती है। अक्सर हमारी सशर्त चलती गेंद एक साथ कई ब्लॉकों में विभाजित हो जाएगी।

आप इन अवधारणाओं का उपयोग करके स्वयं ही इसका अनुभव प्राप्त कर सकते हैं बृहस्पति.

मोशन वैक्टर देखने के लिए, आप इसका उपयोग करके एक बाहरी भविष्यवाणी वीडियो बना सकते हैं ffmpeg.

आप भी उपयोग कर सकते हैं इंटेल वीडियो प्रो विश्लेषक (यह भुगतान किया गया है, लेकिन एक नि:शुल्क परीक्षण है जो केवल पहले दस फ्रेम तक ही सीमित है)।

स्थानिक अतिरेक (आंतरिक पूर्वानुमान)

यदि हम वीडियो के प्रत्येक फ़्रेम का विश्लेषण करें, तो हमें कई परस्पर जुड़े हुए क्षेत्र मिलेंगे।

आइये इस उदाहरण पर गौर करें। इस दृश्य में मुख्य रूप से नीले और सफेद रंग शामिल हैं।

यह एक आई-फ़्रेम है. हम भविष्यवाणी के लिए पिछले फ़्रेम नहीं ले सकते, लेकिन हम इसे संपीड़ित कर सकते हैं। आइए लाल ब्लॉक के चयन को एन्कोड करें। यदि हम इसके पड़ोसियों को देखें, तो हम देखते हैं कि इसके चारों ओर कुछ रंग प्रवृत्तियाँ हैं।

हम मानते हैं कि रंग फ़्रेम में लंबवत रूप से फैलते हैं। जिसका मतलब है कि अज्ञात पिक्सल के रंग में उसके पड़ोसियों के मूल्य शामिल होंगे।

ऐसा पूर्वानुमान ग़लत भी हो सकता है. यही कारण है कि आपको इस पद्धति (आंतरिक पूर्वानुमान) को लागू करने की आवश्यकता है, और फिर वास्तविक मूल्यों को घटाना होगा। यह हमें एक अवशिष्ट ब्लॉक देगा, जिसके परिणामस्वरूप मूल की तुलना में बहुत अधिक संपीड़ित मैट्रिक्स होगा।

यदि आप आंतरिक भविष्यवाणियों के साथ अभ्यास करना चाहते हैं, तो आप ffmpeg का उपयोग करके मैक्रोब्लॉक और उनकी भविष्यवाणियों का एक वीडियो बना सकते हैं। प्रत्येक ब्लॉक रंग का अर्थ समझने के लिए, आपको ffmpeg दस्तावेज़ पढ़ना होगा।

या आप इंटेल वीडियो प्रो एनालाइज़र का उपयोग कर सकते हैं (जैसा कि मैंने ऊपर बताया है, नि:शुल्क परीक्षण संस्करण पहले 10 फ़्रेमों तक सीमित है, लेकिन शुरुआत में यह आपके लिए पर्याप्त होगा)।

दूसरा भाग: वीडियो कोडेक कैसे काम करता है

स्रोत: www.habr.com