वीडियो कोडेक कैसे काम करता है? भाग 2. क्या, क्यों, कैसे

पहला भाग: वीडियो और छवियों के साथ काम करने की मूल बातें

क्या? वीडियो कोडेक सॉफ़्टवेयर/हार्डवेयर का एक टुकड़ा है जो डिजिटल वीडियो को संपीड़ित और/या डीकंप्रेस करता है।

किस लिए? बैंडविड्थ और दोनों के संदर्भ में कुछ सीमाओं के बावजूद
और डेटा भंडारण स्थान के संदर्भ में, बाज़ार तेजी से उच्च गुणवत्ता वाले वीडियो की मांग कर रहा है। क्या आपको याद है कि पिछली पोस्ट में हमने 30x24 के रिज़ॉल्यूशन के साथ 480 फ्रेम प्रति सेकंड, 240 बिट प्रति पिक्सेल के लिए आवश्यक न्यूनतम गणना कैसे की थी? हमें बिना संपीड़न के 82,944 Mbit/s प्राप्त हुआ। आमतौर पर टेलीविज़न स्क्रीन और इंटरनेट पर HD/FullHD/4K प्रसारित करने का एकमात्र तरीका कंप्रेशन ही है। यह कैसे हासिल किया जाता है? आइए अब संक्षेप में मुख्य तरीकों पर नजर डालें।

अनुवाद EDISON सॉफ्टवेयर के सहयोग से किया गया था।

हम लगे हुए हैं वीडियो निगरानी प्रणालियों का एकीकरणऔर हम एक माइक्रोटोमोग्राफ विकसित कर रहे हैं.

कोडेक बनाम कंटेनर

नौसिखियों द्वारा की जाने वाली एक आम गलती डिजिटल वीडियो कोडेक और डिजिटल वीडियो कंटेनर को भ्रमित करना है। एक कंटेनर एक निश्चित प्रारूप है. एक रैपर जिसमें वीडियो (और संभवतः ऑडियो) मेटाडेटा होता है। संपीड़ित वीडियो को एक कंटेनर पेलोड के रूप में सोचा जा सकता है।

आमतौर पर, किसी वीडियो फ़ाइल का एक्सटेंशन उसके कंटेनर के प्रकार को इंगित करता है। उदाहरण के लिए, फ़ाइल video.mp4 संभवतः एक कंटेनर है MPEG-4 भाग 14, और video.mkv नाम की एक फ़ाइल की संभावना सबसे अधिक है matryoshka. कोडेक और कंटेनर प्रारूप के बारे में पूरी तरह से आश्वस्त होने के लिए, आप इसका उपयोग कर सकते हैं FFmpeg या मीडिया की जानकारी.

एक छोटा सा इतिहास

इससे पहले कि हम पहुँचें कैसे?, आइए कुछ पुराने कोडेक्स को थोड़ा बेहतर ढंग से समझने के लिए इतिहास में थोड़ा गोता लगाएँ।

वीडियो कोडेक H.261 1990 में दिखाई दिया (तकनीकी रूप से - 1988 में) और इसे 64 केबीपीएस की डेटा ट्रांसफर दर पर संचालित करने के लिए बनाया गया था। यह पहले से ही रंग सबसैंपलिंग, मैक्रोब्लॉक इत्यादि जैसे विचारों का उपयोग करता है। वीडियो कोडेक मानक 1995 में प्रकाशित हुआ था H.263, जो 2001 तक विकसित हुआ।

पहला संस्करण 2003 में पूरा हुआ H.264 / एवीसी. उसी वर्ष, ट्रूमोशन ने अपना मुफ्त हानिपूर्ण वीडियो कोडेक जारी किया VP3. Google ने 2008 में रिलीज़ करते हुए कंपनी को खरीद लिया VP8 उसी वर्ष। दिसंबर 2012 में, Google ने जारी किया VP9, और यह लगभग ¾ ब्राउज़र बाज़ार (मोबाइल उपकरणों सहित) में समर्थित है।

AV1 द्वारा विकसित एक नया मुफ़्त और खुला स्रोत वीडियो कोडेक है ओपन मीडिया के लिए गठबंधन (एओमीडिया), जिसमें सबसे प्रसिद्ध कंपनियां शामिल हैं, जैसे: Google, Mozilla, Microsoft, Amazon, Netflix, AMD, ARM, NVidia, Intel और Cisco। कोडेक का पहला संस्करण, 0.1.0, 7 अप्रैल 2016 को प्रकाशित हुआ था।

AV1 का जन्म

2015 की शुरुआत में Google इस पर काम कर रहा था VP10Xiph (जिसका स्वामित्व मोज़िला के पास है) पर काम कर रहा है Daala, और सिस्को ने अपना स्वयं का निःशुल्क वीडियो कोडेक बनाया Thor.

फिर एमपीईजी एलए के लिए पहली बार वार्षिक सीमा की घोषणा की HEVC (H.265) और H.8 की तुलना में 264 गुना अधिक शुल्क, लेकिन उन्होंने जल्द ही नियमों को फिर से बदल दिया:

कोई वार्षिक सीमा नहीं,
सामग्री शुल्क (राजस्व का 0,5%) और
यूनिट शुल्क H.10 से लगभग 264 गुना अधिक है।

ओपन मीडिया के लिए गठबंधन विभिन्न क्षेत्रों की कंपनियों द्वारा बनाया गया था: उपकरण निर्माता (इंटेल, एएमडी, एआरएम, एनवीडिया, सिस्को), सामग्री प्रदाता (Google, नेटफ्लिक्स, अमेज़ॅन), ब्राउज़र निर्माता (Google, मोज़िला) और अन्य।

कंपनियों का एक सामान्य लक्ष्य था - रॉयल्टी-मुक्त वीडियो कोडेक। फिर प्रकट होता है AV1 बहुत सरल पेटेंट लाइसेंस के साथ। टिमोथी बी. टेरीबेरी ने एक आश्चर्यजनक प्रस्तुति दी जो वर्तमान AV1 अवधारणा और इसके लाइसेंसिंग मॉडल का मूल बन गई।

आपको यह जानकर आश्चर्य होगा कि आप ब्राउज़र के माध्यम से AV1 कोडेक का विश्लेषण कर सकते हैं (जो रुचि रखते हैं वे यहां जा सकते हैं)। aomanalyzer.org).

यूनिवर्सल कोडेक

आइए यूनिवर्सल वीडियो कोडेक में अंतर्निहित मुख्य तंत्रों पर नजर डालें। इनमें से अधिकांश अवधारणाएँ उपयोगी हैं और आधुनिक कोडेक्स जैसे में उपयोग की जाती हैं VP9, AV1 и HEVC. मैं आपको चेतावनी देता हूं कि समझाई गई कई चीजें सरल हो जाएंगी। कभी-कभी प्रौद्योगिकियों को प्रदर्शित करने के लिए वास्तविक दुनिया के उदाहरण (जैसे एच.264 के साथ) का उपयोग किया जाएगा।

पहला चरण - छवि को विभाजित करना

पहला कदम फ्रेम को कई खंडों, उपखंडों और उससे आगे में विभाजित करना है।

किस लिए? इसके कई कारण हैं। जब हम किसी छवि को विभाजित करते हैं, तो हम छोटे गतिमान भागों के लिए छोटे खंडों का उपयोग करके गति वेक्टर का अधिक सटीक अनुमान लगा सकते हैं। जबकि स्थिर पृष्ठभूमि के लिए आप स्वयं को बड़े वर्गों तक सीमित कर सकते हैं।

कोडेक्स आम तौर पर इन अनुभागों को अनुभागों (या खंडों), मैक्रोब्लॉक्स (या कोडिंग ट्री ब्लॉक्स) और कई उपखंडों में व्यवस्थित करते हैं। इन विभाजनों का अधिकतम आकार अलग-अलग होता है, HEVC इसे 64x64 पर सेट करता है जबकि AVC 16x16 का उपयोग करता है, और उपविभाजनों को 4x4 आकार तक विभाजित किया जा सकता है।

क्या आपको पिछले लेख के फ़्रेम के प्रकार याद हैं?! इसे ब्लॉकों पर लागू किया जा सकता है, इसलिए हमारे पास एक आई-फ़्रैगमेंट, एक बी-ब्लॉक, एक पी-मैक्रोब्लॉक इत्यादि हो सकते हैं।

जो लोग अभ्यास करना चाहते हैं, वे देखें कि छवि को अनुभागों और उपखंडों में कैसे विभाजित किया गया है। ऐसा करने के लिए, आप पिछले लेख में पहले से बताए गए का उपयोग कर सकते हैं। इंटेल वीडियो प्रो विश्लेषक (वह जिसका भुगतान किया जाता है, लेकिन एक नि:शुल्क परीक्षण संस्करण के साथ जो पहले 10 फ़्रेम तक सीमित है)। अनुभागों का विश्लेषण यहां किया गया है VP9:

दूसरा चरण - पूर्वानुमान

एक बार हमारे पास अनुभाग हो जाने पर, हम उनके लिए ज्योतिषीय पूर्वानुमान लगा सकते हैं। के लिए इंटर का पूर्वानुमान स्थानांतरित किया जाना चाहिए गति सदिश और शेष, और इंट्रा पूर्वानुमान के लिए इसे प्रसारित किया जाता है पूर्वानुमान दिशा और शेष.

तीसरा चरण - परिवर्तन

एक बार जब हमारे पास एक अवशिष्ट ब्लॉक (अनुमानित अनुभाग → वास्तविक अनुभाग) होता है, तो इसे इस तरह से बदलना संभव है कि हम जान सकें कि समग्र गुणवत्ता बनाए रखते हुए कौन से पिक्सेल को छोड़ा जा सकता है। कुछ परिवर्तन ऐसे हैं जो सटीक व्यवहार प्रदान करते हैं।

हालाँकि अन्य विधियाँ भी हैं, आइए उन पर अधिक विस्तार से विचार करें। असतत कोसाइन परिवर्तन (डीसीटी - से असतत कोसाइन परिवर्तन). डीसीटी के मुख्य कार्य:

• पिक्सेल के ब्लॉक को आवृत्ति गुणांक के समान आकार के ब्लॉक में परिवर्तित करता है।
• स्थानिक अतिरेक को खत्म करने में मदद करने के लिए शक्ति को संघनित करता है।
• उत्क्रमणीयता प्रदान करता है.

फ़रवरी 2, 2017 सिंट्रा आर.जे. (सिंट्रा, आरजे) और बायर एफ.एम. (बायर एफएम) ने छवि संपीड़न के लिए डीसीटी-जैसे परिवर्तन के बारे में एक लेख प्रकाशित किया जिसके लिए केवल 14 अतिरिक्त की आवश्यकता होती है।

यदि आप प्रत्येक वस्तु के लाभों को नहीं समझते हैं तो चिंता न करें। आइए अब उनका वास्तविक मूल्य देखने के लिए विशिष्ट उदाहरणों का उपयोग करें।

आइए पिक्सेल का यह 8x8 ब्लॉक लें:

इस ब्लॉक को निम्नलिखित 8 गुणा 8 पिक्सेल छवि में प्रस्तुत किया गया है:

पिक्सेल के इस ब्लॉक पर DCT लागू करें और गुणांकों का 8x8 ब्लॉक प्राप्त करें:

और यदि हम गुणांकों के इस ब्लॉक को प्रस्तुत करते हैं, तो हमें निम्नलिखित छवि मिलेगी:

जैसा कि आप देख सकते हैं, यह मूल छवि जैसा नहीं दिखता है। आप देख सकते हैं कि पहला गुणांक अन्य सभी से बहुत अलग है। इस पहले गुणांक को डीसी गुणांक के रूप में जाना जाता है, जो इनपुट सरणी में सभी नमूनों को औसत की तरह दर्शाता है।

गुणांकों के इस ब्लॉक में एक दिलचस्प गुण है: यह उच्च-आवृत्ति घटकों को कम-आवृत्ति वाले घटकों से अलग करता है।

एक छवि में, अधिकांश शक्ति कम आवृत्तियों पर केंद्रित होती है, इसलिए यदि आप छवि को उसके आवृत्ति घटकों में परिवर्तित करते हैं और उच्च आवृत्ति गुणांक को त्याग देते हैं, तो आप बहुत अधिक चित्र गुणवत्ता का त्याग किए बिना छवि का वर्णन करने के लिए आवश्यक डेटा की मात्रा को कम कर सकते हैं।

फ़्रीक्वेंसी से तात्पर्य यह है कि सिग्नल कितनी तेज़ी से बदलता है।

आइए DCT का उपयोग करके मूल छवि को उसकी आवृत्ति (गुणांकों के ब्लॉक) में परिवर्तित करके और फिर कम से कम महत्वपूर्ण गुणांकों के भाग को त्यागकर परीक्षण मामले में प्राप्त ज्ञान को लागू करने का प्रयास करें।

सबसे पहले हम इसे फ़्रीक्वेंसी डोमेन में परिवर्तित करते हैं।

इसके बाद, हम गुणांकों के भाग (67%) को त्याग देते हैं, मुख्यतः निचला दायाँ भाग।

अंत में, हम गुणांक के इस खारिज किए गए ब्लॉक से छवि का पुनर्निर्माण करते हैं (याद रखें, यह उलटा होना चाहिए) और इसकी तुलना मूल से करें।

हम देखते हैं कि यह मूल छवि जैसा दिखता है, लेकिन मूल से कई अंतर हैं। हमने 67,1875% फेंक दिया और फिर भी मूल जैसा कुछ मिला। बेहतर गुणवत्ता की छवि प्राप्त करने के लिए गुणांकों को अधिक सोच-समझकर त्यागना संभव था, लेकिन यह अगला विषय है।

प्रत्येक गुणांक सभी पिक्सेल का उपयोग करके उत्पन्न होता है

महत्वपूर्ण: प्रत्येक गुणांक सीधे एक पिक्सेल पर मैप नहीं किया जाता है, बल्कि सभी पिक्सेल का भारित योग होता है। यह अद्भुत ग्राफ दिखाता है कि प्रत्येक सूचकांक के लिए अद्वितीय वजन का उपयोग करके पहले और दूसरे गुणांक की गणना कैसे की जाती है।

आप डीसीटी पर आधारित एक सरल छवि निर्माण को देखकर उसकी कल्पना करने का भी प्रयास कर सकते हैं। उदाहरण के लिए, यहां प्रत्येक गुणांक भार का उपयोग करके उत्पन्न प्रतीक A दिया गया है:

चौथा चरण - परिमाणीकरण

पिछले चरण में कुछ गुणांक निकालने के बाद, अंतिम चरण (परिवर्तन) पर हम परिमाणीकरण का एक विशेष रूप निष्पादित करते हैं। इस स्तर पर जानकारी खोना स्वीकार्य है। या, अधिक सरलता से, हम संपीड़न प्राप्त करने के लिए गुणांकों की मात्रा निर्धारित करेंगे।

आप गुणांकों के एक ब्लॉक का परिमाण कैसे निर्धारित कर सकते हैं? सबसे सरल तरीकों में से एक एकसमान परिमाणीकरण है, जब हम एक ब्लॉक लेते हैं, इसे एक मान (10 से) से विभाजित करते हैं और परिणाम को गोल करते हैं।

क्या हम गुणांकों के इस ब्लॉक को उलट सकते हैं? हाँ, हम उसी मान से गुणा कर सकते हैं जिससे हमने विभाजित किया था।

यह दृष्टिकोण सर्वोत्तम नहीं है क्योंकि यह प्रत्येक गुणांक के महत्व को ध्यान में नहीं रखता है। कोई एकल मान के बजाय क्वांटाइज़र के मैट्रिक्स का उपयोग कर सकता है, और यह मैट्रिक्स निचले दाएं के बहुमत और ऊपरी बाएं के अल्पसंख्यक को मात्राबद्ध करके डीसीटी संपत्ति का फायदा उठा सकता है।

चरण 5 - एन्ट्रापी कोडिंग

एक बार जब हम डेटा (छवि ब्लॉक, टुकड़े, फ्रेम) को परिमाणित कर लेते हैं, तब भी हम इसे हानिरहित रूप से संपीड़ित कर सकते हैं। डेटा को संपीड़ित करने के कई एल्गोरिथम तरीके हैं। हम उनमें से कुछ पर एक त्वरित नज़र डालने जा रहे हैं, गहरी समझ के लिए आप अंडरस्टैंडिंग कम्प्रेशन: डेटा कम्प्रेशन फ़ॉर मॉडर्न डेवलपर्स ("संपीड़न को समझना: आधुनिक डेवलपर्स के लिए डेटा संपीड़न").

वीएलसी का उपयोग करके वीडियो एन्कोडिंग

मान लीजिए कि हमारे पास पात्रों की एक श्रृंखला है: a, e, r и t. प्रत्येक वर्ण एक स्ट्रीम में कितनी बार प्रकट होता है इसकी प्रायिकता (0 से 1 तक) इस तालिका में प्रस्तुत की गई है।

	a	e	r	t
संभावना	0,3	0,3	0,2	0,2

हम सबसे संभावित बाइनरी कोड (अधिमानतः छोटे वाले) को सबसे अधिक संभावित बाइनरी कोड और कम संभावित बाइनरी कोड को बड़े कोड असाइन कर सकते हैं।

	a	e	r	t
संभावना	0,3	0,3	0,2	0,2
बाइनरी कोड	0	10	110	1110

हम स्ट्रीम को संपीड़ित करते हैं, यह मानते हुए कि हम प्रत्येक चरित्र के लिए 8 बिट्स खर्च करेंगे। संपीड़न के बिना, प्रति वर्ण 24 बिट्स की आवश्यकता होगी। यदि आप प्रत्येक अक्षर को उसके कोड से बदलते हैं, तो आपको बचत मिलती है!

पहला कदम चरित्र को एन्कोड करना है e, जो 10 के बराबर है, और दूसरा अक्षर है a, जो जोड़ा गया है (गणितीय तरीके से नहीं): [10][0], और अंत में तीसरा अक्षर t, जो हमारी अंतिम संपीड़ित बिटस्ट्रीम को [10][0][1110] या के बराबर बनाता है 1001110, जिसके लिए केवल 7 बिट्स (मूल से 3,4 गुना कम स्थान) की आवश्यकता होती है।

कृपया ध्यान दें कि प्रत्येक कोड एक उपसर्ग के साथ एक अद्वितीय कोड होना चाहिए। हफ़मैन एल्गोरिथ्म आपको इन नंबरों को ढूंढने में मदद मिलेगी. हालाँकि यह विधि अपनी खामियों के बिना नहीं है, ऐसे वीडियो कोडेक्स हैं जो अभी भी संपीड़न के लिए इस एल्गोरिथम विधि की पेशकश करते हैं।

एनकोडर और डिकोडर दोनों को अपने बाइनरी कोड के साथ एक प्रतीक तालिका तक पहुंच होनी चाहिए। इसलिए इनपुट के तौर पर एक टेबल भेजना भी जरूरी है.

अंकगणित कोडिंग

मान लीजिए कि हमारे पास पात्रों की एक श्रृंखला है: a, e, r, s и t, और उनकी संभावना इस तालिका में प्रस्तुत की गई है।

	a	e	r	s	t
संभावना	0,3	0,3	0,15	0,05	0,2

इस तालिका का उपयोग करके, हम सबसे बड़ी संख्या के आधार पर क्रमबद्ध सभी संभावित वर्णों वाली श्रेणियां बनाएंगे।

आइए अब तीन अक्षरों की एक स्ट्रीम को एन्कोड करें: खाने.

सबसे पहले पहला अक्षर चुनें e, जो 0,3 से 0,6 (शामिल नहीं) की उपश्रेणी में है। हम इस उपश्रेणी को लेते हैं और इसे पहले के समान अनुपात में फिर से विभाजित करते हैं, लेकिन इस नई श्रेणी के लिए।

आइए अपनी स्ट्रीम को कोड करना जारी रखें खाने. अब दूसरा किरदार लीजिए a, जो 0,3 से 0,39 तक नई उपश्रेणी में है, और फिर हमारा अंतिम वर्ण लें t और उसी प्रक्रिया को दोबारा दोहराते हुए, हमें 0,354 से 0,372 तक की अंतिम उप-श्रेणी मिलती है।

हमें बस अंतिम उपश्रेणी में 0,354 से 0,372 तक एक संख्या का चयन करना होगा। आइए 0,36 चुनें (लेकिन आप इस उपश्रेणी में कोई अन्य संख्या चुन सकते हैं)। केवल इस नंबर से ही हम अपनी मूल स्ट्रीम को पुनर्स्थापित कर पाएंगे। यह ऐसा है मानो हम अपनी स्ट्रीम को एन्कोड करने के लिए सीमाओं के भीतर एक रेखा खींच रहे हों।

रिवर्स ऑपरेशन (अर्थात्, डिकोडिंग) बिल्कुल सरल है: हमारी संख्या 0,36 और हमारी प्रारंभिक सीमा के साथ, हम वही प्रक्रिया चला सकते हैं। लेकिन अब, इस नंबर का उपयोग करके, हम इस नंबर का उपयोग करके एन्कोडेड स्ट्रीम की पहचान करते हैं।

पहली श्रेणी के साथ, हम देखते हैं कि हमारी संख्या स्लाइस से मेल खाती है, इसलिए यह हमारा पहला अक्षर है। अब हम पहले की तरह ही प्रक्रिया का पालन करके इस उप-श्रेणी को फिर से विभाजित करते हैं। यहां आप देख सकते हैं कि 0,36 प्रतीक से मेल खाता है a, और प्रक्रिया को दोहराने के बाद हम अंतिम अक्षर पर पहुंचे t (हमारी मूल एन्कोडेड स्ट्रीम का निर्माण खाने).

एनकोडर और डिकोडर दोनों में प्रतीक संभावनाओं की एक तालिका होनी चाहिए, इसलिए इसे इनपुट डेटा में भी भेजना आवश्यक है।

बहुत सुन्दर, है ना? जो कोई भी इस समाधान के साथ आया वह बहुत चतुर था। कुछ वीडियो कोडेक्स इस तकनीक का उपयोग करते हैं (या कम से कम इसे एक विकल्प के रूप में पेश करते हैं)।

विचार यह है कि परिमाणित बिट स्ट्रीम को दोषरहित तरीके से संपीड़ित किया जाए। निश्चित रूप से इस लेख में बहुत सारे विवरण, कारण, व्यापार-बंद आदि गायब हैं। लेकिन अगर आप डेवलपर हैं, तो आपको और जानना चाहिए। नए कोडेक्स विभिन्न एन्ट्रापी एन्कोडिंग एल्गोरिदम का उपयोग करने का प्रयास करते हैं जैसे साल.

चरण 6 - बिटस्ट्रीम प्रारूप

यह सब करने के बाद, जो कुछ बचता है वह निष्पादित चरणों के संदर्भ में संपीड़ित फ़्रेमों को अनपैक करना है। डिकोडर को एनकोडर द्वारा लिए गए निर्णयों के बारे में स्पष्ट रूप से सूचित किया जाना चाहिए। डिकोडर को सभी आवश्यक जानकारी प्रदान की जानी चाहिए: बिट गहराई, रंग स्थान, रिज़ॉल्यूशन, भविष्यवाणी जानकारी (गति वैक्टर, दिशात्मक इंटर भविष्यवाणी), प्रोफ़ाइल, स्तर, फ्रेम दर, फ्रेम प्रकार, फ्रेम संख्या और बहुत कुछ।

हम बिटस्ट्रीम पर एक त्वरित नज़र डालेंगे H.264. हमारा पहला कदम न्यूनतम H.264 बिटस्ट्रीम बनाना है (FFmpeg डिफ़ॉल्ट रूप से सभी एन्कोडिंग विकल्प जोड़ता है जैसे सेई नाल - हम थोड़ा आगे पता लगाएंगे कि यह क्या है)। हम इसे अपने स्वयं के भंडार और FFmpeg का उपयोग करके कर सकते हैं।

./s/ffmpeg -i /files/i/minimal.png -pix_fmt yuv420p /files/v/minimal_yuv420.h264

यह कमांड एक रॉ बिटस्ट्रीम उत्पन्न करेगा H.264 एक फ्रेम के साथ, 64×64 रिज़ॉल्यूशन, रंगीन स्थान के साथ YUV420. इस मामले में, निम्न छवि का उपयोग फ़्रेम के रूप में किया जाता है।

H.264 बिटस्ट्रीम

मानक AVC (H.264) यह निर्धारित करता है कि जानकारी मैक्रोफ्रेम (नेटवर्क अर्थ में) में भेजी जाएगी, जिसे कहा जाता है एनएएल (यह एक नेटवर्क अमूर्त स्तर है)। एनएएल का मुख्य लक्ष्य "वेब-अनुकूल" वीडियो प्रस्तुति प्रदान करना है। यह मानक टीवी (स्ट्रीम-आधारित), इंटरनेट (पैकेट-आधारित) पर काम करना चाहिए।

एनएएल तत्वों की सीमाओं को परिभाषित करने के लिए एक सिंक्रनाइज़ेशन मार्कर है। प्रत्येक सिंक टोकन में एक मान होता है 0x00 0x00 0x01, पहले वाले को छोड़कर, जो बराबर है 0x00 0x00 0x00 0x01. अगर हम लॉन्च करते हैं हेक्सडंप उत्पन्न H.264 बिटस्ट्रीम के लिए, हम फ़ाइल की शुरुआत में कम से कम तीन NAL पैटर्न की पहचान करते हैं।

जैसा कि कहा गया है, डिकोडर को न केवल छवि डेटा, बल्कि वीडियो, फ्रेम, रंग, उपयोग किए गए पैरामीटर और बहुत कुछ का विवरण भी पता होना चाहिए। प्रत्येक एनएएल का पहला बाइट उसकी श्रेणी और प्रकार को परिभाषित करता है।

एनएएल प्रकार पहचानकर्ता	विवरण
0	अज्ञात प्रकार
1	आईडीआर के बिना एन्कोडेड छवि खंड
2	कोडित स्लाइस डेटा अनुभाग A
3	कोडित स्लाइस डेटा अनुभाग B
4	कोडित स्लाइस डेटा अनुभाग C
5	IDR छवि का एन्कोडेड IDR टुकड़ा
6	SEI एक्सटेंशन के बारे में अधिक जानकारी
7	एसपीएस अनुक्रम पैरामीटर सेट
8	पीपीएस छवि मापदंडों का सेट
9	पहुंच विभाजक
10	क्रम का अंत
11	धागे का अंत
...	...

आमतौर पर बिट स्ट्रीम का पहला NAL होता है पीएलसी. इस प्रकार का एनएएल सामान्य एन्कोडिंग चर जैसे प्रोफ़ाइल, स्तर, रिज़ॉल्यूशन इत्यादि के बारे में सूचित करने के लिए ज़िम्मेदार है।

यदि हम पहले सिंक मार्कर को छोड़ देते हैं, तो हम यह पता लगाने के लिए पहले बाइट को डीकोड कर सकते हैं कि कौन सा एनएएल प्रकार पहले है।

उदाहरण के लिए, सिंक टोकन के बाद पहला बाइट है 01100111, जहां पहला बिट (0) फ़ील्ड एफ में हैऑर्बिडेन_जीरो_बिट. अगले 2 बिट्स (11) हमें फ़ील्ड बताता है nal_ref_idc, जो इंगित करता है कि यह एनएएल एक संदर्भ क्षेत्र है या नहीं। और शेष 5 बिट्स (00111) हमें फ़ील्ड बताता है nal_unit_type, इस मामले में यह एसपीएस ब्लॉक है (7) एनएएल.

दूसरा बाइट (बाइनरी=01100100, हेक्स=0x64, दिसम्बर=100) एसपीएस में एनएएल फ़ील्ड है प्रोफ़ाइल_आईडीसी, जो एनकोडर द्वारा उपयोग की गई प्रोफ़ाइल दिखाता है। इस मामले में, एक सीमित उच्च प्रोफ़ाइल का उपयोग किया गया था (यानी, द्विदिश बी-सेगमेंट समर्थन के बिना एक उच्च प्रोफ़ाइल)।

यदि आप बिटस्ट्रीम विनिर्देश को देखें H.264 एसपीएस एनएएल के लिए, हमें पैरामीटर नाम, श्रेणी और विवरण के लिए कई मान मिलेंगे। उदाहरण के लिए, आइए खेतों को देखें तस्वीर_चौड़ाई_एमबीएस_माइनस_1 и pic_height_in_map_units_minus_1.

मापदण्ड नाम	श्रेणी	विवरण
तस्वीर_चौड़ाई_एमबीएस_माइनस_1	0	ue(v)
pic_height_in_map_units_minus_1	0	ue(v)

यदि हम इन क्षेत्रों के मानों के साथ कुछ गणितीय संक्रियाएँ करते हैं, तो हमें रिज़ॉल्यूशन प्राप्त होगा। इसका उपयोग करके कोई 1920 x 1080 का प्रतिनिधित्व कर सकता है तस्वीर_चौड़ाई_एमबीएस_माइनस_1 119 के मान के साथ ((119 + 1) * मैक्रोब्लॉक_साइज़ = 120 * 16 = 1920)। फिर, जगह बचाने के लिए, 1920 को एन्कोड करने के बजाय, हमने इसे 119 के साथ किया।

यदि हम अपने बनाए गए वीडियो को बाइनरी फॉर्म में जांचना जारी रखते हैं (उदाहरण के लिए: xxd -b -c 11 v/minimal_yuv420.h264), फिर आप अंतिम एनएएल पर जा सकते हैं, जो फ्रेम ही है।

यहां हम इसके पहले 6 बाइट मान देखते हैं: 01100101 10001000 10000100 00000000 00100001 11111111. चूंकि पहला बाइट एनएएल प्रकार को इंगित करने के लिए जाना जाता है, इस मामले में (00101) एक आईडीआर खंड (5) है, और फिर आप इसे आगे खोज सकते हैं:

विनिर्देशन जानकारी का उपयोग करके, टुकड़े के प्रकार को डिकोड करना संभव होगा (स्लाइस_प्रकार) और फ़्रेम नंबर (फ्रेम_संख्या) अन्य महत्वपूर्ण क्षेत्रों के बीच।

कुछ फ़ील्ड के मान प्राप्त करने के लिए (ue(v), me(v), se(v) या te(v)), हमें एक विशेष डिकोडर का उपयोग करके टुकड़े को डिकोड करने की आवश्यकता है घातीय गोलोम्ब कोड. यह विधि परिवर्तनीय मानों को एन्कोड करने के लिए बहुत कुशल है, खासकर जब कई डिफ़ॉल्ट मान हों।

अर्थ स्लाइस_प्रकार и फ्रेम_संख्या इस वीडियो के 7 (आई-फ़्रैगमेंट) और 0 (पहला फ़्रेम) हैं।

एक बिट स्ट्रीम को एक प्रोटोकॉल के रूप में सोचा जा सकता है। यदि आप बिटस्ट्रीम के बारे में अधिक जानना चाहते हैं, तो आपको विनिर्देश का संदर्भ लेना चाहिए आईटीयू एच.264. यहां एक मैक्रो आरेख है जो दर्शाता है कि छवि डेटा कहां है (YUV संपीड़ित रूप में)।

अन्य बिटस्ट्रीम की जांच की जा सकती है, जैसे VP9, H.265 (HEVC) या यहां तक ​​कि हमारी नई सर्वोत्तम बिटस्ट्रीम भी AV1. क्या वे सभी समान हैं? नहीं, लेकिन एक बार जब आप कम से कम एक को समझ लेते हैं, तो बाकी को समझना बहुत आसान हो जाता है।

अभ्यास करना चाहते हैं? H.264 बिटस्ट्रीम का अन्वेषण करें

आप एकल फ़्रेम वीडियो तैयार कर सकते हैं और बिटस्ट्रीम की जांच करने के लिए MediaInfo का उपयोग कर सकते हैं H.264. वास्तव में, कुछ भी आपको बिट स्ट्रीम का विश्लेषण करने वाले स्रोत कोड को देखने से भी नहीं रोकता है H.264 (AVC).

अभ्यास के लिए, आप इंटेल वीडियो प्रो एनालाइज़र का उपयोग कर सकते हैं (क्या मैंने पहले ही कहा था कि कार्यक्रम का भुगतान किया जाता है, लेकिन 10 फ्रेम की सीमा के साथ एक निःशुल्क परीक्षण संस्करण भी है?)।

Обзор

ध्यान दें कि कई आधुनिक कोडेक्स उसी मॉडल का उपयोग करते हैं जिसका हमने अभी अध्ययन किया है। यहां, आइए वीडियो कोडेक के ब्लॉक आरेख पर एक नज़र डालें Thor. इसमें वे सभी चरण शामिल हैं जिनसे हम गुज़रे हैं। इस पोस्ट का पूरा उद्देश्य कम से कम आपको इस क्षेत्र में नवाचारों और दस्तावेज़ीकरण की बेहतर समझ प्रदान करना है।

पहले, यह गणना की गई थी कि 139p गुणवत्ता और 720 एफपीएस पर एक घंटे तक चलने वाली वीडियो फ़ाइल को संग्रहीत करने के लिए 30 जीबी डिस्क स्थान की आवश्यकता होगी। यदि आप इस आलेख में चर्चा की गई विधियों (अंतर-फ़्रेम और आंतरिक पूर्वानुमान, परिवर्तन, परिमाणीकरण, एन्ट्रॉपी कोडिंग इत्यादि) का उपयोग करते हैं, तो आप प्राप्त कर सकते हैं (इस तथ्य के आधार पर कि हम प्रति पिक्सेल 0,031 बिट्स खर्च करते हैं), काफी का एक वीडियो संतोषजनक गुणवत्ता, केवल 367,82 एमबी, 139 जीबी मेमोरी नहीं।

H.265, H.264 से बेहतर संपीड़न अनुपात कैसे प्राप्त करता है?

अब जब हम इस बारे में अधिक जान गए हैं कि कोडेक्स कैसे काम करते हैं, तो यह समझना आसान हो गया है कि नए कोडेक्स कैसे कम बिट्स के साथ उच्च रिज़ॉल्यूशन प्रदान कर सकते हैं।

अगर हम तुलना करें AVC и HEVC, यह याद रखने योग्य है कि यह लगभग हमेशा अधिक सीपीयू लोड और संपीड़न अनुपात के बीच एक विकल्प होता है।

HEVC से अधिक अनुभाग (और उपधारा) विकल्प हैं AVC, अधिक आंतरिक भविष्यवाणी दिशाएँ, बेहतर एन्ट्रापी कोडिंग, और बहुत कुछ। ये सभी सुधार किये गये हैं H.265 से 50% अधिक संपीड़ित करने में सक्षम H.264.

पहला भाग: वीडियो और छवियों के साथ काम करने की मूल बातें

स्रोत: www.habr.com