როგორ მუშაობს ვიდეო კოდეკი? ნაწილი 2. რა, რატომ, როგორ

პირველი ნაწილი: ვიდეოსთან და სურათებთან მუშაობის საფუძვლები

რა? ვიდეო კოდეკი არის პროგრამული უზრუნველყოფის/ტექნიკის ნაწილი, რომელიც შეკუმშავს და/ან ახდენს ციფრული ვიდეოს დეკომპრესიას.

რა? მიუხედავად გარკვეული შეზღუდვებისა როგორც გამტარუნარიანობის, ისე
და მონაცემთა შენახვის სივრცის თვალსაზრისით, ბაზარი ითხოვს უფრო მაღალი ხარისხის ვიდეოს. გახსოვთ, ბოლო პოსტში როგორ გამოვთვალეთ საჭირო მინიმუმი 30 კადრი წამში, 24 ბიტი პიქსელზე, 480x240 გარჩევადობით? ჩვენ მივიღეთ 82,944 Mbit/s შეკუმშვის გარეშე. შეკუმშვა ამჟამად ერთადერთი გზაა ზოგადად HD/FullHD/4K ტელევიზორის ეკრანებზე და ინტერნეტზე გადასაცემად. როგორ მიიღწევა ეს? ახლა მოკლედ გადავხედოთ ძირითად მეთოდებს.

თარგმანი შესრულებულია EDISON Software-ის მხარდაჭერით.

ჩვენ დაკავებული ვართ ვიდეოთვალთვალის სისტემების ინტეგრაციადა ჩვენ ვამუშავებთ მიკროტომოგრაფს.

კოდეკი კონტეინერის წინააღმდეგ

ჩვეულებრივი შეცდომა დამწყებთათვის არის ციფრული ვიდეო კოდეკისა და ციფრული ვიდეო კონტეინერის აღრევა. კონტეინერი არის გარკვეული ფორმატი. შეფუთვა, რომელიც შეიცავს ვიდეოს (და შესაძლოა აუდიო) მეტამონაცემებს. შეკუმშული ვიდეო შეიძლება ჩაითვალოს, როგორც კონტეინერის დატვირთვა.

როგორც წესი, ვიდეო ფაილის გაფართოება მიუთითებს მის კონტეინერის ტიპზე. მაგალითად, ფაილი video.mp4 ალბათ კონტეინერია MPEG-4 ნაწილი 14და დიდი ალბათობით არის ფაილი სახელად video.mkv მატრიოშკა. იმისათვის, რომ სრულად დარწმუნდეთ კოდეკსა და კონტეინერის ფორმატში, შეგიძლიათ გამოიყენოთ FFmpeg ან მედიაინფო.

პატარა ისტორიის

სანამ მივალთ როგორ?მოდით, ცოტათი ჩავუღრმავდეთ ისტორიას, რათა უკეთ გავიგოთ ზოგიერთი ძველი კოდეკი.

ვიდეო კოდეკი H.261 გამოჩნდა 1990 წელს (ტექნიკურად - 1988 წელს) და შეიქმნა 64 Kbps მონაცემთა გადაცემის სიჩქარით მუშაობისთვის. მან უკვე გამოიყენა იდეები, როგორიცაა ფერადი ქვენიმუშების შერჩევა, მაკრობლოკები და ა.შ. ვიდეო კოდეკის სტანდარტი გამოქვეყნდა 1995 წელს H.263, რომელიც 2001 წლამდე ვითარდებოდა.

პირველი ვერსია დასრულდა 2003 წელს H.264 / AVC. იმავე წელს TrueMotion-მა გამოუშვა თავისი უფასო დაკარგვის ვიდეო კოდეკი სახელწოდებით VP3. Google-მა კომპანია 2008 წელს იყიდა, გამოუშვა VP8 იმავე წელს. 2012 წლის დეკემბერში Google-მა გამოუშვა VP9და ის მხარდაჭერილია ბრაუზერის ბაზრის დაახლოებით ¾-ში (მობილური მოწყობილობების ჩათვლით).

AV1 არის ახალი უფასო და ღია კოდის ვიდეო კოდეკი, რომელიც შემუშავებულია ალიანსი ღია მედიისთვის (AOMedia), რომელშიც შედის ყველაზე ცნობილი კომპანიები, როგორიცაა: Google, Mozilla, Microsoft, Amazon, Netflix, AMD, ARM, NVidia, Intel და Cisco. კოდეკის პირველი ვერსია, 0.1.0, გამოქვეყნდა 7 წლის 2016 აპრილს.

AV1-ის დაბადება

2015 წლის დასაწყისში Google მუშაობდა VP10Xiph (რომელიც მოზილას ეკუთვნის) მუშაობდა Daalaდა Cisco-მ შექმნა საკუთარი უფასო ვიდეო კოდეკი ე.წ ტორ.

მაშინ MPEG LA პირველად გამოცხადდა წლიური ლიმიტები HEVC (H.265) და გადასახადი 8-ჯერ მეტი, ვიდრე H.264-ისთვის, მაგრამ მალე ისევ შეცვალეს წესები:

ყოველწლიური ლიმიტის გარეშე,
კონტენტის საფასური (შემოსავლის 0,5%) და
ერთეულის საფასური დაახლოებით 10-ჯერ აღემატება H.264-ს.

ალიანსი ღია მედიისთვის შეიქმნა კომპანიების მიერ სხვადასხვა სფეროდან: აღჭურვილობის მწარმოებლები (Intel, AMD, ARM, Nvidia, Cisco), კონტენტის პროვაიდერები (Google, Netflix, Amazon), ბრაუზერის შემქმნელები (Google, Mozilla) და სხვა.

კომპანიებს საერთო მიზანი ჰქონდათ - ჰონორარის გარეშე ვიდეო კოდეკი. შემდეგ გამოჩნდება AV1 გაცილებით მარტივი პატენტის ლიცენზიით. Timothy B. Terryberry-მ წარმოადგინა განსაცვიფრებელი პრეზენტაცია, რომელიც გახდა ამჟამინდელი AV1 კონცეფციისა და მისი ლიცენზირების მოდელის სათავე.

გაგიკვირდებათ, თუ იცით, რომ შეგიძლიათ AV1 კოდეკის ანალიზი ბრაუზერის საშუალებით (დაინტერესებულებს შეუძლიათ მიმართონ aomanalyzer.org).

უნივერსალური კოდეკი

მოდით შევხედოთ უნივერსალური ვიდეო კოდეკის ძირითად მექანიზმებს. ამ კონცეფციების უმეტესობა სასარგებლოა და გამოიყენება თანამედროვე კოდეკებში, როგორიცაა VP9, AV1 и HEVC. გაფრთხილებთ, რომ ახსნილი ბევრი რამ გამარტივდება. ზოგჯერ რეალური სამყაროს მაგალითები (როგორც H.264) გამოყენებული იქნება ტექნოლოგიების საჩვენებლად.

1 ნაბიჯი - გამოსახულების გაყოფა

პირველი ნაბიჯი არის ჩარჩოს დაყოფა რამდენიმე ნაწილად, ქვესექციად და მის ფარგლებს გარეთ.

Რისთვის? მიზეზი ბევრია. როდესაც სურათს ვყოფთ, ჩვენ შეგვიძლია უფრო ზუსტად ვიწინასწარმეტყველოთ მოძრაობის ვექტორი მცირე მოძრავი ნაწილების მცირე მონაკვეთების გამოყენებით. ხოლო სტატიკური ფონისთვის შეგიძლიათ შემოიფარგლოთ უფრო დიდი სექციებით.

კოდეკები, როგორც წესი, აწყობენ ამ სექციებს სექციებად (ან ნაწილებად), მაკრობლოკებად (ან კოდირების ხის ბლოკებად) და მრავალ ქვესექციად. ამ დანაყოფების მაქსიმალური ზომა მერყეობს, HEVC აყენებს მას 64x64-ზე, ხოლო AVC იყენებს 16x16-ს და ქვეგანყოფილებები შეიძლება დაიყოს 4x4 ზომებამდე.

გახსოვთ ჩარჩოების ტიპები ბოლო სტატიიდან?! იგივე შეიძლება გამოვიყენოთ ბლოკებზე, ამიტომ შეიძლება გვქონდეს I-ფრაგმენტი, B-ბლოკი, P-მაკრობლოკი და ა.შ.

მათთვის, ვისაც სურს ვარჯიში, უყურეთ, როგორ იყოფა სურათი სექციებად და ქვესექციად. ამისათვის შეგიძლიათ გამოიყენოთ წინა სტატიაში უკვე ნახსენები. Intel Video Pro ანალიზატორი (ის, რომელიც ფასიანია, მაგრამ უფასო საცდელი ვერსიით, რომელიც შემოიფარგლება პირველი 10 ფრეიმით). სექციები გაანალიზებულია აქ VP9:

მე-2 ნაბიჯი - პროგნოზირება

მას შემდეგ რაც გვექნება სექციები, ჩვენ შეგვიძლია გავაკეთოთ ასტროლოგიური პროგნოზები მათთვის. ამისთვის INTER პროგნოზებს უნდა გადაეცეს მოძრაობის ვექტორები და დანარჩენი, და INTRA პროგნოზირებისთვის ის გადაცემულია პროგნოზის მიმართულება და დანარჩენი.

მე-3 ნაბიჯი - ტრანსფორმაცია

მას შემდეგ, რაც ჩვენ გვექნება ნარჩენი ბლოკი (პროგნოზირებადი განყოფილება → რეალური განყოფილება), შესაძლებელია მისი ტრანსფორმირება ისე, რომ ჩვენ ვიცოდეთ რომელი პიქსელების გადაყრა შესაძლებელია საერთო ხარისხის შენარჩუნებისას. არის გარკვეული ტრანსფორმაციები, რომლებიც უზრუნველყოფს ზუსტ ქცევას.

მიუხედავად იმისა, რომ არსებობს სხვა მეთოდები, მოდით შევხედოთ მათ უფრო დეტალურად. დისკრეტული კოსინუსური ტრანსფორმაცია (DCT - დან დისკრეტული კოსინუსური ტრანსფორმაცია). DCT-ის ძირითადი ფუნქციები:

• გარდაქმნის პიქსელების ბლოკებს სიხშირის კოეფიციენტების თანაბარი ზომის ბლოკებად.
• აკონდენსებს ძალას სივრცითი სიჭარბის აღმოსაფხვრელად.
• უზრუნველყოფს შექცევადობას.

2 წლის 2017 თებერვალი სინტრა რ.ჯ. (Cintra, RJ) და Bayer F.M. (Bayer FM) გამოაქვეყნა სტატია DCT-ის მსგავსი ტრანსფორმაციის შესახებ გამოსახულების შეკუმშვისთვის, რომელიც მოითხოვს მხოლოდ 14 დამატებას.

არ ინერვიულოთ, თუ არ გესმით თითოეული წერტილის სარგებელი. ახლა გამოვიყენოთ კონკრეტული მაგალითები მათი რეალური ღირებულების სანახავად.

ავიღოთ პიქსელების ეს 8x8 ბლოკი:

ეს ბლოკი გადაყვანილია შემდეგ 8 x 8 პიქსელ სურათზე:

გამოიყენეთ DCT პიქსელების ამ ბლოკზე და მიიღეთ კოეფიციენტების 8x8 ბლოკი:

და თუ კოეფიციენტების ამ ბლოკს გამოვხატავთ, მივიღებთ შემდეგ სურათს:

როგორც ხედავთ, ის არ ჰგავს ორიგინალურ სურათს. თქვენ ხედავთ, რომ პირველი კოეფიციენტი ძალიან განსხვავდება ყველა დანარჩენისგან. ეს პირველი კოეფიციენტი ცნობილია როგორც DC კოეფიციენტი, რომელიც წარმოადგენს ყველა ნიმუშს შეყვანის მასივში, რაღაც საშუალოს მსგავსი.

კოეფიციენტების ამ ბლოკს აქვს საინტერესო თვისება: ის განასხვავებს მაღალი სიხშირის კომპონენტებს დაბალი სიხშირისგან.

გამოსახულებაში ენერგიის უმეტესი ნაწილი კონცენტრირებულია დაბალ სიხშირეზე, ასე რომ, თუ სურათს გადააქცევთ მის სიხშირის კომპონენტებად და უგულებელყოფთ უფრო მაღალი სიხშირის კოეფიციენტებს, შეგიძლიათ შეამციროთ სურათის აღწერისთვის საჭირო მონაცემების რაოდენობა, სურათის ძალიან მაღალი ხარისხის შეწირვის გარეშე.

სიხშირე მიუთითებს იმაზე, თუ რამდენად სწრაფად იცვლება სიგნალი.

შევეცადოთ გამოვიყენოთ ტესტის შემთხვევაში მიღებული ცოდნა ორიგინალური გამოსახულების მის სიხშირეზე (კოეფიციენტების ბლოკად) გადაქცევით DCT-ის გამოყენებით და შემდეგ ყველაზე ნაკლებად მნიშვნელოვანი კოეფიციენტების ნაწილის გადაყრით.

ჯერ გადავიყვანთ მას სიხშირის დომენში.

შემდეგი, ჩვენ უგულებელყოფთ კოეფიციენტების ნაწილს (67%), ძირითადად ქვედა მარჯვენა ნაწილს.

დაბოლოს, ჩვენ აღადგენთ სურათს კოეფიციენტების ამ გაუქმებული ბლოკიდან (გახსოვდეთ, ის უნდა იყოს ინვერსიული) და შევადაროთ ორიგინალს.

ჩვენ ვხედავთ, რომ იგი წააგავს ორიგინალურ სურათს, მაგრამ ბევრი განსხვავებაა ორიგინალისგან. ჩვენ გამოვყარეთ 67,1875% და მაინც მივიღეთ ორიგინალის მსგავსი. შესაძლებელი იყო კოეფიციენტების უფრო გააზრებულად გაუქმება კიდევ უკეთესი ხარისხის გამოსახულების მისაღებად, მაგრამ ეს შემდეგი თემაა.

თითოეული კოეფიციენტი იქმნება ყველა პიქსელის გამოყენებით

მნიშვნელოვანია: თითოეული კოეფიციენტი პირდაპირ არ არის დატანილი ერთ პიქსელზე, მაგრამ არის ყველა პიქსელის შეწონილი ჯამი. ეს საოცარი გრაფიკი გვიჩვენებს, თუ როგორ გამოითვლება პირველი და მეორე კოეფიციენტები თითოეული ინდექსისთვის უნიკალური წონის გამოყენებით.

თქვენ ასევე შეგიძლიათ სცადოთ DCT-ის ვიზუალიზაცია მასზე დაფუძნებული მარტივი გამოსახულების ფორმირების დათვალიერებით. მაგალითად, აქ არის სიმბოლო A, რომელიც წარმოიქმნება თითოეული კოეფიციენტის წონის გამოყენებით:

მე-4 საფეხური - კვანტიზაცია

მას შემდეგ რაც წინა საფეხურზე რამდენიმე კოეფიციენტს გამოვყრით, ბოლო საფეხურზე (ტრანსფორმაციაზე) ვასრულებთ კვანტიზაციის სპეციალურ ფორმას. ამ ეტაპზე დასაშვებია ინფორმაციის დაკარგვა. ან, უფრო მარტივად, ჩვენ გავანაწილებთ კოეფიციენტებს შეკუმშვის მისაღწევად.

როგორ შეიძლება კოეფიციენტების ბლოკის კვანტირება? ერთ-ერთი უმარტივესი მეთოდია ერთგვაროვანი კვანტიზაცია, როდესაც ვიღებთ ბლოკს, ვყოფთ მას ერთ მნიშვნელობაზე (10-ზე) და დავამრგვალებთ შედეგს.

შეგვიძლია შევცვალოთ კოეფიციენტების ეს ბლოკი? დიახ, შეგვიძლია, გავამრავლოთ იმავე მნიშვნელობაზე, რომელზეც გავყავით.

ეს მიდგომა არ არის საუკეთესო, რადგან არ ითვალისწინებს თითოეული კოეფიციენტის მნიშვნელობას. შეიძლება გამოვიყენოთ კვანტიზერების მატრიცა ერთი მნიშვნელობის ნაცვლად, და ამ მატრიცას შეუძლია გამოიყენოს DCT თვისება ქვედა მარჯვენა და ზედა მარცხენა უმცირესობის უმრავლესობის კვანტიზაციის გზით.

ნაბიჯი 5 - ენტროპიის კოდირება

მას შემდეგ რაც მოვახდინეთ მონაცემების კვანტიზაცია (გამოსახულების ბლოკები, ფრაგმენტები, ჩარჩოები), ჩვენ კვლავ შეგვიძლია შევკუმშოთ ისინი უდანაკარგოდ. მონაცემთა შეკუმშვის მრავალი ალგორითმული გზა არსებობს. ჩვენ ვაპირებთ, გადავხედოთ ზოგიერთ მათგანს, უფრო ღრმა გაგებისთვის შეგიძლიათ წაიკითხოთ წიგნი შეკუმშვის გაგება: მონაცემთა შეკუმშვა თანამედროვე დეველოპერებისთვის ("შეკუმშვის გაგება: მონაცემთა შეკუმშვა თანამედროვე დეველოპერებისთვის").

ვიდეოს კოდირება VLC-ის გამოყენებით

ვთქვათ, გვაქვს პერსონაჟების ნაკადი: a, e, r и t. ალბათობა (0-დან 1-მდე) იმის, თუ რამდენად ხშირად გამოჩნდება თითოეული სიმბოლო ნაკადში, წარმოდგენილია ამ ცხრილში.

	a	e	r	t
ალბათობა	0,3	0,3	0,2	0,2

ჩვენ შეგვიძლია მივანიჭოთ უნიკალური ორობითი კოდები (სასურველია პატარა) ყველაზე სავარაუდოებს, ხოლო უფრო დიდი კოდები ნაკლებად სავარაუდოებს.

	a	e	r	t
ალბათობა	0,3	0,3	0,2	0,2
ორობითი კოდი	0	10	110	1110

ჩვენ ვკუმშავთ ნაკადს, იმ ვარაუდით, რომ საბოლოოდ დავხარჯავთ 8 ბიტს თითოეული პერსონაჟისთვის. შეკუმშვის გარეშე, თითო სიმბოლოზე 24 ბიტი იქნება საჭირო. თუ თქვენ შეცვლით თითოეულ სიმბოლოს თავისი კოდით, თქვენ მიიღებთ დანაზოგს!

პირველი ნაბიჯი არის სიმბოლოს დაშიფვრა e, რომელიც უდრის 10-ს და მეორე სიმბოლოა a, რომელიც დამატებულია (არა მათემატიკური გზით): [10][0] და ბოლოს მესამე სიმბოლო t, რაც ჩვენს საბოლოო შეკუმშულ ბიტსტრიმს უდრის [10][0][1110] ან 1001110, რომელიც მოითხოვს მხოლოდ 7 ბიტს (3,4-ჯერ ნაკლები ადგილი ვიდრე ორიგინალს).

გთხოვთ გაითვალისწინოთ, რომ თითოეული კოდი უნდა იყოს უნიკალური კოდი პრეფიქსით. ჰაფმანის ალგორითმი დაგეხმარება ამ ნომრების პოვნაში. მიუხედავად იმისა, რომ ეს მეთოდი არ არის ნაკლოვანებების გარეშე, არსებობს ვიდეო კოდეკები, რომლებიც ჯერ კიდევ გვთავაზობენ შეკუმშვის ამ ალგორითმულ მეთოდს.

როგორც ენკოდერს, ასევე დეკოდერს უნდა ჰქონდეთ წვდომა სიმბოლოთა ცხრილზე მათი ორობითი კოდებით. ამიტომ, ასევე აუცილებელია ცხრილის გაგზავნა შეყვანის სახით.

არითმეტიკული კოდირება

ვთქვათ, გვაქვს პერსონაჟების ნაკადი: a, e, r, s и tდა მათი ალბათობა წარმოდგენილია ამ ცხრილში.

	a	e	r	s	t
ალბათობა	0,3	0,3	0,15	0,05	0,2

ამ ცხრილის გამოყენებით, ჩვენ ავაშენებთ დიაპაზონებს, რომლებიც შეიცავს ყველა შესაძლო სიმბოლოს, დალაგებულია უდიდესი რიცხვის მიხედვით.

ახლა მოდით დავაშიფროთ სამი სიმბოლოს ნაკადი: ჭამა.

ჯერ აირჩიეთ პირველი სიმბოლო e, რომელიც 0,3-დან 0,6-მდე ქვეფარეშია (არ შედის). ჩვენ ვიღებთ ამ ქვეფარგლებს და ვყოფთ ისევ იმავე პროპორციებით, როგორც ადრე, მაგრამ ამ ახალი დიაპაზონისთვის.

მოდით გავაგრძელოთ ჩვენი ნაკადის კოდირება ჭამა. ახლა აიღეთ მეორე სიმბოლო a, რომელიც არის ახალ ქვედიაჟზე 0,3-დან 0,39-მდე და შემდეგ აიღეთ ჩვენი ბოლო სიმბოლო t და ისევ იგივე პროცესის განმეორებით მივიღებთ საბოლოო ქვედიაპაზონს 0,354-დან 0,372-მდე.

ჩვენ უბრალოდ უნდა ავირჩიოთ რიცხვი ბოლო ქვეფარეხში 0,354-დან 0,372-მდე. მოდით ავირჩიოთ 0,36 (მაგრამ თქვენ შეგიძლიათ აირჩიოთ ნებისმიერი სხვა რიცხვი ამ ქვედიაგრამაში). მხოლოდ ამ ნომრით შევძლებთ ჩვენი ორიგინალური ნაკადის აღდგენას. თითქოს ხაზს ვხატავდით დიაპაზონში ჩვენი ნაკადის კოდირებისთვის.

საპირისპირო ოპერაცია (ანუ გაშიფვრა) ისეთივე მარტივია: ჩვენი რიცხვით 0,36 და ჩვენი საწყისი დიაპაზონით, შეგვიძლია იგივე პროცესი გავატაროთ. მაგრამ ახლა, ამ ნომრის გამოყენებით, ჩვენ ვადგენთ ნაკადს, რომელიც კოდირებულია ამ ნომრის გამოყენებით.

პირველი დიაპაზონით ჩვენ ვამჩნევთ, რომ ჩვენი რიცხვი შეესაბამება ნაჭერს, ამიტომ ეს არის ჩვენი პირველი სიმბოლო. ახლა ჩვენ კვლავ ვყოფთ ამ ქვედიაპაზონს იგივე პროცესის დაცვით, როგორც ადრე. აქ ხედავთ, რომ 0,36 შეესაბამება სიმბოლოს aდა პროცესის გამეორების შემდეგ მივედით ბოლო სიმბოლომდე t (ჩვენი ორიგინალური კოდირებული ნაკადის ფორმირება ჭამა).

ენკოდერსაც და დეკოდერსაც უნდა ჰქონდეს სიმბოლოს ალბათობების ცხრილი, ამიტომ აუცილებელია მისი გაგზავნა შეყვანის მონაცემებშიც.

საკმაოდ ელეგანტური, არა? ვინც მოიფიქრა ეს გამოსავალი, ჯანდაბა ჭკვიანი იყო. ზოგიერთი ვიდეო კოდეკი იყენებს ამ ტექნიკას (ან მინიმუმ სთავაზობს მას, როგორც ვარიანტი).

იდეა არის კვანტური ბიტის ნაკადის უდანაკარგოდ შეკუმშვა. რა თქმა უნდა, ამ სტატიას აკლია უამრავი დეტალი, მიზეზი, გარიგებები და ა.შ. მაგრამ თუ დეველოპერი ხართ, მეტი უნდა იცოდეთ. ახალი კოდეკები ცდილობენ გამოიყენონ სხვადასხვა ენტროპიის კოდირების ალგორითმები, როგორიცაა ANS.

ნაბიჯი 6 - ბიტტრიმინგის ფორმატი

ამ ყველაფრის გაკეთების შემდეგ რჩება მხოლოდ შეკუმშული ჩარჩოების ამოლაგება შესრულებული ნაბიჯების კონტექსტში. დეკოდერი მკაფიოდ უნდა იყოს ინფორმირებული შიფრატორის მიერ მიღებული გადაწყვეტილებების შესახებ. დეკოდერს უნდა მიეწოდოს ყველა საჭირო ინფორმაცია: ბიტის სიღრმე, ფერის სივრცე, გარჩევადობა, პროგნოზირების ინფორმაცია (მოძრაობის ვექტორები, მიმართულების INTER პროგნოზი), პროფილი, დონე, კადრების სიხშირე, კადრის ტიპი, ჩარჩოს ნომერი და მრავალი სხვა.

ჩვენ სწრაფად გადავხედავთ bitstream-ს H.264. ჩვენი პირველი ნაბიჯი არის მინიმალური H.264 ბიტი ნაკადის შექმნა (FFmpeg ნაგულისხმევად ამატებს კოდირების ყველა ვარიანტს, როგორიცაა SEI NAL — ჩვენ გავარკვევთ, რა არის ეს ცოტა შემდგომ). ჩვენ შეგვიძლია ამის გაკეთება ჩვენი საკუთარი საცავისა და FFmpeg-ის გამოყენებით.

./s/ffmpeg -i /files/i/minimal.png -pix_fmt yuv420p /files/v/minimal_yuv420.h264

ეს ბრძანება წარმოქმნის ნედლეულ ბიტსტრიმს H.264 ერთი ჩარჩოთი, 64×64 გარჩევადობით, ფერთა სივრცით YUV420. ამ შემთხვევაში, შემდეგი სურათი გამოიყენება როგორც ჩარჩო.

H.264 ბიტიანი ნაკადი

სტანდარტული AVC (H.264) განსაზღვრავს, რომ ინფორმაცია გაიგზავნება მაკროფრემებში (ქსელის გაგებით), ე.წ ნალ (ეს არის ქსელის აბსტრაქციის დონე). NAL-ის მთავარი მიზანია უზრუნველყოს „ვებ-მეგობრული“ ვიდეო პრეზენტაცია. ეს სტანდარტი უნდა მუშაობდეს ტელევიზორებზე (სტრიმინგზე დაფუძნებული), ინტერნეტზე (პაკეტზე დაფუძნებული).

არსებობს სინქრონიზაციის მარკერი NAL ელემენტების საზღვრების დასადგენად. თითოეული სინქრონიზაციის ნიშანი შეიცავს მნიშვნელობას 0x00 0x00 0x01, გარდა პირველისა, რომელიც უდრის 0x00 0x00 0x00 0x01. თუ გავუშვით ჰექსდუმპი გენერირებული H.264 ბიტი ნაკადისთვის, ჩვენ ვაფიქსირებთ მინიმუმ სამ NAL შაბლონს ფაილის დასაწყისში.

როგორც ითქვა, დეკოდერმა უნდა იცოდეს არა მხოლოდ სურათის მონაცემები, არამედ ვიდეოს დეტალები, ჩარჩო, ფერები, გამოყენებული პარამეტრები და მრავალი სხვა. თითოეული NAL-ის პირველი ბაიტი განსაზღვრავს მის კატეგორიას და ტიპს.

NAL ტიპის იდენტიფიკატორი	აღწერა
0	უცნობი ტიპი
1	დაშიფრული სურათის ფრაგმენტი IDR-ის გარეშე
2	კოდირებული ფრაგმენტის მონაცემების განყოფილება A
3	კოდირებული ფრაგმენტის მონაცემების განყოფილება B
4	კოდირებული ფრაგმენტის მონაცემების განყოფილება C
5	IDR სურათის დაშიფრული IDR ფრაგმენტი
6	დამატებითი ინფორმაცია SEI გაფართოების შესახებ
7	SPS Sequence პარამეტრის ნაკრები
8	PPS გამოსახულების პარამეტრების ნაკრები
9	წვდომის გამყოფი
10	მიმდევრობის დასასრული
11	ძაფის დასასრული
...	...

როგორც წესი, ბიტის ნაკადის პირველი NAL არის PLC. ამ ტიპის NAL პასუხისმგებელია ინფორმაციის კოდირების საერთო ცვლადების შესახებ, როგორიცაა პროფილი, დონე, გარჩევადობა და ა.შ.

თუ პირველ სინქრონიზაციის მარკერს გამოვტოვებთ, შეგვიძლია პირველი ბაიტის გაშიფვრა, რათა გავიგოთ რომელი NAL ტიპია პირველი.

მაგალითად, პირველი ბაიტი სინქრონიზაციის ნიშნის შემდეგ არის 01100111, სადაც პირველი ბიტი (0) არის ვ ველშიorbidden_zero_bit. შემდეგი 2 ბიტი (11) გვეუბნება ველი nal_ref_idc, რომელიც მიუთითებს არის თუ არა ეს NAL საცნობარო ველი. და დარჩენილი 5 ბიტი (00111) გვეუბნება ველი nal_unit_type, ამ შემთხვევაში ეს არის SPS ბლოკი (7) NAL.

მეორე ბაიტი (ორობითი=01100100, hex=0x64, dec=100) SPS NAL-ში არის ველი profile_idc, რომელიც აჩვენებს პროფილს, რომელიც გამოიყენა ენკოდერმა. ამ შემთხვევაში გამოყენებული იყო შეზღუდული მაღალი პროფილი (ანუ მაღალი პროფილი ორმხრივი B სეგმენტის მხარდაჭერის გარეშე).

თუ გადავხედავთ ბიტტრიმის სპეციფიკაციას H.264 SPS NAL-ისთვის ჩვენ ვიპოვით ბევრ მნიშვნელობას პარამეტრის სახელის, კატეგორიისა და აღწერისთვის. მაგალითად, გადავხედოთ ველებს pic_width_in_mbs_minus_1 и pic_height_in_map_unts_minus_1.

პარამეტრის სახელი	კატეგორია	აღწერა
pic_width_in_mbs_minus_1	0	ue(v)
pic_height_in_map_unts_minus_1	0	ue(v)

თუ ჩვენ შევასრულებთ მათემატიკური მოქმედებებს ამ ველების მნიშვნელობებით, მივიღებთ გარჩევადობას. შეიძლება გამოვიყენოთ 1920 x 1080 გამოყენებით pic_width_in_mbs_minus_1 მნიშვნელობით 119 ((119 + 1) * მაკრობლოკის_ზომა = 120 * 16 = 1920 წ.). ისევ, სივრცის დაზოგვის მიზნით, 1920-ის კოდირების ნაცვლად, ჩვენ ეს გავაკეთეთ 119-ით.

თუ ჩვენ გავაგრძელებთ ჩვენი შექმნილი ვიდეოს ორობითი ფორმით შემოწმებას (მაგალითად: xxd -b -c 11 v/მინიმალური_yuv420.h264), შემდეგ შეგიძლიათ გადახვიდეთ ბოლო NAL-ზე, რომელიც არის თავად ჩარჩო.

აქ ჩვენ ვხედავთ მის პირველ 6 ბაიტის მნიშვნელობებს: 01100101 10001000 10000100 00000000 00100001 11111111. ვინაიდან ცნობილია, რომ პირველი ბაიტი მიუთითებს NAL ტიპზე, ამ შემთხვევაში (00101) არის IDR ფრაგმენტი (5) და შემდეგ შეგიძლიათ შემდგომ შეისწავლოთ იგი:

სპეციფიკაციის ინფორმაციის გამოყენებით, შესაძლებელი იქნება ფრაგმენტის ტიპის გაშიფვრა (slice_type) და ჩარჩოს ნომერი (ჩარჩო_რამ) სხვა მნიშვნელოვან სფეროებს შორის.

ზოგიერთი ველის მნიშვნელობების მისაღებად (ue(v), me(v), se(v) ან te(v)), ჩვენ უნდა გავშიფროთ ფრაგმენტი სპეციალური დეკოდერის გამოყენებით ექსპონენციალური გოლომბის კოდი. ეს მეთოდი ძალიან ეფექტურია ცვლადის მნიშვნელობების კოდირებისთვის, განსაკუთრებით მაშინ, როდესაც ბევრი ნაგულისხმევი მნიშვნელობაა.

ღირებულებები slice_type и ჩარჩო_რამ ამ ვიდეოს არის 7 (I-ფრაგმენტი) და 0 (პირველი კადრი).

ბიტტრიმი შეიძლება ჩაითვალოს პროტოკოლად. თუ გსურთ მეტი იცოდეთ ბიტტრიმის შესახებ, უნდა მიმართოთ სპეციფიკაციას ITU H.264. აქ არის მაკრო დიაგრამა, სადაც ნაჩვენებია სურათის მონაცემები (YUV შეკუმშული სახით).

სხვა ბიტტრიმები შეიძლება შემოწმდეს, მაგ VP9, H.265 (HEVC) ან თუნდაც ჩვენი ახალი საუკეთესო ბიტტრიმი AV1. ყველა მსგავსია? არა, მაგრამ ერთხელ მაინც გაიგებ, დანარჩენის გაგება ბევრად უფრო ადვილია.

გინდა ივარჯიშო? გამოიკვლიეთ H.264 ბიტი

თქვენ შეგიძლიათ შექმნათ ერთი ჩარჩო ვიდეო და გამოიყენოთ MediaInfo ბიტტრიმის შესამოწმებლად H.264. ფაქტობრივად, არაფერი გიშლის ხელს იმაშიც კი, რომ გადახედო წყაროს კოდს, რომელიც აანალიზებს ბიტ ნაკადს H.264 (AVC).

პრაქტიკისთვის შეგიძლიათ გამოიყენოთ Intel Video Pro Analyzer (მე უკვე ვთქვი, რომ პროგრამა ფასიანია, მაგრამ არის უფასო საცდელი ვერსია 10 კადრის ლიმიტით?).

განიხილოს

გაითვალისწინეთ, რომ ბევრი თანამედროვე კოდეკი იყენებს იმავე მოდელს, რომელიც ჩვენ ახლახან შევისწავლეთ. აქ მოდით შევხედოთ ვიდეო კოდეკის ბლოკ დიაგრამას ტორ. ის შეიცავს ყველა იმ ნაბიჯს, რაც ჩვენ გავიარეთ. ამ პოსტის მთელი მიზანი არის, სულ მცირე, უკეთ გაიგოთ ამ სფეროში არსებული ინოვაციები და დოკუმენტაცია.

ადრე გამოთვლილი იყო, რომ 139 გბ დისკზე სჭირდებოდა ვიდეო ფაილის შესანახად ერთი საათის ხანგრძლივობა 720p ხარისხით და 30 fps. თუ იყენებთ ამ სტატიაში განხილულ მეთოდებს (ჩარჩოებს შორის და შიდა პროგნოზები, ტრანსფორმაცია, კვანტიზაცია, ენტროპიის კოდირება და ა. დამაკმაყოფილებელი ხარისხი, იკავებს მხოლოდ 0,031 MB და არა 367,82 GB მეხსიერებას.

როგორ აღწევს H.265 უკეთეს შეკუმშვის კოეფიციენტს ვიდრე H.264?

ახლა, როცა მეტი ვიცით კოდეკების მუშაობის შესახებ, უფრო ადვილია იმის გაგება, თუ როგორ შეუძლიათ ახალ კოდეკებს უფრო მაღალი გარჩევადობის მიწოდება ნაკლები ბიტით.

თუ შეადარებთ AVC и HEVC, უნდა გვახსოვდეს, რომ ეს არის თითქმის ყოველთვის არჩევანი CPU-ს უფრო დიდ დატვირთვასა და შეკუმშვის კოეფიციენტს შორის.

HEVC აქვს განყოფილების (და ქვეგანყოფილების) მეტი ვარიანტი ვიდრე AVC, მეტი შიდა პროგნოზირების მიმართულებები, გაუმჯობესებული ენტროპიის კოდირება და სხვა. ყველა ეს გაუმჯობესება განხორციელდა H.265 შეუძლია შეკუმშოს 50%-ით მეტი ვიდრე H.264.

პირველი ნაწილი: ვიდეოსთან და სურათებთან მუშაობის საფუძვლები

წყარო: www.habr.com