როგორ მუშაობს ვიდეო კოდეკი? ნაწილი 1: საფუძვლები

Მეორე ნაწილი: როგორ მუშაობს ვიდეო კოდეკი

ნებისმიერი რასტერი იმიჯი შეიძლება წარმოდგენილი იყოს ფორმით ორგანზომილებიანი მატრიცა. რაც შეეხება ფერებს, იდეა შეიძლება განვითარდეს გამოსახულების სახით სამგანზომილებიანი მატრიცა, რომელშიც დამატებითი ზომები გამოიყენება თითოეული ფერის მონაცემების შესანახად.

თუ საბოლოო ფერს განვიხილავთ, როგორც კომბინაციას ე.წ. პირველადი ფერები (წითელი, მწვანე და ლურჯი), ჩვენს სამგანზომილებიან მატრიცაში განვსაზღვრავთ სამ სიბრტყეს: პირველი წითელისთვის, მეორე მწვანესთვის და ბოლო ლურჯისთვის.

ამ მატრიცის თითოეულ წერტილს დავარქმევთ პიქსელს (სურათის ელემენტს). თითოეული პიქსელი შეიცავს ინფორმაციას თითოეული ფერის ინტენსივობის შესახებ (ჩვეულებრივ, როგორც რიცხვითი მნიშვნელობა). Მაგალითად, წითელი პიქსელი ნიშნავს, რომ შეიცავს 0 მწვანეს, 0 ლურჯს და მაქსიმალურ წითელს. ვარდისფერი პიქსელი შეიძლება ჩამოყალიბდეს სამი ფერის კომბინაციით. 0-დან 255-მდე რიცხვითი დიაპაზონის გამოყენებით, ვარდისფერი პიქსელი განისაზღვრება როგორც წითელი = 255, მწვანე = 192 и ლურჯი = 203.

ეს სტატია გამოქვეყნდა EDISON-ის მხარდაჭერით.

ჩვენ ვვითარდებით აპლიკაციები ვიდეო მეთვალყურეობისთვის, ვიდეო ნაკადისთვის, და ასევე ჩვენ დავინიშნეთ ვიდეო გადაღება ქირურგიულ ოთახში.

ფერადი გამოსახულების დაშიფვრის ალტერნატიული გზები

არსებობს მრავალი სხვა მოდელი იმ ფერების წარმოსადგენად, რომლებიც ქმნიან სურათს. მაგალითად, შეგიძლიათ გამოიყენოთ ინდექსირებული პალიტრა, რომელიც მოითხოვს მხოლოდ ერთ ბაიტს თითოეული პიქსელის წარმოსადგენად, ნაცვლად სამისა, რაც საჭიროა RGB მოდელის გამოყენებისას. ასეთ მოდელში შესაძლებელია 2D მატრიცის გამოყენება 3D მატრიცის ნაცვლად თითოეული ფერის გამოსაჩენად. ეს დაზოგავს მეხსიერებას, მაგრამ იძლევა უფრო მცირე ფერთა გამას.

RGB

მაგალითად, შეხედეთ ამ სურათს ქვემოთ. პირველი სახე მთლიანად მოხატულია. დანარჩენები არის წითელი, მწვანე და ლურჯი სიბრტყეები (შესაბამისი ფერების ინტენსივობა ნაჩვენებია ნაცრისფერ ფერებში).

ჩვენ ვხედავთ, რომ ორიგინალში წითელი ფერები იქნება იმავე ადგილებში, სადაც შეინიშნება მეორე სახის ყველაზე ნათელი ნაწილები. მაშინ როცა ლურჯის წვლილი ძირითადად მხოლოდ მარიოს თვალებში (ბოლო სახე) და მისი ტანსაცმლის ელემენტებში ჩანს. დააკვირდით, სად არის სამივე ფერის სიბრტყე ყველაზე ნაკლებად (სურათების ყველაზე ბნელი ნაწილები) - მარიო ულვაში.

თითოეული ფერის ინტენსივობის შესანახად საჭიროა ბიტების გარკვეული რაოდენობა - ამ რაოდენობას ე.წ ცოტა სიღრმე. ვთქვათ, 8 ბიტი იხარჯება (0-დან 255-მდე მნიშვნელობაზე დაყრდნობით) თითო ფერის სიბრტყეზე. შემდეგ გვაქვს ფერის სიღრმე 24 ბიტი (8 ბიტი * 3 R/G/B თვითმფრინავი).

სურათის კიდევ ერთი თვისებაა ავტორიზაცია, რაც არის პიქსელების რაოდენობა ერთ განზომილებაში. ხშირად აღინიშნება როგორც სიგანე × სიმაღლე, როგორც ქვემოთ მოცემულ სურათზე 4-დან 4-ით.


კიდევ ერთი თვისება, რომელთანაც საქმე გვაქვს სურათებთან/ვიდეოებთან მუშაობისას არის თანაფარდობა, აღწერს ნორმალურ პროპორციულ ურთიერთობას გამოსახულების ან პიქსელის სიგანესა და სიმაღლეს შორის.

როდესაც ისინი ამბობენ, რომ გარკვეული ფილმი ან სურათი არის 16 9 ზომით, ისინი ჩვეულებრივ გულისხმობენ ეკრანის ასპექტის თანაფარდობა (დარი - დან ეკრანის ასპექტის თანაფარდობა). თუმცა, ზოგჯერ შეიძლება არსებობდეს ცალკეული პიქსელების სხვადასხვა ფორმა - ამ შემთხვევაში ჩვენ ვსაუბრობთ პიქსელების თანაფარდობა (PAR - დან პიქსელის ასპექტის თანაფარდობა).

შენიშვნა დიასახლისისთვის: DVD შეესაბამება DAR 4-დან 3-მდე

მართალია DVD გარჩევადობა არის 704x480, ის მაინც ინარჩუნებს ასპექტის თანაფარდობას 4:3, რადგან PAR არის 10:11 (704x10 / 480x11).

და ბოლოს, ჩვენ შეგვიძლია განვსაზღვროთ ვიდეო როგორც თანმიმდევრობა n ჩარჩოები პერიოდისთვის დრო, რომელიც შეიძლება ჩაითვალოს დამატებით განზომილებად. ა n შემდეგ არის კადრების სიხშირე ან კადრების რაოდენობა წამში (FPS - დან ჩარჩოები წამში).

ვიდეოს ჩვენებისთვის საჭირო ბიტების რაოდენობა წამში არის მისი გადაცემის სიჩქარე - ბიტრეიტი.

ბიტი = სიგანე * სიმაღლე * ბიტის სიღრმე * კადრები წამში

მაგალითად, 30 fps, 24 bps, 480x240 ვიდეოს დასჭირდება 82,944,000 bps ან 82,944 Mbps (30x480x240x24) - მაგრამ ეს იმ შემთხვევაში, თუ არ არის გამოყენებული შეკუმშვის მეთოდი.

თუ გადაცემის სიჩქარე თითქმის მუდმივი, მაშინ ე.წ მუდმივი გადაცემის სიჩქარე (CBR - დან მუდმივი ბიტის სიჩქარე). მაგრამ ის ასევე შეიძლება განსხვავდებოდეს, ამ შემთხვევაში მას ე.წ ცვლადი ბაუდის სიხშირე (VBR - დან ცვლადი ბიტის მაჩვენებელი).

ეს გრაფიკი გვიჩვენებს შეზღუდული VBR, სადაც არც თუ ისე ბევრი ბიტი იკარგება სრულიად მუქი ჩარჩოს შემთხვევაში.

ინჟინრებმა თავდაპირველად შეიმუშავეს მეთოდი ვიდეო ჩვენების აღქმული კადრების სიჩქარის გაორმაგებისთვის დამატებითი გამტარობის გამოყენების გარეშე. ეს მეთოდი ცნობილია როგორც გადაჯაჭვული ვიდეო; ძირითადად, ის აგზავნის ეკრანის ნახევარს პირველ „ჩარჩოში“ და მეორე ნახევარს შემდეგ „ჩარჩოში“.

ამჟამად სცენები ძირითადად გამოიყენება გამოყენებით პროგრესული სკანირების ტექნოლოგიები. ეს არის მოძრავი სურათების ჩვენების, შენახვის ან გადაცემის მეთოდი, რომელშიც თითოეული კადრის ყველა ხაზი თანმიმდევრულად არის დახატული.

კარგად! ახლა ჩვენ ვიცით, როგორ არის გამოსახულება ციფრულად წარმოდგენილი, როგორ არის განლაგებული მისი ფერები, რამდენ ბიტს ვხარჯავთ წამში ვიდეოს ჩვენებისთვის, თუ ბიტის სიჩქარე მუდმივია (CBR) ან ცვლადი (VBR). ჩვენ ვიცით მოცემული რეზოლუციის შესახებ მოცემული კადრების სიჩქარის გამოყენებით, ჩვენ ვიცნობთ ბევრ სხვა ტერმინს, როგორიცაა interlaced video, PAR და ზოგიერთი სხვა.

ზედმეტობის მოხსნა

ცნობილია, რომ შეკუმშვის გარეშე ვიდეოს ჩვეულებრივ გამოყენება შეუძლებელია. ერთსაათიანი ვიდეო 720p გარჩევადობით და 30 კადრი წამში დასჭირდება 278 GB. ამ მნიშვნელობამდე მივდივართ 1280 x 720 x 24 x 30 x 3600 (სიგანე, სიმაღლე, ბიტები პიქსელზე, FPS და დრო წამებში) გამრავლებით.

გამოიყენეთ უდანაკარგო შეკუმშვის ალგორითმებიDEFLATE-ის მსგავსად (გამოიყენება PKZIP-ში, Gzip-სა და PNG-ში), საკმარისად არ შეამცირებს საჭირო გამტარობას. ჩვენ უნდა ვეძებოთ სხვა გზები ვიდეოს შეკუმშვისთვის.

ამისათვის შეგიძლიათ გამოიყენოთ ჩვენი ხედვის მახასიათებლები. ჩვენ უკეთ განვასხვავებთ სიკაშკაშეს, ვიდრე ფერს. ვიდეო არის თანმიმდევრული სურათების სერია, რომელიც მეორდება დროთა განმავლობაში. მცირე განსხვავებებია იმავე სცენის მიმდებარე კადრებს შორის. გარდა ამისა, თითოეული ჩარჩო შეიცავს ბევრ ზონას იმავე (ან მსგავსი) ფერის გამოყენებით.

ფერი, სიკაშკაშე და ჩვენი თვალები

ჩვენი თვალები უფრო მგრძნობიარეა სიკაშკაშის მიმართ, ვიდრე ფერის მიმართ. ამის დანახვა თავადაც შეგიძლიათ ამ სურათის ნახვით.

თუ ვერ ხედავთ, რომ გამოსახულების მარცხენა ნახევარში კვადრატების ფერები A и B სინამდვილეში იგივეა, მაშინ ეს ნორმალურია. ჩვენი ტვინი გვაიძულებს მეტი ყურადღება მივაქციოთ სინათლესა და ჩრდილს, ვიდრე ფერს. დანიშნულ კვადრატებს შორის მარჯვენა მხარეს არის იმავე ფერის ჯუმპერი - ასე რომ, ჩვენ (ანუ ჩვენი ტვინი) ადვილად განვსაზღვრავთ, რომ სინამდვილეში ისინი ერთი და იგივე ფერისაა.

მოდით შევხედოთ (გამარტივებული გზით) როგორ მუშაობს ჩვენი თვალები. თვალი რთული ორგანოა, რომელიც შედგება მრავალი ნაწილისაგან. თუმცა, ჩვენ ყველაზე მეტად გვაინტერესებს გირჩები და წნელები. თვალი შეიცავს დაახლოებით 120 მილიონ წნელს და 6 მილიონ კონუსს.

მოდით განვიხილოთ ფერისა და სიკაშკაშის აღქმა, როგორც თვალის გარკვეული ნაწილების ცალკეული ფუნქციები (სინამდვილეში, ყველაფერი გარკვეულწილად უფრო რთულია, მაგრამ ჩვენ გავამარტივებთ). როდ უჯრედები ძირითადად პასუხისმგებელნი არიან სიკაშკაშეზე, ხოლო კონუსური უჯრედები პასუხისმგებელნი არიან ფერზე. გირჩები იყოფა სამ ტიპად, რაც დამოკიდებულია მათში შემავალ პიგმენტზე: S-კონუსები (ლურჯი), M-კონუსები (მწვანე) და L-კონუსები (წითელი).

ვინაიდან ჩვენ გვაქვს ბევრად მეტი ღერო (სიკაშკაშე), ვიდრე კონუსები (ფერი), შეგვიძლია დავასკვნათ, რომ უფრო შეგვიძლია განვასხვავოთ ბნელსა და ნათელს შორის გადასვლები, ვიდრე ფერები.

კონტრასტის მგრძნობელობის მახასიათებლები

ექსპერიმენტული ფსიქოლოგიის და მრავალი სხვა სფეროს მკვლევარებმა შეიმუშავეს ადამიანის ხედვის მრავალი თეორია. და ერთ-ერთ მათგანს ე.წ კონტრასტული მგრძნობელობის ფუნქციები. ისინი დაკავშირებულია სივრცით და დროებით განათებასთან. მოკლედ, საუბარია იმაზე, თუ რამდენი ცვლილებაა საჭირო, სანამ დამკვირვებელი შეამჩნევს მათ. ყურადღება მიაქციეთ სიტყვა "ფუნქციის" მრავლობით რიცხვს. ეს გამოწვეულია იმით, რომ ჩვენ შეგვიძლია გავზომოთ კონტრასტული მგრძნობელობის ფუნქციები არა მხოლოდ შავი და თეთრი, არამედ ფერადი სურათებისთვისაც. ამ ექსპერიმენტების შედეგები აჩვენებს, რომ უმეტეს შემთხვევაში ჩვენი თვალები უფრო მგრძნობიარეა სიკაშკაშის მიმართ, ვიდრე ფერის მიმართ.

ვინაიდან ვიცით, რომ უფრო მგრძნობიარენი ვართ გამოსახულების სიკაშკაშის მიმართ, შეგვიძლია ვცადოთ ამ ფაქტის გამოყენება.

ფერის მოდელი

ჩვენ გავარკვიეთ, თუ როგორ უნდა ვიმუშაოთ ფერად სურათებთან RGB სქემის გამოყენებით. არის სხვა მოდელებიც. არსებობს მოდელი, რომელიც განასხვავებს სიკაშკაშეს ქრომისგან და ცნობილია როგორც YCbCr. სხვათა შორის, არის სხვა მოდელებიც, რომლებიც მსგავს დაყოფას აკეთებენ, მაგრამ ჩვენ მხოლოდ ამას განვიხილავთ.

ამ ფერის მოდელში Y არის სიკაშკაშის გამოსახულება და ასევე იყენებს ორ ფერად არხს: Cb (მდიდარი ლურჯი) და Cr (მდიდარი წითელი). YCbCr შეიძლება მიღებული იყოს RGB-დან, ასევე შესაძლებელია საპირისპირო კონვერტაციაც. ამ მოდელის გამოყენებით ჩვენ შეგვიძლია შევქმნათ სრული ფერადი სურათები, როგორც ამას ქვემოთ ვხედავთ:

გადაიყვანეთ YCbCr-სა და RGB-ს შორის

ვინმე შეეწინააღმდეგება: როგორ არის შესაძლებელი ყველა ფერის მიღება, თუ მწვანე არ არის გამოყენებული?

ამ კითხვაზე პასუხის გასაცემად მოდით გადავიყვანოთ RGB YCbCr-ად. გამოვიყენოთ სტანდარტში მიღებული კოეფიციენტები ბტ .601, რომელიც რეკომენდაციას უწევდა განყოფილებას ITU-R. ეს განყოფილება ადგენს ციფრული ვიდეოს სტანდარტებს. მაგალითად: რა არის 4K? როგორი უნდა იყოს კადრების სიხშირე, გარჩევადობა, ფერის მოდელი?

ჯერ გამოვთვალოთ სიკაშკაშე. მოდით გამოვიყენოთ ITU-ს მიერ შემოთავაზებული მუდმივები და შევცვალოთ RGB მნიშვნელობები.

Y = 0.299R 0.587 +G 0.114 +B

მას შემდეგ რაც გვაქვს სიკაშკაშე, გამოვყოფთ ლურჯ და წითელ ფერებს:

Cb = 0.564(B - Y)

Cr = 0.713(R - Y)

ჩვენ ასევე შეგვიძლია უკან გადავიყვანოთ და კიდევ მივიღოთ მწვანე YCbCr-ის გამოყენებით:

R = Y 1.402 +Cr

B = Y 1.772 +Cb

G = Y - 0.344Cb - 0.714Cr

როგორც წესი, დისპლეები (მონიტორები, ტელევიზორები, ეკრანები და ა.შ.) იყენებენ მხოლოდ RGB მოდელს. მაგრამ ეს მოდელი შეიძლება ორგანიზებული იყოს სხვადასხვა გზით:

ფერადი ქვენიმუშები

გამოსახულებით, რომელიც წარმოდგენილია როგორც სიკაშკაშის და ქრომინანტურობის კომბინაცია, ჩვენ შეგვიძლია გამოვიყენოთ ადამიანის ვიზუალური სისტემის უფრო დიდი მგრძნობელობა სიკაშკაშის მიმართ, ვიდრე ქრომინანტობის მიმართ, ინფორმაციის შერჩევითი ამოღებით. Chroma subsampling არის გამოსახულების კოდირების მეთოდი chroma-სთვის ნაკლები გარჩევადობის გამოყენებით, ვიდრე luminance-ისთვის.

რამდენად დასაშვებია ფერის გარჩევადობის შემცირება?! გამოდის, რომ უკვე არსებობს დიაგრამები, რომლებიც აღწერს, თუ როგორ უნდა მოგვარდეს გარჩევადობა და შერწყმა (შედეგი ფერი = Y + Cb + Cr).

ეს სქემები ცნობილია როგორც შემცირების სისტემები და გამოიხატება 3-ჯერადი თანაფარდობით - a:x:y, რომელიც განსაზღვრავს სიკაშკაშის და ფერის განსხვავების სიგნალების ნიმუშების რაოდენობას.

a - ჰორიზონტალური შერჩევის სტანდარტი (ჩვეულებრივ, 4-ის ტოლია)
x - ქრომის ნიმუშების რაოდენობა პიქსელების პირველ რიგში (ჰორიზონტალური გარჩევადობა შედარებით a)
y — პიქსელების პირველ და მეორე რიგებს შორის ქრომის ნიმუშებში ცვლილებების რაოდენობა.

გამონაკლისი არის 4:1:0, უზრუნველყოფს თითო ქრომის ნიმუშს თითოეულ 4-ზე-4 განათების გარჩევადობის ბლოკში.

თანამედროვე კოდეკებში გამოყენებული საერთო სქემები:

• 4:4:4 (შემოკლების გარეშე)
• 4:2:2
• 4:1:1
• 4:2:0
• 4:1:0
• 3:1:1

YCbCr 4:2:0 - შერწყმის მაგალითი

აქ არის გაერთიანებული სურათი YCbCr 4:2:0 გამოყენებით. გაითვალისწინეთ, რომ ჩვენ ვხარჯავთ მხოლოდ 12 ბიტს თითო პიქსელზე.

ასე გამოიყურება იგივე სურათი, რომელიც დაშიფრულია ფერის ქვენიმუშების ძირითადი ტიპებით. პირველი რიგი არის საბოლოო YCbCr, ქვედა მწკრივი აჩვენებს ქრომის გარჩევადობას. ძალიან ღირსეული შედეგი, ხარისხის მცირე დაკარგვის გათვალისწინებით.

გახსოვთ, როცა ვითვლიდით 278 გბ საცავ სივრცეს ერთსაათიანი ვიდეო ფაილის შესანახად 720p გარჩევადობით და 30 კადრი წამში? თუ გამოვიყენებთ YCbCr 4:2:0, მაშინ ეს ზომა შემცირდება განახევრებით - 139 გბ. ჯერჯერობით ის ჯერ კიდევ შორს არის მისაღები შედეგისგან.

თქვენ შეგიძლიათ თავად მიიღოთ YCbCr ჰისტოგრამა FFmpeg-ის გამოყენებით. ამ სურათზე ლურჯი დომინირებს წითელზე, რაც აშკარად ჩანს თავად ჰისტოგრამაში.

ფერი, სიკაშკაშე, ფერთა გამა - ვიდეო მიმოხილვა

ჩვენ გირჩევთ უყუროთ ამ გასაოცარ ვიდეოს. ის განმარტავს რა არის სიკაშკაშე და ზოგადად ყველა წერტილი წერტილოვანია ё სიკაშკაშისა და ფერის შესახებ.

ჩარჩოს ტიპები

მოდით გადავიდეთ. შევეცადოთ აღმოფხვრას დროის სიჭარბე. მაგრამ პირველ რიგში, მოდით განვსაზღვროთ რამდენიმე ძირითადი ტერმინოლოგია. ვთქვათ, გვაქვს ფილმი 30 კადრი წამში, აქ არის მისი პირველი 4 კადრი:

ჩვენ შეგვიძლია დავინახოთ კადრებში ბევრი გამეორება: მაგალითად, ლურჯი ფონი, რომელიც არ იცვლება კადრიდან ჩარჩოში. ამ პრობლემის გადასაჭრელად, ჩვენ შეგვიძლია აბსტრაქტულად დავყოთ ისინი სამ ტიპის ჩარჩოებად.

I-ჩარჩო (Intro ჩარჩო)

I-ჩარჩო (საცნობარო ჩარჩო, საკვანძო ჩარჩო, შიდა ჩარჩო) არის დამოუკიდებელი. მიუხედავად იმისა, თუ რისი ვიზუალიზაცია გსურთ, I-frame არსებითად სტატიკური ფოტოა. პირველი კადრები, როგორც წესი, არის I-ჩარჩოები, მაგრამ ჩვენ რეგულარულად ვაკვირდებით I-ჩარჩოებს თუნდაც არა პირველ კადრებს შორის.

P-ჩარჩო (Pგადაწერილი ჩარჩო)

P-frame (პროგნოზირებადი ჩარჩო) იყენებს იმ ფაქტს, რომ თითქმის ყოველთვის შესაძლებელია მიმდინარე სურათის რეპროდუცირება წინა კადრის გამოყენებით. მაგალითად, მეორე ფრეიმში ერთადერთი ცვლილება არის ბურთის წინსვლა. ჩვენ შეგვიძლია მივიღოთ ჩარჩო 2 უბრალოდ ჩარჩო 1-ის ოდნავ შეცვლით, მხოლოდ ამ ჩარჩოებს შორის განსხვავების გამოყენებით. ჩარჩო 2-ის ასაგებად, ჩვენ მივმართავთ წინა ჩარჩო 1-ს.

←

B-ჩარჩო (Bi-პროგნოზირებადი ჩარჩო)

რაც შეეხება ლინკებს არა მხოლოდ წარსულში, არამედ მომავალ ფრეიმებზე, რათა კიდევ უფრო უკეთესი შეკუმშვა მოხდეს?! ეს ძირითადად B-ჩარჩოა (ორმხრივი ჩარჩო).

← →

შუალედური გაყვანა

ჩარჩოს ეს ტიპები გამოიყენება საუკეთესო შეკუმშვის უზრუნველსაყოფად. ჩვენ გადავხედავთ, თუ როგორ ხდება ეს შემდეგ განყოფილებაში. ჯერ-ჯერობით აღვნიშნავთ, რომ მოხმარებული მეხსიერების მხრივ ყველაზე „ძვირი“ არის I-frame, P-frame შესამჩნევად იაფია, მაგრამ ვიდეოსთვის ყველაზე მომგებიანი ვარიანტია B-frame.

დროებითი ზედმეტობა (ჩარჩოთაშორისი პროგნოზი)

მოდით შევხედოთ რა ვარიანტები გვაქვს დროთა განმავლობაში განმეორების შესამცირებლად. ჩვენ შეგვიძლია გადავჭრათ ამ ტიპის სიჭარბე ჯვარედინი პროგნოზირების მეთოდების გამოყენებით.

ჩვენ შევეცდებით დავხარჯოთ რაც შეიძლება ნაკლები ბიტი 0 და 1 კადრების თანმიმდევრობის დაშიფვრაში.

ჩვენ შეგვიძლია ვაწარმოოთ გამოკლება, ჩვენ უბრალოდ გამოვაკლებთ კადრს 1 კადრს 0-ს. ვიღებთ ჩარჩო 1-ს, ვიყენებთ მხოლოდ განსხვავებას მასა და წინა კადრს შორის, ფაქტობრივად ჩვენ მხოლოდ დაშიფვრით მიღებულ ნაშთს.

მაგრამ თუ გეტყვით, რომ არსებობს კიდევ უკეთესი მეთოდი, რომელიც იყენებს კიდევ უფრო ნაკლებ ბიტს?! პირველ რიგში, მოდით დავყოთ ჩარჩო 0 მკაფიო ბადეში, რომელიც შედგება ბლოკებისგან. შემდეგ კი ჩვენ შევეცდებით შევადაროთ ბლოკები ჩარჩო 0-დან ჩარჩო 1-თან. სხვა სიტყვებით რომ ვთქვათ, ჩვენ შევაფასებთ მოძრაობას ჩარჩოებს შორის.

ვიკიპედიიდან - ბლოკის მოძრაობის კომპენსაცია

ბლოკის მოძრაობის კომპენსაცია ყოფს მიმდინარე ჩარჩოს გადახურვის ბლოკებად და მოძრაობის კომპენსაციის ვექტორი აცნობებს ბლოკების წარმოშობას (ჩვეულებრივი მცდარი წარმოდგენა არის ის, რომ Предыдущий ჩარჩო დაყოფილია გადახურვის ბლოკებად და მოძრაობის კომპენსაციის ვექტორები გვიჩვენებენ სად მიდიან ეს ბლოკები. სინამდვილეში, ეს პირიქითაა - ეს არ არის წინა ჩარჩო, რომელიც გაანალიზებულია, არამედ შემდეგი; არ არის ნათელი, თუ სად მოძრაობს ბლოკები, მაგრამ საიდან მოდის ისინი). როგორც წესი, წყაროს ბლოკები გადახურულია წყაროს ჩარჩოში. ზოგიერთი ვიდეო შეკუმშვის ალგორითმი აწყობს მიმდინარე ჩარჩოს არა ერთი, არამედ რამდენიმე ადრე გადაცემული ჩარჩოს ნაწილებიდან.

შეფასების პროცესში ჩვენ ვხედავთ, რომ ბურთი გადავიდა (x= 0, y=25) მიერ (x= 6, y=26), მნიშვნელობები x и y განსაზღვრეთ მოძრაობის ვექტორი. კიდევ ერთი ნაბიჯი, რომელიც შეგვიძლია გავაკეთოთ ბიტების შესანარჩუნებლად, არის მხოლოდ მოძრაობის ვექტორების განსხვავების კოდირება ბოლო ბლოკის პოზიციასა და ნაწინასწარმეტყველებს შორის, ასე რომ, მოძრაობის საბოლოო ვექტორი იქნება (x=6-0=6, y=26-25=1). ).

რეალურ სიტუაციაში ეს ბურთი დაიყოფა n ბლოკავს, მაგრამ ეს არ ცვლის საქმის არსს.

ჩარჩოში არსებული ობიექტები მოძრაობენ სამ განზომილებაში, ასე რომ, როდესაც ბურთი მოძრაობს, ის შეიძლება ვიზუალურად უფრო პატარა გახდეს (ან უფრო დიდი, თუ ის მოძრაობს მაყურებლისკენ). ნორმალურია, რომ ბლოკებს შორის არ იქნება სრულყოფილი შესატყვისი. აქ არის ჩვენი შეფასებისა და რეალური სურათის კომბინირებული ხედი.

მაგრამ ჩვენ ვხედავთ, რომ როდესაც ვიყენებთ მოძრაობის შეფასებას, შესამჩნევად ნაკლები მონაცემებია კოდირებისთვის, ვიდრე ჩარჩოებს შორის დელტას გამოთვლის უფრო მარტივი მეთოდის გამოყენებისას.

როგორი იქნება რეალური მოძრაობის კომპენსაცია

ეს ტექნიკა ერთდროულად გამოიყენება ყველა ბლოკზე. ხშირად ჩვენი პირობითი მოძრავი ბურთი ერთდროულად რამდენიმე ბლოკად იყოფა.

თქვენ შეგიძლიათ მიიღოთ გრძნობა ამ ცნებების გამოყენებით იუპიტერი.

მოძრაობის ვექტორების სანახავად, შეგიძლიათ შექმნათ გარე პროგნოზირების ვიდეო გამოყენებით ffmpeg.

თქვენ ასევე შეგიძლიათ გამოიყენოთ Intel Video Pro ანალიზატორი (ეს ფასიანია, მაგრამ არის უფასო საცდელი ვერსია, რომელიც შემოიფარგლება მხოლოდ პირველი ათი კადრით).

სივრცითი სიჭარბე (შიდა პროგნოზი)

თუ თითოეულ კადრს გავაანალიზებთ ვიდეოში, აღმოვაჩენთ ბევრ ურთიერთდაკავშირებულ სფეროს.

მოდით გავიაროთ ეს მაგალითი. ეს სცენა ძირითადად შედგება ლურჯი და თეთრი ფერებისგან.

ეს არის I-ჩარჩო. ჩვენ არ შეგვიძლია ავიღოთ წინა ჩარჩოები პროგნოზირებისთვის, მაგრამ შეგვიძლია შევკუმშოთ იგი. მოდით დავაშიფროთ წითელი ბლოკის შერჩევა. თუ მის მეზობლებს გადავხედავთ, შევამჩნევთ, რომ ირგვლივ ფერთა ტენდენციებია.

ჩვენ ვვარაუდობთ, რომ ფერები ვერტიკალურად ვრცელდება ჩარჩოში. რაც ნიშნავს, რომ უცნობი პიქსელების ფერი შეიცავს მისი მეზობლების მნიშვნელობებს.

ასეთი პროგნოზი შესაძლოა არასწორი აღმოჩნდეს. ამ მიზეზით, თქვენ უნდა გამოიყენოთ ეს მეთოდი (შიდა პროგნოზი), შემდეგ კი გამოაკლოთ რეალური მნიშვნელობები. ეს მოგვცემს ნარჩენ ბლოკს, რაც გამოიწვევს ბევრად უფრო შეკუმშულ მატრიცას ორიგინალთან შედარებით.

თუ გსურთ ივარჯიშოთ შიდა პროგნოზებით, შეგიძლიათ შექმნათ მაკრობლოკების ვიდეო და მათი პროგნოზები ffmpeg-ის გამოყენებით. თითოეული ბლოკის ფერის მნიშვნელობის გასაგებად, თქვენ უნდა წაიკითხოთ ffmpeg დოკუმენტაცია.

ან შეგიძლიათ გამოიყენოთ Intel Video Pro Analyzer (როგორც ზემოთ აღვნიშნე, უფასო საცდელი ვერსია შემოიფარგლება პირველი 10 კადრით, მაგრამ ეს თქვენთვის საკმარისი იქნება თავიდან).

Მეორე ნაწილი: როგორ მუშაობს ვიდეო კოდეკი

წყარო: www.habr.com