Как работи форматът JPEG

JPEG изображенията са повсеместни в нашия дигитален живот, но зад това наметало на съзнание се крият алгоритми, които премахват детайли, които човешкото око не може да види. Резултатът е най-високото визуално качество в най-малкия размер на файла - но как точно работи всичко това? Да видим какво точно не виждат очите ни!

Лесно е да приемете за даденост възможността да изпратите снимка на приятел и да не се притеснявате какво устройство, браузър или операционна система използват – но това не винаги е било така. До началото на 1980-те години компютрите можеха да съхраняват и показват цифрови изображения, но имаше много конкуриращи се идеи за най-добрия начин да се направи това. Не можете просто да изпратите изображение от един компютър на друг и да се надявате, че работи.

За да разреши този проблем, през 1986 г. беше събрана комисия от експерти от цял ​​свят под името "Съвместна група фотографски експерти” (Joint Photographic Experts Group, JPEG), основана като част от съвместната работа на Международната организация по стандартизация (ISO) и Международната електротехническа комисия (IEC), две международни организации за стандартизация със седалище в Женева (Швейцария).

Група хора, наречени JPEG, създават стандарта за компресиране на цифрови изображения JPEG през 1992 г. Всеки, който е използвал интернет, вероятно се е сблъсквал с JPEG-кодирани изображения. Това е най-разпространеният начин за кодиране, изпращане и съхраняване на изображения. От уеб страници до имейл до социални медии, JPEG се използва милиарди пъти на ден - почти всеки път, когато разглеждаме или изпращаме изображение онлайн. Без JPEG файлове мрежата би била по-малко ярка, по-бавна и вероятно ще има по-малко снимки на котки!

Тази статия е за това как да декодирате JPEG изображение. С други думи, какво е необходимо за преобразуване на компресирани данни, съхранени на компютър, в изображение, което се появява на екрана. Това си струва да знаем, не само защото е важно за разбирането на технологията, която използваме ежедневно, но и защото чрез разкриване на нивата на компресия ще знаем по-добре възприятието и зрението, както и кои детайли са най-очните ни чувствителен към.

Освен това е много интересно да се играе с изображения по този начин.

Гледайки вътре в JPEG

На компютър всичко се съхранява като поредица от двоични числа. Обикновено тези битове, нули и единици, са групирани в осмици, образувайки байтове. Когато отворите JPEG изображение на вашия компютър, нещо (браузър, операционна система, каквото и да е) трябва да декодира байтовете, възстановявайки оригиналното изображение като списък с цветове, които могат да бъдат показани.

Ако изтеглите този сладък снимка на котка и го отворите в текстов редактор, ще видите куп разбъркани знаци.

Тук използвам Notepad++, за да проверя съдържанието на файла, защото обикновените текстови редактори като Notepad от Windows ще объркат двоичния файл след като го запишат и той няма да пасне на JPEG формат.

Отварянето на изображение в текстов редактор обърква компютъра ви, точно както обърквате мозъка си, когато потъркате очите си и започнете да виждате цветни петна!

Тези петна, които виждате, са известни като фосфении не са резултат от излагане на светлинен стимул или халюцинации, генерирани от ума. Те възникват, защото мозъкът ви смята, че всички електрически сигнали в оптичните нерви носят информация за светлина. Мозъкът трябва да прави такива предположения, защото няма начин да разбере дали сигналът е звук, визия или нещо друго. Всички нерви в тялото предават абсолютно еднакви електрически импулси. Когато прилагате натиск върху очите си, вие изпращате сигнали, които не са визуални, но активират рецептори в окото, които мозъкът ви интерпретира - в този случай неправилно - като нещо визуално. Буквално можете да видите напрежението!

Смешно е да се мисли колко подобни са компютрите на мозъка, но това също е полезна аналогия, илюстрираща доколко значението на данните - независимо дали се пренасят през тялото от нерви или се съхраняват в компютър - зависи от това как се интерпретират. Всички двоични данни са съставени от XNUMX и XNUMX, основни компоненти, способни да предават всякакъв вид информация. Компютърът ви често отгатва как да ги интерпретира, като използва улики като файлови разширения. Сега го караме да ги интерпретира като текст, защото това очаква текстовият редактор.

За да разберем как да декодираме JPEG, трябва да видим самите оригинални сигнали - двоичните данни. Това може да се направи с шестнадесетичен редактор или директно уеб страница на оригиналната статия! Има изображение, до което в текстовото поле всички негови байтове (с изключение на заглавката) са представени в десетична форма. Можете да ги промените и скриптът ще прекодира и ще създаде ново изображение в движение.

Можете да научите много, просто като си поиграете с този редактор. Например, можете ли да кажете в какъв ред се съхраняват пикселите?

В този пример странното е, че промяната на някои числа изобщо не се отразява на изображението и, например, ако замените числото 17 с 0 в първия ред, тогава снимката ще бъде напълно съсипана!

Други промени, като промяна на 7 on line 1988 на 254, променят цвета, но само следващите пиксели.

Може би най-странното е, че някои числа променят не само цвета, но и формата на изображението. Променете 70 на ред 12 на 2 и погледнете горния ред на изображението, за да видите какво имам предвид.

И без значение какво JPEG изображение използвате, винаги ще намерите онези загадъчни шахматни модели, когато редактирате байтове.

Играейки си с редактора, трудно е да разберете как да пресъздадете снимка от тези байтове, тъй като JPEG компресията се състои от три различни технологии, които се прилагат последователно на нива. Ще изучаваме всеки от тях поотделно, за да разкрием мистериозното поведение, което наблюдаваме.

Три нива на JPEG компресия:

1. Подсемплиране на цветовете.
2. Дискретно косинусово преобразуване и дискретизация.
3. Кодиране на дължината на цикъла, делта и Хъфман

За да ви даде представа за мащаба на компресията, имайте предвид, че изображението по-горе представлява 79 819 числа, което е около 79 KB. Ако трябва да го съхраняваме без компресия, ще ни трябват три числа за всеки пиксел - за червения, зеления и синия компонент. Това би възлизало на 917 700 номера, или приблизително. 917 Kb. В резултат на JPEG компресия крайният файл е намалял над 10 пъти!

Всъщност това изображение може да бъде компресирано много повече. По-долу има две изображения една до друга - снимката вдясно е компресирана до 16 KB, тоест 57 пъти по-малко от некомпресираната версия!

Ако се вгледате внимателно, ще видите, че тези изображения не са идентични. И двете са снимки с JPEG компресия, но дясната е с много по-малък обем. Освен това изглежда малко по-зле (погледнете цветните квадратчета на фона). Следователно JPEG се нарича още компресия със загуби; по време на процеса на компресиране изображението се променя и губи някои детайли.

1. Подсемплиране на цветовете

Ето изображение с приложено само първото ниво на компресия.

(Интерактивна версия в оригинален статии). Премахването на едно число унищожава всички цветове. Въпреки това, ако се премахнат точно шест числа, това няма почти никакъв ефект върху изображението.

Сега числата са малко по-лесни за дешифриране. Това е почти прост списък от цветове, всеки байт променя точно един пиксел, но вече е половината от размера на некомпресирано изображение (което би отнело приблизително 300 KB в такъв намален размер). познайте защо

Можете да видите, че тези числа не представляват стандартните червени, зелени и сини компоненти, защото ако заменим всички числа с нули, получаваме зелено изображение (а не бяло).

Това е така, защото тези байтове означават Y (яркост),

Cb (относително синьо),

и Cr (относително зачервяване) снимки.

Защо не използвате RGB? В крайна сметка така работят повечето съвременни екрани. Вашият монитор може да показва всеки цвят, включително червено, зелено и синьо с различни интензитети за всеки пиксел. Бялото се получава като включим и трите на пълна яркост, а черното ги изключва.

Освен това е много подобно на това как работи човешкото око. Цветните рецептори в очите ни се наричат ​​"конуси“, и са разделени на три типа, всеки от които е по-чувствителен или към червени, или към зелени, или към сини цветове [Конусите от тип S са чувствителни във виолетово-синьо (S от английския. Къс - късовълнов спектър ), М-тип - в зелено-жълти (M от англ. Medium - средна вълна), и L-тип - в жълто-червени (L от англ. Long - дълги вълни) части на спектъра. Наличието на тези три вида колбички (и пръчици, чувствителни в изумруденозелената част на спектъра) дава на човек цветно зрение. / прибл. превод]. пръчки, другият тип фоторецептори в нашите очи, е в състояние да открие промени в яркостта, но е много по-чувствителен към цвета. Очите ни имат около 120 милиона пръчици и само 6 милиона колбички.

Следователно очите ни забелязват промените в яркостта много по-добре от промените в цвета. Ако отделите цвета от яркостта, можете да премахнете малко цвят и никой няма да забележи нищо. Chroma subsampling е процесът на представяне на цветовите компоненти на изображението с по-ниска разделителна способност от компонентите на яркостта. В горния пример всеки пиксел има точно един Y компонент и всяка отделна група от четири пиксела има точно един Cb и един Cr компонент. Следователно изображението съдържа четири пъти по-малко цветова информация от оригинала.

Цветното пространство YCbCr не се използва само в JPEG. Първоначално е изобретен през 1938 г. за телевизионни предавания. Не всеки има цветен телевизор, така че разделянето на цвета и яркостта позволи на всички да получат един и същ сигнал, а телевизорите без цвят просто използваха само компонента на яркостта.

Следователно премахването на едно число от редактора напълно унищожава всички цветове. Компонентите се съхраняват във формата YYYY Cb Cr (всъщност, не непременно в този ред - редът на съхранение е посочен в заглавката на файла). Премахването на първото число ще накара първата стойност на Cb да се възприеме като Y, Cr като Cb и като цяло ще се получи ефект на доминото, превключващ всички цветове на картината.

JPEG спецификацията не изисква да използвате YCbCr. Но в повечето файлове се използва, защото дава изображения с по-добро качество след субсемплиране в сравнение с RGB. Но не е нужно да вярвате на думите ми. Вижте сами в таблицата по-долу как ще изглежда субсемплирането на всеки отделен компонент както в RGB, така и в YCbCr.

(Интерактивна версия в оригинален статии).

Премахването на синьото не е толкова забележимо, колкото червеното или зеленото. Това е така, защото от шестте милиона колбички в очите ви около 64% ​​са чувствителни към червено, 32% към зелено и 2% към синьо.

Най-добре се вижда подизвадката на компонента Y (долу вляво). Дори малка промяна се забелязва.

Преобразуването на изображение от RGB в YCbCr не намалява размера на файла, но улеснява намирането на по-малко забележими детайли, които могат да бъдат премахнати. Компресията със загуби се осъществява във втория етап. Базира се на идеята за представяне на данни в по-компресируема форма.

2. Дискретно косинусово преобразуване и дискретизация

Това ниво на компресия в по-голямата си част определя същността на JPEG. След преобразуването на цветовете в YCbCr, компонентите се компресират поотделно, така че отсега нататък можем да се концентрираме само върху компонента Y. И ето как изглеждат байтовете на компонента Y след прилагане на това ниво.

(Интерактивна версия в оригинален статии). В интерактивната версия щракването върху пиксел превърта редактора до реда, който го представлява. Опитайте да премахнете числата от края или да добавите няколко нули към определено число.

На пръв поглед изглежда много лоша компресия. Има 100 000 пиксела в едно изображение и са необходими 102 400 числа, за да се посочи тяхната яркост (Y-компоненти) - това е по-лошо, отколкото да не компресирате нищо!

Имайте предвид обаче, че повечето от тези числа са нула. Освен това всички тези нули в края на редовете могат да бъдат премахнати, без да се променя изображението. Остават около 26 000 номера, което е почти 4 пъти по-малко!

Това ниво съдържа тайната на шахматните модели. За разлика от други ефекти, които сме виждали, появата на тези модели не е проблем. Те са градивните елементи на целия образ. Всеки ред на редактора съдържа точно 64 числа, коефициенти на дискретна косинусова трансформация (DCT), съответстващи на интензитетите на 64 уникални модела.

Тези модели се формират въз основа на косинусовата диаграма. Ето как изглеждат някои от тях:

8 от 64 коеф

По-долу има изображение, показващо всичките 64 модела.

(Интерактивна версия в оригинален статии).

Тези модели са от особено значение, тъй като формират основата на изображенията 8x8. Ако не сте запознати с линейната алгебра, това означава, че всяко изображение 8x8 може да бъде получено от тези 64 модела. DCT е процес на разделяне на изображения на блокове 8x8 и преобразуване на всеки блок в комбинация от тези 64 коефициента.

Фактът, че всяко изображение може да бъде съставено от 64 специфични модела, изглежда като магия. Това обаче е същото като да кажеш, че всяко място на Земята може да се опише с две числа - географска ширина и дължина [посочване на полукълбата / прибл. превод]. Често мислим за земната повърхност като двуизмерна, така че имаме нужда само от две числа. Изображение 8x8 има 64 измерения, така че имаме нужда от 64 числа.

Все още не е ясно как това ни помага по отношение на компресията. Ако имаме нужда от 64 числа, за да представим изображение 8x8, защо това би било по-добре от просто съхраняване на 64 компонента на осветеност? Правим това по същата причина, поради която превърнахме три RGB числа в три YCbCr числа: това ни позволява да премахнем фините детайли.

Трудно е да се види точно какви детайли се премахват на този етап, защото JPEG прилага DCT към 8x8 блокове. Никой обаче не ни забранява да го приложим към цялата картина. Ето как изглежда DCT за Y компонента, когато се приложи към цялата картина:

Повече от 60 000 числа могат да бъдат премахнати от края без практически никакви забележими промени в снимката.

Имайте предвид обаче, че ако нулираме първите пет числа, разликата ще бъде очевидна.

Цифрите в началото представляват нискочестотни промени в изображението и очите ни ги улавят най-добре. Числата към края показват високочестотни промени, които са по-трудни за забелязване. За да „видим това, което окото не може да види“, можем да изолираме тези високочестотни детайли, като нулираме първите 5000 числа.

Виждаме всички области на изображението, където настъпва най-голямата промяна от пиксел към пиксел. Открояват се очите на котката, мустаците му, хавлиеното одеяло и сенките в долния ляв ъгъл. Можете да отидете по-далеч, като занулите първите 10 000 числа:

20 000 XNUMX:

40 000 XNUMX:

60 000 XNUMX:

Тези високочестотни детайли се премахват от JPEG по време на етапа на компресия. Преобразуването на цветовете в DCT коефициенти е без загуби. Загубите се формират на етапа на вземане на проби, където се премахват стойности с висока честота или близки до нула. Когато понижите качеството на запазване на JPEG, програмата увеличава прага за броя на стойностите, които трябва да бъдат премахнати, което намалява размера на файла, но прави картината по-пикселизирана. Изображението в първата секция, което беше 57 пъти по-малко, изглеждаше така. Всеки блок 8x8 представлява много по-малък брой DCT коефициенти в сравнение с версията с по-високо качество.

Можете да направите нещо толкова готино като постепенно поточно предаване на изображения. Можете да покажете замъглена картина, която става все по-подробна с изтеглянето на повече коефициенти.

Ето, само за забавление, какво се случва, когато използвате само 24 000 номера:

Или само 5000:

Много размазано, но разпознаваемо!

3. Кодиране на дължини, делта и Хъфман

Досега всички етапи на компресиране са със загуби. Последният етап, напротив, преминава без загуба. Той не премахва информация, но значително намалява размера на файла.

Как можете да компресирате нещо, без да изхвърлите информация? Представете си как бихме описали прост черен правоъгълник 700 x 437.

JPEG използва 5000 числа за това, но могат да се постигнат много по-добри резултати. Можете ли да си представите схема за кодиране, която описва такова изображение с възможно най-малко байта?

Минималната схема, която можах да измисля, използва четири: три за цвета и четвърти за това колко пиксела има този цвят. Идеята за представяне на повтарящи се стойности по такъв компресиран начин се нарича кодиране по дължина. Това е без загуба, защото можем да възстановим кодираните данни в оригиналната им форма.

Размерът на JPEG файл с черен правоъгълник е много по-голям от 4 байта - не забравяйте, че на ниво DCT компресията се прилага към блокове от 8x8 пиксела. Следователно, най-малко се нуждаем от един DCT коефициент за всеки 64 пиксела. Имаме нужда от такъв, защото вместо да съхраняваме единичен DCT коефициент, последван от 63 нули, кодирането на дължината на цикъла ни позволява да съхраняваме едно число и да обозначим „всички останали са нули“.

Делта кодирането е техника, при която всеки байт съдържа разлика от някаква стойност, а не абсолютна стойност. Следователно редактирането на определени байтове променя цвета на всички останали пиксели. Например, вместо да съхранявате

12 13 14 14 14 13 13 14

Можем да започнем с 12 и след това просто да запишем колко да добавим или извадим, за да получим следващото число. И тази последователност в делта кодирането приема формата:

12 1 1 0 0 -1 0 1

Преобразуваните данни не са по-малки от оригиналните данни, но е по-лесно да се компресират. Прилагането на делта кодиране преди кодиране на дължина на изпълнение може да помогне много, като същевременно е компресия без загуби.

Делта кодирането е една от малкото техники, използвани извън 8x8 блокове. От 64 DCT коефициента, един е просто постоянна вълнова функция (плътен цвят). Той представлява средната яркост на всеки блок за компонентите на осветеност или средната синьо за Cb компонентите и т.н. Първата стойност на всеки DCT блок се нарича DC стойност и всяка DC стойност е делта кодирана по отношение на предишните. Следователно промяната на яркостта на първия блок ще засегне всички блокове.

Остава последната мистерия: как промяната на единственото число напълно разваля цялата картина? Досега нивата на компресия нямаха такива свойства. Отговорът се крие в заглавката на JPEG. Първите 500 байта съдържат метаданни за изображението – ширина, височина и т.н., и досега не сме работили с тях.

Без заглавка е почти невъзможно (е, много трудно) да се декодира JPEG. Ще изглежда така, сякаш се опитвам да ви опиша картина и започвам да измислям думи, за да предам впечатлението си. Вероятно описанието ще е много стегнато, тъй като мога да измисля думи точно с това значение, което искам да предам, но за всички останали те няма да имат смисъл.

Звучи глупаво, но така се случва. Всяко JPEG изображение е компресирано със специфични за него кодове. Кодовият речник се съхранява в заглавката. Тази техника се нарича "код на Хъфман", а речникът се нарича таблица на Хъфман. В заглавката таблицата се маркира с два байта - 255 и след това 196. Всеки цветен компонент може да има своя собствена таблица.

Промените в таблицата ще повлияят драстично на всяко изображение. Добър пример е да промените 15 на 1 на 12-ия ред.

Това е така, защото таблиците определят как да се четат отделните битове. Досега сме работили само с двоични числа в десетична форма. Но това скрива от нас факта, че ако искате да съхраните числото 1 в байт, тогава той ще изглежда като 00000001, защото всеки байт трябва да има точно осем бита, дори ако е необходим само един от тях.

Това е потенциално голяма загуба на пространство, ако имате много малки числа. Кодът на Хъфман е техника, която ни позволява да облекчим това изискване, че всяко число трябва да заема осем бита. Това означава, че ако видите два байта:

234 115

Тогава, в зависимост от таблицата на Хъфман, може да са три числа. За да ги извлечете, първо трябва да ги разделите на отделни битове:

11101010 01110011

След това се обръщаме към таблицата, за да разберем как да ги групираме. Например, може да са първите шест бита (111010) или 58 в десетичен знак, последвани от пет бита (10011) или 19 и накрая последните четири бита (0011) или 3.

Следователно е много трудно да се разберат байтовете на този етап на компресиране. Байтовете не представляват това, което изглеждат. Няма да навлизам в подробности за работата с таблицата в тази статия, но материали по този въпрос онлайн достатъчно.

Един от страхотните трикове, които можете да направите с това знание, е да отделите заглавката от JPEG и да го съхранявате отделно. Всъщност се оказва, че само вие можете да прочетете файла. Facebook прави това, за да намали допълнително файловете.

Какво друго може да се направи, е да се промени доста таблицата на Хъфман. За други ще изглежда като развалена картина. И само вие ще знаете магическата опция да го поправите.

За да обобщим: какво е необходимо за декодиране на JPEG? Необходимо:

1. Извлечете таблицата(ите) на Huffman от заглавката и декодирайте битовете.
2. Извличане на коефициентите на дискретно косинусово преобразуване за всеки компонент на цвят и осветеност за всеки блок 8x8 чрез обратно трансформиране на кодиране на дължина на изпълнение и делта.
3. Комбинирайте косинуси на базата на коефициенти, за да получите стойности на пиксели за всеки блок 8x8.
4. Компонентите на цвета на скалата, ако е извършено субсемплиране (тази информация е в заглавката).
5. Преобразувайте получените YCbCr стойности за всеки пиксел в RGB.
6. Пренесете изображението на екрана!

Сериозна работа за просто гледане на снимка с котка! Но това, което ми харесва в него, е, че показва колко ориентирана към човека е JPEG технологията. Тя се основава на характеристиките на нашето възприятие, което ни позволява да постигнем много по-добра компресия от конвенционалните технологии. И сега, разбирайки как работи JPEG, можете да си представите как тези технологии могат да бъдат пренесени в други области. Например делта кодирането във видео може да доведе до значително намаляване на размера на файла, тъй като често има цели области, които не се променят от кадър на кадър (например фон).

Използван код в статията, е отворен и съдържа инструкции за замяна на снимките с ваши собствени.

Източник: www.habr.com