Како функционира JPEG форматот

Сликите JPEG се сеприсутни во нашите дигитални животи, но зад овој фурнир на свесност стојат алгоритми кои отстрануваат детали што не се воочливи за човечкото око. Резултатот е највисок визуелен квалитет во најмала големина на датотека - но како точно функционира сето тоа? Ајде да видиме што точно не гледаат нашите очи!

Лесно е да се земе здраво за готово можноста да се испрати фотографија на пријател и да не се грижите за тоа каков уред, прелистувач или оперативен систем користат - но тоа не беше секогаш случај. До почетокот на 1980-тите, компјутерите можеа да складираат и прикажуваат дигитални слики, но имаше многу конкурентни идеи за најдобриот начин да се направи тоа. Не можете само да испратите слика од еден компјутер на друг и да се надевате дека ќе работи.

За да се реши овој проблем, во 1986 година беше составен комитет од експерти од целиот свет наречен „Заедничка група на експерти за фотографија» (Joint Photographic Experts Group, JPEG), основана како заеднички напор помеѓу Меѓународната организација за стандардизација (ISO) и Меѓународната електротехничка комисија (IEC), две меѓународни организации за стандарди со седиште во Женева, Швајцарија.

Група луѓе наречени JPEG го создадоа стандардот за компресија на дигитална слика JPEG во 1992 година. Секој што користел Интернет веројатно наишол на JPEG кодирани слики. Ова е најчестиот начин за кодирање, испраќање и складирање слики. Од веб-страници до е-пошта до социјалните медиуми, JPEG се користи милијарди пати на ден - практично секој пат кога гледаме слика на интернет или ја испраќаме. Без JPEG, мрежата би била помалку шарена, побавна и веројатно ќе има помалку слики од мачки!

Оваа статија е за тоа како да декодирате JPEG слика. Со други зборови, што е потребно за да се конвертираат компресираните податоци зачувани на компјутер во слика што се појавува на екранот. Ова вреди да се знае, не само затоа што е важно да се разбере технологијата што ја користиме секој ден, туку и затоа што со отклучување на нивоата на компресија, дознаваме повеќе за перцепцијата и видот, како и за деталите на кои нашите очи се најчувствителни.

Покрај тоа, играњето со слики на овој начин е многу интересно.

Гледајќи во JPEG

На компјутер, сè е зачувано како низа од бинарни броеви. Обично овие битови, нули и единици, се групирани во групи од осум за да сочинуваат бајти. Кога отворате JPEG слика на компјутер, нешто (прелистувач, оперативен систем, нешто друго) мора да ги декодира бајтите, враќајќи ја оригиналната слика како листа на бои што може да се прикажат.

Ако ја преземете оваа слатка фотографија од мачка и отворете го во текстуален уредувач, ќе видите еден куп некохерентни знаци.

Овде користам Notepad++ за да ја испитам содржината на датотеката, бидејќи обичните уредувачи на текст како Notepad на Windows ќе ја оштетат бинарната датотека по зачувувањето и таа повеќе нема да го задоволува JPEG форматот.

Отворањето слика во текстуален процесор го збунува компјутерот, исто како што го збунувате мозокот кога ги триете очите и почнувате да гледате дамки во боја!

Овие точки што ги гледате се познати како фосфени, и не се резултат на светлосен стимул или халуцинација генерирана од умот. Тие се појавуваат затоа што вашиот мозок мисли дека сите електрични сигнали во оптичките нерви пренесуваат информации за светлината. Мозокот треба да ги направи овие претпоставки бидејќи не постои начин да се знае дали сигналот е звук, визија или нешто друго. Сите нерви во телото ги пренесуваат токму истите електрични импулси. Со притискање на очите, вие испраќате сигнали кои не се визуелни, туку ги активирате рецепторите на очите, кои вашиот мозок ги толкува - во овој случај, погрешно - како нешто визуелно. Притисокот буквално го гледате!

Смешно е да се размислува за тоа колку компјутерите се слични на мозокот, но исто така е корисна аналогија за да се илустрира колку значењето на податоците - без разлика дали се пренесуваат низ телото со нерви или се складирани на компјутер - зависи од нивното толкување. Сите бинарни податоци се составени од 0 и 1, основни компоненти кои можат да пренесат информации од секаков вид. Вашиот компјутер често сфаќа како да ги интерпретира користејќи индиции како што се екстензии на датотеки. Сега го принудуваме да ги толкува како текст, бидејќи тоа го очекува уредувачот на текст.

За да разбереме како да декодираме JPEG, треба да ги видиме самите оригинални сигнали - бинарните податоци. Ова може да се направи со помош на хексадецимален уредник или директно на оригинална веб-страница на статијата! Има слика, до која во полето за текст се сите нејзини бајти (освен заглавието), претставени во децимална форма. Можете да ги промените, а скриптата повторно ќе се кодира и ќе произведе нова слика во лет.

Можете да научите многу само со играње со овој уредувач. На пример, можете ли да кажете по кој редослед се зачувани пикселите?

Чудното кај овој пример е што менувањето на некои бројки воопшто не влијае на сликата, но, на пример, ако го замените бројот 17 со 0 во првиот ред, фотографијата ќе биде целосно уништена!

Други промени, како што е замена на 7 на линијата 1988 со бројот 254, ја менува бојата, но само на следните пиксели.

Можеби најчудно е што некои бројки ја менуваат не само бојата, туку и обликот на сликата. Променете го 70 во редот 12 на 2 и погледнете го горниот ред на сликата за да видите на што мислам.

И без разлика каква JPEG слика користите, секогаш ќе ги најдете овие мистериозни шаховски обрасци кога ги уредувате бајтите.

Кога играте со уредувачот, тешко е да се разбере како фотографијата се пресоздава од овие бајти, бидејќи JPEG компресијата се состои од три различни технологии, применети последователно во нивоа. Ќе го проучуваме секој одделно за да го откриеме мистериозното однесување што го гледаме.

Три нивоа на JPEG компресија:

1. Подземање примероци во боја.
2. Дискретна косинусова трансформација и земање примероци.
3. Кодирање со должина на извршување, делта и Хафман

За да ви даде идеја за големината на компресија, имајте во предвид дека сликата погоре претставува 79 броеви, или околу 819 KB. Ако го складиравме без компресија, секој пиксел ќе бара три броја - за црвените, зелените и сините компоненти. Ова би изнесувало 79 броеви или приближно. 917 KB. Како резултат на компресија JPEG, конечната датотека беше намалена за повеќе од 700 пати!

Всушност, оваа слика може да се компресира многу повеќе. Подолу се две слики една до друга - фотографијата од десната страна е компресирана на 16 KB, односно 57 пати помала од некомпресираната верзија!

Ако погледнете внимателно, ќе видите дека овие слики не се идентични. И двете се слики со JPEG компресија, но вистинската е многу помала по волумен. Исто така, изгледа малку полошо (погледнете ги квадратите на бојата на позадината). Затоа JPEG се нарекува и компресија со загуби; За време на процесот на компресија, сликата се менува и губи некои детали.

1. Подземање примероци во боја

Еве слика со применето само првото ниво на компресија.

(Интерактивна верзија - внатре оригинален статии). Отстранувањето на еден број ги уништува сите бои. Меѓутоа, ако се отстранат точно шест бројки, тоа практично нема никакво влијание врз сликата.

Сега бројките се малку полесни за дешифрирање. Ова е речиси едноставна листа на бои, во која секој бајт менува точно еден пиксел, но во исто време тој е веќе половина од големината на некомпресираната слика (која би заземала околу 300 KB во оваа намалена големина). Можете ли да погодите зошто?

Можете да видите дека овие бројки не ги претставуваат стандардните црвени, зелени и сини компоненти, бидејќи ако ги замениме сите броеви со нули, ќе добиеме зелена слика (наместо бела).

Ова е затоа што овие бајти значат Y (осветленост),

Cb (релативна синило),

и Cr (релативно црвенило) слики.

Зошто да не користите RGB? На крајот на краиштата, вака функционираат повеќето модерни екрани. Вашиот монитор може да прикажува која било боја, вклучувајќи црвена, зелена и сина, со различен интензитет за секој пиксел. Бело се добива со вклучување на сите три со целосна осветленост, а црно со нивно исклучување.

Ова е исто така многу слично на тоа како функционира човечкото око. Рецепторите за боја во нашите очи се нарекуваат "конуси„, и се поделени на три типа, од кои секоја е почувствителна на црвени, зелени или сини бои [конусите од типот S се чувствителни во виолетово-сината (S од англискиот спектар на кратки - кратки бранови), М -тип - во зелено-жолтиот (М од англискиот среден - среден бран), и L-тип - во жолто-црвениот (L од англискиот Долг - долг бран) делови од спектарот. Присуството на овие три типа на конуси (и прачки, кои се чувствителни во смарагдно зелениот дел од спектарот) му даваат на човекот визија во боја. / прибл. превод.]. Стапчиња, друг тип на фоторецептори во нашите очи, е способен да детектира промени во осветленоста, но е многу почувствителен на боја. Нашите очи имаат околу 120 милиони прачки и само 6 милиони конуси.

Ова е причината зошто нашите очи се многу подобри во откривањето на промените во осветленоста отколку промените во бојата. Ако ја одделите бојата од осветленоста, можете да отстраните малку боја и никој нема да забележи ништо. Подземање примероци на хром е процес на претставување на компонентите на бојата на сликата со помала резолуција од компонентите на осветленоста. Во примерот погоре, секој пиксел има точно една Y компонента, а секоја поединечна група од четири пиксели има точно една Cb и една Cr компонента. Затоа, сликата содржи четири пати помалку информации за боја од оригиналот.

Просторот за бои YCbCr се користи не само во JPEG. Првично беше измислен во 1938 година за телевизиски програми. Не секој има телевизор во боја, така што одвојувањето на бојата и осветленоста им овозможи на сите да го добијат истиот сигнал, а телевизорите без боја едноставно ја користеа само компонентата за осветленост.

Така, отстранувањето на еден број од уредникот целосно ги уништува сите бои. Компонентите се чуваат во форма YYYY Cb Cr (всушност, не нужно по тој редослед - редоследот на складирање е наведен во заглавието на датотеката). Отстранувањето на првиот број ќе предизвика првата вредност на Cb да се перцепира како Y, Cr како Cb и генерално ќе имате домино ефект кој ги менува сите бои на сликата.

Спецификацијата JPEG не ве принудува да користите YCbCr. Но, повеќето датотеки го користат затоа што произведува подобри слики со намалени примероци од RGB. Но, не мора да ми го прифаќате зборот. Уверете се во табелата подолу како ќе изгледа под-примерокот на секоја поединечна компонента и во RGB и во YCbCr.

(Интерактивна верзија - внатре оригинален статии).

Отстранувањето на сината боја не е толку забележливо како она на црвено или зелено. Тоа е поради шест милиони конуси во вашите очи, околу 64% се чувствителни на црвено, 32% на зелено и 2% на сино.

Намалувањето на примерокот на компонентата Y (долу лево) најдобро се гледа. Дури и мала промена е забележлива.

Конвертирањето слика од RGB во YCbCr не ја намалува големината на датотеката, но го олеснува пронаоѓањето на помалку видливи детали што може да се отстранат. Компресија со загуби се јавува во втората фаза. Се заснова на идејата за презентирање на податоците во покомпресибилна форма.

2. Дискретна косинусова трансформација и земање примероци

Ова ниво на компресија е, во најголем дел, она што е JPEG. По конвертирање на боите во YCbCr, компонентите се компресирани поединечно, така што можеме да се концентрираме само на Y компонентата А еве како изгледаат бајтите на Y компонентата по нанесувањето на овој слој.

(Интерактивна верзија - внатре оригинален статии). Во интерактивната верзија, со кликнување на пиксел, уредникот се движи до линијата што го претставува. Обидете се да ги отстраните броевите од крајот или да додадете неколку нули на одреден број.

На прв поглед изгледа како многу лоша компресија. Има 100 пиксели на сликата, а потребни се 000 броеви за да се прикаже нивната осветленост (Y-компоненти) - тоа е полошо отколку да не се компресира ништо!

Сепак, имајте предвид дека повеќето од овие бројки се нула. Покрај тоа, сите тие нули на крајот од редовите може да се отстранат без промена на сликата. Остануваат околу 26 броеви, а тоа е речиси 000 пати помалку!

Ова ниво ја содржи тајната на шаховските обрасци. За разлика од другите ефекти што ги видовме, појавата на овие обрасци не е грешка. Тие се градежни блокови на целата слика. Секоја линија на уредувачот содржи точно 64 броеви, коефициенти на дискретна косинус трансформација (DCT) што одговараат на интензитетот на 64 уникатни обрасци.

Овие обрасци се формираат врз основа на косинусната парцела. Еве како изгледаат некои од нив:

8 од 64 шанси

Подолу е слика која ги прикажува сите 64 шеми.

(Интерактивна верзија - внатре оригинален статии).

Овие обрасци се од особено значење бидејќи ја формираат основата на сликите 8x8. Ако не сте запознаени со линеарната алгебра, тоа значи дека секоја слика 8x8 може да се направи од овие 64 обрасци. DCT е процес на делење на сликите на блокови од 8x8 и конвертирање на секој блок во комбинација од овие 64 коефициенти.

Изгледа како магија што секоја слика може да биде составена од 64 специфични обрасци. Сепак, ова е исто како да се каже дека секое место на Земјата може да се опише со два броја - географска ширина и должина [што укажува на хемисфери / прибл. превод.]. Често мислиме дека површината на Земјата е дводимензионална, па ни требаат само два броја. Сликата 8x8 има 64 димензии, па ни требаат 64 броеви.

Сè уште не е јасно како ова ни помага во однос на компресија. Ако ни требаат 64 броеви за да претставиме слика 8x8, зошто ова би било подобро од само складирање на 64 компоненти за осветленост? Ова го правиме од истата причина што претворивме три RGB броеви во три YCbCr броеви: ни овозможува да отстраниме суптилни детали.

Тешко е да се види точно кој детал е отстранет во оваа фаза бидејќи JPEG применува DCT на блокови 8x8. Сепак, никој не ни забранува да го примениме на целата слика. Еве како изгледа DCT за Y компонентата применета на целата слика:

Повеќе од 60 броеви може да се отстранат од крајот без практично никакви забележливи промени на фотографијата.

Сепак, забележете дека ако ги нуламе првите пет бројки, разликата ќе биде очигледна.

Броевите на почетокот претставуваат нискофреквентни промени на сликата, кои нашите очи најдобро ги забележуваат. Броевите кон крајот укажуваат на промени во високите фреквенции кои потешко се забележуваат. За да го „видиме она што окото не може да го види“, можеме да ги изолираме овие детали со висока фреквенција со нулање на првите 5000 броеви.

Ги гледаме сите области на сликата каде што се случува најголемата промена од пиксел до пиксел. Се истакнуваат очите на мачката, неговите мустаќи, ќебето и сенките во долниот лев агол. Можете да одите понатаму со нулање на првите 10 броеви:

20 година 000 година:

40 година 000 година:

60 година 000 година:

Овие детали со висока фреквенција се отстрануваат со JPEG за време на фазата на компресија. Нема загуба во конвертирањето на боите во коефициенти на DCT. Загубата се јавува на чекорот на земање мостри, каде што се отстранети високите фреквентни или речиси нула вредности. Кога ќе го намалите квалитетот на зачувувањето JPEG, програмата го зголемува прагот за бројот на отстранети вредности, што ја намалува големината на датотеката, но ја прави сликата повеќе пикселирана. Затоа сликата во првиот дел, кој беше 57 пати помал, изгледаше вака. Секој блок 8x8 беше претставен со многу помалку DCT коефициенти во споредба со верзијата со повисок квалитет.

Можете да создадете таков кул ефект како постепено проследување на слики. Може да прикажете заматена слика која станува сè подетална како што се преземаат сè повеќе коефициенти.

Еве, само за забава, е она што го добивате користејќи само 24 броеви:

Или само 5000:

Многу матно, но некако препознатливо!

3. Стартувај должина кодирање, делта и Хафман

Досега, сите фази на компресија беа со загуби. Последната фаза, напротив, продолжува без загуби. Не брише информации, но значително ја намалува големината на датотеката.

Како можете да компресирате нешто без да фрлите информации? Замислете како би опишале едноставен црн правоаголник 700 x 437.

JPEG користи 5000 броеви за ова, но може да се постигнат многу подобри резултати. Можете ли да замислите шема за кодирање што би опишувала таква слика во што е можно помалку бајти?

Минималната шема што можев да ја смислам користи четири: три за да претставува боја и четврта за да покаже колку пиксели има таа боја. Идејата за претставување на вредностите што се повторуваат на овој кондензиран начин се нарекува шифрирање со должина на траење. Тоа е без загуби бидејќи можеме да ги вратиме кодираните податоци во нивната оригинална форма.

JPEG-датотека со црн правоаголник е многу поголема од 4 бајти - запомнете дека на ниво на DCT, компресија се применува на блокови од 8x8 пиксели. Затоа, на минимум ни треба еден DCT коефициент на секои 64 пиксели. Ни треба еден затоа што наместо да складираме еден коефициент DCT проследен со 63 нули, кодирањето со должина ни овозможува да складираме еден број и да означиме дека „сите други се нули“.

Делта кодирањето е техника во која секој бајт содржи разлика од некоја вредност, наместо апсолутна вредност. Затоа, уредувањето на одредени бајти ја менува бојата на сите други пиксели. На пример, наместо складирање

12 13 14 14 14 13 13 14

Можеме да започнеме со 12, а потоа едноставно да покажеме колку треба да собереме или одземеме за да го добиеме следниот број. И оваа низа во делта кодирањето ја има формата:

12 1 1 0 0 -1 0 1

Конвертираните податоци не се помали од оригиналните податоци, но полесно е да се компресираат. Примената на делта-кодирање пред кодирањето со должина на извршување може многу да помогне, а сепак да биде компресија без загуби.

Делта кодирањето е една од ретките техники што се користат надвор од блоковите 8x8. Од 64 DCT коефициенти, еден е едноставно функција на постојан бран (цврста боја). Ја претставува просечната осветленост на секој блок за компонентите на лума, или просечната сина боја за компонентите Cb итн. Првата вредност на секој блок DCT се нарекува DC вредност, а секоја DC вредност е делта кодирана во однос на претходните. Затоа, менувањето на осветленоста на првиот блок ќе влијае на сите блокови.

Останува последната мистерија: како менувањето на еднината целосно ја уништува целата слика? Досега, нивоата на компресија немаа такви својства. Одговорот лежи во заглавието JPEG. Првите 500 бајти содржат метаподатоци за сликата - ширина, висина итн., а ние сè уште не сме работеле со нив.

Без заглавие е речиси невозможно (или многу тешко) да се декодира JPEG. Ќе изгледа како да се обидувам да ви ја опишам сликата и почнувам да измислувам зборови за да го пренесам мојот впечаток. Описот веројатно ќе биде прилично збиен, бидејќи можам да измислам зборови со точно значење што сакам да го пренесам, но за сите други нема да имаат смисла.

Звучи глупаво, но токму тоа се случува. Секоја JPEG слика е компресирана со кодови специфични за неа. Речникот за кодови е зачуван во заглавието. Оваа техника се нарекува Хафман код, а вокабуларот се нарекува Хафман табела. Во заглавието, табелата е означена со два бајти - 255, а потоа 196. Секоја компонента во боја може да има своја табела.

Промените на табелите радикално ќе влијаат на секоја слика. Добар пример е да ја смените 15-тата линија во 1.

Ова се случува затоа што табелите одредуваат како треба да се читаат поединечните битови. Досега работевме само со бинарни броеви во децимална форма. Но, ова го крие од нас фактот дека ако сакате да го зачувате бројот 1 во бајт, тој ќе изгледа како 00000001, бидејќи секој бајт мора да има точно осум бита, дури и ако е потребен само еден од нив.

Ова е потенцијално големо губење простор ако имате многу мали броеви. Хафман кодот е техника која ни овозможува да го опуштиме ова барање дека секој број мора да зафаќа осум бита. Ова значи дека ако видите два бајта:

234 115

Потоа, во зависност од табелата Хафман, овие би можеле да бидат три бројки. За да ги извлечете, прво треба да ги поделите на поединечни битови:

11101010 01110011

Потоа ја гледаме табелата за да откриеме како да ги групираме. На пример, ова може да бидат првите шест бита, (111010) или 58 во децимални, проследени со пет бита (10011) или 19 и на крајот последните четири бита (0011) или 3.

Затоа, многу е тешко да се разберат бајтите во оваа фаза на компресија. Бајтите не го претставуваат она што изгледаат. Јас нема да навлегувам во детали за работа со табелата во оваа статија, но материјали за ова прашање на интернет доволно.

Еден интересен трик што можете да го направите со ова знаење е да го одделите заглавието од JPEG и да го складирате одделно. Всушност, излегува дека само вие можете да ја прочитате датотеката. Фејсбук го прави ова за да ги направи датотеките уште помали.

Што друго може да се направи е малку да се смени табелата Хафман. За други тоа ќе изгледа како скршена слика. И само вие ќе го знаете магичниот начин да го поправите.

Ајде да резимираме: па што е потребно за декодирање на JPEG? Неопходно:

1. Извлечете ги табелите на Хафман од заглавието и дешифрирајте ги битовите.
2. Извлечете ги дискретните коефициенти на трансформација на косинус за секоја компонента на боја и осветленост за секој блок од 8x8, изведувајќи трансформации со инверзна должина и делта на шифрирање.
3. Комбинирајте косинуси врз основа на коефициенти за да добиете вредности на пиксели за секој блок 8x8.
4. Скалирај ги компонентите на бојата ако е извршено подизземање примероци (оваа информација е во заглавието).
5. Претворете ги добиените вредности на YCbCr за секој пиксел во RGB.
6. Прикажете ја сликата на екранот!

Сериозна работа за едноставно гледање фотографија со мачка! Сепак, она што ми се допаѓа кај него е тоа што покажува колку е човечко-центрична JPEG технологијата. Се заснова на особеностите на нашата перцепција, овозможувајќи ни да постигнеме многу подобра компресија од конвенционалните технологии. И сега кога разбираме како функционира JPEG, можеме да замислиме како овие технологии можат да се пренесат во други области. На пример, делта-кодирањето во видеото може да обезбеди значително намалување на големината на датотеката, бидејќи често има цели области што не се менуваат од рамка до рамка (на пример, позадината).

Код што се користи во статијата, е отворена и содржи инструкции како да ги замените сликите со свои.

Извор: www.habr.com