Како функционише ЈПЕГ формат

ЈПЕГ слике су свеприсутне у нашим дигиталним животима, али иза овог слоја свести стоје алгоритми који уклањају детаље који нису видљиви људском оку. Резултат је највиши визуелни квалитет у најмањој величини датотеке - али како тачно све то функционише? Да видимо шта тачно наше очи не виде!

Лако је узети здраво за готово могућност да пошаљете фотографију пријатељу и да не бринете о томе који уређај, претраживач или оперативни систем користе – али то није увек био случај. До раних 1980-их, рачунари су могли да чувају и приказују дигиталне слике, али било је много конкурентних идеја о најбољем начину да се то уради. Не можете само послати слику са једног рачунара на други и надати се да ће успети.

Да би се решио овај проблем, 1986. године састављен је комитет стручњака из целог света под називом „Заједничка група стручњака за фотографију» (Јоинт Пхотограпхиц Екпертс Гроуп, ЈПЕГ), основан као заједнички напор између Међународне организације за стандардизацију (ИСО) и Међународне електротехничке комисије (ИЕЦ), две међународне организације за стандардизацију са седиштем у Женеви, Швајцарска.

Група људи под називом ЈПЕГ креирала је стандард ЈПЕГ дигиталне компресије слике 1992. године. Свако ко је користио Интернет вероватно је наишао на слике кодиране у ЈПЕГ формату. Ово је најчешћи начин за кодирање, слање и чување слика. Од веб страница до е-поште до друштвених медија, ЈПЕГ се користи милијарде пута дневно — практично сваки пут када погледамо слику на мрежи или је пошаљемо. Без ЈПЕГ-а, веб би био мање шарен, спорији и вероватно би имао мање слика мачака!

Овај чланак говори о томе како декодирати ЈПЕГ слику. Другим речима, оно што је потребно за претварање компримованих података ускладиштених на рачунару у слику која се појављује на екрану. Ово је вредно знати, не само зато што је важно разумети технологију коју свакодневно користимо, већ и зато што откључавањем нивоа компресије сазнајемо више о перцепцији и виду и на које детаље су наше очи најосетљивије.

Поред тога, играње са сликама на овај начин је веома занимљиво.

Гледајући у ЈПЕГ

На рачунару се све чува као низ бинарних бројева. Обично су ови битови, нуле и јединице, груписане у групе од осам да би сачињавале бајтове. Када отворите ЈПЕГ слику на рачунару, нешто (прегледач, оперативни систем, нешто друго) мора декодирати бајтове, враћајући оригиналну слику као листу боја које се могу приказати.

Ако преузмете ово слатко фотографија мачке и отворите га у уређивачу текста, видећете гомилу некохерентних знакова.

Овде користим Нотепад++ да испитам садржај датотеке, пошто ће обични уређивачи текста као што је Нотепад на Виндовс-у оштетити бинарну датотеку након чувања и она више неће задовољавати ЈПЕГ формат.

Отварање слике у програму за обраду текста збуњује рачунар, баш као што збуњујете свој мозак када протрљате очи и почнете да видите мрље у боји!

Ове тачке које видите су познате као фосфени, и нису резултат светлосног стимулуса или халуцинације коју генерише ум. Настају зато што ваш мозак мисли да сви електрични сигнали у оптичким нервима преносе информације о светлости. Мозак треба да направи ове претпоставке јер не постоји начин да се зна да ли је сигнал звук, визија или нешто друго. Сви нерви у телу преносе потпуно исте електричне импулсе. Притиском на очи шаљете сигнале који нису визуелни, али активирају рецепторе ока, које ваш мозак тумачи - у овом случају, погрешно - као нешто визуелно. Буквално можете видети притисак!

Смешно је размишљати о томе колико су рачунари слични мозгу, али је такође корисна аналогија да се илуструје колико значење података – било да се преносе кроз тело нервима или су ускладиштене на рачунару – зависи од тога како се тумаче. Сви бинарни подаци се састоје од 0с и 1с, основних компоненти које могу да пренесу информације било које врсте. Ваш рачунар често открива како да их протумачи користећи назнаке као што су екстензије датотека. Сада га присиљавамо да их тумачи као текст, јер то очекује уредник текста.

Да бисмо разумели како декодирати ЈПЕГ, морамо да видимо саме оригиналне сигнале – бинарне податке. Ово се може урадити помоћу хексадецималног уређивача или директно на оригинална веб страница чланка! Постоји слика, поред које се у текстуалном пољу налазе сви њени бајтови (осим заглавља), представљени у децималном облику. Можете их променити, а скрипта ће поново кодирати и произвести нову слику у ходу.

Можете научити много само играјући се са овим уређивачем. На пример, можете ли рећи којим редоследом су смештени пиксели?

Чудна ствар у овом примеру је да промена неких бројева уопште не утиче на слику, али, на пример, ако замените број 17 са 0 у првом реду, фотографија ће бити потпуно уништена!

Друге промене, као што је замена 7 на линији 1988 са бројем 254, мењају боју, али само следећих пиксела.

Можда је најчудније то што неки бројеви мењају не само боју, већ и облик слике. Промените 70 у реду 12 у 2 и погледајте горњи ред слике да видите на шта мислим.

И без обзира на то коју ЈПЕГ слику користите, увек ћете пронаћи ове мистериозне шаховске обрасце када уређујете бајтове.

Када се играте са уређивачем, тешко је разумети како се фотографија поново креира из ових бајтова, пошто се ЈПЕГ компресија састоји од три различите технологије, примењене узастопно у нивоима. Проучаваћемо сваку од њих посебно да бисмо открили мистериозно понашање које видимо.

Три нивоа ЈПЕГ компресије:

1. Подузорковање боја.
2. Дискретна косинусна трансформација и узорковање.
3. Кодирање дужине покретања, делта и Хуффман

Да бисте добили представу о величини компресије, имајте на уму да горња слика представља 79 бројева, или око 819 КБ. Ако бисмо га сачували без компресије, сваки пиксел би захтевао три броја - за црвену, зелену и плаву компоненту. То би износило 79 бројева, или цца. 917 КБ. Као резултат ЈПЕГ компресије, коначни фајл је смањен за више од 700 пута!

У ствари, ова слика се може компримовати много више. Испод су две слике једна поред друге - фотографија са десне стране је компримована на 16 КБ, односно 57 пута мања од некомпримоване верзије!

Ако пажљиво погледате, видећете да ове слике нису идентичне. Обе су слике са ЈПЕГ компресијом, али десна је много мањег обима. Такође изгледа мало горе (погледајте квадрате у боји позадине). Због тога се ЈПЕГ назива и компресија са губицима; Током процеса компресије, слика се мења и губи неке детаље.

1. Подузорковање боја

Ево слике са примењеним само првим нивоом компресије.

(Интерактивна верзија - у originalni чланци). Уклањање једног броја уништава све боје. Међутим, ако се уклони тачно шест бројева, то практично нема утицаја на слику.

Сада је бројеве мало лакше дешифровати. Ово је скоро једноставна листа боја, у којој сваки бајт мења тачно један пиксел, али је у исто време већ упола мањи од некомпримоване слике (која би у овој смањеној величини заузимала око 300 КБ). Можете ли погодити зашто?

Можете видети да ови бројеви не представљају стандардне црвене, зелене и плаве компоненте, јер ако све бројеве заменимо нулама, добићемо зелену слику (а не белу).

То је зато што ови бајтови означавају И (осветљеност),

Цб (релативно плаветнило),

и Цр (релативно црвенило) слике.

Зашто не користите РГБ? На крају крајева, тако функционише већина модерних екрана. Ваш монитор може да прикаже било коју боју, укључујући црвену, зелену и плаву, са различитим интензитетом за сваки пиксел. Бела се добија укључивањем све три при пуној осветљености, а црна искључивањем.

Ово је такође веома слично начину на који функционише људско око. Рецептори боје у нашим очима се зову "чуњева“, и деле се на три типа, од којих је сваки осетљивији или на црвену, зелену или плаву боју [чушци типа С су осетљиви на љубичасто-плаву (С од енглеског Схорт – краткоталасни спектар), М -тип - у зелено-жутим (М од енглеског Медиум - средњи талас), а Л-тип - у жуто-црвеним (Л од енглеског Лонг - дуготаласни) деловима спектра. Присуство ове три врсте чуњева (и штапића, који су осетљиви у смарагдно зеленом делу спектра) даје особи вид у боји. / прибл. трансл.]. Штапови, још један тип фоторецептора у нашим очима, способан је да детектује промене у осветљености, али је много осетљивији на боју. Наше очи имају око 120 милиона штапића и само 6 милиона чуњева.

Због тога наше очи много боље детектују промене у осветљености него промене у боји. Ако одвојите боју од светлине, можете уклонити мало боје и нико ништа неће приметити. Подузорковање боје је процес представљања компоненти боје слике у нижој резолуцији од компоненти осветљености. У горњем примеру, сваки пиксел има тачно једну И компоненту, а свака појединачна група од четири пиксела има тачно једну Цб и једну Цр компоненту. Дакле, слика садржи четири пута мање информација о боји од оригинала.

Простор боја ИЦбЦр се не користи само у ЈПЕГ формату. Првобитно је измишљен 1938. за телевизијске програме. Немају сви телевизоре у боји, тако да је раздвајање боје и светлине омогућило свима да добију исти сигнал, а телевизори без боје једноставно су користили само компоненту осветљења.

Дакле, уклањање једног броја из уређивача потпуно уништава све боје. Компоненте се чувају у облику ИИИИ Цб Цр (у ствари, не нужно тим редоследом – редослед складиштења је наведен у заглављу датотеке). Уклањање првог броја ће довести до тога да се прва вредност Цб перципира као И, Цр као Цб, и генерално ћете имати домино ефекат који мења све боје слике.

ЈПЕГ спецификација вас не приморава да користите ИЦбЦр. Али већина датотека га користи зато што производи боље смањене слике од РГБ-а. Али не морате да ми верујете на реч. Погледајте сами у табели испод како ће изгледати подузорковање сваке појединачне компоненте у РГБ и ИЦбЦр.

(Интерактивна верзија - у originalni чланци).

Уклањање плаве није тако приметно као црвено или зелено. То је због шест милиона чуњева у вашим очима, око 64% ​​је осетљиво на црвену, 32% на зелену и 2% на плаву.

Најбоље се види смањење узорковања И компоненте (доле лево). Чак је и мала промена приметна.

Конвертовање слике из РГБ у ИЦбЦр не смањује величину датотеке, али олакшава проналажење мање видљивих детаља који се могу уклонити. Компресија са губитком се јавља у другој фази. Заснован је на идеји да се подаци презентују у компресивнијем облику.

2. Дискретна косинусна трансформација и узорковање

Овај ниво компресије је, углавном, оно што је ЈПЕГ. Након конвертовања боја у ИЦбЦр, компоненте се компресују појединачно, тако да се онда можемо концентрисати само на И компоненту. А ево како изгледају бајтови И компоненте након примене овог слоја.

(Интерактивна верзија - у originalni чланци). У интерактивној верзији, кликом на пиксел скролује уређивач до линије која га представља. Покушајте да уклоните бројеве са краја или додате неколико нула одређеном броју.

На први поглед изгледа као веома лоша компресија. Слика има 100 пиксела, а потребно је 000 бројева да би се представила њихова осветљеност (И-компоненте)—то је горе од компресије уопште!

Међутим, имајте на уму да је већина ових бројева нула. Штавише, све те нуле на крају редова могу се уклонити без промене слике. Остало је око 26 бројева, а ово је скоро 000 пута мање!

Овај ниво садржи тајну шаховских образаца. За разлику од других ефеката које смо видели, изглед ових образаца није квар. Они су градивни блокови целе слике. Сваки ред уређивача садржи тачно 64 броја, коефицијенте дискретне косинусне трансформације (ДЦТ) који одговарају интензитетима 64 јединствена узорка.

Ови обрасци се формирају на основу косинусне графике. Ево како неки од њих изгледају:

8 од 64 квоте

Испод је слика која приказује сва 64 узорка.

(Интерактивна верзија - у originalni чланци).

Ови обрасци су од посебног значаја јер чине основу слика 8к8. Ако нисте упознати са линеарном алгебром, то значи да се било која слика величине 8к8 може направити од ова 64 шаблона. ДЦТ је процес дељења слика на блокове 8к8 и претварања сваког блока у комбинацију ова 64 коефицијента.

Чини се као магија да било која слика може бити састављена од 64 специфична узорка. Међутим, ово је исто као да се каже да се било које место на Земљи може описати са два броја - географском ширином и дужином [који означавају хемисфере / прибл. трансл.]. Често размишљамо о Земљиној површини као о дводимензионалној, тако да су нам потребна само два броја. Слика 8к8 има 64 димензије, тако да су нам потребна 64 броја.

Још није јасно како нам ово помаже у смислу компресије. Ако нам треба 64 броја за представљање слике 8к8, зашто би ово било боље од само складиштења 64 компоненте осветљења? Ово радимо из истог разлога када смо три РГБ броја претворили у три ИЦбЦр броја: то нам омогућава да уклонимо суптилне детаље.

Тешко је тачно видети који детаљ је уклоњен у овој фази јер ЈПЕГ примењује ДЦТ на блокове 8к8. Међутим, нико нам не брани да то применимо на целу слику. Ево како ДЦТ изгледа за И компоненту примењену на целу слику:

Више од 60 бројева може бити уклоњено са краја без икаквих приметних промена на фотографији.

Међутим, имајте на уму да ако избришемо првих пет бројева, разлика ће бити очигледна.

Бројеви на почетку представљају промене ниске фреквенције на слици, које наше очи најбоље примећују. Бројеви при крају указују на промене у високим фреквенцијама које је теже приметити. Да бисмо „видели оно што око не може да види“, можемо да изолујемо ове високофреквентне детаље нулирањем првих 5000 бројева.

Видимо све области слике у којима се дешава највећа промена од пиксела до пиксела. Истичу се мачје очи, бркови, фротир и сенке у доњем левом углу. Можете ићи даље нулирањем првих 10 бројева:

20. 000 .:

40. 000 .:

60. 000 .:

Ове високофреквентне детаље уклања ЈПЕГ током фазе компресије. Нема губитка у претварању боја у ДЦТ коефицијенте. Губитак се јавља у кораку узорковања, где се уклањају вредности високе фреквенције или вредности близу нуле. Када смањите квалитет чувања ЈПЕГ-а, програм повећава праг за број уклоњених вредности, што смањује величину датотеке, али чини слику пикселизованијом. Зато је слика у првој секцији, која је била 57 пута мања, изгледала овако. Сваки 8к8 блок је био представљен са много мање ДЦТ коефицијената у поређењу са верзијом вишег квалитета.

Можете створити тако кул ефекат као што је постепено стримовање слика. Можете приказати мутну слику која постаје све детаљнија како се преузима све више и више коефицијената.

Ево, само из забаве, шта добијате користећи само 24 бројева:

Или само 5000:

Веома мутно, али некако препознатљиво!

3. Кодирање дужине покретања, делта и Хафман

До сада су све фазе компресије биле са губицима. Последња фаза, напротив, пролази без губитака. Не брише информације, али значајно смањује величину датотеке.

Како можете компресовати нешто, а да не одбаците информације? Замислите како бисмо описали једноставан црни правоугаоник 700 к 437.

ЈПЕГ користи 5000 бројева за ово, али се могу постићи много бољи резултати. Можете ли замислити шему кодирања која би описала такву слику у што мање бајтова?

Минимална шема коју сам могао да смислим користи четири: три за представљање боје, а четврта за означавање колико пиксела та боја има. Идеја представљања понављајућих вредности на овај сажети начин назива се кодирање дужине трајања. Без губитака је јер можемо вратити кодиране податке у њихов оригинални облик.

ЈПЕГ датотека са црним правоугаоником је много већа од 4 бајта - запамтите да се на ДЦТ нивоу компресија примењује на блокове 8к8 пиксела. Дакле, најмање нам је потребан један ДЦТ коефицијент за свака 64 пиксела. Један нам је потребан јер уместо складиштења једног ДЦТ коефицијента праћеног са 63 нуле, кодирање дужине рада омогућава нам да сачувамо један број и назначимо да су „сви остали нуле“.

Делта кодирање је техника у којој сваки бајт садржи разлику од неке вредности, а не апсолутну вредност. Стога, уређивање одређених бајтова мења боју свих осталих пиксела. На пример, уместо складиштења

КСНУМКС КСНУМКС КСНУМКС КСНУМКС КСНУМКС КСНУМКС КСНУМКС КСНУМКС

Могли бисмо почети са 12, а затим једноставно назначити колико треба да саберемо или одузмемо да бисмо добили следећи број. А овај низ у делта кодирању има облик:

12 1 1 0 0 -1 0 1

Конвертовани подаци нису мањи од оригиналних, али их је лакше компримовати. Примена делта кодирања пре кодирања дужине рада може много помоћи док је и даље компресија без губитака.

Делта кодирање је једна од ретких техника које се користе ван блокова 8к8. Од 64 ДЦТ коефицијента, један је једноставно константна таласна функција (пуна боја). Представља просечну осветљеност сваког блока за компоненте лума, или просечну плаву боју за Цб компоненте, и тако даље. Прва вредност сваког ДЦТ блока назива се ДЦ вредност, а свака ДЦ вредност је делта кодирана у односу на претходне. Стога ће промена осветљености првог блока утицати на све блокове.

Коначна мистерија остаје: како промена једнине потпуно квари целу слику? До сада нивои компресије нису имали таква својства. Одговор лежи у ЈПЕГ заглављу. Првих 500 бајтова садржи метаподатке о слици - ширину, висину итд., а ми још нисмо радили са њима.

Без заглавља је скоро немогуће (или веома тешко) декодирати ЈПЕГ. Изгледаће као да покушавам да вам опишем слику, а почињем да измишљам речи да бих пренео свој утисак. Опис ће вероватно бити прилично згуснут, пошто могу да измислим речи са тачно значењем које желим да пренесем, али за све остале оне неће имати смисла.

Звучи глупо, али се управо то дешава. Свака ЈПЕГ слика је компримована кодовима специфичним за њу. Речник кодова се чува у заглављу. Ова техника се зове Хафманов код, а речник се зове Хафманова табела. У заглављу је табела означена са два бајта - 255, а затим 196. Свака компонента боје може имати своју табелу.

Промене табела ће радикално утицати на било коју слику. Добар пример је да промените 15. ред у 1.

Ово се дешава зато што табеле одређују како се појединачни битови требају читати. До сада смо радили само са бинарним бројевима у децималном облику. Али ово скрива од нас чињеницу да ако желите да сачувате број 1 у бајту, он ће изгледати као 00000001, пошто сваки бајт мора имати тачно осам битова, чак и ако је потребан само један од њих.

Ово је потенцијално велики губитак простора ако имате много малих бројева. Хафманов код је техника која нам омогућава да ублажимо овај захтев да сваки број мора да заузима осам бита. То значи да ако видите два бајта:

234 115

Затим, у зависности од Хафманове табеле, то могу бити три броја. Да бисте их издвојили, прво их морате поделити на појединачне делове:

11101010 01110011

Затим гледамо у табелу да схватимо како да их групишемо. На пример, ово може бити првих шест бита (111010) или 58 у децимали, затим пет битова (10011) или 19 и на крају последња четири бита (0011) или 3.

Због тога је веома тешко разумети бајтове у овој фази компресије. Бајтови не представљају оно што изгледају. Нећу улазити у детаље рада са табелом у овом чланку, али материјали о овом питању на мрежи довољно.

Један занимљив трик који можете да урадите са овим знањем је да одвојите заглавље од ЈПЕГ-а и сачувате га одвојено. У ствари, испоставило се да само ви можете читати датотеку. Фацебоок то чини да би датотеке биле још мање.

Оно што још може да се уради је да се прилично промени Хафманова табела. За друге ће изгледати као покварена слика. И само ћете ви знати магичан начин да то поправите.

Хајде да резимирамо: па шта је потребно за декодирање ЈПЕГ-а? Неопходно:

1. Извуците Хафманову(е) табелу(е) из заглавља и декодирајте битове.
2. Издвојите коефицијенте дискретне косинусне трансформације за сваку компоненту боје и осветљености за сваки блок 8к8, изводећи инверзне трансформације дужине трајања и делта кодирања.
3. Комбинујте косинусе на основу коефицијената да бисте добили вредности пиксела за сваки блок 8к8.
4. Скалирајте компоненте боје ако је извршено подузорковање (ова информација се налази у заглављу).
5. Конвертујте резултујуће ИЦбЦр вредности за сваки пиксел у РГБ.
6. Прикажите слику на екрану!

Озбиљан посао за једноставно гледање фотографије са мачком! Међутим, оно што ми се свиђа код њега је то што показује колико је ЈПЕГ технологија усмерена на човека. Заснован је на посебностима наше перцепције, омогућавајући нам да постигнемо много бољу компресију од конвенционалних технологија. А сада када разумемо како ЈПЕГ функционише, можемо замислити како се ове технологије могу пренети на друге области. На пример, делта кодирање у видеу може да обезбеди значајно смањење величине датотеке, пошто често постоје читаве области које се не мењају од кадра до кадра (на пример, позадина).

Код коришћен у чланку, је отворен и садржи упутства о томе како да замените слике својим.

Извор: ввв.хабр.цом