JPEG slike su svuda prisutne u našem digitalnom životu, ali iza ove prevelike svesti skrivaju se algoritmi koji uklanjaju detalje koje ljudsko oko ne može da registruje. Na kraju dobijamo najviši vizuelni kvalitet pri najmanjoj veličini datoteke – ali kako tačno sve to funkcioniše? Hajde da istražimo šta naše oči zapravo ne vide!

Lako je uzeti kao zdravo za gotovo mogućnost slanja fotke prijatelju, ne brinući se o tome koji uređaj, preglednik ili operativni sistem koristi – međutim, to nije uvek bilo tako. Do početka 1980-ih, računari su mogli da skladište i prikazuju digitalne slike, ali postojalo je mnogo konkurujućih ideja o najboljem načinu za to. Nije bilo jednostavno poslati sliku sa jednog računara na drugi i nadati se da će sve funkcionisati.
Da bi se rešio ovaj problem, 1986. godine formiran je komitet stručnjaka iz celog sveta pod nazivom "" (Joint Photographic Experts Group, JPEG), osnovan u okviru saradnje Međunarodne organizacije za standardizaciju (ISO) i Međunarodne elektrotehničke komisije (IEC) – dve međunarodne organizacije za standardizaciju, čije je sedište u Ženevi (Švajcarska).
Grupa ljudi poznata kao JPEG je 1992. godine kreirala standard kompresije digitalnih slika JPEG. Svaka osoba koja je koristila internet verovatno se susrela sa slikama kodiranima u JPEG formatu. To je najrasprostranjeniji način kodiranja, slanja i skladištenja slika. Od veb stranica do e-maila i društvenih mreža, JPEG se koristi milijardama puta dnevno – praktično svaki put kada gledamo sliku online ili je šaljemo. Bez JPEG-a, veb bi bio manje živahnan, sporiji, a verovatno bi bilo manje slika mačaka!
Ovaj članak je o tome kako dekodirati JPEG sliku. Drugim rečima, o tome šta je potrebno da se komprimirani podaci pohranjeni na računaru pretvore u sliku koja se pojavljuje na ekranu. O tome se vredi informisati ne samo zato što je to važno za razumevanje tehnologije koju svakodnevno koristimo, već i zato što otkrivanjem nivoa kompresije bolje razumemo percepciju i vid, kao i to kojoj su nam detalji oči najosetljivije.
Osim toga, zanimljivo je igrati se s slikama na ovakav način.

Zavirujemo u unutrašnjost JPEG-a
Na računaru se sve čuva kao niz binarnih brojeva. Obično su ti bitovi, nule i jedinice, grupisani po osam, formirajući bajtove. Kada otvorite JPEG sliku na računaru, nešto (pregledač, operativni sistem, nešto drugo) mora dekodirati bajtove, obnavljajući prvobitnu sliku u obliku liste boja koje se mogu prikazati.
Ako preuzmete ovu slatku i otvorite je u tekstualnom editoru, videćete gomilu besmislenih znakova.

Ovde koristim Notepad++ za ispitivanje sadržaja datoteke, pošto obični tekstualni editori, poput Windows Notepada, pokvare binarnu datoteku nakon što je sačuvaju, i ona prestane da zadovoljava JPEG format.
Otvaranjem slike u tekstualnom editoru zbunjujete računar, baš kao što zbunjujete svoj mozak kada trljate oči i počnete da vidite šarene mrlje!
Ove mrlje koje vidite poznate su kao , i nisu rezultat svetlosnog stimulansa ili halucinacija izazvanih umom. One nastaju zato što vaš mozak misli da bilo koje električne signale u očnim nervima prenose informacije o svetlu. Mozak mora da pravi takve pretpostavke, jer ne može da zna da li je signal zvuk, vizija ili nešto drugo. Svi nerivi u telu prenose potpuno iste električne impulse. Pritiskom na oči šaljete signale koji nisu vizuelni, ali aktiviraju receptore u očima, što vaš mozak interpretira – u ovom slučaju, pogrešno – kao nešto vizuelno. Doslovno možete da vidite pritisak!
Zanimljivo je razmišljati o tome koliko su računari slični mozgu, ali to je takođe korisna analogija koja ilustruje koliko interpretacija podataka — bilo da se prenose kroz telo nervima ili se čuvaju na računaru — zavisi od njihovog značenja. Svi binarni podaci se sastoje od nula i jedinica, osnovnih komponenti sposobnih da prenose informacije bilo koje vrste. Vaš računar često pogađa kako da ih interpretira uz pomoć naznaka, kao što su ekstenzije fajlova. A sada ga nateramo da ih interpretira kao tekst, jer to očekuje tekstualni editor.
Da bismo razumeli kako se dekodira JPEG, potrebno je da vidimo izvorne signale — binarne podatke. To možemo učiniti koristeći heksadecimalni editor, ili direktno na ! Tamo je slika, pored koje su u tekstualnom polju svi njeni bajtovi (osim zaglavlja), prikazani u decimalnom formatu. Možete ih menjati, a skripta će ih prekodirati i dati novu sliku u hodu.

Možete mnogo naučiti jednostavnom igrom sa ovim editorom. Na primer, možete li reći u kojem redosledu su sačuvani pikseli?
U ovom primeru je čudno to što promjena nekih brojeva uopšte ne utiče na sliku, dok, na primer, ako zamenite broj 17 sa 0 u prvom redu, slika će se potpuno pokvariti!

Drage promene, kao što je zamena 7 u redu 1988 sa brojem 254, menjaju boju, ali samo narednih piksela.

Možda je najčudnije to što neki brojevi menjaju ne samo boju, već i oblik slike. Promenite 70 u redu 12 na 2 i pogledajte gornji red slike da biste videli na šta mislim.

I bez obzira na to koju JPEG sliku koristite, uvek ćete naći te misteriozne šahovske sekvence prilikom uređivanja bajtova.
Igrajući se sa editorom, teško je razumeti kako se slika rekreira iz ovih bajtova, jer JPEG kompresija se sastoji od tri različite tehnologije koje se primenjuju sekvencijalno po nivoima. Istražićemo svaku od njih posebno, da bismo razjasnili to misterozno ponašanje koje smo primetili.
Tri nivoa JPEG kompresije:
- .
- .
- , i
Da biste dobili predstavu o razmeri kompresije, obratite pažnju na to da slika prikazana iznad sadrži 79.819 brojeva, što je otprilike 79 KB. Da smo je čuvali bez kompresije, za svaki piksel bi bilo potrebno tri broja – za crvenu, zelenu i plavu komponentu. To bi iznosilo 917.700 brojeva, ili oko 917 KB. Kao rezultat JPEG kompresije, konačna datoteka smanjena je više od 10 puta!
U stvari, ovu sliku je moguće kompresovati još više. Ispod su prikazane dve slike jedno pored druge – fotografija zdesna je smanjena na 16 KB, što je 57 puta manje od nesmanjene verzije!

Ako pažljivo pogledate, primetićete da ove slike nisu identične. Oba su JPEG slike, međutim, desna je znatno manja. Takođe, izgleda malo lošije (pogledajte kvadrate boja pozadine). Zato se JPEG još naziva kompresijom s gubicima; tokom procesa kompresije, slika se menja i gubi neke detalje.
1. Bojna subuzorkovanje
Evo slike sa primenom samo prvog nivoa kompresije.

(Interaktivna verzija – u članka). Uklanjanje jednog broja uništava sve boje. Međutim, ako uklonite upravo šest brojeva, to praktično ne utiče na sliku.
Sada je malo jednostavnije dešifrovati brojeve. To je skoro obična lista boja, gde svaki bajt menja tačno jedan piksel, ali je već dva puta manja od nesmanjene slike (koja bi zauzimala oko 300 KB u ovom smanjenom formatu). Možete li pogoditi zašto?
Može se primetiti da ovi brojevi ne označavaju standardne crvenu, zelenu i plavu komponente, jer ako sve brojeve zamenimo nulama, dobićemo zelenu sliku (a ne belu).

To je zato što ti bajtovi označavaju Y (osvetljenost),

Cb (relativna plavkastost),

i Cr (relativna crvenkastost) slike.

Zašto ne koristiti RGB? Jer na taj način funkcionišu većina modernih monitora. Vaš monitor može prikazivati bilo koju boju, uključujući crvenu, zelenu i plavu boju sa različitim intenzitetima za svaki piksel. Bela se dobija uključivanjem svih trojice na punu svetlost, dok se crna dobija njihovim isključivanjem.

Ovo je takođe veoma slično načinu na koji funkcioniše ljudsko oko. Bojni receptori naših očiju nazivaju se "«, i dijele se na tri tipa, od kojih je svaki osjetljiviji na crvenu, zelenu ili plavu boju [S-tipa čunjevi su osjetljivi u ljubičasto-plavom (S od eng. Short — kratkovalni spektar), M-tipa — u zeleno-žutom (M od eng. Medium — srednjakovalni), i L-tipa — u žuto-crvenom (L od eng. Long — dugovalni) dijelovima spektra. Prisutnost ovih triju vrsta čunjeva (i štapova koji su osjetljivi u smaragdno-zelenoj boji) daje čovjeku koloristički vid. / napomena prevodioca]. , drugi tip fotoreceptora u našim očima, sposobni su za hvatanje promjena u svjetlini, ali su mnogo osjetljiviji na boju. U našim očima ima oko 120 miliona štapova i samo 6 miliona čunjeva.
Zbog toga naše oči mnogo bolje primjećuju promjene u svjetlini nego u boji. Ako odvojimo boju od svjetline, možemo ukloniti malo boje, a da niko ništa ne primijeti. Bojna subdiscretizacija – to je proces predstavljanja bojnih komponenti slike u manjoj rezoluciji u poređenju sa komponentama svjetline. U gornjem primjeru, svaka piksel ima tačno jednu komponentu Y, a svaka pojedinačna grupa od četiri piksela ima tačno jednu komponentu Cb i jednu Cr. Zbog toga slika sadrži četiri puta manje informacija o boji nego što je imala originalna.
Boji prostor YCbCr se koristi ne samo u JPEG-u. Prvobitno je osmišljen 1938. godine za televizijske prenose. Ne posjeduju svi kolor televizor, stoga je razdvajanje boje i svjetline omogućilo svima da dobiju isti signal, a televizori bez boje su jednostavno koristili samo komponentu svjetline.
Zato brisanje jednog broja u uređivaču potpuno uništava sve boje. Komponente se čuvaju u obliku Y Y Y Y Cb Cr (u stvarnosti, nije nužno u tom redoslijedu – redoslijed skladištenja se određuje u zaglavlju datoteke). Brisanje prve vrijednosti će dovesti do toga da će prva vrijednost Cb biti doživljena kao Y, Cr kao Cb, i u cjelini će se dobiti domino efekt, koji prebacuje sve boje slike.
JPEG specifikacija ne obavezuje vas da koristite YCbCr. Međutim, u većini datoteka se koristi jer pruža bolju kvalitetu slika nakon subdizanja u poređenju sa RGB. No, ne morate mi verovati na reč. Pogledajte sami u tabeli ispod kako će izgledati subdizanje svake pojedinačne komponente u RGB i YCbCr.

(Interaktivna verzija – u članaka).
Uklanjanje plave nijanse nije toliko primetno kao crvene ili zelene. To je zato što od šest miliona čunjića u vašim očima oko 64% je osetljivo na crvenu, 32% na zelenu i 2% na plavu.
Subdizanje komponente Y (u donjem levom uglu) je najvidljivije. Čak i mala promena je očigledna.
Transformacija slike iz RGB u YCbCr ne smanjuje veličinu datoteke, ali olakšava pronalaženje manje uočljivih detalja koji se mogu ukloniti. Gubitno komprimovanje se dešava u drugom koraku. Osnova je ideja predstavljanja podataka u kompaktnijem obliku.
2. Diskretna kosinusna transformacija i subdizanje
Ovaj nivo kompresije u velikoj meri definiše suštinu JPEG-a. Nakon transformacije boja u YCbCr, komponente se kompresuju odvojeno, tako da se dalje možemo fokusirati samo na komponentu Y. I ovo su bajtovi komponente Y nakon primene ovog nivoa.

(Interaktivna verzija – u članaka). U interaktivnoj verziji, klik na piksel pomera uređivač na red koji ga označava. Pokušajte da uklonite brojeve sa kraja ili dodate nekoliko nula određenom broju.
Na prvi pogled, izgleda kao vrlo loša kompresija. U slici od 100.000 piksela, za označavanje njihove osvetljenosti (Y-komponenta) potrebno je 102.400 brojeva — to je gore nego da se uopšte ništa ne kompresuje!
Međutim, obratite pažnju na to da je većina ovih brojeva jednaka nuli. Štaviše, sve te nule na kraju redova mogu se ukloniti bez promene slike. Ostaje oko 26.000 brojeva, što je gotovo četiri puta manje!
Na ovom nivou leži tajna šahovskih uzoraka. Za razliku od drugih efekata koje smo videli, pojava ovih uzoraka nije greška. Oni su građevinski blokovi cele slike. U svakom redu uređivača nalazi se tačno 64 broja, koeficijenti diskretne kosinusne transformacije (DCT), koji odgovaraju intenzitetima 64 jedinstvena uzorka.
Ovi uzorci se formiraju na osnovu kosinusne funkcije. Evo kako neki od njih izgledaju:

8 od 64 koeficijenata
Ispod se nalazi slika koja prikazuje svih 64 uzoraka.

(Interaktivna verzija – u članaka).
Ovi uzorci imaju posebno značenje jer formiraju osnovu slika dimenzija 8x8. Ako niste upoznati sa linearnom algebrom, to znači da se svaka slika dimenzija 8x8 može dobiti iz ovih 64 uzoraka. DCT je proces deljenja slika na blokove 8x8 i pretvaranja svakog bloka u kombinaciju ovih 64 koeficijenta.
To što se svaka slika može sastaviti iz 64 specifična uzorka izgleda kao magija. Međutim, to je isto kao reći da se bilo koja tačka na Zemlji može opisati sa dva broja – širinom i dužinom [uz navođenje hemisfera / napomena prevodioca]. Često smatramo da je površina Zemlje dvodimenzionalna, pa nam je potrebna samo dva broja. Slika 8x8 ima 64 dimenzije, pa nam je potrebno 64 broja.
Još uvek nije jasno kako to pomaže u vezi sa kompresijom. Ako nam je potrebno 64 broja da predstavimo sliku 8x8, zašto bi ovaj pristup bio bolji od jednostavnog čuvanja 64 komponente svetlosti? Radimo to iz istog razloga zbog kojeg smo tri RGB broja pretvorili u tri YCbCr broja: to nam omogućava da uklonimo neprimetne detalje.
Teško je videti koji se tačno detalji uklanjaju u ovoj fazi, jer JPEG primenjuje DCT na blokove 8x8. Međutim, ništa nam ne brani da ga primenimo na celu sliku. Evo kako DCT izgleda na Y komponenti kada se primeni na celu sliku:

Sa kraja možemo ukloniti više od 60 000 brojeva praktično bez primetnih promena na fotografiji.

Ipak, imajte na umu da ako nulu učinimo prvim pet brojeva, razlika će biti očigledna.

Brojevi na početku označavaju promene niskih frekvencija u slici, a naši oči ih najbolje uočavaju. Brojevi bliže kraju označavaju promene visokih frekvencija, koje je teže primetiti. Da bismo 'videli ono što oko ne može', možemo izolovati ove visoke frekvencije obezbeđujući prva 5000 brojeva.

Vidimo sve delove slike u kojima se dešava najveća promena od piksela do piksela. Ističu se oči mačke, njene brkove, plišani pokrivač i senke u donjem levom uglu. Možemo ići dalje, obezbeđujući prvih 10 000 brojeva:

20 000:

40 000:

60 000:

Ove visoke frekvencijske komponente JPEG se uklanjaju u fazi kompresije. Pretvaranje boja u DCT koeficijente je bez gubitaka. Gubici nastaju u fazi diskretizacije, gdje se uklanjaju visoke ili blizu nultih vrijednosti. Kada smanjite kvalitetu JPEG sačuvanja, program povećava prag broja uklonjenih vrijednosti, što dovodi do smanjenja veličine datoteke, ali čini sliku više pikseliziranom. Stoga slika u prvom odjeljku, koja je bila 57 puta manja, izgleda ovako. Svaki blok 8x8 predstavljao je mnogo manje DCT koeficijenata u odnosu na kvalitetniju verziju.
Možete napraviti sjajan efekat, poput postepenog striminga slika. Možete prikazati zamagljenu sliku koja postaje sve detaljnija kako se preuzima sve više koeficijenata.
Evo, samo iz znatiželje, šta se dešava ako koristimo svih 24 000 brojeva:

Ili samo 5000:

Veoma zamagljeno, ali nekako prepoznatljivo!
3. Kodiranje dužih nizova, delta i Huffman
Do sada su svi koraci kompresije bili s gubicima. Posljednji korak, međutim, ide bez gubitaka. Ne uklanja informacije, ali značajno smanjuje veličinu datoteke.
Kako se može kompresovati nešto ne odbacujući informacije? Zamislite kako bismo opisali jednostavni crni pravougaonik dimenzija 700 x 437.
JPEG koristi za to 5000 brojeva, ali se može postići mnogo bolji rezultat. Možete li zamisliti shemu kodiranja koja bi opisivala takvu sliku s što manje bajtova?
Minimala shema koju sam mogao smisliti koristi četiri: tri za označavanje boje, i četvrti – koliko piksela ima tu boju. Ideja predstavljanja ponavljajućih vrijednosti na ovako kompaktan način naziva se kodiranje dužih nizova. Ona je bez gubitaka, jer možemo obnoviti kodirane podatke u izvornom obliku.
Veličina JPEG datoteke s crnim pravokutnikom daleko je veća od 4 bajta – sjetite se, da se na razini DCT kompresija primjenjuje na blokove od 8x8 piksela. Stoga, minimalno, trebamo jedan DCT koeficijent na svakih 64 piksela. Potreban nam je jedan jer, umjesto da pohranjujemo jedan DCT koeficijent, nakon kojeg slijedi 63 nule, kodiranje dugih nizova omogućava nam da pohranimo jedan broj i označimo da su „sve ostale – nule”.
Delta kodiranje je tehnika u kojoj svaki bajt sadrži razliku od neke vrijednosti, a ne apsolutnu veličinu. Stoga, uređivanje određenih bajtova mijenja boju svih drugih piksela. Na primjer, umjesto da pohranjujemo
12 13 14 14 14 13 13 14
Mogli bismo početi s 12, a zatim samo označiti koliko treba dodati ili oduzeti da bismo dobili sljedeći broj. A ova sekvenca u delta kodiranju izgleda ovako:
12 1 1 0 0 -1 0 1
Transformirani podaci ne postaju manji od izvornih, ali ih je lakše komprimirati. Primjena delta kodiranja prije kodiranja dugih nizova može značajno pomoći, ostajući pritom bezgubitna kompresija.
Delta kodiranje je jedna od rijetkih tehnika koja se primjenjuje izvan blokova 8x8. Od 64 DCT koeficijenta jedan je samo stalna valna funkcija (stalan boja). Predstavlja prosječnu svjetlinu svakog bloka za komponente svjetline, ili prosječnu plavetnilo za Cb komponente, i tako dalje. Prva vrijednost svakog DCT bloka naziva se DC vrijednost, a svaka DC vrijednost prolazi delta kodiranjem u odnosu na prethodne. Stoga, promjena svjetline prvog bloka utjecat će na sve blokove.
Ostaje posljednja zagonetka: kako promjena jednog broja potpuno kvari cijelu sliku? Do sada takvih svojstava na razinama kompresije nije bilo. Odgovor leži u JPEG zaglavlju. Prvih 500 bajtova sadrži metapodatke o slici – širinu, visinu i slično, a dok s njima ne radimo.
Bez zaglavlja gotovo je nemoguće (ili vrlo teško) dekodirati JPEG. To će izgledati kao da pokušavam opisati sliku i počinjem smišljati riječi kako bih prenio svoj dojam. Opis će vjerojatno biti prilično sažet, budući da mogu smišljati riječi s točno značenje koje želim prenijeti, ipak za sve ostale neće imati smisla.
Zvuči glupo, ali upravo tako to i ide. Svaka JPEG slika se kompresuje sa kodovima koji su specifični za nju. Rečnik kodova se čuva u zaglavlju. Ova tehnika se naziva „Hafmanov kod“, a rečnik je Hafmanova tabela. U zaglavlju je tabela označena sa dva bajta – 255 i zatim 196. Svaka komponenta boje može imati svoju tabelu.
Promene u tabelama radikalno će uticati na svaku sliku. Dobar primer je promeniti 1 u 12 u 15. redu.

To se dešava zato što se u tabelama navodi kako treba čitati pojedinačne bitove. Do sada smo radili samo sa binarnim brojevima u decimalnom obliku. Ali to sakriva od nas činjenicu da ako želite da sačuvate broj 1 u bajtu, on će izgledati kao 00000001, jer u svakom bajtu mora biti tačno osam bitova, čak i ako vam je potreban samo jedan od njih.
Potencijalno je to velika potrošnja prostora, ako imate mnogo malih brojeva. Hafmanov kod je tehnika koja nam omogućava da ublažimo ovaj zahtev da svaki broj mora zauzimati osam bitova. To znači da ako vidite dva bajta:
234 115
Onda, zavisno od Hafmanove tabele, to mogu biti tri broja. Da biste ih izvukli, prvo ih morate podeliti na pojedinačne bitove:
11101010 01110011
Zatim se obraćamo tabeli da bismo razumeli kako ih grupisati. Na primer, to mogu biti prvih šest bitova (111010), ili 58 u decimalnom sistemu, zatim pet bitova (10011), ili 19, i konačno poslednja četiri bita (0011), ili 3.
Zato je veoma teško razabrati bajtove u ovoj fazi kompresije. Bajtovi ne predstavljaju ono što se čini. Neću se dublje baviti detaljima rada sa tabelom u ovom članku, ali o ovom pitanju na mreži .
Jedan od zanimljivih trikova koji možete izvesti, znajući ovo, je da odvojite zaglavlje od JPEG-a i čuvate ga posebno. U suštini, dobićete da fajl možete pročitati samo vi. Facebook to radi da još više smanji fajlove.
Šta još možete učiniti – malo promeniti Hafmanovu tabelu. Drugima će izgledati kao pokvarena slika. I samo ćete vi znati čarobnu verziju njenog ispravljenja.
Da sumiramo: šta je potrebno za dekodiranje JPEG-a? Potrebno je:
- Izvući tabelu (tabele) Hafmana iz zaglavlja i dekodirati bite.
- Izvucite koeficijente diskretnog kosinusnog transformacija za svaku komponentu boje i svetlosti za svaki blok 8x8, vršeći obrnute transformacije kodiranja dugih nizova i delta.
- Kombinujte kosinuse na osnovu koeficijenata da dobijete vrednosti piksela za svaki blok 8x8.
- Skalirajte komponente boja ako je izvršena subdiskretizacija (te informacije su u zaglavlju).
- Pretvorite dobijene vrednosti YCbCr za svaki piksel u RGB.
- Prikazivanje slike na ekranu!
Ozbiljan posao za jednostavno pregledanje slike mačke! Međutim, ono što mi se sviđa je to što pokazuje koliko je JPEG tehnologija usmerena na korisnika. Ona se oslanja na karakteristike našeg percepcije, omogućavajući značajno bolje kompresije nego što to rade konvencionalne tehnologije. A sada, razumevajući kako JPEG funkcioniše, možete zamisliti kako bi se te tehnologije mogle primeniti u drugim oblastima. Na primer, delta-kodiranje u videozapisima može značajno smanjiti veličinu datoteke, jer često postoje čitavi delovi koji se ne menjaju od kadra do kadra (na primer, pozadina).
, je otvoren i sadrži uputstva za zamenu slika svojim sopstvenim.
Izvor: habr.com
