🥇E-raamatud ja nende formaadid: DjVu — selle ajalugu, plussid, miinused ja omadused

1970. aastate alguses suutis Ameerika kirjanik Michael Hart saada piiramatu ligipääsu Xerox Sigma 5 arvutile, mis oli paigaldatud Illinoisi ülikoolis. Selle masina ressursse väärikalt kasutades otsustas ta luua esimese elektroonilise raamatu, trükkides Ameerika Ühendriikide iseseisvuse deklaratsiooni.

Täna on digitaalne kirjandus laialdaselt levinud, suures osas tänu portatiivsete seadmete (nutitelefonide, lugerite, sülearvutite) arengule. See on toonud kaasa suurte koguste elektrooniliste raamatute formaatide tekkimise. Uurime nende omadusi ja räägime kõige populaarsematest — alustame DjVu formaadist.

/ Flickr / Lane Pearman / CC

Formaadi tekkimine

DjVu loodi 1996. aastal AT&T Labs'i poolt ühe eesmärgiga — anda veebiarendajatele tööriist, et levitada kõrge eraldusvõimega pilte internetis.

Asi on selles, et sel ajal 90% kogu teabest oli endiselt salvestatud paberil, ja paljudel olulistel dokumentidel olid värvilised pildid ja fotod. Teksti loetavuse ja piltide kvaliteedi säilitamiseks tuli teha skaneerimisi kõrge eraldusvõimega.

Klassikalised veebiformaadid — JPEG, GIF ja PNG — võimaldasid töötada selliste piltidega, kuid hind oli suur. JPEG puhul, et tekst oleks loetav monitori ekraanil, tuli dokument skaneerida 300 dpi eraldusvõimega. Värviline ajalehe lehekülg võttis sel juhul umbes 500 KB. Sellise suurusega failide allalaadimine internetist oli sel ajal üsna tülikas protsess.

Alternatiiviks oli paberil dokumentide digitaliseerimine teksti tuvastamise tehnoloogiate abil, kuid 20 aastat tagasi oli nende täpsus kaugel ideaalist — pärast töötlemist tuli lõpptulemus tõsiselt käsitsi muuta. Samuti jäid graafikud ja pildid "veerust välja". Ja isegi kui õnnestus skaneeritud pilt tekstidokumenti integreerida, kadusid mõned visuaalsed detailid, näiteks paberi värv, selle tekstuur, mis on ajalooliste dokumentide olulised komponendid.

Probleemide lahendamiseks töötasid AT&T välja DjVu. See võimaldas kokku suruda skaneeritud värvilisi dokumente eraldusvõimega 300 dpi 40–60 KB-ni, originaali suuruse 25 MB juures. DjVu mustvalgete lehekülgede suurus vähenes 10–30 KB-ni.

Kuidas DjVu komprimeerib dokumente

DjVu suudab töötada nii paberilt skaneeritud dokumentidega kui ka teiste digitaalsete formaatidega, näiteks PDF-iga. DjVu tööpõhimõte põhineb tehnoloogial, mis jagab pildi kolmeks komponendiks: esiplaan, taust ja must-valge (bitt) mask.

Mask salvestatakse algse faili resolutsiooniga ja sisaldab tekstipildid ja muud selged detailid — peened jooned ja skeemid — ning kontrastsed pildid.

Selle resolutsioon on 300 dpi, et peened jooned ja tähed jääksid selgeteks, ning see komprimeeritakse JB2 algoritmi abil, mis on AT&T poolt välja pakutud variatsioon JBIG2 algoritmist, mida kasutatakse faksides. JB2 eripära on on, et see otsib lehelt korduvaid sümboleid ja salvestab nende pildi vaid ühe kord. Seega kasutavad mitmeleheküljelistes dokumentides iga paar järgnevat lehte ühist „sõnastikku”.

Taust sisaldab lehe tekstuuri ja illustratsioone, ning selle resolutsioon on madalam kui maski oma. Taust hoitakse kadudeta tajumiseks 100 dpi resolutsiooniga.

Esiplaan hoiab Värvi teave maski kohta ja selle resolutsioon väheneb tavaliselt veelgi, kuna enamasti on teksti värv must ja sama ühe trükitud märgi jaoks. Ees- ja tagaplaanide tihendamiseks kasutatakse veelaine tihendust.

DjVu-dokumendi loomise lõppfaasiks on entropiakoodimine, kus adaptiivne aritmeetiline kodeerija muudab sama sümboli järjestused binaarseks väärtuseks.

Formaatide eelised

DjVu eesmärk oli säilitada paberidokumendi "omadused" digitaalsetes formaatides, võimaldades isegi nõrkadel arvutitel selliste dokumentidega töötada. Seetõttu omab DjVu-failide vaatamise tarkvara "kiire renderdamise" funktsiooni. Tänu sellele laaditakse mällu vaid see DjVu-lehe osa, mis peab ekraanil kuvatama.

See võimaldab ka vaadata "alumisi" faile, see tähendab mitmeleheküljelise DjVu-dokumendi üksikuid lehti. Sel juhul kasutatakse pilditeadete progressiivset joonistamist, kus komponendid "ilmuvad" faili allalaadimise käigus (nagu JPEG-is).

20 aastat tagasi, kui see formaat esitleti, toimus lehe laadimine kolmes etapis: esmalt laaditi tekstiline sisu, paari sekundi pärast laaditi esimesed pildiversioonid ja taust. Alles seejärel «ilmus» kogu raamatuleht.

Kolmetasandilise struktuuri olemasolu võimaldab ka otsida skaneeritud raamatute hulgast (sest seal on spetsiaalne tekstikiht). See osutus mugavaks tehnilise kirjanduse ja käsiraamatute töötlemisel, mistõttu DjVu sai aluseks mitmele teaduslike raamatute raamatukogule. Näiteks 2002. aastal valiti ta Interneti Arhiivi poolt üheks formaadiks (koos TIFF-i ja PDF-iga) projektis skaneeritud raamatute salvestamiseks avatud allikatest.

Formaatide puudused

Kuid nagu kõigil tehnoloogiatel, on ka DjVu-l oma puudused. Näiteks DjVu formaati skaneeritud raamatute kodeerimise ajal võivad mõned dokumendi sümbolid vahetuda teiste, visuaalselt sarnaste vastu. Kõige sagedamini juhtub see tähtedega «и» ja «н», mistõttu see probleem sai on tuntud kui «yin probleem». See ei sõltu teksti keelest ja mõjutab sealhulgas numbreid ja teisi väikseid korduvaid märke.

Selle põhjuseks on sümbolite klassifitseerimise vead JB2 kodeerijas. See "murendab" skaneeringud rühmadesse, kuhu kuulub 10–20 ja loob iga grupi jaoks ühiste sümbolite sõnastiku. Sõnastik sisaldab lehekülgedelt ja nende ilmumise koordinaatidelt ühiste tähtede ja numbrite näidiseid. Kui vaatate DjVu-raamatut, asendatakse sõnastikust saadud sümbolid vajalikesse kohtadesse.

See võimaldab vähendada DjVu-faili suurust, kuid kui kahe tähe visuaalne kuvamine sarnaneb, võib kodeerija neid segi ajada või pidada identseteks. Aeg-ajalt viib see tehnilise dokumendi valemite rikuteni. Selle probleemi lahendamiseks on võimalik loobuda kompressioonialgoritmidest, kuid see suurendab raamatu digitaalset koopiat.

Teiseks puuduseks on see, et formaat ei ole paljude tänapäevaste operatsioonisüsteemide (sealhulgas mobiilsete) poolt vaikimisi toetatud. Seetõttu on selle kasutamiseks vajalik paigaldada kolmandate osapoolte programmede, nagu DjVuReader, WinDjView, Evince jt. Siiski tahaksin siin märkida, et mõned e-lugejad (nt ONYX BOOX) toetavad DjVu-formaati "karbist välja", kuna vajalikud rakendused on seal juba installitud.

Muide, millised veel funktsioonid võivad Android-põhised lugerirakendused pakkuda, oleme rääkinud ühes varasemas materjalide.

E-raamatud ja nende formaadid: DjVu — selle ajalugu, plussid, miinused ja eripära
Luger ONYX BOOX Chronos

Veel üks formaadi probleem ilmneb DjVu-dokumentide töötlemisel väikeste ekraanidega mobiilseadmetes — nutitelefonides, tahvelarvutites, lugerites. Mõnikord esitatakse DjVu-failid raamatu lahtioleku skannina, samas kui professionaalsed raamatud ja töödokumendid on sageli A4-formaadis, seega tuleb pilti â€žliigutadaâ€ž info leidmiseks.

Siiski tuleb märkida, et ka see probleem on lahendatav. Lihtsaim on muidugi otsida dokumenti teises formaadis — kuid kui selline võimalus pole võimalik (näiteks peate töötama suure hulga tehnilise kirjandusega DjVu formaadis), siis saate kasutada lugereid suure diagonaaliga, ulatudes 9,7 kuni 13,3 tollini, mis on spetsiaalselt kohandatud selliste dokumentide töötlemiseks.

Näiteks ONYX BOOX mudelivalikus on sellised seadmed Chronos ja MAX 2 (muide, oleme selle lugeri mudeli ülevaate koostanud ja avaldame selle varsti meie blogis), samuti Märkus, millel on 10,3-tollise E Ink Mobius Carta ekraan ja suurenenud eraldusvõime. Sellised seadmed võimaldavad vabalt vaadata illustratsioonide kõiki detaile originaalsuuruses ja sobivad neile, kes sageli loevad õpikuid või tehnilist kirjandust. DjVu ja PDF failide vaatamiseks. kasutatakse NEO Reader, mis võimaldab seadistada kontrasti ja digitaliseeritud fontide paksust.

Vaatamata formaadi puudustele jääb DjVu praegu üheks populaarsemaks formaadiks kirjandusteoste 'salvestamiseks'. Suur osa sellest on tingitud sellest, et ta on on avatud, ja mõned tehnoloogilised piirangud on tänapäevaste tehnoloogiate ja arengute kaudu ületatavad.

Järgnevates materjalides jätkame jutustust e-raamatute formaatide ajaloost ja nende töö eripäradest.

P.S. Mõned ONYX BOOX e-lugerite mudelid:

Allikas: habr.com