E-boeken en hun formaten: DjVu - de geschiedenis, voordelen, nadelen en bijzonderheden

Aan het begin van de jaren 70 slaagde de Amerikaanse schrijver Michael Hart erin onthalen onbeperkte toegang te krijgen tot de Xerox Sigma 5 computer, die was geïnstalleerd aan de universiteit van Illinois. Om de middelen van de machine op de juiste manier te gebruiken, besloot hij de eerste elektronische boek te creëren door de Amerikaanse Onafhankelijkheidsverklaring te herdrukken.

Tegenwoordig is digitale literatuur wijdverbreid, voor een groot deel dankzij de ontwikkeling van draagbare devices (smartphones, e-readers, laptops). Dit heeft geleid tot de opkomst van veel verschillende formaten voor e-books. Laten we de kenmerken ervan onderzoeken en het verhaal vertellen van de meest populaire onder hen — laten we beginnen met het DjVu-formaat.

E-boeken en hun formaten: DjVu - de geschiedenis, voordelen, nadelen en bijzonderheden
/ Flickr / Lane Pearman / CC

De opkomst van het formaat

DjVu werd in 1996 ontwikkeld door AT&T Labs met ƩƩn doel — webontwikkelaars een hulpmiddel te geven om hoge resolutie afbeeldingen via internet te verspreiden.

Het punt is dat destijds 90% van alle informatie nog steeds op papier werd opgeslagen en veel belangrijke documenten kleurafbeeldingen en foto's hadden. Om de leesbaarheid van de tekst en de kwaliteit van de afbeeldingen te behouden, moesten scans in hoge resolutie worden gemaakt.

De klassieke webformaten — JPEG, GIF en PNG — boden de mogelijkheid om met dergelijke afbeeldingen te werken, maar tegen de prijs van bestandsgrootte. In het geval van JPEG moest de tekst leesbaar zijn op het computerscherm door het document te scannen met een resolutie van 300 dpi. Een kleurenpagina van een tijdschrift nam destijds ongeveer 500 Kbyte in beslag. Het downloaden van bestanden van zulke groottes uit het internet was destijds een vrij arbeidsintensief proces.

Een alternatief was het digitaliseren van papieren documenten met behulp van tekstherkenningstechnologieĆ«n, maar 20 jaar geleden was hun nauwkeurigheid verre van perfect — na de verwerking moest het eindresultaat grondig handmatig worden aangepast. Daarnaast bleven grafieken en afbeeldingen "buiten beschouwing". En zelfs als het lukte om een gescande afbeelding in een tekstdocument in te voegen, gingen sommige visuele details verloren, zoals de kleur van het papier, de textuur ervan, en dat zijn belangrijke componenten van historische documenten.

Om deze problemen op te lossen, ontwikkelde AT&T DjVu. Dit stelde hen in staat om gescande kleurendocumenten met een resolutie van 300 dpi te comprimeren tot 40–60 Kbyte, met een oorspronkelijke grootte van 25 Mbyte. De afmetingen van zwart-witte DjVu-pagina's werden teruggebracht tot 10–30 Kbyte.

Hoe DjVu documenten comprimeert

DjVu kan zowel werken met papieren gescande documenten als met andere digitale indelingen, zoals PDF. De werking van DjVu is gebaseerd op technologie die een afbeelding in drie componenten opsplitst: de voorgrond, de achtergrond en een zwart-wit (bit) mask. Het masker wordt opgeslagen met de resolutie van het oorspronkelijke bestand en

bevat de afbeelding van de tekst en andere scherpe details — fijne lijnen en diagrammen — evenals contrasterende afbeeldingen. Het heeft een resolutie van 300 dpi, zodat fijne lijnen en lettercontouren scherp blijven, en wordt gecomprimeerd met behulp van de JB2-algoritme, dat een variant is van het JBIG2-algoritme dat door AT&T is voorgesteld voor faxgebruik. De eigenschap van JB2

is dat het herhalende symbolen op de pagina zoekt en hun afbeelding maar ƩƩn keer opslaat. Hierdoor delen meerdere pagina's in meerlaagse documenten een gemeenschappelijk 'woordenboek'. is De achtergrond bevat de textuur van de pagina en illustraties, en de resolutie is lager dan die van het masker. De verliesloze achtergrond blijft behouden met een resolutie van 100 dpi.

De voorgrond

bevat kleurinformatie van het masker, en de resolutie wordt meestal nog verder verlaagd, omdat in de meeste gevallen de kleur van de tekst zwart is en gelijk voor elk afgedrukt teken. Voor de compressie van de voorgrond en achtergrond wordt golfletcompressie De laatste fase van het creƫren van een DjVu-document is de entropiecodering, waarbij een adaptieve aritmetische coder reeksen van identieke symbolen omzet in een binaire waarde..

Voordelen van het formaat

Het doel van DjVu was

de 'eigenschappen' van een papieren document digitaal te behouden, zodat zelfs zwakke computers met dergelijke documenten kunnen werken. Daarom heeft software voor het bekijken van DjVu-bestanden de mogelijkheid tot 'snelle rendering'. Hierdoor wordt in het geheugen enkel dat stukje DjVu-pagina geladen dat op het scherm moet worden weergegeven. Dit maakt het ook mogelijk om 'niet-volledige' bestanden te bekijken, dat wil zeggen afzonderlijke pagina's van een meerlaags DjVu-document. Hierbij wordt gebruikgemaakt van progressieve weergave van beelddetails, waarbij de componenten als het ware 'ontwikkelen' naarmate het bestand wordt gedownload (zoals in JPEG). wordt geladen alleen dat stukje van de DjVu-pagina dat op het scherm moet worden weergegeven.

Dit maakt het ook mogelijk om 'onvolledige' bestanden te bekijken, dat wil zeggen afzonderlijke pagina's van een meerpagina-djVu-document. Daarbij wordt gebruik gemaakt van progressieve rendering van de afbeeldingsdetails, waarbij de componenten als het ware 'verschijnen' naarmate het bestand wordt gedownload (zoals bij JPEG).

20 jaar geleden, toen dit formaat werd geïntroduceerd, werd de webpagina in drie fasen geladen: eerst werd de tekstinhoud geladen, vervolgens werden na een paar seconden de eerste versies van afbeeldingen en de achtergrond geladen. Pas daarna werd de hele pagina van het boek 'geëtaleerd'.

De aanwezigheid van een drievoudige structuur maakt het ook mogelijk om door de gescande boeken te zoeken (aangezien er een speciale tekstlaag is). Dit bleek handig te zijn bij het werken met technische literatuur en naslagwerken, daarom werd DjVu de basis voor verschillende bibliotheken met wetenschappelijke boeken. Bijvoorbeeld, in 2002 werd het gekozen door het Internet Archive als een van de formaten (samen met TIFF en PDF) voor het project om gescande boeken uit open bronnen te archiveren.

Nadelen van het formaat

Echter, net als alle technologieën heeft DjVu zijn minpunten. Bijvoorbeeld, bij het coderen van scans van boeken naar het DjVu-formaat kunnen sommige tekens in het document vervangen worden door andere, visueel vergelijkbare. Dit gebeurt het vaakst met de letters 'и' en 'н', wat resulteert in het probleem een dat 'de yin-probleem' wordt genoemd. Het is niet afhankelijk van de taal van de tekst en beïnvloedt ook cijfers en andere kleine herhalende tekens.

De oorzaak is een fout in de karakterclassificatie in de JB2-encoder. Deze 'splitst' scans in groepen van 10-20 en vormt voor elke groep een woordenboek van gemeenschappelijke tekens. Het woordenboek bevat voorbeelden van gemeenschappelijke letters en cijfers met pagina's en coƶrdinaten van hun verschijning. Wanneer je een DjVu-boek bekijkt, worden de tekens uit het woordenboek op de juiste plaatsen ingevoegd.

Dit zorgt ervoor dat de grootte van het DjVu-bestand wordt verminderd, maar als de weergave van twee letters visueel vergelijkbaar is, kan de encoder ze verwarren of als gelijk beschouwen. Soms leidt dit tot het vervormen van formules in een technisch document. Om dit probleem op te lossen, kan men afzien van compressie-algoritmes, maar dit zal de grootte van de digitale kopie van het boek verhogen.

Een ander nadeel van het formaat is dat het standaard niet wordt ondersteund door veel moderne besturingssystemen (inclusief mobiele). Daarom moet men externe van het programmatoepassingen installeren, zoals DjVuReader, WinDjView, Evince, enz. Echter, het is belangrijk op te merken dat sommige e-readers (bijvoorbeeld ONYX BOOX) het DjVu-formaat 'out of the box' ondersteunen - aangezien de benodigde applicaties daar al zijn geĆÆnstalleerd.

Overigens, wat applicaties voor Android-lezers nog meer kunnen, hebben we in een van onze eerdere artikelen.

E-boeken en hun formaten: DjVu - de geschiedenis, voordelen, nadelen en bijzonderheden
Lezer ONYX BOOX Chronos

Een ander probleem van het formaat doet zich voor bij het werken met DjVu-documenten op kleine schermen van mobiele apparaten — smartphones, tablets, lezers. Soms worden DjVu-bestanden gepresenteerd als scans van een pagina van een boek, en professionele literatuur en werkdocumenten hebben vaak het A4-formaat, waardoor je 'de afbeelding moet bewegen' op zoek naar informatie.

We merken echter op dat dit probleem ook oplosbaar is. Het is natuurlijk het gemakkelijkst om naar een document in een ander formaat te zoeken — maar als die optie niet mogelijk is (bijvoorbeeld als je met grote hoeveelheden technische literatuur in DjVu moet werken), kun je gebruikmaken van e-readers met een groot scherm van 9,7 tot 13,3 inch, die speciaal zijn ontworpen voor het werken met dergelijke documenten.

Bijvoorbeeld, in de ONYX BOOX lijn zijn dergelijke apparaten Chronos en MAX 2 (trouwens, we hebben een review van dit model lezer voorbereid, die we binnenkort op onze blog zullen publiceren), evenals Note, dat een E Ink Mobius Carta-scherm heeft met een diagonaal van 10,3 inch en een hogere resolutie. Dergelijke apparaten stellen je in staat om alle details van illustraties in hun originele grootte rustig te bekijken en zijn geschikt voor degenen die vaak studie- of technische literatuur moeten lezen. Voor het bekijken van DjVu- en PDF-bestanden de DNS-server van CloudFlare wordt gebruikt, zal in Chrome slechts de methode van de DNS-verwerking worden bijgewerkt naar een equivalente service, zonder wisseling van de DNS-provider. Bijvoorbeeld, als een gebruiker in de systeeminstellingen de DNS 8.8.8.8 heeft opgegeven, zal in Chrome NEO Reader, die het mogelijk maakt om het contrast en de dikte van digitale lettertypen aan te passen.

Ondanks de tekortkomingen van het formaat blijft DjVu tot vandaag een van de populairste formaten voor het 'bewaren' van literaire werken. Dit is in hoge mate te danken aan het feit dat het is open is, en hedendaagse technologieƫn en ontwikkelingen maken het mogelijk om sommige technologische beperkingen te omzeilen.

In de volgende artikelen zullen we het verhaal over de geschiedenis van de opkomst van e-boekformaten en hun werking voortzetten.

P.S. Enkele recensies van ONYX BOOX-lezers:



Bron: habr.com

Koop betrouwbare webhosting met bescherming tegen DDoS, VPS VDS servers šŸ”„ Koop betrouwbare webhosting met bescherming tegen DDoS, VPS VDS servers | ProHoster