🥇E-Books und ihre Formate: DjVu — seine Geschichte, Vor- und Nachteile sowie Eigenschaften

Anfang der 70er Jahre gelang es dem amerikanischen Schriftsteller Michael Hart erhalten unbeschränkten Zugang zum Xerox Sigma 5 Computer, der an der Universität von Illinois installiert war. Um die Ressourcen der Maschine sinnvoll zu nutzen, beschloss er, das erste elektronische Buch zu erstellen, indem er die Unabhängigkeitserklärung der USA abtippte.

Heute hat digitale Literatur weite Verbreitung gefunden, nicht zuletzt aufgrund der Entwicklung tragbarer Geräte (Smartphones, E-Reader, Laptops). Dies führte zur Entstehung einer Vielzahl von Formaten für elektronische Bücher. Lassen Sie uns ihre Merkmale untersuchen und die Geschichte der populärsten Formate erzählen – wir beginnen mit dem DjVu-Format.

/ Flickr / Lane Pearman / CC

Entstehung des Formats

DjVu wurde 1996 von AT&T Labs mit dem Ziel entwickelt, Webentwicklern ein Werkzeug zur Verfügung zu stellen, um Bilder in hoher Auflösung über das Internet zu verbreiten.

Das Problem war, dass zu dieser Zeit 90 % aller Informationen immer noch auf Papier gespeichert waren, und viele wichtige Dokumente farbige Bilder und Fotos enthielten. Um die Lesbarkeit des Textes und die Qualität der Bilder zu erhalten, musste man Scans in hoher Auflösung erstellen.

Die klassischen Webformate – JPEG, GIF und PNG – ermöglichten die Arbeit mit solchen Bildern, jedoch zu Lasten des Speicherplatzes. Im Fall von JPEG war es notwendig, das Dokument mit 300 dpi zu scannen, damit der Text auf dem Monitor lesbar war. Eine farbige Zeitschriftseite nahm dabei etwa 500 KB in Anspruch. Das Herunterladen solcher großen Dateien aus dem Internet war zu dieser Zeit ein ziemlich mühsamer Prozess.

Eine Alternative war die Digitalisierung von Papierdokumenten mit Technologien zur Texterkennung, doch vor 20 Jahren war die Genauigkeit dieser Technologien weit entfernt von ideal – nach der Verarbeitung musste das Endergebnis manuell erheblich überarbeitet werden. Grafiken und Bilder blieben dabei "außerhalb". Selbst wenn es gelang, ein gescanntes Bild in ein Textdokument einzufügen, gingen einige visuelle Details verloren, wie z. B. die Papierfarbe, ihre Textur, was wichtige Komponenten historischer Dokumente darstellt.

Um diese Probleme zu lösen, entwickelten AT&T DjVu. Es ermöglichte, gescannte farbige Dokumente mit 300 dpi auf 40–60 KB zu komprimieren, bei einer Originalgröße von 25 MB. Die Größe von Schwarz-Weiß-Seiten in DjVu reduzierte sich auf 10–30 KB.

Wie DjVu Dokumente komprimiert

DjVu kann sowohl mit gescannten Papierdokumenten als auch mit anderen digitalen Formaten, wie PDF, arbeiten. Die Funktionsweise von DjVu beruht auf einer Technologie, die das Bild in drei Komponenten unterteilt: Vordergrund, Hintergrund und eine schwarz-weiße (Bitmap) Maske.

Die Maske wird mit der Auflösung der Quelldatei gespeichert und enthält das Bild des Textes sowie andere klare Details – feine Linien und Diagramme – und kontrastreiche Bilder.

Sie hat eine Auflösung von 300 dpi, um feine Linien und Buchstabenkonturen scharf zu halten, und wird mithilfe des JB2-Algorithmus komprimiert, einer Variante des von AT&T für Faxgeräte vorgeschlagenen JBIG2-Algorithmus. Ein Merkmal von JB2 ist ist, dass er auf der Seite wiederkehrende Zeichen sucht und deren Bild nur einmal speichert. Dadurch profitieren mehrseitige Dokumente von einem gemeinsamen "Wörterbuch" für jeweils mehrere aufeinanderfolgende Seiten.

Der Hintergrund enthält die Textur der Seite und Illustrationen, und seine Auflösung ist geringer als die der Maske. Der Verlustfreier Hintergrund wird mit einer Auflösung von 100 dpi gespeichert.

Der Vordergrund speichert Farbinformationen zur Maske, und seine Auflösung wird normalerweise noch weiter gesenkt, da in den meisten Fällen die Farbe des Textes schwarz und für jedes gedruckte Zeichen identisch ist. Für die Kompression von Vorder- und Hintergrund wird Wellenkompression.

verwendet. Der abschließende Schritt zur Erstellung eines DjVu-Dokuments besteht in der Entropiekodierung, wobei ein adaptiver arithmetischer Kodierer aufeinanderfolgende identische Zeichenfolgen in einen binären Wert umwandelt.

Die Vorteile des Formats

Das Ziel von DjVu war es, die "Eigenschaften" des Papierdokuments digital zu bewahren, sodass auch schwächere Computer mit solchen Dokumenten arbeiten können. Daher bietet die Software zum Anzeigen von DjVu-Dateien die Möglichkeit des "schnellen Renderns". Dadurch wird in den Speicher nur der Teil der DjVu-Seite geladen, der auf dem Bildschirm angezeigt werden soll. Dies ermöglicht auch das Anzeigen von "unvollständig heruntergeladenen" Dateien, also einzelnen Seiten eines mehrseitigen DjVu-Dokuments. Dabei wird eine progressive Darstellung der Bilddetails verwendet, bei der die Komponenten sozusagen "entwickelt" werden, während die Datei geladen wird (wie bei JPEG).

Dies ermöglicht auch das Anzeigen von "unvollständigen" Dateien, das heißt, einzelnen Seiten eines mehrseitigen DjVu-Dokuments. Dabei wird eine progressive Detailzeichnung des Bildes verwendet, bei der die Komponenten sozusagen "sichtbar" werden, während die Datei heruntergeladen wird (wie bei JPEG).

Vor 20 Jahren, als dieses Format vorgestellt wurde, geschah das Laden der Seite in drei Phasen: Zuerst wurde der Textinhalt geladen, nach ein paar Sekunden wurden die ersten Versionen von Bildern und dem Hintergrund nachgeladen. Erst danach wurde die gesamte Seite des Buches "sichtbar".

Die dreistufige Struktur ermöglicht auch die Suche in gescannten Büchern (da es eine spezielle Textebene gibt). Dies erwies sich als praktisch bei der Arbeit mit technischer Literatur und Nachschlagewerken, weshalb DjVu die Grundlage für mehrere Bibliotheken wissenschaftlicher Bücher wurde. Zum Beispiel wurde er im Jahr 2002 ausgewählt vom Internet-Archiv als eines der Formate (neben TIFF und PDF) für ein Projekt zur Erhaltung gescanter Bücher aus offenen Quellen.

Nachteile des Formats

Allerdings hat DjVu, wie alle Technologien, auch seine Nachteile. Zum Beispiel können beim Kodieren von Scans von Büchern im DjVu-Format einige Zeichen im Dokument durch andere, ähnlich aussehende ersetzt werden. Dies passiert am häufigsten bei den Buchstaben „и“ und „н“, weshalb dieses Problem eine den Namen „In-Y-Problematik“ erhalten hat. Es ist unabhängig von der Sprache des Textes und beeinflusst unter anderem auch Ziffern und andere kleine, sich wiederholende Zeichen.

Die Ursache liegt in Fehlern bei der Klassifizierung von Zeichen im JB2-Kodierer. Er „zerlegt“ die Scans in Gruppen von 10-20 Stück und erstellt für jede Gruppe ein Wörterbuch gängiger Zeichen. Das Wörterbuch enthält Muster gängiger Buchstaben und Ziffern, zusammen mit Seiten und den Koordinaten ihres Auftretens. Wenn Sie ein DjVu-Buch durchsuchen, werden die Zeichen aus dem Wörterbuch an den entsprechenden Stellen eingesetzt.

Dies ermöglicht die Reduzierung der Größe der DjVu-Datei, jedoch kann der Kodierer, wenn die Darstellung zweier Buchstaben visuell ähnlich ist, diese verwechseln oder als identisch ansehen. Manchmal führt dies zu Schäden an Formeln in technischen Dokumenten. Um dieses Problem zu lösen, könnte man auf Kompressionsalgorithmen verzichten, aber dies würde die Größe der digitalen Kopie des Buches erhöhen.

Ein weiteres Manko des Formats ist, dass es in vielen modernen Betriebssystemen (einschließlich mobiler) standardmäßig nicht unterstützt wird. Daher müssen Drittanbieter-Software installiert werden, des Programms, wie DjVuReader, WinDjView, Evince usw. Allerdings sollte hier angemerkt werden, dass einige E-Book-Reader (zum Beispiel ONYX BOOX) das DjVu-Format „out of the box“ unterstützen – da die erforderlichen Anwendungen bereits installiert sind.

Übrigens haben wir in einem der vorherigen Artikel darüber gesprochen, was Anwendungen für Reader auf Android-Basis noch können. Materialien.

E-Books und ihre Formate: DjVu – seine Geschichte, Vor- und Nachteile sowie Besonderheiten
Reader ONYX BOOX Chronos

Ein weiteres Problem des Formats zeigt sich bei der Arbeit mit DjVu-Dokumenten auf kleinen Bildschirmen mobiler Geräte — Smartphones, Tablets, Readern. Manchmal sind DjVu-Dateien als Scan einer Buchseite dargestellt, und Fachliteratur sowie Arbeitsdokumente haben oft das Format A4, sodass man das Bild bewegen muss, um Informationen zu finden.

Es sei jedoch angemerkt, dass dieses Problem ebenfalls lösbar ist. Am einfachsten ist es, ein Dokument in einem anderen Format zu suchen — aber falls diese Option nicht möglich ist (zum Beispiel, wenn Sie mit einer großen Menge technischer Literatur in DjVu arbeiten müssen), können Sie elektronische Lesegeräte mit einer Bildschirmdiagonale von 9,7 bis 13,3 Zoll verwenden, die speziell für die Arbeit mit solchen Dokumenten optimiert sind.

Beispielsweise sind in der ONYX BOOX Reihe solche Geräte Chronos und MAX 2 (übrigens haben wir einen Test dieses Reader-Modells vorbereitet und werden ihn bald in unserem Blog veröffentlichen), sowie Note, das über einen E Ink Mobius Carta Bildschirm mit einer Diagonale von 10,3 Zoll und einer erhöhten Auflösung verfügt. Solche Geräte ermöglichen es, die Details von Illustrationen im Originalformat problemlos zu betrachten und sind ideal für diejenigen, die häufig Lehr- oder technische Literatur lesen müssen. Für die Anzeige von DjVu- und PDF-Dateien wird verwendet NEO Reader, der es ermöglicht, den Kontrast und die Dicke der digitalisierten Schriften einzustellen.

Trotz der Mängel des Formats bleibt DjVu bis heute eines der beliebtesten Formate zur "Einspeicherung" literarischer Werke. Das liegt vor allem daran, dass es ist offen ist, und moderne Technologien und Entwicklungen es heute ermöglichen, einige technische Einschränkungen zu umgehen.

In den nächsten Artikeln werden wir die Geschichte der Entstehung von E-Book-Formaten und deren Besonderheiten weiter behandeln.

P.S. Einige Tests der ONYX BOOX Reader:

Quelle: habr.com