🥇E-Books und ihre Formate: DjVu – seine Geschichte, Vor- und Nachteile sowie Besonderheiten

Zu Beginn der 70er Jahre gelang es dem amerikanischen Schriftsteller Michael Hart die einen uneingeschränkten Zugang zum Xerox Sigma 5 Computer an der Universität von Illinois zu erhalten. Um die Ressourcen der Maschine angemessen zu nutzen, entschloss er sich, das erste elektronische Buch zu erstellen, indem er die Unabhängigkeitserklärung der USA abtippte.

Heute hat die digitale Literatur weit verbreitet, vor allem dank der Entwicklung tragbarer Geräte (Smartphones, eReader, Laptops). Dies führte zur Entstehung einer Vielzahl von Formaten für elektronische Bücher. Lassen Sie uns die Besonderheiten dieser Formate untersuchen und die Geschichte der beliebtesten von ihnen erzählen – beginnen wir mit dem DjVu-Format.

/ Flickr / Lane Pearman / CC

Die Entstehung des Formats

DjVu wurde 1996 von den AT&T Labs mit dem Ziel entwickelt, Webentwicklern ein Werkzeug zur Verfügung zu stellen, um Bilder in hoher Auflösung über das Internet zu verbreiten.

Zu dieser Zeit wurden 90% aller Informationen immer noch auf Papier gespeichert, und viele wichtige Dokumente hatten farbige Bilder und Fotografien. Um die Lesbarkeit des Textes und die Qualität der Bilder zu erhalten, mussten hochauflösende Scans erstellt werden. Auf dem Papier und viele wichtige Dokumente hatten farbige Abbildungen und Fotos. Um die Lesbarkeit des Texts und die Qualität der Bilder zu erhalten, war es notwendig, Scans in hoher Auflösung zu erstellen.

Klassische Webformate wie JPEG, GIF und PNG ermöglichten die Arbeit mit Bildern, gingen jedoch mit einem hohen Speicherbedarf einher. Bei JPEG musste das Dokument mit einer Auflösung von 300 dpi gescannt werden, damit der Text lesbar war auf dem Monitor. Eine farbige Magazinseite hatte in diesem Fall etwa 500 KB. Das Herunterladen solch großer Dateien aus dem Internet war damals ein ziemlich mühsamer Prozess.

Eine Alternative war die Digitalisierung von Papierdokumenten durch Technologien zur Texterkennung, jedoch war deren Genauigkeit vor 20 Jahren noch weit von ideal entfernt – nach der Verarbeitung musste das Endergebnis oft erheblich manuell nachbearbeitet werden. Zudem blieben Grafiken und Bilder "außen vor". Selbst wenn es gelang, ein gescanntes Bild in ein Textdokument einzufügen, gingen einige visuelle Details verloren, wie die Papierfarbe und -struktur, die wichtige Bestandteile historischer Dokumente sind.

Um diese Probleme zu lösen, entwickelte AT&T DjVu. Dieses Format ermöglichte es, gescannte farbige Dokumente mit 300 dpi auf 40–60 KB zu komprimieren, während die Originalgröße 25 MB betrug. Die Dateigröße von Schwarzweißseiten in DjVu reduzierte sich auf 10–30 KB.

Wie DjVu Dokumente komprimiert

DjVu kann sowohl mit gescannten Papierdokumenten als auch mit anderen digitalen Formaten wie PDF arbeiten. Die Technologie hinter DjVu beruht auf einer Methode, die ein Bild in drei Komponenten unterteilt: Vordergrund, Hintergrund und eine Schwarz-Weiß (Bit)-Maske.

Die Maske wird mit der Auflösung der ursprünglichen Datei gespeichert und enthält zeigt den Text und andere klare Details — feine Linien und Diagramme — sowie kontrastreiche Bilder.

Sie hat eine Auflösung von 300 dpi, damit feine Linien und Buchstabenkonturen scharf bleiben, und wird mit dem JB2-Algorithmus komprimiert, einem Variationsalgorithmus von JBIG2, der von AT&T für den Faxbetrieb vorgeschlagen wurde. Ein besonderes Merkmal von JB2 ist besteht darin, dass er wiederkehrende Zeichen auf der Seite sucht und deren Bild nur einmal speichert. So teilen sich in mehrseitigen Dokumenten jedes paar aufeinanderfolgender Seiten ein gemeinsames „Wörterbuch“.

Der Hintergrund enthält die Textur der Seite und Illustrationen, und seine Auflösung ist geringer als die der Maske. Der verlustfreie Hintergrund wird mit einer Auflösung von 100 dpi gespeichert.

Der Vordergrund bewahrt Die Farbinfo über die Maske und ihre Auflösung werden meist noch weiter reduziert, da in den meisten Fällen die Textfarbe schwarz ist und für jedes Zeichen gleich bleibt. Zur Kompression von Vorder- und Hintergrund wird Wavelet-Kompression.

Der letzte Schritt bei der Erstellung eines DjVu-Dokuments ist die Entropiekodierung, bei der ein adaptiver arithmetischer Codierer aufeinanderfolgende gleiche Zeichen in einen binären Wert umwandelt.

Vorteile des Formats

Das Ziel von DjVu war es, die „Eigenschaften“ des Papierdokuments digital zu bewahren, um auch auf schwächeren Computern mit solchen Dokumenten arbeiten zu können. Daher bietet die Software zum Ansehen von DjVu-Dateien die Möglichkeit des „schnellen Renderings“. Dadurch wird in den Speicher nur der Teil der DjVu-Seite geladen, der auf dem Bildschirm angezeigt werden soll. Dies ermöglicht auch das Anzeigen von „unvollständigen“ Dateien, also einzelner Seiten eines mehrseitigen DjVu-Dokuments. Dabei kommt die progressive Detaildarstellung zum Einsatz, bei der die Komponenten beim Herunterladen der Datei quasi „entwickelt“ werden (ähnlich wie bei JPEG).

Dies ermöglicht auch das Anzeigen von "unvollständig heruntergeladenen" Dateien, das heißt, einzelnen Seiten eines mehrseitigen DjVu-Dokuments. Dabei wird eine progressive Wiedergabe der Bilddetails verwendet, bei der die Komponenten wie ein ‚Entwickeln‘ während des Downloads des Dokuments erscheinen (ähnlich wie bei JPEG).

Vor 20 Jahren, als dieses Format vorgestellt wurde, geschah das Laden der Seite in drei Schritten: Zuerst wurde der Text geladen, nach ein paar Sekunden wurden die ersten Bilder und der Hintergrund nachgeladen. Erst danach wurde die gesamte Seite des Buches "sichtbar".

Die dreistufige Struktur ermöglicht auch die Suche in gescannten Büchern (da es eine spezielle Textebene gibt). Dies erwies sich als nützlich bei der Arbeit mit technischer Literatur und Nachschlagewerken, weshalb DjVu die Grundlage für mehrere Bibliotheken wissenschaftlicher Bücher wurde. Zum Beispiel wurde es im Jahr 2002 ausgewählt vom Internetarchiv als eines der Formate (neben TIFF und PDF) für ein Projekt zur Erhaltung gescannter Bücher aus öffentlichen Quellen.

Nachteile des Formats

Allerdings hat DjVu, wie alle Technologien, auch seine Nachteile. So kann es beim Kodieren von Buchscans in das DjVu-Format vorkommen, dass einige Zeichen im Dokument durch andere, ähnlich aussehende ersetzt werden. Dies geschieht am häufigsten mit den Buchstaben „и“ und „н“, weshalb dieses Problem erhalten den Namen „Yin-Problem“ trägt. Es ist unabhängig von der Sprache des Textes und beeinträchtigt auch Zahlen und andere kleine sich wiederholende Zeichen.

Der Grund dafür sind Klassifikationsfehler von Zeichen im JB2-Encoder. Er „zerlegt“ Scans in Gruppen von 10–20 Stück und erstellt für jede Gruppe ein Wörterbuch gemeinsamer Zeichen. Das Wörterbuch enthält Muster gemeinsamer Buchstaben und Zahlen von den Seiten sowie deren Koordinaten. Wenn Sie ein DjVu-Buch anzeigen, werden Zeichen aus dem Wörterbuch an den entsprechenden Stellen eingesetzt.

Dies ermöglicht es, die Größe von DjVu-Dateien zu reduzieren. Wenn jedoch die Anzeige von zwei Buchstaben visuell ähnlich ist, kann der Encoder diese verwechseln oder als identisch ansehen. Gelegentlich führt dies zu Fehlern in Formeln in technischen Dokumenten. Um dieses Problem zu lösen, könnte man auf Komprimierungsalgorithmen verzichten, was jedoch die Größe der digitalen Kopie des Buches erhöht.

Ein weiterer Nachteil des Formats ist, dass es standardmäßig von vielen modernen Betriebssystemen (einschließlich mobiler) nicht unterstützt wird. Daher müssen Drittanbieter Programme, wie DjVuReader, WinDjView, Evince usw., installiert werden, um damit zu arbeiten. Interessanterweise unterstützen einige E-Book-Reader (zum Beispiel ONYX BOOX) das DjVu-Format „out of the box“, da die erforderlichen Anwendungen bereits installiert sind.

Übrigens haben wir in einem unserer vorherigen Artikel beschrieben, was Anwendungen für Reader auf Android-Basis noch können. Materialien.

E-Books und ihre Formate: DjVu – seine Geschichte, Vor- und Nachteile und Besonderheiten
Reader ONYX BOOX Chronos

Ein weiteres Problem des Formats zeigt sich, wenn man DjVu-Dokumente auf kleinen Bildschirmen von mobilen Geräten – Smartphones, Tablets, Readern – betrachtet. Manchmal werden DjVu-Dateien als Scan der Buchaufblätter dargestellt, und Fachliteratur sowie Arbeitsdokumente haben oft das A4-Format. Daher muss man das Bild manchmal verschieben, um Informationen zu finden.

Es ist jedoch zu beachten, dass dieses Problem ebenfalls lösbar ist. Am einfachsten ist es natürlich, das Dokument in einem anderen Format zu suchen – aber wenn das nicht möglich ist (zum Beispiel, wenn Sie mit einer großen Menge technischer Literatur im DjVu-Format arbeiten müssen), können Sie spezielle E-Reader mit großen Diagonalen von 9,7 bis 13,3 Zoll verwenden, die speziell für die Arbeit mit solchen Dokumenten optimiert sind.

In der ONYX BOOX-Produktreihe sind solche Geräte beispielsweise Chronos und MAX 2 (Übrigens haben wir eine Rezension dieses Reader-Modells vorbereitet und werden sie in Kürze in unserem Blog veröffentlichen), sowie Hinweis, der über ein 10,3 Zoll E Ink Mobius Carta-Display mit hoher Auflösung verfügt. Solche Geräte ermöglichen es, alle Details der Illustrationen im Originalmaßstab zu betrachten und sind ideal für diejenigen, die häufig wissenschaftliche oder technische Literatur lesen müssen. Für die Betrachtung von DjVu- und PDF-Dateien. genutzt. NEO Reader, der die Anpassung des Kontrasts und der Dicke der digitalisierten Schriften ermöglicht.

Trotz der Mängel des Formats bleibt DjVu heute eines der beliebtesten Formate zur 'Archivierung' literarischer Werke. Dies ist zum großen Teil darauf zurückzuführen, dass es ist offen ist und moderne Technologien und Entwicklungen es ermöglichen, einige der technologischen Einschränkungen zu umgehen.

In den kommenden Artikeln werden wir die Geschichte der Entstehung von E-Book-Formaten und deren Funktionsweise weiter behandeln.

P.S. Eine Übersicht über die ONYX BOOX E-Reader:

Quelle: habr.com