Au début des années 70, l'écrivain américain Michael Hart a réussi un accès illimité à l'ordinateur Xerox Sigma 5, installé à l'Université de l'État de l'Illinois. Pour tirer parti des ressources de la machine, il a décidé de créer le premier livre électronique en réimprimant la Déclaration d'indépendance des États-Unis.
Aujourd'hui, la littérature numérique est largement répandue, en partie grâce au développement des dispositifs portables (smartphones, liseuses, ordinateurs portables). Cela a conduit à l'émergence de nombreux formats de livres électroniques. Essayons de comprendre leurs caractéristiques et racontons l'histoire des plus populaires d'entre eux — commençons par le format DjVu.
/ Flickr / /
L'émergence du format
DjVu a été développé en 1996 par AT&T Labs dans le but de fournir aux développeurs web un outil pour diffuser des images à haute résolution sur Internet.
En effet, à cette époque, 90 % de toutes les informations étaient encore sur papier, et de nombreux documents importants contenaient des images et des photographies en couleur. Pour préserver la lisibilité du texte et la qualité des images, il fallait réaliser des scans en haute résolution.
Les formats web classiques — JPEG, GIF et PNG — permettaient de travailler avec de telles images, mais au prix d'un volume important. Dans le cas du JPEG, pour que le texte sur l'écran du moniteur, il fallait scanner le document avec une résolution de 300 dpi. Une page couleur d'un magazine pesait alors environ 500 Ko. Le téléchargement de fichiers d'un tel volume depuis Internet à l'époque était un processus assez laborieux.
Une alternative était la numérisation de documents papier à l'aide de technologies de reconnaissance de texte, cependant, il y a 20 ans, leur précision laissait beaucoup à désirer — après traitement, le résultat final devait être sérieusement corrigé à la main. De plus, les graphiques et les images restaient « en dehors ». Même si l'on parvenait à intégrer une image scannée dans un document textuel, certains détails visuels, comme la couleur du papier ou sa texture, étaient perdus, ce qui sont des composants importants des documents historiques.
Pour résoudre ces problèmes, AT&T a développé DjVu. Cela a permis de compresser des documents couleur scannés à 300 dpi à 40–60 Ko, alors que la taille originale était de 25 Mo. Les tailles des pages en noir et blanc DjVu ont été réduites à 10–30 Ko.
Comment DjVu compresse les documents
DjVu peut fonctionner avec des documents numérisés sur papier ainsi qu'avec d'autres formats numériques, comme le PDF. Au cœur du fonctionnement de DjVu une technologie qui décompose l'image en trois composants : le premier plan, l'arrière-plan et un masque binaire (noir et blanc).
Le masque est enregistré à la résolution du fichier source et l'image du texte et d'autres détails nets — lignes fines et schémas — ainsi que des images contrastées.
Il a une résolution de 300 dpi pour que les lignes fines et les contours des lettres restent nets, et il est compressé à l'aide de l'algorithme JB2, qui est une variation de l'algorithme JBIG2, proposé par AT&T pour le traitement des fax. La particularité de JB2 est qu'il recherche les symboles répétitifs sur la page et enregistre leur image une seule fois. Ainsi, dans les documents multi-pages, chaque série de pages consécutives utilise un 'dictionnaire' commun.
L'arrière-plan contient la texture de la page et des illustrations, et sa résolution est inférieure à celle du masque. L'arrière-plan sans perte de perception est enregistré à une résolution de 100 dpi.
Le premier plan les informations de couleur du masque, et sa résolution est généralement encore réduite, car dans la plupart des cas, la couleur du texte est noire et uniforme pour un même caractère imprimé. La compression des premiers et arrière-plans utilise .
La dernière étape de la création d'un document DjVu est l'encodage d'entropie, où un codeur arithmétique adaptatif transforme les séquences de symboles identiques en valeurs binaires.
Les avantages du format
L'objectif de DjVu était les 'propriétés' du document papier sous forme numérique, permettant le traitement de tels documents même sur des ordinateurs modestes. C'est pourquoi le logiciel de visualisation des fichiers DjVu peut réaliser un 'rendu rapide'. Grâce à cela, Cela permet également de visualiser les fichiers 'partiellement téléchargés', c'est-à-dire des pages individuelles d'un document DjVu multi-pages. Cela utilise un rendu progressif des détails de l'image, où les composants se 'dévoilent' au fur et à mesure du téléchargement du fichier (comme dans JPEG).
Cela permet également de visualiser les fichiers « téléchargés partiellement », c'est-à-dire des pages individuelles d'un document DjVu multipage. Cela utilise un rendu progressif des détails de l'image, où les composants « apparaissent » au fur et à mesure que le fichier est téléchargé (comme avec un JPEG).
Il y a 20 ans, lorsque ce format a été présenté, le chargement de la page se faisait en trois étapes : d'abord, la composante textuelle se chargeait, puis, après quelques secondes, les premières versions des images et des fonds. Ce n'est qu'ensuite que toute la page du livre était « révélée ».
La présence d'une structure à trois niveaux permet également de rechercher parmi les livres numérisés (car il existe une couche de texte spéciale). Cela s'est avéré pratique pour travailler avec la littérature technique et les manuels, c'est pourquoi DjVu est devenu la base de plusieurs bibliothèques de livres scientifiques. Par exemple, en 2002, il a été sélectionné comme l'un des formats (avec TIFF et PDF) pour un projet de conservation de livres numérisés issus de sources ouvertes.
Inconvénients du format
Cependant, comme toutes les technologies, DjVu a ses inconvénients. Par exemple, lors du codage des scans de livres au format DjVu, certains symboles dans le document peuvent être remplacés par d'autres, visuellement similaires. Cela se produit le plus souvent avec les lettres « и » et « н », ce qui rend ce problème appelé « problème d'in » . Il ne dépend pas de la langue du texte et affecte également les chiffres et d'autres petits signes répétés.
Sa cause réside dans les erreurs de classification des symboles dans l'encodeur JB2. Il « découpe » les scans en groupes de 10 à 20 et forme pour chaque groupe un dictionnaire de symboles communs. Ce dictionnaire contient des échantillons de lettres et de chiffres communs avec les pages et les coordonnées de leur apparition. Lorsque vous consultez un livre DjVu, les symboles du dictionnaire sont insérés aux bons endroits.
Cela permet de réduire la taille du fichier DjVu, cependant, si deux lettres ressemblent visuellement, l'encodeur peut les confondre ou les considérer comme identiques. Cela peut parfois conduire à des erreurs dans les formules d'un document technique. Pour résoudre ce problème, il est possible d'abandonner les algorithmes de compression, mais cela augmentera la taille de la copie numérique du livre.
Un autre inconvénient du format est qu'il n'est pas pris en charge par défaut dans de nombreux systèmes d'exploitation modernes (y compris mobiles). Par conséquent, pour l'utiliser, il faut installer des logiciels tiers , tels que DjVuReader, WinDjView, Evince, etc. Cependant, il convient de noter que certaines liseuses électroniques (par exemple, ONYX BOOX) prennent en charge le format DjVu « out of the box » — car les applications nécessaires y sont déjà installées.
À propos des fonctionnalités des applications pour lecteurs Android, nous en avons parlé dans un de nos précédents articles. .
Lecteur
Un autre problème du format se manifeste lors de l'utilisation de documents DjVu sur les petits écrans des appareils mobiles — smartphones, tablettes, lecteurs. Parfois, les fichiers DjVu sont présentés sous forme de scan d'une double page de livre, et la littérature professionnelle ainsi que les documents de travail sont souvent au format A4, ce qui oblige à 'déplacer' l'image à la recherche d'informations.
Cependant, notons que ce problème est également solvable. Il est souvent plus simple de chercher le document dans un autre format — mais si cette option n'est pas possible (par exemple, si vous devez travailler avec beaucoup de littérature technique en DjVu), vous pouvez utiliser des liseuses avec un grand écran de 9,7 à 13,3 pouces, qui sont spécialement conçues pour travailler avec de tels documents.
Par exemple, dans la gamme ONYX BOOX, ces appareils sont et (d'ailleurs, nous avons préparé une critique de ce modèle de lecteur, qui sera bientôt publiée sur notre blog), ainsi que , qui possède un écran E Ink Mobius Carta de 10,3 pouces avec une résolution améliorée. Ces appareils permettent d'examiner tous les détails des illustrations à leur taille originale et conviennent à ceux qui doivent souvent lire de la littérature éducative ou technique. Pour lire des fichiers DjVu et PDF, NEO Reader, qui permet de régler le contraste et l'épaisseur des polices numérisées.
Malgré les inconvénients du format, aujourd'hui, le DjVu reste l'un des formats les plus populaires pour la 'conservation' des œuvres littéraires. Cela est en grande partie dû au fait qu'il est ouvert, et que certaines des limitations technologiques peuvent être contournées grâce aux technologies et développements modernes.
Dans nos prochains articles, nous continuerons à parler de l'histoire des formats de livres électroniques et des spécificités de leur fonctionnement.
P.S. Quelques critiques des lecteurs ONYX BOOX :
Source : habr.com
