Negli anni '70, lo scrittore americano Michael Hart riuscì ad avere accesso illimitato al computer Xerox Sigma 5, installato presso l'università dell'Illinois. Per sfruttare adeguatamente le risorse della macchina, decise di creare il primo libro elettronico, digitando la Dichiarazione di indipendenza degli Stati Uniti.
Oggi, la letteratura digitale è ampiamente diffusa, in gran parte grazie allo sviluppo di dispositivi portatili (smartphone, e-reader, laptop). Questo ha portato alla nascita di un gran numero di formati di e-book. Cercheremo di comprenderne le caratteristiche e racconteremo la storia dei più popolari, iniziando con il formato DjVu.
/ Flickr / /
Origine del formato
Il formato DjVu è stato sviluppato nel 1996 dalla AT&T Labs con l'obiettivo di fornire agli sviluppatori web uno strumento per distribuire immagini ad alta risoluzione su internet.
Il fatto è che all'epoca il 90% di tutte le informazioni era ancora su carta, e molti dei documenti importanti avevano immagini e fotografie a colori. Per preservare la leggibilità del testo e la qualità delle immagini, era necessario effettuare scansioni ad alta risoluzione.
I formati web classici — JPEG, GIF e PNG — consentivano di lavorare con le immagini, ma a scapito della dimensione. Nel caso del JPEG, per avere un testo sul monitor, era necessario scansionare il documento con una risoluzione di 300 dpi. Una pagina a colori di una rivista occupava circa 500 KB. Scaricare file di queste dimensioni da Internet all'epoca era un processo piuttosto laborioso.
Un'alternativa era la digitalizzazione dei documenti cartacei tramite tecnologie di riconoscimento del testo, ma vent'anni fa la loro precisione era lontana dall'essere ideale: dopo la lavorazione, il risultato finale doveva essere corretto manualmente. In questo modo, grafici e immagini rimanevano "esclusi". Anche se si riusciva a inserire un'immagine scansionata in un documento di testo, alcuni dettagli visivi andavano persi, come il colore della carta e la sua texture, elementi importanti nei documenti storici.
Per affrontare questi problemi, AT&T sviluppò DjVu. Questo formato consentì di comprimere documenti scansionati a colori con una risoluzione di 300 dpi a 40–60 KB, a fronte di un originale di 25 MB. DjVu ridusse anche le dimensioni delle pagine in bianco e nero a 10–30 KB.
Come DjVu comprime i documenti
DjVu può gestire sia documenti cartacei scansionati che altri formati digitali, come PDF. Alla base del funzionamento di DjVu una tecnologia che suddivide l'immagine in tre componenti: primo piano, sfondo e maschera in bianco e nero (bitmap).
La maschera viene conservata con la risoluzione del file originale e immagini di testo e altri dettagli chiari — linee sottili e diagrammi — così come immagini ad alto contrasto.
Ha una risoluzione di 300 dpi, per mantenere nitide le linee sottili e i contorni delle lettere, e viene compressa con l'algoritmo JB2, una variazione dell'algoritmo JBIG2 proposto da AT&T per la gestione dei fax. La caratteristica distintiva di JB2 è che cerca i caratteri ripetitivi nella pagina e conserva l'immagine solo una volta. In questo modo, in documenti multipagina, ogni poche pagine consecutive utilizzano un 'dizionario' comune.
Lo sfondo contiene la texture della pagina e le illustrazioni, e ha una risoluzione inferiore rispetto alla maschera. Lo sfondo viene mantenuto senza perdite per la percezione a una risoluzione di 100 dpi.
Il primo piano le informazioni sul colore della maschera, e la sua risoluzione di solito diminuisce ulteriormente, poiché nella maggior parte dei casi il colore del testo è nero e identico per ogni carattere. Per la compressione dello sfondo e del primo piano viene utilizzata .
L'ultima fase nella creazione di un documento DjVu è la codifica entroptica, in cui un codificatore aritmetico adattivo trasforma le sequenze di simboli identici in un valore binario.
Vantaggi del formato
L'obiettivo di DjVu era le "proprietà" del documento cartaceo in formato digitale, consentendo a anche computer meno potenti di lavorare con tali documenti. Per questo motivo il software per visualizzare i file DjVu offre la possibilità di "rendering rapido". Questo consente di caricare in memoria Questo offre anche la possibilità di visualizzare file "incompleti", cioè singole pagine di un documento DjVu multipagina. In questo caso, viene utilizzato il rendering progressivo dei dettagli dell'immagine, in cui i componenti sembrano "emergere" durante il download del file (come in JPEG).
Это также дает возможность просматривать «недокачанные» файлы, то есть отдельные страницы многостраничного DjVu-документа. При этом используется прогрессивная прорисовка деталей изображения, когда компоненты как бы «проявляются» по мере закачки файла (как в JPEG).
Vent'anni fa, quando è stato presentato questo formato, il caricamento della pagina avveniva in tre fasi: inizialmente si caricava la parte testuale, dopo qualche secondo venivano caricati le prime versioni delle immagini e dello sfondo. Solo dopo veniva visualizzanta l'intera pagina del libro.
La presenza di una struttura a tre livelli consente anche di effettuare ricerche tra i libri scanalizzati (poiché esiste uno strato testuale specifico). Questo si è rivelato utile nell'ambito della letteratura tecnica e dei manuali, quindi DjVu è diventato la base per diverse biblioteche di libri scientifici. Ad esempio, nel 2002 è stato scelto come uno dei formati (insieme a TIFF e PDF) per il progetto di conservazione dei libri scansionati da fonti aperte.
Svantaggi del formato
Tuttavia, come tutte le tecnologie, DjVu ha anche i suoi svantaggi. Ad esempio, durante la codifica degli scan di libri nel formato DjVu, alcuni simboli nel documento possono essere sostituiti con altri simili. Questo accade più frequentemente con le lettere «и» e «н», il che porta a quella problematica denominata «problema in'». Essa non dipende dalla lingua del testo e influisce, tra l'altro, su numeri e altri piccoli segni ripetuti.
La sua causa è rappresentata da errori di classificazione dei caratteri nel codificatore JB2. Esso "frantuma" le scansioni in gruppi di 10-20 pezzi e forma per ciascun gruppo un dizionario di caratteri comuni. Il dizionario contiene campioni di lettere e numeri comuni insieme alle pagine e alle coordinate della loro apparizione. Quando si visualizza un libro in DjVu, i caratteri del dizionario vengono inseriti nei punti giusti.
Questo consente di ridurre le dimensioni del file DjVu, tuttavia, se le rappresentazioni di due lettere sono visivamente simili, il codificatore può confonderle oppure considerarli identici. A volte questo porta alla corruzione delle formule in un documento tecnico. Per risolvere questo problema, si può rinunciare agli algoritmi di compressione, ma ciò aumenterebbe le dimensioni della copia digitale del libro.
Un altro svantaggio del formato è che non è supportato di default in molti sistemi operativi moderni (inclusi quelli mobili). Pertanto, per lavorare con esso, è necessario installare applicazioni di terze parti , come DjVuReader, WinDjView, Evince e altri. Tuttavia, è importante notare che alcuni e-reader (ad esempio, ONYX BOOX) supportano il formato DjVu "out of the box", poiché le applicazioni necessarie sono già installate.
Tra l'altro, abbiamo già parlato di cosa possono fare le applicazioni per lettori basati su Android in uno dei nostri articoli precedenti. .
Lettore
Un altro problema del formato si manifesta quando si lavora con documenti DjVu su schermi di piccole dimensioni, come smartphone, tablet e lettori. A volte i file DjVu sono rappresentati come scansioni della pagina di un libro, mentre la letteratura professionale e i documenti di lavoro hanno spesso formato A4, il che costringe a "scrollare" l'immagine alla ricerca di informazioni.
Tuttavia, va notato che questo problema è anche risolvibile. Il modo più semplice è cercare un documento in un altro formato — ma se questa opzione non è possibile (ad esempio, se è necessario lavorare con un gran numero di testi tecnici in DjVu), è possibile utilizzare lettori elettronici con diagonali comprese tra 9,7 e 13,3 pollici, progettati appositamente per lavorare con tali documenti.
Ad esempio, nella linea ONYX BOOX, i dispositivi adatti sono e (tra l'altro, abbiamo preparato una recensione di questo modello di lettore e presto la pubblicheremo nel nostro blog), così come , che ha uno schermo E Ink Mobius Carta con diagonale di 10,3 pollici e risoluzione aumentata. Questi dispositivi consentono di esaminare con calma tutti i dettagli delle illustrazioni a grandezza naturale e sono adatti a chi deve spesso leggere testi didattici o tecnici. Per visualizzare file DjVu e PDF. NEO Reader, che consente di personalizzare il contrasto e lo spessore dei caratteri digitalizzati.
Nonostante i difetti del formato, oggi il DjVu rimane uno dei formati più popolari per 'salvare' opere letterarie. Questo è in gran parte dovuto al fatto che è aperto e alcune limitazioni tecnologiche possono essere aggirate grazie alle moderne tecnologie e sviluppi.
Nei prossimi materiali continueremo a raccontare la storia dell'emergere dei formati per ebook e delle loro peculiarità.
P.S. Alcuni modelli di lettori ONYX BOOX:
Fonte: habr.com
