Електронни книги и техните формати: DjVu - неговата история, плюсове, минуси и характеристики

В началото на 70-те американският писател Майкъл Харт успя получавам неограничен достъп до компютър Xerox Sigma 5, инсталиран в Университета на Илинойс. За да използва добре ресурсите на машината, той решава да създаде първата електронна книга, препечатвайки Декларацията за независимост на САЩ.

Днес дигиталната литература е широко разпространена, до голяма степен благодарение на развитието на преносими устройства (смартфони, електронни четци, лаптопи). Това доведе до появата на голям брой формати за електронни книги. Нека се опитаме да разберем техните характеристики и да разкажем историята на най-популярните от тях - нека започнем с формата DjVu.

/flickr/ Лейн Пиърман / CC

Появата на формата

DjVu е разработен през 1996 г. от AT&T Labs с една цел - да даде на уеб разработчиците инструмент за разпространение на изображения с висока разделителна способност по Интернет.

Факт е, че по това време 90% от цялата информация е неподвижна беше съхранен на хартия, а много от важните документи имаха цветни изображения и снимки. За да се запази четливостта на текста и качеството на снимките, беше необходимо да се направят сканирания с висока резолюция.

Класическите уеб формати - JPEG, GIF и PNG - направиха възможно работата с такива изображения, но с цената на обема. В случай на JPEG, така че текстът беше прочетено на екрана на монитора трябваше да сканирам документа с разделителна способност 300 dpi. Една цветна страница на списанието заема около 500 KB. Изтеглянето на файлове с такъв размер от интернет беше доста трудоемък процес по онова време.

Алтернативата беше да се дигитализират хартиени документи с помощта на OCR технологии, но преди 20 години точността им беше далеч от идеалната - след обработка крайният резултат трябваше да бъде сериозно редактиран на ръка. В същото време графиките и изображенията остават „зад борда“. И дори ако беше възможно да се вгради сканирано изображение в текстов документ, някои визуални детайли бяха загубени, например цветът на хартията, нейната текстура, а това са важни компоненти на исторически документи.

За да разреши тези проблеми, AT&T разработи DjVu. Това направи възможно компресирането на сканирани цветни документи с разделителна способност от 300 dpi до 40–60 KB, с оригинален размер от 25 MB. DjVu намали размера на черно-белите страници до 10–30 KB.

Как DjVu компресира документи

DjVu може да работи както със сканирани хартиени документи, така и с други цифрови формати, като PDF. Как работи DjVu е технология, която разделя изображението на три компонента: преден план, фон и черно-бяла (битова) маска.

Маската се запазва в разделителната способност на оригиналния файл и Той съдържа изображение на текст и други ясни детайли – фини линии и диаграми – както и контрастни картинки.

Той има разделителна способност от 300 dpi, за да поддържа фините линии и контурите на буквите ясни, и е компресиран с помощта на алгоритъма JB2, който е вариант на алгоритъма JBIG2 на AT&T за изпращане на факс. Характеристика на JB2 е това, което прави, е, че търси дублирани знаци на страницата и записва тяхното изображение само веднъж. Така в многостранични документи всеки няколко последователни страници споделят общ „речник“.

Фонът съдържа текстурата на страницата и илюстрациите, като резолюцията му е по-ниска от тази на маската. Фонът без загуба се запазва при 100 dpi.

преден план пази цветова информация за маската и нейната разделителна способност обикновено се намалява още повече, тъй като в повечето случаи цветът на текста е черен и еднакъв за един отпечатан знак. Използва се за компресиране на предния план и фона вълнова компресия.

Последният етап от създаването на DjVu документ е ентропийно кодиране, когато адаптивен аритметичен енкодер превръща последователности от идентични знаци в двоична стойност.

Предимства на формата

Задачата на DjVu беше сохранить „свойства“ на хартиен документ в цифров вид, позволяващи дори на слаби компютри да работят с такива документи. Следователно софтуерът за преглед на DjVu файлове има възможност за „бързо изобразяване“. Благодаря й в памет Зареждане само тази част от DjVu страницата, която трябва да се покаже на екрана.

Това също така дава възможност да се преглеждат „неизтеглени“ файлове, тоест отделни страници от многостраничен DjVu документ. В този случай се използва прогресивно изчертаване на детайлите на изображението, когато компонентите изглежда се „появяват“, докато файлът се изтегля (както в JPEG).

Преди 20 години, когато беше въведен този формат, страницата се зареждаше на три етапа: първо се зарежда текстовият компонент, след няколко секунди се зареждат първите версии на изображенията и фона. След това се „появи“ цялата страница на книгата.

Наличието на тристепенна структура също ви позволява да търсите в сканирани книги (тъй като има специален текстов слой). Това се оказа удобно при работа с техническа литература и справочници, така че DjVu стана основа за няколко библиотеки с научни книги. Например през 2002 г. той беше избран Интернет архив като един от форматите (заедно с TIFF и PDF) за проект за запазване на сканирани книги от отворени източници.

Недостатъци на формата

Въпреки това, като всички технологии, DjVu има своите недостатъци. Например, когато кодирате сканирания на книги във формат DjVu, някои знаци в документа може да бъдат заменени с други, които са подобни на външен вид. Най-често това се случва с буквите “i” и “n”, поради което и този проблем получих име "ин проблем". Не зависи от езика на текста и засяга, наред с други неща, цифри и други малки повтарящи се знаци.

Причината за това са грешки в класификацията на знаците в JB2 енкодера. Той „разделя“ сканирания на групи от 10–20 части и формира речник на общи символи за всяка група. Речникът съдържа примери за често срещани букви и цифри със страници и координати на тяхното появяване. Когато преглеждате DjVu книга, знаците от речника се вмъкват на правилните места.

Това ви позволява да намалите размера на DjVu файла, но ако дисплеите на две букви са визуално сходни, енкодерът може или да ги обърка, или да ги сбърка с еднакви. Понякога това води до повреда на формулите в технически документ. За да разрешите този проблем, можете да се откажете от алгоритмите за компресиране, но това ще увеличи размера на цифровото копие на книгата.

Друг недостатък на формата е, че не се поддържа по подразбиране в много съвременни операционни системи (включително мобилни). Следователно, за да работите с него, трябва да инсталирате трета страна програми, като DjVuReader, WinDjView, Evince и др. Тук обаче бих искал да отбележа, че някои електронни четци (например ONYX BOOX) поддържат DjVu формата „извън кутията“ - тъй като необходимите приложения вече са инсталирани там.

Между другото, говорихме за това какво още могат да правят приложенията за базирани на Android четци в един от предишните материали.

Читател ONYX BOOX Chronos

Друг проблем с формата възниква при работа с DjVu документи на малки екрани на мобилни устройства – смартфони, таблети, четци. Понякога DjVu файловете се представят под формата на сканиране на книга, а професионалната литература и работните документи често са във формат A4, така че трябва да „преместите“ изображението в търсене на информация.

Отбелязваме обаче, че този проблем също може да бъде решен. Най-лесният начин, разбира се, е да потърсите документ в различен формат - но ако тази опция не е възможна (например трябва да работите с голямо количество техническа литература в DjVu), тогава можете да използвате електронни четци с голям диагонал от 9,7 до 13,3 инча, който е специално „пригоден” ​​за работа с такива документи.

Например в линията ONYX BOOX има такива устройства Chronos и MAX 2 (между другото, подготвихме преглед на този модел четец и скоро ще го публикуваме в нашия блог), а също и Забележка, който има E Ink Mobius Carta екран с диагонал 10,3 инча и повишена резолюция. Такива устройства ви позволяват спокойно да разглеждате всички детайли на илюстрациите в оригиналния им размер и са подходящи за тези, които често трябва да четат образователна или техническа литература. За преглед на DjVu и PDF файлове употребяван NEO Reader, който ви позволява да регулирате контраста и дебелината на дигитализираните шрифтове.

Въпреки недостатъците на формата, днес DjVu остава един от най-популярните формати за „съхраняване“ на литературни произведения. Това до голяма степен се дължи на факта, че той е отворен и някои технологични ограничения днес позволяват на съвременните технологии и разработки да го заобиколят.

В следващите материали ще продължим разказа за историята на появата на формати за електронни книги и характеристиките на тяхната работа.

PS Няколко комплекта четци ONYX BOOX:

• Технологиите срещу „античността“: преглед на четеца ONYX BOOX Chronos
• Кралицата благоволява да чете: преглед на електронната книга ONYX BOOX Клеопатра 3
• Преглед на ONYX BOOX Darwin 4: най-добрата електронна книга с E-Ink

Източник: www.habr.com