През 70-те години на миналия век американският писател Майкъл Харт (Michael Hart) успя неограничен достъп до компютъра Xerox Sigma 5, инсталиран в университета на щата Илинойс. За да използва ресурсите на машината по достоен начин, той реши да създаде първата електронна книга, препечатвайки Декларацията за независимост на САЩ.
Днес цифровата литература е широко разпространена, благодарение на развитието на преносимите устройства (смартфони, ридъри, лаптопи). Това доведе до появата на многобройни формати за електронни книги. Нека разгледаме техните особености и разкажем историята на най-популярните от тях — ще започнем с формата DjVu.
/ Flickr / /
Произход на формата
DjVu е разработен през 1996 година от компанията AT&T Labs с единствената цел — да даде на уеб разработчиците инструмент за разпространение на изображения с висока резолюция през интернет.
Факт е, че по онова време 90% от цялата информация все още на хартия, а много от важните документи имаха цветни изображения и фотографии. За да се запази четимостта на текста и качеството на картините, се налагаше да се правят сканирания с висока резолюция.
Класическите уеб формати — JPEG, GIF и PNG — позволяваха работа с такива изображения, но цената беше обемът. В случая с JPEG, за да бъде текстът на екрана на монитора, се налагаше да се сканира документът с резолюция 300 dpi. Цветната страница на списание заема около 500 Кбайта. Изтеглянето на файлове с такъв обем от интернет по това време беше доста трудоемък процес.
Алтернативата беше оцифроването на хартиени документи чрез технологии за разпознаване на текст, но преди 20 години тяхната точност беше далеч от идеалната — след обработката финалният резултат се налагаше да бъде сериозно коригиран ръчно. При това графиките и изображенията оставаха "извън борда". И дори да успееш да вградиш сканираната картинка в текстовия документ, се губеха някои визуални детайли, като например цветът на хартията, нейната текстура, а това са важни компоненти на историческите документи.
С цел да се справи с тези проблеми, AT&T разработиха DjVu. Той позволява да се компресират сканирани цветни документи с резолюция 300 dpi до 40–60 Кбайта, при размер на оригинала от 25 Мбайта. Размерът на черно-белите страници DjVu намалява до 10–30 Кбайта.
Как DjVu компресира документи
DjVu може да работи както с сканирани хартиени документи, така и с други цифрови формати, например PDF. В основата на работата на DjVu технология, която разделя изображението на три компонента: преден план, заден план и черно-бяла (битова) маска.
Маската се запазва с резолюция на изходния файл и изображението на текста и другите ясни детайли — тънки линии и схеми — както и контрастни картинки.
Тя има резолюция 300 dpi, така че тънките линии и контурите на буквите остават ясни, и се компресира с помощта на алгоритъм JB2, който е вариация на алгоритъма JBIG2, предложен от AT&T за работа с факсове. Специфичното за JB2 е, че търси на страницата повтарящи се символи и запазва тяхното изображение само веднъж. Така всяка страница в многостранични документи споделя общ "речник".
Задният план съдържа текстурата на страницата и илюстрации, а неговата резолюция е по-ниска от тази на маската. Фонът без загуби за възприемане се запазва с резолюция 100 dpi.
Предният план цветовата информация на маската, а резолюцията му обикновено се понижава още повече, тъй като в повечето случаи цветът на текста е черен и единен за един печатен знак. За компресия на предния и задния план се използва .
Заключителният етап от създаването на DjVu-документ е ентропийното кодиране, когато адаптивният аритметичен кодировчик превръща последователности от еднакви символи в бинарна стойност.
Предимства на формата
Задачата на DjVu беше "свойствата" на хартиения документ в цифров вид, позволявайки работа с такива документи дори на слабички компютри. Ето защо софтуерът за преглед на DjVu файлове разполага с възможността за "бързо рендериране". Благодарение на нея в паметта само парчето от DjVu страницата, което трябва да се показва на екрана.
Това също дава възможност за преглед на "недоизтеглени" файлове, тоест отделни страници от многостраничен DjVu документ. При това се използва прогресивно изрисуване на детайлите на изображението, когато компонентите сякаш "се проявяват" с накачването на файла (както в JPEG).
Преди 20 години, когато този формат бе представен, зареждането на страницата ставаше в три етапа: първо се зареждаше текстовото съдържание, след няколко секунди се подготвяха първите версии на изображенията и фоновете. Едва след това се „разкриваше“ цялата страница на книгата.
Наличието на тристепенна структура също така позволява търсене в сканираните книги (тъй като има специален текстови слой). Това се оказа удобно при работа с техническа литература и справочници, затова DjVu стана основа за няколко библиотеки на научни книги. Например, през 2002 година той бе избран като един от форматите (заедно с TIFF и PDF) за проекта за съхранение на сканирани книги от открити източници.
Недостатъци на формата
Въпреки това, както и всички технологии, DjVu има своите недостатъци. Например, при кодиране на сканирания книги в формат DjVu, някои символи в документа могат да бъдат заменени с други, визуално подобни. Това се случва най-често с буквите „и“ и „н“, поради което този проблем е известен като „проблема ин“. Той не зависи от езика на текста и влияе и на цифри, и на други малки повторяващи се знаци.
Причината за това са грешките в класификацията на символите в кодиращия JB2. Той „разделя“ сканите на групи от 10–20 и формира за всяка група речник на общите символи. Речникът съдържа образци на общи букви и цифри със страниците и координатите на тяхното появяване. Когато преглеждате DjVu книга, символите от речника се поставят на необходимите места.
Това позволява да се намалят размерите на DjVu файла, обаче, ако визуализацията на две букви изглежда подобно, кодирачът може да ги обърка или да ги приеме за еднакви. Понякога това води до увреждане на формули в технически документи. За решаване на този проблем може да се откажете от алгоритмите за компресия, обаче това ще увеличи размерите на цифровата копие на книгата.
Друг недостатък на формата е, че той не се поддържа по подразбиране в много съвременни операционни системи (включително мобилни). Затова за работа с него трябва да се инсталират външни , като DjVuReader, WinDjView, Evince и др. Въпреки това, тук трябва да се отбележи, че някои електронни читалки (например, ONYX BOOX) поддържат формата DjVu „от кутията“ — тъй като необходимите приложения вече са инсталирани там.
Между прочим, о том, что еще могат приложения за ридери на базата на Android, разказахме в един от предишните .
Ридер
Още един проблем на формата се появява при работа с DjVu-документи на малки екрани на мобилни устройства — смартфони, таблети, ридери. Понякога DjVu файловете са представени под формата на скан на разтвор на книга, а професионалната литература и работните документи често имат формат A4, затова се налага да "движите" изображението в търсене на информация.
Но отбелязваме, че този проблем също може да бъде решен. Най-лесно, разбира се, е да потърсите документ в друг формат — но ако този вариант е невъзможен (например, трябва да работите с голямо количество техническа литература в DjVu), можете да се възползвате от електронни читалки с голям диагонал от 9,7 до 13,3 инча, които са специално "приспособени" за работа с подобни документи.
Например, в линията ONYX BOOX такива устройства са и (между другото, подготвихме преглед на тази модел ридер, и скоро ще го публикуваме в нашия блог), както и , който разполага с E Ink Mobius Carta екран с диагонал 10,3 инча и повишено разрешение. Такива устройства позволяват спокойно да се разгледат всички детайли на илюстрациите в оригинален размер и са подходящи за тези, които често трябва да четат учебна или техническа литература. За преглед на файлове DjVu и PDF NEO Reader, който позволява настройка на контраста и дебелината на оцифрованите шрифтове.
Въпреки недостатъците на формата, до днешен ден DjVu остава един от най-популярните формати за "запазване" на литературни произведения. Основната причина е, че той е отворен, а съвременните технологии и разработки позволяват заобикаляне на някои технологични ограничения.
В следващите материали ще продължим разказа за историята на появата на формати за електронни книги и особеностите на тяхната работа.
P.S. Няколко прегледа на ридери ONYX BOOX:
Източник: habr.com
