На початку 70-х років американський письменник Майкл Харт (Michael Hart) зумів необмежений доступ до комп'ютера Xerox Sigma 5, встановлений в університеті штату Іллінойс. Щоб гідно використати ресурси машини, він вирішив створити першу електронну книгу, передрукувавши Декларацію незалежності США.
Сьогодні цифрова література набула широкого поширення, завдяки розвитку портативних пристроїв (смартфонів, рідерів, ноутбуків). Це спричинило появу великої кількості форматів електронних книг. Спробуємо розібратися в їхніх особливостях і розповімо історію найпопулярніших з них – почнемо з формату DjVu.
/Flickr/ /
Виникнення формату
DjVu був розроблений в 1996 році компанією AT&T Labs з однією метою - дати веб-розробникам інструмент для розповсюдження зображень високої роздільної здатності через інтернет.
Справа в тому, що на той час 90% всієї інформації все ще на папері, а багато важливих документів мали кольорові зображення та фотографії. Щоб зберегти читання тексту та якість картинок, доводилося робити скани у високій роздільній здатності.
Класичні веб-формати – JPEG, GIF та PNG – дозволяли працювати з такими зображеннями, але ціною обсягу. У випадку JPEG, щоб текст на екрані монітора, доводилося сканувати документ із роздільною здатністю 300 dpi. Кольорова сторінка журналу займала близько 500 Кбайт. Завантаження файлів такого обсягу з інтернету на той час було досить трудомістким процесом.
Альтернативою було оцифрування паперових документів за допомогою технологій розпізнавання тексту, проте 20 років тому їхня точність була далекою від ідеальної — після обробки фінальний результат доводилося серйозно правити вручну. При цьому графіки та зображення залишалися «за бортом». І навіть якщо вдавалося вбудувати відскановану картинку в текстовий документ, губилися деякі візуальні деталі, наприклад колір паперу, її текстура, а це важливі компоненти історичних документів.
З метою вирішення цих проблем AT&T і розробили DjVu. Він дозволив стискати відскановані кольорові документи з роздільною здатністю 300 dpi до 40-60 Кбайт, при розмірі оригіналу 25 Мбайт. Розміри чорно-білих сторінок DjVu зменшили до 10–30 Кбайт.
Як DjVu стискає документи
DjVu може працювати як з паперовими відсканованими документами, так і іншими цифровими форматами, наприклад PDF. В основі роботи DjVu технологія, що розбиває зображення на три компоненти: передній план, задній план та чорно-білу (бітову) маску.
Маска зберігається з роздільною здатністю вихідного файлу та зображення тексту та інші чіткі деталі – тонкі лінії та схеми – а також контрастні картинки.
Вона має дозвіл 300 dpi, щоб тонкі лінії та контури букв залишалися чіткими, і стискується за допомогою алгоритму JB2, який є варіацією алгоритму JBIG2, запропонованого AT&T для роботи факсів. Особливістю JB2 те, що він шукає на сторінці символи, що повторюються, і зберігає їх зображення тільки один раз. Таким чином, у багатосторінкових документах кожні кілька послідовних сторінок користуються спільним «словником».
Задній план містить текстуру сторінки та ілюстрації, а його роздільна здатність менша, ніж у маски. Фон без втрат для сприйняття зберігається з роздільною здатністю 100 dpi.
Передній план колірну інформацію про маску, і його роздільна здатність зазвичай знижується ще сильніше, оскільки в більшості випадків колір тексту чорний і однаковий для одного друкованого знака. Для стиснення переднього та заднього планів використовується .
Заключним етапом створення DjVu-документа стає ентропійне кодування, коли адаптивний арифметичний кодувальник перетворює послідовності однакових символів на бінарне значення.
Переваги формату
Завданням DjVu було «властивості» паперового документа у цифровому вигляді, дозволивши працювати з такими документами навіть слабким комп'ютерам. Тому ПЗ для перегляду DjVu-файлів має можливість «швидкого рендерингу». Завдяки їй на згадку тільки той шматочок DjVu-сторінки, який має відображатися на екрані.
Це також дає можливість переглядати "недокачані" файли, тобто окремі сторінки багатосторінкового DjVu-документа. У цьому використовується прогресивна промальовування деталей зображення, коли компоненти хіба що «виявляються» у міру закачування файлу (як і JPEG).
20 років тому, коли був представлений цей формат, завантаження сторінки відбувалося в три етапи: спочатку вантажилася текстова складова, за кілька секунд підвантажувалися перші версії зображень і фон. Вже після «виявлялася» вся сторінка книги.
Наявність трирівневої структури також дозволяє здійснювати пошук по відсканованих книгах (оскільки є спеціальний текстовий шар). Це виявилося зручно під час роботи з технічною літературою та довідниками, тому DjVu став основою для кількох бібліотек наукових книг. Наприклад, у 2002 році він був обраний як один з форматів (разом з TIFF та PDF) для проекту збереження відсканованих книг з відкритих джерел.
Недоліки формату
Однак, як і всі технології DjVu має свої мінуси. Наприклад, при кодуванні сканів книг у форматі DjVu деякі символи в документі можуть змінюватися на інші, зовні схожі. Найчастіше це відбувається з літерами «і» та «н», через що ця проблема назва "проблема інь". Вона не залежить від мови тексту і впливає, у тому числі, на цифри та інші дрібні знаки, що повторюються.
Її причина — помилки класифікації символів кодувальника JB2. Він «дробить» скани на групи по 10–20 штук і формує для кожної групи словник загальних символів. Словник містить зразки загальних літер та цифр зі сторінками та координатами їх появи. Коли ви переглядаєте книгу DjVu, символи зі словника підставляються в потрібні місця.
Це дозволяє зменшити розміри DjVu-файлу, однак, якщо відображення двох літер візуально схожі, кодувальник може їх переплутати або прийняти за однакові. Іноді це призводить до псування формул у технічному документі. Для вирішення цієї проблеми можна відмовитись від алгоритмів стиснення, однак це збільшить розміри цифрової копії книги.
Іншим недоліком формату є те, що він не підтримується за умовчанням у багатьох сучасних ОС (зокрема мобільних). Тому для роботи з ним потрібно ставити сторонні , такі як DjVuReader, WinDjView, Evince та ін. Однак тут хотілося б відзначити, що деякі електронні читалки (наприклад, ONYX BOOX) підтримує формат DjVu "з коробки" - оскільки необхідні програми там вже встановлені.
До речі, про те, що ще можуть бути програми для рідерів на базі Android, ми розповідали в одному з попередніх .
рідер
Ще одна проблема формату проявляється під час роботи з DjVu-документами на невеликих екранах мобільних пристроїв – смартфонах, планшетах, рідерах. Іноді DjVu-файли представлені у вигляді скана розвороту книги, а професійна література та робочі документи часто мають формат А4, тому доводиться «рухати» зображення у пошуках інформації.
Однак зазначимо, що цю проблему також можна вирішити. Найпростіше, звичайно, пошукати документ в іншому форматі — але якщо такий варіант неможливий (наприклад, вам потрібно працювати з великою кількістю технічної літератури в DjVu), то можна скористатися електронними читалками з великою діагоналлю від 9,7 до 13,3 дюйма спеціально «заточені» під роботу із подібними документами.
Наприклад, у лінійці ONYX BOOX такими пристроями є и (до речі, ми підготували огляд цієї моделі рідера, і незабаром опублікуємо його у нашому блозі), а також , який має екран E Ink Mobius Carta з діагоналлю 10,3 дюйми та підвищеною роздільною здатністю. Такі пристрої дозволяють спокійно розглянути усі деталі ілюстрацій в оригінальному розмірі та підійдуть тим, кому часто доводиться читати навчальну чи технічну літературу. Для перегляду файлів DjVu та PDF NEO Reader, який дає налаштувати контраст та товщину оцифрованих шрифтів.
Незважаючи на недоліки, що є у формату, на сьогоднішній день DjVu залишається одним з найпопулярніших форматів для «збереження» літературних творів. Багато в чому це пов'язано з тим, що він відкритим, а обійти його деякі технологічні обмеження сьогодні дозволяють сучасні технології та розробки.
У наступних матеріалах ми продовжимо розповідь про історію появи форматів електронних книг та особливості їх роботи.
PS Декілька обори рідерів ONYX BOOX:
Джерело: habr.com