Na początku lat 70. amerykański pisarz Michael Hart zdołał nielimitowany dostęp do komputera Xerox Sigma 5, zainstalowanego na Uniwersytecie Illinois. Aby godnie wykorzystać zasoby maszyny, postanowił stworzyć pierwszą książkę elektroniczną, przepisując Deklarację Niepodległości USA.
Dziś literatura cyfrowa zyskała szerokie rozpowszechnienie, w dużej mierze dzięki rozwojowi urządzeń przenośnych (smartfonów, czytników, laptopów). Doprowadziło to do powstania wielu formatów książek elektronicznych. Spróbujmy zrozumieć ich cechy i opowiemy historię najbardziej popularnych z nich — zaczniemy od formatu DjVu.
/ Flickr / /
Powstanie formatu
DjVu został opracowany w 1996 roku przez AT&T Labs z jednym celem — dostarczenie deweloperom internetowym narzędzia do rozpowszechniania obrazów w wysokiej rozdzielczości przez internet.
Faktem jest, że w tamtym czasie 90% wszystkich informacji wciąż na papierze, a wiele ważnych dokumentów miało kolorowe obrazy i fotografie. Aby zachować czytelność tekstu i jakość obrazów, trzeba było robić skany w wysokiej rozdzielczości.
Klasyczne formaty internetowe — JPEG, GIF i PNG — pozwalały na pracę z takimi obrazami, ale kosztem objętości. W przypadku JPEG, aby tekst na ekranie monitora, trzeba było skanować dokument z rozdzielczością 300 dpi. Kolorowa strona magazynu zajmowała około 500 KB. Pobieranie plików o takich rozmiarach z internetu w tamtym czasie było dość czasochłonnym procesem.
Alternatywą było cyfryzowanie papierowych dokumentów za pomocą technologii rozpoznawania tekstu, jednak 20 lat temu ich dokładność dalece odbiegała od idealnej — po przetworzeniu finalny wynik wymagał znacznej ręcznej korekty. Przy tym grafiki i obrazy pozostawały 'na uboczu'. A nawet jeśli udawało się wkomponować zeskanowany obraz w dokument tekstowy, traciły się niektóre szczegóły wizualne, takie jak kolor papieru, jego tekstura, a to ważne komponenty dokumentów historycznych.
Aby rozwiązać te problemy, AT&T opracowało DjVu. Umożliwił on kompresję zeskanowanych kolorowych dokumentów o rozdzielczości 300 dpi do 40–60 KB, przy oryginalnym rozmiarze 25 MB. Rozmiary czarno-białych stron DjVu zmniejszył do 10–30 KB.
Jak DjVu kompresuje dokumenty
DjVu może działać zarówno z zeskanowanymi dokumentami papierowymi, jak i innymi formatami cyfrowymi, takimi jak PDF. Na podstawie działania DjVu technologia, która dzieli obraz na trzy komponenty: pierwszy plan, tło i czarno-białą (bitmapową) maskę.
Maska jest przechowywana w rozdzielczości oryginalnego pliku i obraz tekstu i inne wyraźne detale — cienkie linie i schematy — oraz kontrastowe zdjęcia.
Ma rozdzielczość 300 dpi, aby cienkie linie i kontury liter pozostały wyraźne, a kompresja odbywa się za pomocą algorytmu JB2, który jest wariacją algorytmu JBIG2 zaproponowanego przez AT&T dla pracy z faksami. Cechą JB2 jest to, że poszukuje na stronie powtarzających się znaków i przechowuje ich obraz tylko raz. W ten sposób w wielostronicowych dokumentach co kilka kolejnych stron korzysta się z wspólnego „słownika”.
Tło zawiera teksturę strony i ilustracje, a jego rozdzielczość jest mniejsza niż maski. Tło bez strat w percepcji jest przechowywane w rozdzielczości 100 dpi.
Pierwszy plan informacje o kolorze maski, a jego rozdzielczość jest zazwyczaj jeszcze bardziej obniżona, ponieważ w większości przypadków kolor tekstu jest czarny i jednolity dla jednego znaku drukowanego. Do kompresji pierwszego i drugiego planu używa się .
Ostatnim etapem tworzenia dokumentu DjVu jest kodowanie entropijne, w którym adaptacyjny kodownik arytmetyczny przekształca sekwencje identycznych znaków w wartość binarną.
Zalety formatu
Celem DjVu było „właściwości” dokumentu papierowego w formie cyfrowej, umożliwiając pracę z takimi dokumentami nawet na słabych komputerach. Dlatego oprogramowanie do przeglądania plików DjVu ma możliwość „szybkiego renderowania”. Dzięki temu do pamięci tylko ten fragment strony DjVu, który ma być wyświetlany na ekranie.
Daje to również możliwość przeglądania „niedokończonych” plików, czyli poszczególnych stron wielostronicowego dokumentu DjVu. Przy tym stosuje się progresywną dekompozycję szczegółów obrazu, kiedy komponenty jakby „ujawniają się” w miarę pobierania pliku (jak w JPEG).
20 lat temu, kiedy ten format został wprowadzony, ładowanie strony odbywało się w trzech etapach: najpierw wczytywana była treść tekstowa, po kilku sekundach załadowane były pierwsze wersje obrazów i tła. Dopiero potem cała strona książki 'ujawniała się'.
Obecność trójwarstwowej struktury umożliwia również przeszukiwanie zeskanowanych książek (ponieważ istnieje specjalna warstwa tekstowa). Okazało się to wygodne w pracy z literaturą techniczną i słownikami, dlatego DjVu stał się podstawą dla kilku bibliotek naukowych książek. Na przykład, w 2002 roku został wybrany jako jeden z formatów (obok TIFF i PDF) w projekcie zachowywania zeskanowanych książek z otwartych źródeł.
Wady formatu
Jednak, tak jak wszystkie technologie, DjVu ma swoje minusy. Na przykład, podczas kodowania skanów książek w formacie DjVu niektóre znaki w dokumencie mogą być zamieniane na inne, wizualnie podobne. Najczęściej występuje to z literami 'i' i 'n', co sprawia, że problem ten nazwa 'problem yin'. Nie zależy od języka tekstu i wpływa, między innymi, na cyfry i inne małe powtarzające się znaki.
Jej przyczyna leży w błędach klasyfikacji znaków w kodowaniu JB2. Dzieli on skany na grupy po 10–20 sztuk i dla każdej z grup tworzy słownik wspólnych znaków. Słownik zawiera wzorce wspólnych liter i cyfr z stronami i współrzędnymi ich pojawienia się. Kiedy przeglądasz książkę DjVu, znaki ze słownika są podstawiane w odpowiednich miejscach.
Pozwala to na zmniejszenie rozmiarów pliku DjVu, jednak jeśli wyświetlanie dwóch liter wizualnie się pokrywa, kodek może je albo pomylić, albo uznać za identyczne. Czasami prowadzi to do uszkodzenia wzorów w dokumencie technicznym. Aby rozwiązać ten problem, można zrezygnować z algorytmów kompresji, jednak to zwiększy rozmiary cyfrowej kopii książki.
Inną wadą formatu jest to, że nie jest on domyślnie wspierany w wielu nowoczesnych systemach operacyjnych (w tym mobilnych). Dlatego do pracy z nim należy zainstalować zewnętrzne , takie jak DjVuReader, WinDjView, Evince i inne. Jednak warto zauważyć, że niektóre e-czytniki (na przykład ONYX BOOX) wspierają format DjVu 'od razu' — ponieważ potrzebne aplikacje są tam już zainstalowane.
Zresztą, o tym, co jeszcze mogą aplikacje dla czytników opartych na Androidzie, pisaliśmy w jednym z poprzednich .
Czytnik
Kolejny problem formatu pojawia się podczas pracy z dokumentami DjVu na małych ekranach urządzeń mobilnych — smartfonach, tabletach, czytnikach. Czasami pliki DjVu są przedstawiane w formie skanu otwartej książki, a literatura fachowa oraz dokumenty robocze często mają format A4, dlatego trzeba "przesuwać" obraz w poszukiwaniu informacji.
Należy jednak zauważyć, że ten problem również da się rozwiązać. Najprościej jest oczywiście poszukać dokumentu w innym formacie — ale jeśli taka opcja nie jest możliwa (na przykład, gdy trzeba pracować z dużą ilością literatury technicznej w DjVu), można skorzystać z elektronicznych czytników o dużej przekątnej od 9,7 do 13,3 cala, które zostały specjalnie "zaplanowane" do pracy z takimi dokumentami.
Na przykład, w linii ONYX BOOX takimi urządzeniami są i (zresztą, przygotowaliśmy recenzję tego modelu czytnika i wkrótce opublikujemy ją na naszym blogu), a także , który ma ekran E Ink Mobius Carta o przekątnej 10,3 cala i zwiększonej rozdzielczości. Takie urządzenia pozwalają na swobodne obejrzenie wszystkich szczegółów ilustracji w oryginalnym rozmiarze i będą odpowiednie dla tych, którzy często mają do czynienia z literaturą edukacyjną lub techniczną. Do przeglądania plików DjVu i PDF NEO Reader, który pozwala na dostosowanie kontrastu i grubości cyfrowych czcionek.
Pomimo istniejących wad formatu, obecnie DjVu pozostaje jednym z najpopularniejszych formatów do "przechowywania" dzieł literackich. W dużej mierze wynika to z faktu, że jest otwarty, a niektóre ograniczenia technologiczne tego formatu są dzisiaj możliwe do obejścia dzięki nowoczesnym technologiom i rozwiązaniom.
W następnych materiałach będziemy kontynuować opowieść o historii pojawiania się formatów e-booków i specyfice ich działania.
P.S. Kilka recenzji czytników ONYX BOOX:
Źródło: habr.com
