No início dos anos 70, o escritor americano Michael Hart conseguiu acesso ilimitado ao computador Xerox Sigma 5, instalado na Universidade do Estado de Illinois. Para aproveitar adequadamente os recursos da máquina, ele decidiu criar o primeiro e-book, reimprimindo a Declaração da Independência dos Estados Unidos.
Hoje, a literatura digital se disseminou amplamente, em grande parte devido ao desenvolvimento de dispositivos portáteis (smartphones, e-readers, laptops). Isso levou ao surgimento de uma grande variedade de formatos de e-books. Vamos explorar suas características e contar a história dos mais populares entre eles – começando com o formato DjVu.
/ Flickr / /
A origem do formato
O DjVu foi desenvolvido em 1996 pela AT&T Labs com um único objetivo — fornecer aos desenvolvedores web uma ferramenta para distribuir imagens em alta resolução pela internet.
É que, na época, 90% de toda a informação ainda em papel, e muitos dos documentos importantes continham imagens coloridas e fotografias. Para manter a legibilidade do texto e a qualidade das imagens, era necessário fazer digitalizações em alta resolução.
Os formatos clássicos da web — JPEG, GIF e PNG — permitiam trabalhar com tais imagens, mas à custa de espaço. No caso do JPEG, para que o texto na tela do computador, era necessário digitalizar o documento com uma resolução de 300 dpi. Uma página colorida de uma revista ocupava cerca de 500 KB. Baixar arquivos desse tamanho da internet era um processo bastante trabalhoso na época.
Uma alternativa era a digitalização de documentos em papel usando tecnologias de reconhecimento de texto; no entanto, há 20 anos, sua precisão estava longe de ser ideal — após o processamento, o resultado final precisava ser seriamente corrigido manualmente. Além disso, gráficos e imagens ficavam "de fora". E mesmo que conseguisse incorporar uma imagem digitalizada em um documento de texto, alguns detalhes visuais se perdiam, como a cor do papel e sua textura, que são componentes importantes de documentos históricos.
Com o objetivo de resolver esses problemas, a AT&T desenvolveu o DjVu. Ele permitiu a compressão de documentos coloridos digitalizados com resolução de 300 dpi para 40–60 KB, com o tamanho original de 25 MB. O tamanho das páginas em preto e branco do DjVu foi reduzido para 10–30 KB.
Como o DjVu comprime documentos
DjVu pode funcionar tanto com documentos escaneados em papel quanto com outros formatos digitais, como PDF. A base do funcionamento do DjVu na tecnologia que divide a imagem em três componentes: primeiro plano, plano de fundo e uma máscara preto e branca (bitmap).
A máscara é mantida com a mesma resolução do arquivo original e a imagem de texto e outros detalhes nítidos — linhas finas e diagramas — bem como imagens contrastantes.
Ela tem uma resolução de 300 dpi para que as linhas finas e os contornos das letras permaneçam nítidos, e é comprimida usando o algoritmo JB2, que é uma variação do algoritmo JBIG2, proposto pela AT&T para o funcionamento de fax. A característica do JB2 é que ele busca na página símbolos repetidos e salva sua imagem apenas uma vez. Assim, em documentos de várias páginas, cada algumas páginas consecutivas compartilham um "dicionário" comum.
O plano de fundo contém a textura da página e as ilustrações, e sua resolução é menor do que a da máscara. O fundo é mantido sem perda de percepção com uma resolução de 100 dpi.
O primeiro plano as informações de cor da máscara, e sua resolução geralmente é ainda mais reduzida, pois na maioria das vezes a cor do texto é preta e igual para cada caractere impresso. A compressão dos primeiros e segundos planos utiliza .
A última etapa na criação de um documento DjVu é a codificação de entropia, onde um codificador aritmético adaptativo transforma sequências de símbolos idênticos em um valor binário.
Vantagens do formato
A tarefa do DjVu era "as propriedades" do documento em papel de forma digital, permitindo o trabalho com esses documentos até em computadores mais fracos. Por isso, o software para visualizar arquivos DjVu possui a capacidade de "renderização rápida". Graças a isso, na memória apenas a parte da página DjVu que deve ser exibida na tela.
Isso também oferece a possibilidade de visualizar arquivos "não totalmente baixados", ou seja, páginas individuais de um documento DjVu de várias páginas. Nesse caso, usa-se o desenrolar progressivo dos detalhes da imagem, onde os componentes são como que "revelados" à medida que o arquivo é baixado (como no JPEG).
Há 20 anos, quando esse formato foi apresentado, o carregamento da página acontecia em três etapas: primeiro, carregava-se a parte de texto, depois, após alguns segundos, as primeiras versões das imagens e do fundo. Somente depois, toda a página do livro "aparecia".
A presença de uma estrutura em três níveis também permite realizar buscas em livros digitalizados (já que há uma camada de texto especial). Isso se mostrou conveniente ao trabalhar com literatura técnica e manuais, tornando o DjVu a base para várias bibliotecas de livros científicos. Por exemplo, em 2002, ele foi escolhido como um dos formatos (junto com TIFF e PDF) para o projeto de preservação de livros digitalizados de fontes abertas.
Desvantagens do formato
No entanto, como toda tecnologia, o DjVu tem suas desvantagens. Por exemplo, ao codificar cópias digitalizadas de livros no formato DjVu, alguns símbolos no documento podem ser substituídos por outros semelhantes à primeira vista. Isso ocorre com mais frequência com as letras "и" e "н", o que resulta nesse problema denominado "problema yin". Ele não depende do idioma do texto e afeta, inclusive, números e outros pequenos sinais repetitivos.
Sua causa são erros de classificação de símbolos no codificador JB2. Ele "divide" as cópias em grupos de 10 a 20 e forma para cada grupo um dicionário de símbolos comuns. O dicionário contém amostras de letras e números comuns com suas páginas e coordenadas de aparecimento. Quando você visualiza um livro DjVu, os símbolos do dicionário são inseridos nos lugares corretos.
Isso permite reduzir o tamanho do arquivo DjVu, no entanto, se a exibição de duas letras parecer visualmente semelhante, o codificador pode confundi-las ou considerá-las idênticas. Às vezes, isso leva à deformação de fórmulas em documentos técnicos. Para resolver esse problema, é possível abrir mão dos algoritmos de compressão, mas isso aumentará o tamanho da cópia digital do livro.
Outra desvantagem do formato é que ele não é suportado por padrão em muitos sistemas operacionais modernos (incluindo móveis). Portanto, para trabalhar com ele, é necessário instalar softwares de terceiros , como DjVuReader, WinDjView, Evince e outros. No entanto, gostaria de destacar que alguns leitores eletrônicos (por exemplo, ONYX BOOX) suportam o formato DjVu "de fábrica" — já que os aplicativos necessários estão pré-instalados.
A propósito, sobre o que mais os aplicativos para leitores com Android podem fazer, falamos em um dos materiais anteriores. .
Leitor
Outro problema do formato aparece ao trabalhar com documentos DjVu em telas pequenas de dispositivos móveis — smartphones, tablets, leitores. Às vezes, os arquivos DjVu são apresentados como uma varredura de uma página do livro, e a literatura profissional e documentos de trabalho frequentemente estão no formato A4, o que exige que você "movimente" a imagem em busca de informações.
No entanto, vale ressaltar que esse problema também pode ser resolvido. A solução mais simples, claro, é procurar o documento em outro formato — mas se essa opção não for viável (por exemplo, se você precisar trabalhar com uma grande quantidade de literatura técnica em DjVu), pode-se usar leitores eletrônicos com telas grandes de 9,7 a 13,3 polegadas, que são projetados especificamente para trabalhar com esses documentos.
Por exemplo, na linha ONYX BOOX, esses dispositivos incluem e (aliás, preparamos uma análise deste modelo de leitor e em breve a publicaremos em nosso blog), assim como , que possui uma tela E Ink Mobius Carta de 10,3 polegadas com resolução aumentada. Esses dispositivos permitem que você veja todos os detalhes das ilustrações em tamanho original e são adequados para quem frequentemente lê literatura acadêmica ou técnica. Para visualizar arquivos DjVu e PDF, NEO Reader, que permite ajustar o contraste e a espessura das fontes digitalizadas.
Apesar das desvantagens do formato, hoje em dia o DjVu continua a ser um dos formatos mais populares para "salvar" obras literárias. Isso se deve, em grande parte, ao fato de que ele é aberto, e contornar algumas limitações tecnológicas do formato é possível graças ao avanço das tecnologias e inovações atuais.
Nos próximos materiais, continuaremos a história dos formatos de livros eletrônicos e as peculiaridades de seu funcionamento.
P.S. Algumas análises dos leitores ONYX BOOX:
Fonte: habr.com
