A Biblioteca Genesis é uma verdadeira joia da Internet. A biblioteca online, que oferece acesso gratuito a mais de 2.7 milhões de livros, deu um passo há muito esperado esta semana. Um dos espelhos web da biblioteca agora possibilita o download de arquivos via IPFS, um sistema de arquivos distribuído.
Assim, a coleção de livros da Library Genesis é carregada no IPFS, fixada e vinculada à pesquisa. E isto significa que agora se tornou um pouco mais difícil privar as pessoas do acesso ao nosso património cultural e científico comum.
Sobre LibGen
No início dos anos 3, dezenas de coleções de livros científicos estavam na ainda não regulamentada Internet. As maiores coleções de que me lembro - KoLXo2007, mehmat e mirknig - em XNUMX continham dezenas de milhares de livros didáticos, publicações e outros djvushek e pdf importantes para estudantes.
Como qualquer outro despejo de arquivos, essas coleções sofriam de problemas gerais de navegação. A biblioteca Kolkhoz, por exemplo, vivia com mais de 20 DVDs. A parte mais procurada da biblioteca foi transferida pelas mãos dos mais velhos para o arquivo do albergue, e se você precisava de algo raro, ai de você! Pelo menos você ganhou uma cerveja para o dono dos discos.
No entanto, as coleções ainda eram tangíveis. E embora a busca pelos nomes dos próprios arquivos muitas vezes falhasse na criatividade do criador do arquivo, uma verificação completa manual poderia extrair o livro desejado depois de rolar teimosamente por uma dúzia de páginas.
Em 2008, em rutracker.ru (então torrents.ru), um entusiasta publicou torrents que combinavam as coleções existentes de livros em uma grande pilha. No mesmo tópico, havia uma pessoa que iniciou o árduo trabalho de organização dos arquivos carregados e de criação de uma interface web. Foi assim que nasceu a Biblioteca Genesis.
Durante todo esse tempo, de 2008 até o presente, a LibGen vem desenvolvendo e reabastecendo suas próprias estantes com a ajuda da comunidade. Os metadados do livro foram editados e então salvos e distribuídos como dumps do MySQL para o público. A atitude altruísta em relação aos metadados levou ao surgimento de um grande número de espelhos e aumentou a capacidade de sobrevivência de todo o projeto, apesar do aumento da fragmentação.
Um marco importante na vida da biblioteca foi o espelhamento do banco de dados Sci-Hub, iniciado em 2013. Graças à colaboração dos dois sistemas, um conjunto de dados sem precedentes foi concentrado num só lugar – livros científicos e de ficção, juntamente com publicações científicas. Presumo que um despejo da base conjunta da LibGen e do Sci-Hub será suficiente para restaurar o progresso científico e tecnológico da civilização, caso ele seja perdido durante uma catástrofe.
Hoje, a biblioteca é bastante estável, possui uma interface web que permite pesquisar no acervo e baixar os arquivos encontrados.
LibGen em IPFS
E embora o significado social da LibGen seja óbvio, as razões pelas quais a biblioteca está constantemente sob ameaça de encerramento são igualmente óbvias. Isto é o que leva os mantenedores de espelhos a procurar novas formas de garantir a sustentabilidade. Uma dessas formas foi publicar a coleção no IPFS.
O IPFS apareceu há relativamente muito tempo. Grandes esperanças foram depositadas na tecnologia quando ela apareceu, e nem todas foram justificadas. No entanto, o desenvolvimento da rede continua, e o aparecimento do LibGen nela pode aumentar o influxo de novas forças e fazer o jogo da própria rede.
Simplificando ao limite, o IPFS pode ser chamado de sistema de arquivos estendido por um número indefinido de nós da rede. Os membros da rede ponto a ponto podem armazenar arquivos em cache por conta própria e distribuí-los a outras pessoas. Os arquivos não são endereçados por caminhos, mas por um hash do conteúdo do arquivo.
Há algum tempo, os participantes do LibGen anunciaram hashes IPFS e começaram a distribuir arquivos. Esta semana, links para arquivos em IPFS começaram a aparecer nos resultados de pesquisa de alguns espelhos da LibGen. Além disso, graças às ações dos ativistas da equipe do Internet Archive e à cobertura do que está acontecendo no Reddit, há agora um influxo de seeders adicionais tanto no IPFS quanto na distribuição de torrents originais.
Ainda não se sabe se os próprios hashes IPFS aparecerão nos dumps do banco de dados LibGen, mas parece que isso é esperado. A capacidade de baixar os metadados da coleção junto com hashes IPFS reduzirá o limite de entrada para criar seu próprio espelho, aumentará a estabilidade de toda a biblioteca e tornará o sonho dos criadores da biblioteca mais próximo da realidade.
PS Para quem quiser ajudar o projeto, foi criado um recurso , instruções sobre como configurar o IPFS ao vivo nele.
Fonte: habr.com