Library Genesis — um verdadeiro diamante da Internet. A biblioteca online, que oferece acesso livre a mais de 2,7 milhões de livros, deu um passo aguardado esta semana. Um dos espelhos da biblioteca agora permite baixar arquivos através do IPFS — um sistema de arquivos descentralizado.
Assim, a coleção de livros do Library Genesis foi carregada no IPFS, pinada e conectada à busca. Isso significa que agora se tornou um pouco mais difícil privar as pessoas do acesso ao nosso patrimônio cultural e científico compartilhado.
Sobre LibGen
No início dos anos 2000, na internet ainda livre de regulamentação, dezenas de coleções de livros científicos estavam disponíveis. As maiores coleções que consigo lembrar — KoLXo3, mehmat e mirknig — continham, até 2007, dezenas de milhares de livros didáticos, publicações e outros importantes arquivos em djvu e pdf para estudantes.
Como em qualquer outro repositório de arquivos, essas coleções enfrentavam problemas comuns de navegação. A Biblioteca Kolkhoz, por exemplo, ocupava mais de 20 DVDs. A parte mais procurada da biblioteca era frequentemente transferida para a rede compartilhada do dormitório por estudantes mais velhos, e se alguém precisasse de algo raro, bem, era um problema! No mínimo, você acabava tendo que comprar uma cerveja para o proprietário dos discos.
No entanto, as coleções ainda eram de tamanhos consideráveis. E embora a busca por nomes de arquivos muitas vezes esbarrasse na criatividade do criador do arquivo, com uma busca manual era possível encontrar o livro desejado após rolar por várias páginas.
Em 2008, no rutracker.ru (na época torrents.ru), um entusiasta publicou torrents que compilaram as coleções de livros existentes em um grande conjunto. Nesse mesmo tópico, alguém começou o trabalhoso processo de sistematização dos arquivos disponibilizados e a criação de uma interface web. Assim, surgiu o Library Genesis.
Desde 2008 até o momento atual, o LibGen tem se desenvolvido e enriquecido suas estantes com o esforço da comunidade. Os metadados dos livros foram editados, salvos e distribuídos na forma de dumps MySQL para todos os interessados. A abordagem altruísta em relação aos metadados levou ao surgimento de muitos espelhos e à melhoria da sobrevivência do projeto, apesar do aumento da fragmentação.
Um marco importante na vida da biblioteca foi a replicação da base de dados Sci-Hub, que começou em 2013. Graças à colaboração de dois sistemas, uma coleção de dados de qualidade sem precedentes foi concentrada em um só lugar — livros científicos e de arte, juntamente com publicações científicas. Tenho a impressão de que um único dump da base conjunta LibGen e Sci-Hub será suficiente para restaurar o progresso científico e tecnológico da civilização em caso de perda durante uma catástrofe.
Hoje, a biblioteca se mantém bastante estável, possui uma interface web que permite buscar na coleção e baixar os arquivos encontrados.
LibGen no IPFS
E embora a importância social do LibGen seja óbvia, as razões pelas quais a biblioteca está constantemente sob ameaça de fechamento também são claras. Isso leva os mantenedores dos espelhos a buscarem novas maneiras de garantir a estabilidade. Um desses caminhos foi a publicação da coleção no IPFS.
O IPFS surgiu relativamente há algum tempo. A tecnologia foi inicialmente cercada de grandes expectativas, e nem todas elas se concretizaram. No entanto, o desenvolvimento da rede continua, e a inclusão do LibGen pode aumentar o influxo de novas forças e beneficiar a própria rede.
Simplificando ao máximo, o IPFS pode ser chamado de um sistema de arquivos estendido por um número indeterminado de nós da rede. Os participantes da rede peer-to-peer podem armazenar arquivos em cache e distribuí-los para os demais. A endereçamento de arquivos não acontece por caminhos, mas sim pelo hash do conteúdo do arquivo.
Há algum tempo, participantes do LibGen anunciaram hashes IPFS e começaram a distribuir arquivos. Esta semana, links para arquivos no IPFS começaram a aparecer nos resultados de busca de alguns espelhos do LibGen. Além disso, graças às ações de ativistas da equipe do Internet Archive e à cobertura do que está acontecendo no reddit, está havendo um influxo de seeders tanto no IPFS quanto na distribuição de torrents originais.
Ainda não se sabe se os próprios hashes IPFS aparecerão nos dumps da base LibGen, mas parece que isso deve ser esperado. A capacidade de baixar os metadados da coleção junto com os hashes IPFS reduzirá a barreira de entrada para criar seu próprio espelho, aumentará a estabilidade de toda a biblioteca e se aproximará da realização do sonho dos criadores da biblioteca.
P.S. Para quem deseja ajudar o projeto, um recurso foi criado , onde estão as instruções de como configurar o IPFS.
Fonte: habr.com
