Library Genesis is een waar pareltje van het internet. De online bibliotheek, die gratis toegang biedt tot meer dan 2.7 miljoen boeken, heeft deze week een langverwachte stap gezet. Via één van de webmirrors van de bibliotheek kunt u nu bestanden downloaden via IPFS, een gedistribueerd bestandssysteem.
De bibliotheek Genesis-boekencollectie wordt dus in IPFS geladen, vastgezet en verbonden met de zoekfunctie. Dat betekent dat het nu iets moeilijker is om mensen de toegang tot ons gemeenschappelijk cultureel en wetenschappelijk erfgoed te ontzeggen.
Over LibGen
Begin jaren 3 waren er tientallen verzamelingen wetenschappelijke boeken beschikbaar op het nog ongereguleerde internet. De grootste collecties die ik me kan herinneren - KoLXo2007, mehmat en mirknig - bevatten in XNUMX tienduizenden studieboeken, publicaties en andere belangrijke djvu's en pdf's voor studenten.
Net als alle andere bestandsdumps hadden deze verzamelingen last van veelvoorkomende navigatieproblemen. De Kolchozbibliotheek bestond bijvoorbeeld uit meer dan 20 dvd's. Het populairste gedeelte van de bibliotheek werd door de senioren verplaatst naar de archiefruimte van de slaapzaal. Als er dan iets zeldzaams nodig was, was dat jammer voor je! Je hebt in ieder geval nog een biertje voor de eigenaar van de schijven.
De collecties waren echter nog steeds van tastbare omvang. En hoewel het zoeken op bestandsnamen vaak mislukte vanwege de creativiteit van de maker van het bestand, kon met een handmatige volledige scan het gewenste boek eruit worden gehaald, zelfs nadat er herhaaldelijk door een dozijn pagina's was gescrold.
In 2008 publiceerde een enthousiasteling torrents op rutracker.ru (toen nog torrents.ru), waarmee hij bestaande boekencollecties in één grote stapel verzamelde. In dezelfde thread werd een persoon gevonden die begon met het minutieuze werk van het systematiseren van de geplaatste bestanden en het creëren van een webinterface. Zo ontstond Library Genesis.
Gedurende al die tijd, van 2008 tot nu, heeft LibGen zijn eigen boekenplanken ontwikkeld en gevuld met de inspanningen van de gemeenschap. De metadata van het boek werden bewerkt en vervolgens opgeslagen en verspreid als MySQL-dumps, zodat iedereen ze kon gebruiken. De altruïstische houding ten opzichte van metadata heeft geresulteerd in een groot aantal mirrors en een grotere overlevingskans van het gehele project, ondanks de toegenomen fragmentatie.
Een belangrijke mijlpaal in het leven van de bibliotheek was de mirroring van de Sci-Hub-database, die in 2013 begon. Dankzij de samenwerking van de twee systemen werd een ongekend hoogwaardige dataset op één plek geconcentreerd - wetenschappelijke en fictieboeken samen met wetenschappelijke publicaties. Ik vermoed dat één dump van de gezamenlijke LibGen- en Sci-Hub-database voldoende zal zijn om de wetenschappelijke en technologische vooruitgang van een beschaving te herstellen, mocht deze tijdens een ramp ten onder gaan.
Tegenwoordig is de bibliotheek vrij stabiel en beschikt over een webinterface waarmee u de collectie kunt doorzoeken en gevonden bestanden kunt downloaden.
LibGen in IPFS
En hoewel het maatschappelijke belang van LibGen duidelijk is, zijn er ook redenen waarom de bibliotheek voortdurend met sluiting wordt bedreigd. Dit is de reden waarom spiegelbeheerders op zoek gaan naar nieuwe manieren om de stabiliteit te waarborgen. Eén van deze manieren was het publiceren van de collectie in IPFS.
IPFS bestaat al relatief lang. Toen deze technologie voor het eerst op de markt kwam, waren de verwachtingen hooggespannen, maar niet alle verwachtingen zijn uitgekomen. Het netwerk blijft zich echter ontwikkelen en de komst van LibGen zou de instroom van nieuwe krachten kunnen vergroten en daarmee het netwerk zelf in de kaart kunnen spelen.
Om het heel simpel te stellen: IPFS kan worden omschreven als een bestandssysteem dat zich uitstrekt over een onbeperkt aantal netwerkknooppunten. Deelnemers aan peer-to-peernetwerken kunnen zelf bestanden cachen en deze naar anderen distribueren. Bestanden worden niet geadresseerd via paden, maar via een hash van de bestandsinhoud.
Een tijdje geleden kondigden LibGen-deelnemers IPFS-hashes aan en begonnen ze met het verspreiden van bestanden. Deze week verschenen er links naar IPFS-bestanden in de zoekresultaten voor sommige LibGen-mirrors. Dankzij de acties van activisten van het Internet Archive-team en de berichtgeving over wat er op Reddit gebeurt, is er nu een toestroom van extra seeders, zowel in IPFS als in de distributie van originele torrents.
Het is nog niet bekend of de IPFS-hashes zelf in de LibGen-databasedumps zullen verschijnen, maar het lijkt erop dat dit wel te verwachten is. De mogelijkheid om metadata van collecties te downloaden samen met IPFS-hashes verlaagt de drempel om uw eigen mirror te maken, verhoogt de stabiliteit van de gehele bibliotheek en brengt de droom van de makers van de bibliotheek dichter bij de realiteit.
P.S. Er is een bron gecreëerd voor degenen die het project willen helpen. , bevat instructies over het instellen van IPFS.
Bron: www.habr.com
