Library Genesis – ein wahres Juwel des Internets. Diese Online-Bibliothek bietet freien Zugang zu über 2,7 Millionen Büchern und hat in dieser Woche einen lang ersehnten Schritt gemacht. Eines der Web-Spiegel der Bibliothek ermöglicht es jetzt, Dateien über IPFS – ein verteiltes Dateisystem – herunterzuladen.
Die Buchsammlung von Library Genesis ist nun in IPFS hochgeladen, gesperrt und mit der Suche verbunden. Das bedeutet, dass es jetzt etwas schwieriger ist, den Zugang zu unserem gemeinsamen kulturellen und wissenschaftlichen Erbe zu verwehren.
Über LibGen
Anfänglich gab es in den frühen 2000er Jahren im noch weitgehend unregulierten Internet Dutzende von Sammlungen wissenschaftlicher Bücher. Die größten Sammlungen, an die ich mich erinnern kann – KoLXo3, mehmat und mirknig – enthielten bis 2007 zehntausende Lehrbücher, Publikationen und andere wichtige DJVU- und PDF-Daten für Studierende.
Wie alle anderen Dateisammlungen hatten auch diese Kollektionen mit den allgemeinen Navigationsproblemen zu kämpfen. Die Bibliothek Kolchoz beispielsweise lebte auf über 20 DVD-Discs. Der gefragteste Teil der Bibliothek wurde von älteren Studierenden in die Dateisammlung des Wohnheims umgesiedelt, und wenn man etwas Seltenes brauchte, nun, dann hattest du Pech! Mindestens musstest du für das Bier des Disc-Besitzers bezahlen.
Nichtsdestotrotz waren die Sammlungen immer noch greifbar. Und obwohl die Suche nach den Dateinamen oft an der Kreativität des Erstellers scheiterte, konnte mit einer manuellen Vollscan-Methode das gewünschte Buch nach hartnäckigem Durchsuchen von Dutzenden Seiten gefunden werden.
Im Jahr 2008 wurden auf rutracker.ru (damals torrents.ru) von einem Enthusiasten Torrents veröffentlicht, die bestehende Buchsammlungen in einem großen Paket zusammenstellten. In demselben Thread fand sich eine Person, die akribisch begann, die hochgeladenen Dateien zu systematisieren und eine Weboberfläche zu erstellen. So entstand Library Genesis.
Von 2008 bis heute hat sich LibGen weiterentwickelt und durch die Gemeinschaft eigene Bücherschränke gefüllt. Die Metadaten der Bücher wurden bearbeitet und anschliessend in Form von MySQL-Dumps für alle Interessierten gespeichert und verbreitet. Die altruistische Haltung gegenüber den Metadaten führte zur Entstehung vieler Spiegel und zur Erhöhung der Überlebensfähigkeit des gesamten Projekts, trotz der gestiegenen Fragmentierung.
Ein bedeutender Meilenstein in der Geschichte der Bibliothek war die Spiegelung der Sci-Hub-Datenbank, die 2013 begann. Durch die Zusammenarbeit der beiden Systeme konnte an einem Ort eine nie dagewesene Qualitätsdatenmenge konzentriert werden — wissenschaftliche und belletristische Bücher zusammen mit wissenschaftlichen Publikationen. Ich vermute, dass ein Dump der gemeinsamen LibGen- und Sci-Hub-Datenbank ausreichen wird, um den wissenschaftlich-technischen Fortschritt der Zivilisation im Falle eines Verlusts durch eine Katastrophe wiederherzustellen.
Heute ist die Bibliothek vergleichsweise stabil, mit einer Web-Oberfläche, die das Suchen in der Sammlung und das Herunterladen gefundener Dateien ermöglicht.
LibGen im IPFS
Obwohl die soziale Bedeutung von LibGen offensichtlich ist, sind die Gründe, aus denen die Bibliothek ständig unter dem Risiko der Schließung steht, ebenso klar. Genau das motiviert die Maintainer der Spiegel, nach neuen Wegen zur Sicherung der Stabilität zu suchen. Ein solcher Weg war die Veröffentlichung der Sammlung im IPFS.
IPFS ist schon seit einiger Zeit in der Entwicklung. Als die Technologie eingeführt wurde, lagen große Hoffnungen darauf, nicht alle wurden jedoch erfüllt. Dennoch entwickelt sich das Netzwerk weiter, und das Auftreten von LibGen könnte frische Kräfte anziehen und dem Netzwerk zugutekommen.
Vereinfacht gesagt, kann man IPFS als ein Dateisystem betrachten, das über eine unbestimmte Anzahl von Knoten im Netzwerk gespannt ist. Die Teilnehmer des Peer-to-Peer-Netzwerks können Dateien lokal speichern und sie anderen zur Verfügung stellen. Die Adressierung der Dateien erfolgt nicht über Pfade, sondern über den Hash des Dateiinhalts.
Vor einiger Zeit haben die Teilnehmer von LibGen IPFS-Hashes angekündigt und mit der Verbreitung von Dateien begonnen. Diese Woche erschienen Links zu Dateien in IPFS in den Suchergebnissen einiger LibGen-Spiegel. Darüber hinaus führt das Engagement der Aktivisten des Internet Archive und die Berichterstattung auf Reddit derzeit zu einem Anstieg zusätzlicher Seeder sowohl in IPFS als auch bei der Verbreitung der originalen Torrents.
Es ist derzeit unklar, ob die IPFS-Hashes in den Dumps der LibGen-Datenbank erscheinen werden, aber es scheint, dass wir dies erwarten können. Die Möglichkeit, die Metadaten der Sammlung zusammen mit den IPFS-Hashwerten herunterzuladen, wird die Einstiegshürde zur Erstellung eines eigenen Spiegels senken, die Stabilität der gesamten Bibliothek erhöhen und den Traum der Bibliotheksersteller näherbringen.
P.S. Für Interessierte wurde eine Ressource zur Unterstützung des Projekts eingerichtet , auf der Anleitungen zur Einrichtung von IPFS zu finden sind.
Quelle: habr.com
