Library Genesis — ein wahres Juwel des Internets. Diese Online-Bibliothek bietet freien Zugang zu über 2,7 Millionen Büchern und hat in dieser Woche einen lang ersehnten Schritt gemacht. Eines der Web-Spiegel der Bibliothek ermöglicht jetzt das Herunterladen von Dateien über IPFS — ein verteiltes Dateisystem.
Die Bibliothek Bücherkollektion von Library Genesis wurde also in IPFS hochgeladen, pinning und mit der Suche verbunden. Das bedeutet, dass es jetzt etwas schwieriger ist, den Menschen den Zugang zu unserem gemeinsamen kulturellen und wissenschaftlichen Erbe zu entziehen.
Über LibGen
Anfang der 2000er Jahre, als das Internet noch weitgehend regulierungsfrei war, lagen Dutzende von Sammlungen wissenschaftlicher Bücher zur Verfügung. Die größten Sammlungen, an die ich mich erinnern kann, sind KoLXo3, mehmat und mirknig — sie enthielten bis 2007 Zehntausende von Lehrbüchern, Veröffentlichungen und anderen wichtigen djvu- und pdf-Dateien für Studenten.
Wie bei anderen Filesharing-Seiten litten auch diese Sammlungen unter allgemeinen Navigationsproblemen. Die Bibliothek Kolchos zum Beispiel war auf mehr als 20 DVD-Disketten verteilt. Der gefragteste Teil der Bibliothek wurde von älteren Studenten in den Filesharing-Bereich des Wohnheims gebracht, und wenn man etwas Seltenes brauchte, hatte man Pech! Zumindest musste man etwas Bier für den Besitzer der Disketten bringen.
Dennoch waren die Sammlungen weiterhin greifbar. Obwohl die Suche nach Dateinamen oft an der Kreativität des Dateierstellers scheiterte, konnte man durch manuelles Durchscannen die benötigten Bücher nach hartnäckigem Durchblättern von Dutzenden von Seiten finden.
Im Jahr 2008 wurden auf rutracker.ru (damals torrents.ru) von einem Enthusiasten Torrents veröffentlicht, die bestehende Buchsammlungen zu einem großen Ganzen zusammenfassten. In demselben Thread fand sich eine Person, die akribisch an der Systematisierung der veröffentlichten Dateien und der Erstellung einer Web-Schnittstelle arbeitete. So entstand Library Genesis.
Seit 2008 hat sich LibGen weiterentwickelt und seine eigenen Buchregale durch die Unterstützung der Gemeinschaft ergänzt. Die Metadaten der Bücher wurden bearbeitet und dann in Form von MySQL-Dumps für alle Interessierten gespeichert und verteilt. Die altruistische Haltung zu den Metadaten führte zu einer Vielzahl von Spiegeln und zur Erhöhung der Überlebensfähigkeit des gesamten Projekts, trotz der gestiegenen Fragmentierung.
Ein wichtiger Meilenstein im Leben der Bibliothek war die Spiegelung der Sci-Hub-Datenbank, die 2013 begann. Dank der Zusammenarbeit zweier Systeme befindet sich an einem Ort eine ohnegleichen qualitativ hochwertige Sammlung von Daten – wissenschaftliche und literarische Werke zusammen mit wissenschaftlichen Publikationen. Ich vermute, dass ein einziges Dump der gemeinsamen Datenbank von LibGen und Sci-Hub ausreichen wird, um den wissenschaftlich-technischen Fortschritt der Zivilisation im Falle seines Verlustes durch eine Katastrophe wiederherzustellen.
Heute ist die Bibliothek ziemlich stabil, hat eine Web-Oberfläche, die es ermöglicht, in der Sammlung zu suchen und gefundene Dateien herunterzuladen.
LibGen in IPFS
Und obwohl die soziale Bedeutung von LibGen offensichtlich ist, sind die Gründe, aus denen die Bibliothek ständig von Schließung bedroht ist, ebenso deutlich. Genau das bringt die Maintainer der Spiegel dazu, nach neuen Wegen zu suchen, um die Stabilität zu gewährleisten. Einer dieser Wege war die Veröffentlichung der Sammlung in IPFS.
IPFS gibt es schon seit geraumer Zeit. Zu Beginn der Technologie wurden große Hoffnungen gesetzt, von denen nicht alle erfüllt wurden. Dennoch schreitet die Entwicklung des Netzwerks fort, und die Aufnahme von LibGen darin könnte den Zustrom neuer Kräfte verstärken und dem Netzwerk zugutekommen.
Vereinfacht gesagt, kann IPFS als ein Dateisystem beschrieben werden, das über eine unbestimmte Anzahl von Knoten im Netzwerk gespannt ist. Teilnehmer des Peer-to-Peer-Netzwerks können Dateien lokal zwischenspeichern und sie an andere weitergeben. Die Adressierung von Dateien erfolgt nicht über Pfade, sondern über Hashes des Inhalts der Datei.
Vor einiger Zeit kündigten Teilnehmer von LibGen IPFS-Hashes an und begannen mit dem Teilen von Dateien. In dieser Woche erschienen Links zu Dateien in IPFS in den Suchergebnissen einiger LibGen-Spiegel. Darüber hinaus führt das Engagement von Aktivisten des Internet Archive und die Berichterstattung darüber auf Reddit derzeit zu einem Zustrom zusätzlicher Seeder sowohl in IPFS als auch für die Bereitstellung der originalen Torrents.
Es ist derzeit unklar, ob die IPFS-Hashes selbst in den Dumps der LibGen-Datenbank erscheinen werden, aber es scheint, als wäre das zu erwarten. Die Möglichkeit, die Metadaten der Sammlung zusammen mit den IPFS-Hashes herunterzuladen, wird die Einstiegshürde für die Erstellung eines eigenen Spiegels senken, die Stabilität der gesamten Bibliothek erhöhen und die Verwirklichung des Traums der Bibliotheksersteller näher bringen.
P.S. Für alle, die dem Projekt helfen möchten, wurde eine Ressource erstellt , auf der Anleitungen zur Einrichtung von IPFS bereitgestellt werden.
Quelle: habr.com
