Library Genesis est un véritable joyau d'Internet. La bibliothèque en ligne, qui offre un accès gratuit à plus de 2.7 millions de livres, a franchi cette semaine une étape très attendue. L'un des miroirs Web de la bibliothèque permet désormais de télécharger des fichiers via IPFS, un système de fichiers distribué.
Ainsi, la collection de livres Library Genesis est chargée dans IPFS, épinglée et liée à la recherche. Cela signifie qu’il est désormais un peu plus difficile de priver les gens de l’accès à notre patrimoine culturel et scientifique commun.
À propos de LibGen
Au début des années 3, des dizaines de collections d’ouvrages scientifiques circulaient sur Internet, encore non réglementé. Les plus grandes collections dont je me souvienne - KoLXo2007, mehmat et mirknig - contenaient en XNUMX des dizaines de milliers de manuels, publications et autres djvushek et pdf importants pour les étudiants.
Comme tout autre fichier dump, ces collections souffraient de problèmes généraux de navigation. La bibliothèque Kolkhozienne, par exemple, vivait de plus de 20 DVD. La partie la plus demandée de la bibliothèque a été déplacée par les mains des anciens vers la sphère d'archives de l'auberge, et si vous aviez besoin de quelque chose de rare, alors malheur à vous ! Au moins tu as une bière pour le propriétaire des disques.
Cependant, les collections étaient toujours tangibles. Et bien que la recherche des noms des fichiers eux-mêmes repose souvent sur la créativité du créateur du fichier, une analyse complète manuelle pouvait extraire le livre souhaité après avoir obstinément parcouru une douzaine de pages.
En 2008, sur rutracker.ru (puis torrents.ru), un passionné a publié des torrents qui combinaient les collections de livres existantes en une seule grosse pile. Dans le même fil de discussion, il y avait une personne qui a commencé le travail minutieux d’organisation des fichiers téléchargés et de création d’une interface Web. C’est ainsi qu’est née Library Genesis.
Depuis 2008 jusqu'à aujourd'hui, LibGen a développé et réapprovisionné ses propres bibliothèques avec l'aide de la communauté. Les métadonnées du livre ont été éditées puis enregistrées et distribuées sous forme de dumps MySQL au public. L'attitude altruiste envers les métadonnées a conduit à l'émergence d'un grand nombre de miroirs et a augmenté la capacité de survie de l'ensemble du projet, malgré une fragmentation accrue.
Une étape importante dans la vie de la bibliothèque a été la mise en miroir de la base de données Sci-Hub, qui a débuté en 2013. Grâce à la collaboration des deux systèmes, un ensemble de données sans précédent a été concentré en un seul endroit : des livres scientifiques et de fiction, ainsi que des publications scientifiques. Je suppose qu'un seul dépotoir de la base commune de LibGen et Sci-Hub suffira à restaurer le progrès scientifique et technologique de la civilisation au cas où il serait perdu lors d'une catastrophe.
Aujourd'hui, la bibliothèque est assez stable à flot, dispose d'une interface Web qui vous permet de rechercher dans la collection et de télécharger les fichiers trouvés.
LibGen dans IPFS
Et même si l’importance sociale de LibGen est évidente, les raisons pour lesquelles la bibliothèque est constamment menacée de fermeture sont tout aussi évidentes. C’est ce qui pousse les responsables de la maintenance des miroirs à rechercher de nouvelles façons d’assurer la durabilité. L'une de ces méthodes consistait à publier la collection sur IPFS.
IPFS est apparu il y a relativement longtemps. De grands espoirs ont été placés dans cette technologie lorsqu’elle est apparue, et tous n’ont pas été justifiés. Néanmoins, le développement du réseau se poursuit et l’apparition de LibGen peut accroître l’afflux de nouvelles forces et faire le jeu du réseau lui-même.
En simplifiant à l'extrême, IPFS peut être appelé un système de fichiers étendu sur un nombre indéfini de nœuds de réseau. Les membres du réseau peer-to-peer peuvent mettre eux-mêmes en cache des fichiers et les distribuer à d'autres. Les fichiers ne sont pas adressés par des chemins, mais par un hachage du contenu du fichier.
Il y a quelque temps, les participants de LibGen ont annoncé les hachages IPFS et ont commencé à distribuer des fichiers. Cette semaine, des liens vers des fichiers IPFS ont commencé à apparaître dans les résultats de recherche de certains miroirs LibGen. De plus, grâce aux actions des militants de l'équipe Internet Archive et à la couverture de ce qui se passe sur Reddit, il y a désormais un afflux de seeders supplémentaires tant dans IPFS que dans la distribution de torrents originaux.
On ne sait pas encore si les hachages IPFS eux-mêmes apparaîtront dans les sauvegardes de la base de données LibGen, mais il semble que cela soit prévisible. La possibilité de télécharger les métadonnées de la collection avec les hachages IPFS abaissera le seuil d'entrée pour créer votre propre miroir, augmentera la stabilité de l'ensemble de la bibliothèque et rapprochera le rêve des créateurs de la bibliothèque de sa réalisation.
PS Pour ceux qui veulent aider le projet, une ressource a été créée , des instructions sur la façon de configurer IPFS en direct dessus.
Source: habr.com