Library Genesis — un véritable joyau d'Internet. Cette bibliothèque en ligne, offrant un accès libre à plus de 2,7 millions de livres, a fait cette semaine un pas tant attendu. Un de ses miroirs Web permet désormais de télécharger des fichiers via IPFS — un système de fichiers décentralisé.
Ainsi, la collection de livres de Library Genesis a été chargée sur IPFS, épinglée et reliée à la recherche. Cela signifie qu'il est désormais un peu plus difficile de priver les gens d'accès à notre patrimoine culturel et scientifique commun.
À propos de LibGen
Au début des années 2000, sur un Internet encore libre de réglementation, des dizaines de collections de livres scientifiques circulaient. Les plus grandes collections que je me souvienne — KoLXo3, mehmat et mirknig — contenaient en 2007 des dizaines de milliers de manuels, publications et autres importantes djvu et pdf pour les étudiants.
Comme toutes les autres décharges de fichiers, ces collections souffraient de problèmes de navigation. Par exemple, la Bibliothèque Kolkhoz habitait sur 20+ DVD. La partie la plus demandée de la bibliothèque était déplacée par des étudiants dans le partage de fichiers de leur résidence, et si quelque chose de rare était nécessaire, malheur à toi ! Au minimum, tu te retrouvais à payer une bière pour le propriétaire des disques.
Cependant, les collections étaient encore de taille tangible. Bien que la recherche par les noms de fichiers lui-même échouait souvent face à la créativité de l'auteur du fichier, une recherche manuelle en profondeur permettait de retrouver le livre désiré après une ferme exploration d'une dizaine de pages.
En 2008, sur rutracker.ru (à l'époque torrents.ru), un passionné a publié des torrents qui regroupaient les collections de livres existantes en un seul gros paquet. Dans ce même fil, une personne a commencé un travail minutieux pour systématiser les fichiers publiés et créer une interface Web. C'est ainsi que Library Genesis est né.
Depuis 2008 et jusqu'à aujourd'hui, LibGen a évolué et complété ses étagères de livres grâce à la communauté. Les métadonnées des livres ont été éditées, puis sauvegardées et diffusées sous forme de dumps MySQL pour tous ceux qui le désiraient. L'attitude altruiste envers les métadonnées a conduit à la création de nombreux miroirs et à l'amélioration de la survie de l'ensemble du projet, malgré l'augmentation de la fragmentation.
Un jalon important dans la vie de la bibliothèque a été le miroir de la base de données Sci-Hub, lancé en 2013. Grâce à la collaboration de deux systèmes, un ensemble de données d'une qualité sans précédent a été concentré en un seul endroit - des livres scientifiques et artistiques avec des publications scientifiques. J'ai l'intuition qu'un seul dump de la base commune de LibGen et Sci-Hub suffira à restaurer le progrès scientifique et technique de la civilisation en cas de perte lors d'une catastrophe.
Aujourd'hui, la bibliothèque tient assez bien la route, avec une interface web permettant de rechercher dans la collection et de télécharger les fichiers trouvés.
LibGen sur IPFS
Et bien que l'importance sociale de LibGen soit évidente, les raisons pour lesquelles la bibliothèque est constamment menacée de fermeture le sont tout autant. C'est précisément cela qui pousse les mainteneurs des miroirs à rechercher de nouvelles voies pour assurer la durabilité. L'une de ces voies a été la publication de la collection sur IPFS.
IPFS existe depuis relativement longtemps. De grands espoirs avaient été placés dans la technologie lors de son apparition, mais tous ne se sont pas réalisés. Néanmoins, le développement du réseau se poursuit, et son accueil de LibGen pourrait renforcer l'afflux de nouvelles forces et servir les intérêts du réseau lui-même.
En simplifiant à l'extrême, on peut considérer IPFS comme un système de fichiers tendu sur un nombre indéfini de nœuds du réseau. Les participants au réseau pair-à-pair peuvent mettre en cache des fichiers chez eux et les partager avec leur entourage. L'adressage des fichiers ne se fait pas par chemins, mais par hachage du contenu du fichier.
Il y a quelque temps, les participants de LibGen ont annoncé des hachages IPFS et ont commencé à partager des fichiers. Cette semaine, des liens vers des fichiers sur IPFS ont commencé à apparaître dans les résultats de recherche de certains miroirs de LibGen. De plus, grâce aux actions des activistes de l'équipe Internet Archive et à la couverture de l'événement sur reddit, un flux supplémentaire de seeders, tant sur IPFS que pour le partage de torrents originaux, est actuellement en cours.
Il est encore incertain si les hachages IPFS apparaîtront dans les dumps de la base LibGen, mais il semble que cela soit à prévoir. La possibilité de télécharger les métadonnées de la collection avec des hachages IPFS abaissera le seuil d'entrée pour créer son propre miroir, augmentera la stabilité de toute la bibliothèque et rapprochera la réalisation du rêve des créateurs de la bibliothèque.
P.S. Pour ceux qui souhaitent aider le projet, une ressource a été créée , où se trouvent des instructions sur la façon de configurer IPFS.
Source : habr.com
