Library Genesis ā een ware diamant van het internet. Deze online bibliotheek biedt gratis toegang tot meer dan 2,7 miljoen boeken en heeft deze week een langverwachte stap gezet. Een van de webspiegels van de bibliotheek stelt nu in staat om bestanden via IPFS ā een gedistribueerd bestandssysteem te downloaden.
De boekencollectie van Library Genesis is dus geĆ¼pload naar IPFS, vastgelegd en verbonden met de zoekfunctie. Dit betekent dat het nu iets moeilijker is geworden om mensen de toegang tot ons gemeenschappelijk culturele en wetenschappelijke erfgoed te ontzeggen.
Over LibGen
Aan het begin van de jaren 2000 lagen er tientallen verzamellingen van wetenschappelijke boeken op het nog ongecontroleerde internet. De grootste collecties die ik me kan herinneren ā KoLXo3, mehmat en mirknig ā bevatten tegen 2007 tientallen duizenden leerboeken, publicaties en andere belangrijke djvu's en pdf's voor studenten.
Net als andere bestanddumpplaatsen hadden deze collecties te kampen met algemene navigatieproblemen. De Kolchoz-bibliotheek, bijvoorbeeld, bestond uit meer dan 20 dvd's. Het meest gevraagde gedeelte van de bibliotheek werd door oudere studenten naar een bestandenserver in het studentenhuis verplaatst, en als je iets zeldzaams nodig had, dan had je pech! Ten minste moest je betalen voor het bier van de eigenaar van de schijf.
Toch waren de collecties nog steeds van tastbare omvang. En hoewel het zoeken op bestandsnamen vaak vastliep door de creativiteit van de bestandmaker, was het met een handmatige full-scan mogelijk om het gewenste boek te vinden na hard scrollen door tientallen pagina's.
In 2008 werden op rutracker.ru (toen torrents.ru) torrents gepubliceerd door een enthousiasteling die bestaande boekencollecties samenvoegde tot Ć©Ć©n grote hoop. In dezelfde thread vond iemand de tijd om de geĆ¼ploade bestanden systematisch te ordenen en een webinterface te creĆ«ren. Zo ontstond Library Genesis.
Gedurende deze tijd, van 2008 tot nu, heeft LibGen zich ontwikkeld en zijn eigen boekenplanken gevuld dankzij de inzet van de gemeenschap. De metadata van boeken werd bewerkt, opgeslagen en vervolgens verspreid in de vorm van MySQL-dumps voor iedereen die dat wilde. Deze altruĆÆstische benadering van metadata leidde tot de creatie van een groot aantal spiegels en een verhoogde overlevingskans van het project, ondanks de toenemende fragmentatie.
Een belangrijke mijlpaal in het leven van de bibliotheek was de mirror van de Sci-Hub-database, die in 2013 begon. Dankzij de samenwerking van de twee systemen is er op Ć©Ć©n plek een ongekend kwalitatieve dataset geconcentreerd ā wetenschappelijke en literaire boeken samen met wetenschappelijke publicaties. Ik heb de veronderstelling dat Ć©Ć©n dump van de gezamenlijke database LibGen en Sci-Hub voldoende zal zijn om de wetenschappelijk-technische vooruitgang van de beschaving te herstellen in het geval van verlies tijdens een catastrofe.
Vandaag de dag houdt de bibliotheek zich behoorlijk goed staande, met een webinterface die het zoeken in de collectie en het downloaden van gevonden bestanden mogelijk maakt.
LibGen in IPFS
En hoewel de sociale betekenis van LibGen duidelijk is, zijn de redenen waarom de bibliotheek constant bedreigd wordt met sluiting ook even duidelijk. Dit heeft de maintainers van de mirrors aangespoord om nieuwe wegen te zoeken voor duurzaamheid. Een van deze wegen is het publiceren van de collectie op IPFS.
IPFS is relatief recent ontstaan. Bij de introductie van de technologie waren er hoge verwachtingen, niet al die verwachtingen zijn echter waargemaakt. Desondanks gaat de ontwikkeling van het netwerk door en de komst van LibGen hierin kan de instroom van nieuwe krachten versterken en ten goede komen aan het netwerk zelf.
Om het eenvoudig te stellen, kan IPFS worden beschouwd als een bestandssysteem dat over een onbeperkt aantal knopen in het netwerk is gespannen. De deelnemers van het peer-to-peer netwerk kunnen bestanden in hun cache opslaan en deze delen met anderen. De adressatie van bestanden gebeurt niet via paden, maar op basis van de hash van de inhoud van het bestand.
Een tijd geleden hebben deelnemers van LibGen IPFS-hashes aangekondigd en zijn ze begonnen met het delen van bestanden. Deze week zijn links naar bestanden in IPFS begonnen te verschijnen in de zoekresultaten van sommige mirrors van LibGen. Bovendien, dankzij de acties van activisten van het Internet Archive-team en de aandacht die dit op reddit krijgt, is er nu een toestroom van extra seeders, zowel in IPFS als voor het delen van de originele torrents.
Het is nog onbekend of de IPFS-hashes zelf in de dumps van de LibGen-database zullen verschijnen, maar het lijkt erop dat dit te verwachten valt. De mogelijkheid om metadata van de collectie samen met de IPFS-hashes te downloaden zal de instapdrempel voor het creƫren van een eigen mirror verlagen, de stabiliteit van de hele bibliotheek vergroten en de dromen van de oprichters van de bibliotheek dichterbij brengen.
P.S. Voor degenen die het project willen helpen, is er een bron gemaakt , waar de instructies staan voor het instellen van IPFS.
Bron: habr.com
