Bibliotheek Genesis is een echt juweel van internet. De online bibliotheek, die gratis toegang biedt tot ruim 2.7 miljoen boeken, zette deze week een langverwachte stap. Een van de webspiegels van de bibliotheek maakt het nu mogelijk om bestanden te downloaden via IPFS, een gedistribueerd bestandssysteem.
De boekencollectie van Library Genesis wordt dus in IPFS geladen, vastgezet en gekoppeld aan zoeken. En dit betekent dat het nu iets moeilijker is geworden om mensen de toegang tot ons gemeenschappelijk cultureel en wetenschappelijk erfgoed te ontzeggen.
Over LibGen
Aan het begin van de jaren 3 stonden er tientallen collecties wetenschappelijke boeken op het nog steeds ongereguleerde internet. De grootste collecties die ik me kan herinneren - KoLXo2007, mehmat en mirknig - bevatten in XNUMX tienduizenden studieboeken, publicaties en andere belangrijke djvushek en pdf voor studenten.
Net als alle andere bestandsdumps hadden deze collecties te kampen met algemene navigatieproblemen. De Kolchoz-bibliotheek leefde bijvoorbeeld van meer dan twintig dvd's. Het meest gevraagde deel van de bibliotheek werd door de handen van de oudsten verplaatst naar de dossiersfeer van het hostel, en als je iets zeldzaams nodig had, wee je dan! Je hebt tenminste een biertje voor de eigenaar van de schijven.
De collecties waren echter nog steeds tastbaar. En hoewel het zoeken naar de namen van de bestanden zelf vaak mislukte door de creativiteit van de maker van het bestand, kon een handmatige volledige scan het gewenste boek eruit halen na hardnekkig door een tiental pagina's te hebben gescrolld.
In 2008 publiceerde een liefhebber op rutracker.ru (toen torrents.ru) torrents die de bestaande boekencollecties tot één grote stapel combineerden. In dezelfde draad was er iemand die begon met het moeizame werk van het organiseren van de geüploade bestanden en het maken van een webinterface. Zo werd Bibliotheek Genesis geboren.
Al die tijd, van 2008 tot nu, heeft LibGen zijn eigen boekenplanken ontwikkeld en aangevuld met de hulp van de gemeenschap. De metagegevens van het boek zijn bewerkt en vervolgens opgeslagen en als MySQL-dumps onder het publiek verspreid. De altruïstische houding ten opzichte van metadata heeft geleid tot de opkomst van een groot aantal spiegels en een grotere overlevingskansen van het hele project, ondanks de toegenomen fragmentatie.
Een belangrijke mijlpaal in het leven van de bibliotheek was de spiegeling van de Sci-Hub-database, die in 2013 van start ging. Dankzij de samenwerking tussen de twee systemen werd een ongekende dataset op één plek geconcentreerd: wetenschappelijke en fictieboeken, samen met wetenschappelijke publicaties. Ik ga ervan uit dat één dump van de gezamenlijke basis van LibGen en Sci-Hub voldoende zal zijn om de wetenschappelijke en technologische vooruitgang van de beschaving te herstellen voor het geval deze tijdens een catastrofe verloren gaat.
Tegenwoordig is de bibliotheek redelijk stabiel, heeft een webinterface waarmee u door de collectie kunt zoeken en de gevonden bestanden kunt downloaden.
LibGen in IPFS
En hoewel de sociale betekenis van LibGen duidelijk is, zijn de redenen waarom de bibliotheek voortdurend met sluiting wordt bedreigd evenzeer duidelijk. Dit is wat spiegelbeheerders ertoe aanzet om naar nieuwe manieren te zoeken om duurzaamheid te garanderen. Eén van deze manieren was om de collectie op IPFS te publiceren.
IPFS verscheen relatief lang geleden. Er werden hoge verwachtingen gesteld van de technologie toen deze verscheen, en deze waren niet allemaal terecht. Niettemin gaat de ontwikkeling van het netwerk door, en de komst van LibGen daarin kan de instroom van nieuwe krachten vergroten en het netwerk zelf in de kaart spelen.
Om het tot het uiterste te vereenvoudigen, kan IPFS een bestandssysteem worden genoemd dat zich uitstrekt over een onbepaald aantal netwerkknooppunten. Peer-to-peer-netwerkleden kunnen zelf bestanden in de cache opslaan en deze naar anderen distribueren. Bestanden worden niet geadresseerd door paden, maar door een hash van de inhoud van het bestand.
Enige tijd geleden kondigden LibGen-deelnemers IPFS-hashes aan en begonnen ze bestanden te distribueren. Deze week begonnen links naar bestanden in IPFS te verschijnen in de zoekresultaten van sommige LibGen-mirrors. Bovendien is er, dankzij de acties van de activisten van het Internet Archive-team en de berichtgeving over wat er op Reddit gebeurt, nu een toestroom van extra seeders, zowel in IPFS als in de distributie van originele torrents.
Het is nog niet bekend of de IPFS-hashes zelf in de LibGen-databasedumps zullen verschijnen, maar het lijkt erop dat dit te verwachten is. De mogelijkheid om de metadata van de collectie te downloaden samen met IPFS-hashes zal de drempel voor het maken van uw eigen spiegel verlagen, de stabiliteit van de hele bibliotheek vergroten en de droom van de makers van de bibliotheek dichter bij de verwezenlijking brengen.
PS Voor degenen die het project willen helpen, is er een hulpbron gemaakt , instructies voor het live configureren van IPFS.
Bron: www.habr.com