Library Genesis är en riktig juvel av Internet. Nätbiblioteket, som ger gratis tillgång till mer än 2.7 miljoner böcker, tog ett efterlängtat steg denna vecka. En av bibliotekets webbspeglar gör det nu möjligt att ladda ner filer via IPFS, ett distribuerat filsystem.
Så, Library Genesis-boksamlingen laddas in i IPFS, fästs och länkas till sökning. Och det gör att det nu har blivit lite svårare att beröva människor tillgången till vårt gemensamma kulturella och vetenskapliga arv.
Om LibGen
I början av 3-talet låg dussintals samlingar av vetenskapliga böcker på det fortfarande oreglerade internet. De största samlingarna jag kan minnas - KoLXo2007, mehmat och mirknig - innehöll XNUMX tiotusentals läroböcker, publikationer och andra viktiga djvushek och pdf för studenter.
Liksom alla andra fildumpar led dessa samlingar av allmänna navigeringsproblem. Kolkhoz-biblioteket levde till exempel på över 20 DVD-skivor. Den mest efterfrågade delen av biblioteket flyttades av de äldres händer till vandrarhemmets filsfär, och om du behövde något sällsynt, så ve dig! Du fick i alla fall en öl till ägaren av skivorna.
Samlingarna var dock fortfarande påtagliga. Och även om sökningen efter namnen på själva filerna ofta bröt samman på kreativiteten hos skaparen av filen, kunde en manuell fullskanning dra ut den önskade boken efter att envist bläddra igenom ett dussin sidor.
År 2008, på rutracker.ru (då torrents.ru), publicerade en entusiast torrents som kombinerade de befintliga samlingarna av böcker i en stor hög. I samma tråd fanns en person som började det mödosamma arbetet med att organisera de uppladdade filerna och skapa ett webbgränssnitt. Så här föddes Library Genesis.
Hela denna tid från 2008 till nu har LibGen utvecklat och fyllt på sina egna bokhyllor med hjälp av communityn. Bokens metadata redigerades och sparades sedan och distribuerades som MySQL-dumpar till allmänheten. Den altruistiska inställningen till metadata har lett till uppkomsten av ett stort antal speglar och ökad överlevnadsförmåga för hela projektet, trots ökad fragmentering.
En viktig milstolpe i bibliotekets liv var speglingen av Sci-Hub-databasen, som startade 2013. Tack vare samarbetet mellan de två systemen koncentrerades en aldrig tidigare skådad datamängd på ett ställe - vetenskapliga och skönlitterära böcker, tillsammans med vetenskapliga publikationer. Jag har ett antagande om att en dumpning av LibGens och Sci-Hubs gemensamma bas kommer att räcka för att återställa civilisationens vetenskapliga och tekniska framsteg om den skulle gå förlorad under en katastrof.
Idag är biblioteket ganska stabilt flytande, har ett webbgränssnitt som låter dig söka igenom samlingen och ladda ner de hittade filerna.
LibGen i IPFS
Och även om LibGens sociala betydelse är uppenbar, är orsakerna till att biblioteket ständigt hotas av nedläggning lika uppenbara. Det är detta som driver spegelunderhållare att leta efter nya sätt att säkerställa hållbarhet. Ett av dessa sätt var att publicera samlingen till IPFS.
IPFS dök upp för relativt länge sedan. Stora förhoppningar sattes på tekniken när den dök upp, och alla var inte berättigade. Ändå fortsätter utvecklingen av nätverket, och utseendet av LibGen i det kan öka tillströmningen av nya krafter och spela i händerna på själva nätverket.
Förenklat till gränsen kan IPFS kallas ett filsystem som sträcker sig över ett obestämt antal nätverksnoder. Medlemmar av ett peer-to-peer-nätverk kan cache filer på egen hand och distribuera dem till andra. Filer adresseras inte av sökvägar, utan av en hash från innehållet i filen.
För en tid sedan tillkännagav LibGen-deltagare IPFS-hashar och började distribuera filer. Den här veckan började länkar till filer i IPFS dyka upp i sökresultaten för vissa LibGen-speglar. Dessutom, tack vare agerandet av aktivisterna i Internet Archive-teamet och täckningen av vad som händer på reddit, finns det nu ett tillflöde av ytterligare seeders både i IPFS och i distributionen av original torrents.
Det är ännu inte känt om själva IPFS-hasharna kommer att dyka upp i LibGen-databasdumparna, men det verkar som att detta är att vänta. Möjligheten att ladda ner samlingens metadata tillsammans med IPFS-haschar kommer att sänka ingångströskeln för att skapa din egen spegel, öka stabiliteten för hela biblioteket och föra drömmen om bibliotekets skapare närmare förverkligande.
PS För de som vill hjälpa projektet har en resurs skapats , instruktioner om hur du konfigurerar IPFS live på den.
Källa: will.com