Det största fria elektroniska biblioteket går ut i det interplanetära rummet.

Library Genesis — en riktig juvel på Internet. Det är ett online-bibliotek som erbjuder fri tillgång till mer än 2,7 miljoner böcker, och denna vecka har det gjort ett efterlängtat steg. Ett av webbens speglar av biblioteket tillåter nu nedladdning av filer via IPFS — ett distribuerat filsystem.

Så, Library Genesis samling av böcker har laddats upp till IPFS, låsts och kopplats till sökning. Det betyder att det nu är lite svårare att beröva människor tillgång till vårt gemensamma kulturella och vetenskapliga arv.

Om LibGen

I början av 2000-talet, när Internet fortfarande var fritt från reglering, fanns det dussintals samlingar av vetenskapliga böcker. Bland de största samlingarna som jag kan komma ihåg var KoLXo3, mehmat och mirknig, som innehöll tiotusentals läroböcker, publikationer och andra viktiga djvu- och pdf-dokument för studenter fram till 2007.

Precis som med andra filsamlingar led dessa samlingar av allmänna problem med navigering. Biblioteket Kolhoz, till exempel, fanns på över 20 DVD-skivor. Den mest populära delen av biblioteket överfördes av äldre studenter till fildelning i studentkorridoren, och om man behövde något sällsynt, var det ofta jobbigt! Minst sagt fick man bjuda på öl för ägaren av skivorna.

Ändå var samlingarna fortfarande av påtaglig storlek. Och även om sökning efter filnamn ofta blockerades av filens skapare, kunde man efter ihärdigt bläddrande igenom ett tiotal sidor hitta den bok man behövde.

År 2008 publicerade en entusiast torrents på rutracker.ru (då torrents.ru), som sammanställde de existerande böckerna till en stor hög. I samma tråd fanns det en person som började det mödosamma arbetet med att systematisera de uppladdade filerna och skapa ett webbgränssnitt. Så föddes Library Genesis.

Hela tiden från 2008 till nu har LibGen utvecklats och fyllts på med böcker av gemenskapens ansträngningar. Metadata för böckerna har redigerats och därefter sparats och spridits i form av MySQL-dumpar för alla intresserade. Den altruistiska inställningen till metadata har lett till att det har skapats ett stort antal speglar och ökat överlevnaden för hela projektet, trots ökad fragmentering.

En viktig milstolpe i bibliotekets historia var speglingsprocessen av Sci-Hubs databas, som startade 2013. Tack vare samarbetet mellan de två systemen finns nu en enastående samling av högkvalitativ data på ett och samma ställe — vetenskapliga och skönlitterära böcker tillsammans med vetenskapliga publikationer. Jag antar att en enda dump av det gemensamma biblioteket LibGen och Sci-Hub skulle vara tillräcklig för att återställa den vetenskapliga och tekniska utvecklingen av civilisationen i händelse av dess förlust under en katastrof.

Idag står biblioteket ganska stabilt på sina fötter, med ett webgränssnitt som gör det möjligt att söka i samlingen och ladda ner hittade filer.

LibGen i IPFS

Och även om den sociala betydelsen av LibGen är uppenbar, är orsakerna till varför biblioteket ständigt är i riskzonen för stängning lika tydliga. Det är just detta som får underhållarna av speglarna att söka nya sätt att säkerställa hållbarhet. En av dessa vägar har blivit publiceringen av samlingen i IPFS.

IPFS har funnits relativt länge. Tekniska förhoppningar knöts till dess födelse och inte alla har uppfyllts. Ändå fortsätter nätverkets utveckling, och LibGens närvaro i det kan stärka tillströmningen av nya krafter och gynna själva nätverket.

Förenklat kan IPFS beskrivas som en filsystem som sträcker sig över ett obestämt antal noder i nätverket. Deltagarna i det peer-to-peer-nätverket kan cacha filer lokalt och dela dem med andra. Adresseringen av filer sker inte efter sökvägar, utan efter hash av filinnehållet.

För en tid sedan tillkännagav deltagarna i LibGen IPFS-hashar och började sprida filer. Denna vecka började länkar till filer i IPFS dyka upp i sökresultaten för vissa speglar av LibGen. Dessutom, tack vare aktivister från Internet Archive-teamet och belysningen av händelserna på Reddit, pågår just nu en ökning av aktiva pingare både i IPFS och för spridning av de ursprungliga torrenterna.

Det är fortfarande oklart om själva IPFS-hasharna kommer att dyka upp i dumpen av LibGens databas, men det verkar som om detta kan förväntas. Möjligheten att ladda ner metadata för samlingen tillsammans med IPFS-hasharna sänker inträdesbarriären för att skapa en egen spegel, ökar stabiliteten för hela biblioteket och närmar sig genomförandet av bibliotekets skapare dröm.

P.S. För dem som vill hjälpa till med projektet har en resurs skapats freeread.org, där instruktioner för hur man ställer in IPFS finns.

Källa: habr.com