Library Genesis er en sand juvel af internettet. Onlinebiblioteket, som giver gratis adgang til mere end 2.7 millioner bøger, tog et længe ventet skridt i denne uge. Et af bibliotekets webspejle gør det nu muligt at downloade filer via IPFS, et distribueret filsystem.
Så Library Genesis-bogsamlingen indlæses i IPFS, fastgøres og linkes til søgning. Og det betyder, at det nu er blevet lidt sværere at fratage folk adgangen til vores fælles kulturelle og videnskabelige arv.
Om LibGen
I begyndelsen af 3'erne lå snesevis af samlinger af videnskabelige bøger på det stadig uregulerede internet. De største samlinger, jeg kan huske - KoLXo2007, mehmat og mirknig - indeholdt i XNUMX titusindvis af lærebøger, publikationer og andre vigtige djvushek og pdf til studerende.
Som alle andre fildumps led disse samlinger af generelle navigationsproblemer. Kolkhoz-biblioteket levede for eksempel på mere end 20 dvd'er. Den mest efterspurgte del af biblioteket blev flyttet af de ældste til herbergets arkivsfære, og havde du brug for noget sjældent, så ve dig! Du fik i hvert fald en øl til ejeren af skiverne.
Samlingerne var dog stadig håndgribelige. Og selvom søgningen efter navnene på selve filerne ofte brød sammen på kreativiteten hos skaberen af filen, kunne en manuel fuld-scanning trække den ønskede bog frem efter stædigt at have scrollet gennem et dusin sider.
I 2008, på rutracker.ru (dengang torrents.ru), udgav en entusiast torrents, der kombinerede de eksisterende samlinger af bøger i én stor bunke. I samme tråd var der en person, der påbegyndte det møjsommelige arbejde med at organisere de uploadede filer og skabe en webgrænseflade. Sådan blev Library Genesis født.
Hele denne tid fra 2008 til i dag har LibGen udviklet og genopbygget sine egne bogreoler med hjælp fra fællesskabet. Bogens metadata blev redigeret og derefter gemt og distribueret som MySQL-dumps til offentligheden. Den altruistiske holdning til metadata førte til fremkomsten af et stort antal spejle og øgede overlevelsesevnen for hele projektet på trods af øget fragmentering.
En vigtig milepæl i bibliotekets liv var spejlingen af Sci-Hub-databasen, som startede i 2013. Takket være samarbejdet mellem de to systemer blev et hidtil uset datasæt samlet ét sted - videnskabelige og fiktionsbøger sammen med videnskabelige publikationer. Jeg har en antagelse om, at et dump af den fælles base af LibGen og Sci-Hub vil være nok til at genoprette civilisationens videnskabelige og teknologiske fremskridt, hvis det går tabt under en katastrofe.
I dag er biblioteket ret stabilt flydende, har en webgrænseflade, der giver dig mulighed for at søge gennem samlingen og downloade de fundne filer.
LibGen i IPFS
Og selvom LibGens sociale betydning er indlysende, er årsagerne til, at biblioteket konstant er truet af lukning, lige så indlysende. Det er det, der får spejlvedligeholdere til at lede efter nye måder at sikre bæredygtighed på. En af disse måder var at udgive samlingen til IPFS.
IPFS dukkede op for relativt længe siden. Der blev stillet store forhåbninger til teknologien, da den dukkede op, og ikke alle var berettigede. Ikke desto mindre fortsætter udviklingen af netværket, og LibGens udseende i det kan øge tilstrømningen af friske kræfter og spille netværket selv i hænderne.
Forenklet til det yderste kan IPFS kaldes et filsystem, der strækker sig over et ubestemt antal netværksknuder. Peer-to-peer netværksmedlemmer kan cache filer på egen hånd og distribuere dem til andre. Filer adresseres ikke af stier, men af en hash fra indholdet af filen.
For nogen tid siden annoncerede LibGen-deltagere IPFS-hash og begyndte at distribuere filer. I denne uge begyndte links til filer i IPFS at dukke op i søgeresultaterne på nogle LibGen-spejle. Derudover, takket være handlingerne fra aktivisterne fra Internet Archive-teamet og dækningen af, hvad der sker på reddit, er der nu en tilstrømning af yderligere seeders både i IPFS og i distributionen af originale torrents.
Det vides endnu ikke, om selve IPFS-hashene vil dukke op i LibGen-databasedumpsene, men det ser ud til, at dette kan forventes. Muligheden for at downloade samlingens metadata sammen med IPFS-hash vil sænke adgangstærsklen for at skabe dit eget spejl, øge stabiliteten af hele biblioteket og bringe bibliotekets skaberes drøm tættere på virkeliggørelse.
PS For dem, der vil hjælpe projektet, er der oprettet en ressource , instruktioner om, hvordan du konfigurerer IPFS live på den.
Kilde: www.habr.com