Library Genesis er en ekte juvel av Internett. Nettbiblioteket, som gir gratis tilgang til mer enn 2.7 millioner bøker, tok et etterlengtet steg denne uken. Et av bibliotekets nettspeil gjør det nå mulig å laste ned filer via IPFS, et distribuert filsystem.
Så, Library Genesis-boksamlingen lastes inn i IPFS, festes og kobles til søk. Og det betyr at nå har det blitt litt vanskeligere å frata folk tilgang til vår felles kulturelle og vitenskapelige arv.
Om LibGen
På begynnelsen av 3-tallet lå dusinvis av samlinger av vitenskapelige bøker på det fortsatt uregulerte Internett. De største samlingene jeg kan huske – KoLXo2007, mehmat og mirknig – inneholdt i XNUMX titusenvis av lærebøker, publikasjoner og andre viktige djvushek og pdf for studenter.
Som alle andre fildumper led disse samlingene av generelle navigasjonsproblemer. Kolkhoz-biblioteket, for eksempel, levde på 20+ DVD-er. Den mest etterspurte delen av biblioteket ble flyttet av de eldstes hender til herbergets filsfære, og hvis du trengte noe sjeldent, så ve deg! Du fikk i det minste en øl til eieren av skivene.
Samlingene var imidlertid fortsatt håndgripelige. Og selv om søket etter navnene på selve filene ofte brøt sammen på kreativiteten til skaperen av filen, kunne en manuell fullskanning trekke ut ønsket bok etter hardnakket å bla gjennom et dusin sider.
I 2008, på rutracker.ru (den gang torrents.ru), publiserte en entusiast torrents som kombinerte de eksisterende samlingene av bøker til en stor haug. I samme tråd var det en person som begynte det møysommelige arbeidet med å organisere de opplastede filene og lage et webgrensesnitt. Slik ble Library Genesis født.
Hele denne tiden fra 2008 til i dag har LibGen utviklet og fornyet sine egne bokhyller ved hjelp av fellesskapet. Bokens metadata ble redigert og deretter lagret og distribuert som MySQL-dumper til publikum. Den altruistiske holdningen til metadata førte til fremveksten av et stort antall speil og økte overlevelsesevnen til hele prosjektet, til tross for økt fragmentering.
En viktig milepæl i livet til biblioteket var speilingen av Sci-Hub-databasen, som startet i 2013. Takket være samarbeidet mellom de to systemene ble et enestående datasett konsentrert på ett sted - vitenskapelige og skjønnlitterære bøker, sammen med vitenskapelige publikasjoner. Jeg har en antagelse om at en dump av den felles basen til LibGen og Sci-Hub vil være nok til å gjenopprette sivilisasjonens vitenskapelige og teknologiske fremgang i tilfelle den går tapt under en katastrofe.
I dag er biblioteket ganske stabilt flytende, har et nettgrensesnitt som lar deg søke gjennom samlingen og laste ned de funnet filene.
LibGen i IPFS
Og selv om den sosiale betydningen av LibGen er åpenbar, er årsakene til at biblioteket stadig er truet av nedleggelse like åpenbare. Det er dette som får speilvedlikeholdere til å se etter nye måter å sikre bærekraft på. En av disse måtene var å publisere samlingen til IPFS.
IPFS dukket opp for relativt lenge siden. Det ble satt store forhåpninger til teknologien da den dukket opp, og ikke alle var berettiget. Likevel fortsetter utviklingen av nettverket, og utseendet til LibGen i det kan øke tilstrømningen av friske krefter og spille i hendene på selve nettverket.
For å forenkle til det ytterste kan IPFS kalles et filsystem som strekker seg over et ubestemt antall nettverksnoder. Medlemmer av peer-to-peer-nettverk kan hurtigbufre filer på egen hånd og distribuere dem til andre. Filer adresseres ikke av stier, men av en hash fra innholdet i filen.
For en tid siden annonserte LibGen-deltakere IPFS-hasher og begynte å distribuere filer. Denne uken begynte lenker til filer i IPFS å vises i søkeresultatene til noen LibGen-speil. I tillegg, takket være handlingene til aktivistene i Internet Archive-teamet og dekningen av hva som skjer på reddit, er det nå en tilstrømning av ekstra seeders både i IPFS og i distribusjonen av originale torrenter.
Det er foreløpig ikke kjent om selve IPFS-hasjene vil vises i LibGen-databasedumpene, men det ser ut til at dette er å forvente. Muligheten til å laste ned samlingens metadata sammen med IPFS-hasher vil senke inngangsterskelen for å lage ditt eget speil, øke stabiliteten til hele biblioteket og bringe drømmen til bibliotekets skapere nærmere oppfyllelse.
PS For de som ønsker å hjelpe prosjektet er det opprettet en ressurs , instruksjoner om hvordan du konfigurerer IPFS live på den.
Kilde: www.habr.com