Library Genesis er en ægte perle på internettet. Den online biblioteksplatform, der giver fri adgang til over 2,7 millioner bøger, har denne uge taget et længe ventet skridt. Et af webmirrorene for biblioteket giver nu mulighed for at downloade filer gennem IPFS - et distribueret filsystem.
Så, Library Genesis' bogsamling er blevet uploadet til IPFS, låst og knyttet til søgning. Det betyder, at det nu er blevet lidt sværere at berøve folk adgang til vores fælles kulturelle og videnskabelige arv.
Om LibGen
I begyndelsen af 2000'erne lå der dusinvis af samlinger af videnskabelige bøger på internettet, der stadig var fri for regulering. De største samlinger, som jeg kan huske, - KoLXo3, mehmat og mirknig - indeholdt ved 2007 titusinder af lærebøger, publikationer og andre vigtige djvu'er og pdf'er til studerende.
Som med enhver anden filsamling led disse samlinger under almindelige navigationsproblemer. Biblioteket Kolkhoz, for eksempel, levede på mere end 20 DVD-diske. Den mest eftertragtede del af biblioteket blev båret af studerende til filserveren i kollegiet, og hvis man skulle bruge noget sjældent, var det ikke godt! I det mindste var man nødt til at betale for ejerens øl.
På trods af dette var samlingerne stadig af håndgribelig størrelse. Selvom søgning efter selve filnavnene ofte blev hindret af filskaberens kreativitet, kunne man med en manuel gennemgang få fat i den ønskede bog efter ihærdig scrollen gennem et dusin sider.
I 2008 blev der på rutracker.ru (dengang torrents.ru) offentliggjort torrents af en entusiast, som sammensatte de eksisterende bogsamlinger til én stor bunke. I samme tråd fandt en person, der begyndte det omhyggelige arbejde med at systematisere de uploadede filer og skabe et webinterface. Sådan blev Library Genesis til.
Hele tiden fra 2008 og indtil nu har LibGen udviklet sig og beriget sine bogreoler med hjælp fra fællesskabet. Metadataene for bøgerne blev redigeret, og derefter gemt og distribueret i form af MySQL-dumps til alle interesserede. Den altruiske tilgang til metadataene førte til oprettelsen af mange spejle og øgede projektets overlevelse, på trods af den stigende fragmentering.
Et vigtigt skridt for biblioteket var spejlingen af Sci-Hub-databasen, som startede i 2013. Takket være samarbejdet mellem to systemer er der i ét sted blevet samlet en usædvanlig kvalitetsdata — videnskabelige og skønlitterære bøger sammen med videnskabelige publikationer. Jeg har en formodning om, at et enkelt dump af det fælles LibGen- og Sci-Hub-database vil være tilstrækkeligt til at genoprette den videnskabelige og tekniske fremgang for civilisationen i tilfælde af et tab under en katastrofe.
I dag klarer biblioteket sig ret godt og har et webgrænseflade, der gør det muligt at søge i samlingen og downloade fundne filer.
LibGen i IPFS
Og selvom den sociale betydning af LibGen er åbenlys, er årsagerne til, at biblioteket konstant er i fare for lukning, lige så åbenlyse. Dette motiverer vedligeholderne af spejlingerne til at søge nye måder at sikre bæredygtighed på. En af disse måder var publiceringen af samlingen i IPFS.
IPFS blev introduceret relativt for længe siden. Der blev lagt store forventninger til teknologien ved dens fremkomst, men ikke alle blev indfriet. Ikke desto mindre fortsætter netværkets udvikling, og tilstedeværelsen af LibGen i det kan forstærke strømmen af nye kræfter og tilgodese netværket.
For at forenkle det til det yderste kan IPFS beskrives som et filsystem spændt over et udefineret antal netværksnoder. Deltagere i det peer-to-peer netværk kan cache filer hos sig selv og distribuere dem til andre. Adressering af filer sker ikke via stier, men via en hash af filens indhold.
For nogen tid siden annoncerede deltagere af LibGen IPFS-hashes og begyndte at distribuere filer. I denne uge begyndte links til filer i IPFS at dukke op i søgeresultaterne fra nogle af LibGens spejlinger. Derudover, takket være aktivister fra Internet Archive-teamet og dækningen på reddit, er der nu en strøm af ekstra seedere både i IPFS og til distribution af de originale torrents.
Det er endnu uvist, om IPFS-hashes selv vil dukke op i dumps af LibGen-databasen, men det ser ud til, at dette er værd at forvente. Muligheden for at downloade metadata fra samlingen sammen med IPFS-hashene vil sænke adgangsbarrieren for at oprette sin egen spejling, øge stabiliteten af hele biblioteket og bringe skaberne af biblioteket nærmere deres drøm.
P.S. For dem, der ønsker at hjælpe projektet, er der oprettet en ressource , hvor der findes vejledninger til, hvordan man opsætter IPFS.
Kilde: habr.com
