Biblioteka Genesis to prawdziwa perełka Internetu. Biblioteka internetowa, która zapewnia bezpłatny dostęp do ponad 2.7 mln książek, zrobiła w tym tygodniu długo oczekiwany krok. Jeden z serwerów lustrzanych sieciowych biblioteki umożliwia teraz pobieranie plików za pośrednictwem protokołu IPFS, rozproszonego systemu plików.
Zatem księgozbiór Library Genesis jest ładowany do IPFS, przypinany i udostępniany do wyszukiwania. A to oznacza, że teraz pozbawianie ludzi dostępu do naszego wspólnego dziedzictwa kulturowego i naukowego stało się nieco trudniejsze.
O LibGenie
Na początku XXI wieku w wciąż nieuregulowanym Internecie znajdowały się dziesiątki zbiorów książek naukowych. Największe zbiory, jakie pamiętam – KoLXo3, mehmat i mirknig – w 2007 roku zawierały dziesiątki tysięcy podręczników, publikacji i innych ważnych djvushek i plików PDF dla studentów.
Podobnie jak w przypadku innych zrzutów plików, w tych zbiorach występowały ogólne problemy z nawigacją. Na przykład biblioteka w Kołchozie zachowała się na ponad 20 płytach DVD. Najbardziej pożądana część biblioteki została przeniesiona rękami starszych do sfery akt hostelu, a jeśli potrzebowałeś czegoś rzadkiego, to biada ci! Przynajmniej dostałeś piwo dla właściciela płyt.
Jednak zbiory były nadal namacalne. I choć wyszukiwanie nazw samych plików często zawodziło na kreatywności twórcy pliku, to ręczne pełne skanowanie mogło wydobyć upragnioną książkę po upartym przewijaniu kilkunastu stron.
W 2008 roku na rutracker.ru (wówczas torrents.ru) pewien entuzjasta opublikował torrenty, które połączyły istniejące zbiory książek w jeden duży stos. W tym samym wątku była osoba, która rozpoczęła żmudną pracę porządkowania przesłanych plików i tworzenia interfejsu internetowego. Tak narodziła się Biblioteka Genesis.
Przez cały ten czas, od 2008 roku do chwili obecnej, LibGen rozwija i uzupełnia własne półki z książkami przy pomocy społeczności. Metadane książki zostały zredagowane, a następnie zapisane i rozpowszechnione jako publiczne zrzuty MySQL. Altruistyczne podejście do metadanych doprowadziło do powstania dużej liczby serwerów lustrzanych i zwiększyło przeżywalność całego projektu, pomimo zwiększonej fragmentacji.
Ważnym kamieniem milowym w życiu biblioteki było utworzenie dublowania bazy danych Sci-Hub, które rozpoczęło się w 2013 roku. Dzięki współpracy obu systemów w jednym miejscu skupiono bezprecedensowy zbiór danych – książki naukowe i beletrystykę oraz publikacje naukowe. Zakładam, że jeden zrzut wspólnej bazy LibGen i Sci-Hub wystarczy, aby przywrócić postęp naukowo-techniczny cywilizacji w przypadku jego utraty podczas katastrofy.
Dziś biblioteka działa dość stabilnie, posiada interfejs sieciowy, który umożliwia przeszukiwanie zbiorów i pobieranie znalezionych plików.
LibGen w IPFS
I choć społeczne znaczenie LibGen jest oczywiste, powody, dla których bibliotece stale grozi zamknięcie, są równie oczywiste. To właśnie skłania konserwatorów luster do poszukiwania nowych sposobów zapewnienia zrównoważonego rozwoju. Jednym z takich sposobów było opublikowanie kolekcji w IPFS.
IPFS pojawił się stosunkowo dawno temu. Kiedy pojawiła się technologia, pokładano w niej duże nadzieje i nie wszystkie z nich były uzasadnione. Niemniej jednak rozwój sieci trwa, a pojawienie się w niej LibGenu może zwiększyć napływ świeżych sił i zagrać na korzyść samej sieci.
Upraszczając do granic, IPFS można nazwać systemem plików rozciągniętym na nieokreśloną liczbę węzłów sieci. Członkowie sieci peer-to-peer mogą samodzielnie buforować pliki i rozpowszechniać je wśród innych. Pliki są adresowane nie przez ścieżki, ale przez skrót z zawartości pliku.
Jakiś czas temu uczestnicy LibGen ogłosili hasze IPFS i rozpoczęli dystrybucję plików. W tym tygodniu w wynikach wyszukiwania niektórych serwerów lustrzanych LibGen zaczęły pojawiać się łącza do plików w IPFS. Ponadto, dzięki działaniom działaczy zespołu Internet Archive i relacjonowaniu tego, co dzieje się na Reddicie, obecnie następuje napływ dodatkowych starterów zarówno w IPFS, jak i w dystrybucji oryginalnych torrentów.
Nie wiadomo jeszcze, czy same skróty IPFS pojawią się w zrzutach bazy danych LibGen, ale wydaje się, że można się tego spodziewać. Możliwość pobrania metadanych kolekcji wraz z hashami IPFS obniży próg wejścia na stworzenie własnego serwera lustrzanego, zwiększy stabilność całej biblioteki i przybliży do realizacji marzenie twórców biblioteki.
PS Dla tych, którzy chcą pomóc w projekcie, utworzono zasób , instrukcje dotyczące konfiguracji IPFS na żywo.
Źródło: www.habr.com