Library Genesis – справжній діамант Інтернету. Онлайн-бібліотека, що надає вільний доступ до більш ніж 2.7 мільйонів книг, цього тижня зробила довгоочікуваний крок. Одне з веб-дзеркал бібліотеки тепер дозволяє завантажити файли через IPFS — розподілену файлову систему.
Отже, колекція книг Library Genesis завантажена в IPFS, закрита та з'єднана з пошуком. А це означає, що тепер позбавити людей доступу до нашої спільної культурної та наукової спадщини стало трохи важче.
Про LibGen
На початку нульових у поки що вільному від регулювання інтернеті лежали дюжини збірок наукових книг. Найбільші колекції з тих, що я можу згадати - KoLXo3, mehmat і mirknig - містили до 2007 року десятки тисяч підручників, публікацій та інших важливих djvuшек та pdf для студентів.
Як і будь-які інші звалища файлів, ці колекції страждали від загальних проблем із навігацією. Бібліотека Колгосп, наприклад, мешкала на 20+ DVD-дисках. Найбільш потрібна частина бібліотеки руками старшаків переселялася у файлову кулю гуртожитку, а якщо треба було щось рідкісне, то горе тобі! Як мінімум, ти потрапляв на пиво для господаря дисків.
Тим не менш, колекції були все ще відчутних розмірів. І хоча пошук назв самих файлів часто розбивався про креативність творця файлу, ручним full-scanом можна було витягнути потрібну книгу після завзятого промотування десятка сторінок.
У 2008 році на rutracker.ru (тоді torrents.ru) ентузіастом були опубліковані торренти, що скомпонували збірники книг, що існували, в одну велику купу. У цьому ж треді знайшлася людина, яка почала копітку роботу із систематизації викладених файлів та створення веб-інтерфейсу. Так виник Library Genesis.
Весь цей час з 2008 року і до поточного моменту LibGen розвивався та поповнював власні книжкові полиці силами спільноти. Метадані книг редагувалися, а потім зберігалися та поширювалися у вигляді дампів MySQL для всіх бажаючих. Альтруїстичне ставлення до метаданих призвело до появи великої кількості дзеркал і підвищення виживання всього проекту, незважаючи на фрагментацію, що зросла.
Важливою віхою в житті бібліотеки стало дзеркало бази даних Sci-Hub, яке стартувало у 2013 році. Завдяки колаборації двох систем в одному місці виявився сконцентрований небувалий за якістю набір даних — наукові та мистецькі книги разом із науковими публікаціями. У мене є припущення, що одного дампа спільної бази LibGen і Sci-Hub буде достатньо відновлення науково-технічного прогресу цивілізації у разі його втрати під час катастрофи.
Сьогодні бібліотека досить стійко тримається на плаву, має веб-інтерфейс, що дозволяє шукати колекцію і завантажувати знайдені файли.
LibGen в IPFS
І хоча соціальна значимість LibGen є очевидною, настільки ж очевидні причини, через які бібліотека постійно перебуває під загрозою закриття. Саме це спонукає мейнтейнерів дзеркал шукати нові шляхи забезпечення стійкості. Одним із таких шляхів стала публікація колекції в IPFS.
IPFS з'явився досить давно. На технологію при її появі покладалися великі надії і не всі вони виправдалися. Тим не менш, розвиток мережі продовжується, а поява в ній LibGen може посилити приплив свіжих сил і зіграти на руку мережі.
Спрощуючи, IPFS можна назвати файловою системою, натягнутою на невизначену кількість вузлів мережі. Учасники однорангової мережі можуть кешувати файли в себе та роздавати їх оточуючим. Адресація файлів відбувається не шляхом, а по хешу від змісту файла.
Якийсь час тому учасники LibGen анонсували IPFS-хеші і стали на роздачу файлів. Цього тижня посилання на файли IPFS почали з'являтися в результатах пошуку деяких дзеркал LibGen. Крім того, завдяки діям активістів команди Internet Archive та освітленню того, що відбувається на reddit, зараз йде наплив додаткових сидерів як в IPFS, так і на роздачу оригінальних торентів.
Поки невідомо, чи з'являться самі хеші IPFS у дампах бази LibGen, але здається, що цього варто очікувати. Можливість завантажити метадані колекції разом із IPFS-хешами знизить поріг входу для створення власного дзеркала, збільшить стабільність усієї бібліотеки та наблизить до виконання мрії творців бібліотеки.
PS Для бажаючих допомогти проекту створено ресурс , на ньому живуть інструкції, як налаштувати IPFS.
Джерело: habr.com