Library Genesis — un verdadero diamante de Internet. La biblioteca en línea, que proporciona acceso gratuito a más de 2.7 millones de libros, ha dado este semana un paso muy esperado. Uno de los espejos web de la biblioteca ahora permite descargar archivos a través de IPFS, un sistema de archivos distribuido.
Así que, la colección de libros de Library Genesis ha sido cargada en IPFS, anclada y conectada a la búsqueda. Esto significa que ahora es un poco más difícil privar a las personas del acceso a nuestro patrimonio cultural y científico compartido.
Sobre LibGen
A principios de los años 2000, en un Internet aún libre de regulaciones, había docenas de colecciones de libros científicos. Las colecciones más grandes de las que puedo recordar — KoLXo3, mehmat y mirknig — contenían para 2007 decenas de miles de libros de texto, publicaciones y otros importantes djvu y pdf para estudiantes.
Como cualquier otro vertedero de archivos, estas colecciones sufrían de problemas comunes de navegación. Por ejemplo, la Biblioteca Kolkhoz estaba almacenada en más de 20 discos DVD. La parte más solicitada de la biblioteca era trasladada a la red de archivos del dormitorio por los estudiantes mayores, y si necesitabas algo raro, ¡pobre de ti! Como mínimo, te tocaba comprar una cerveza para el dueño de los discos.
Sin embargo, las colecciones seguían siendo de tamaño tangible. Y aunque buscar por los nombres de los archivos a menudo se veía frustrado por la creatividad del creador del archivo, un escaneo manual podía extraer el libro necesario después de una ardua búsqueda a través de varias páginas.
En 2008, en rutracker.ru (entonces torrents.ru), un entusiasta publicó torrents que agrupaban las colecciones existentes de libros en un solo gran conjunto. En este mismo hilo, apareció una persona que comenzó un trabajo minucioso para sistematizar los archivos publicados y crear una interfaz web. Así nació Library Genesis.
Desde 2008 hasta el presente, LibGen ha evolucionado y ha ido añadiendo a sus estanterías con la ayuda de la comunidad. Los metadatos de los libros fueron editados, y luego se guardaron y distribuyeron en forma de volcado de MySQL para todos los interesados. La actitud altruista hacia los metadatos llevó a la aparición de numerosos espejos y a un aumento en la supervivencia de todo el proyecto, a pesar de la creciente fragmentación.
Un hito importante en la vida de la biblioteca fue la creación de un espejo de la base de datos Sci-Hub, que comenzó en 2013. Gracias a la colaboración de dos sistemas, se concentró en un solo lugar un conjunto de datos de calidad sin precedentes: libros científicos y de ficción junto con publicaciones científicas. Tengo la suposición de que una sola copia de la base de datos conjunta de LibGen y Sci-Hub será suficiente para restaurar el progreso científico y técnico de la civilización en caso de que se pierda debido a una catástrofe.
Hoy en día, la biblioteca se mantiene bastante a flote, cuenta con una interfaz web que permite buscar en la colección y descargar los archivos encontrados.
LibGen en IPFS
Y aunque la importancia social de LibGen es evidente, también lo son las razones por las que la biblioteca está constantemente amenazada de cierre. Esto impulsa a los mantenedores de los espejos a buscar nuevas formas de asegurar la sostenibilidad. Una de esas formas ha sido la publicación de la colección en IPFS.
IPFS ha existido desde hace relativamente tiempo. La tecnología fue objeto de grandes expectativas a su aparición y no todas se han cumplido. Sin embargo, el desarrollo de la red continúa, y la inclusión de LibGen puede reforzar el flujo de nuevas fuerzas y beneficiar a la propia red.
Simplificando al extremo, IPFS puede considerarse un sistema de archivos, extendido sobre un número indefinido de nodos de la red. Los participantes de la red de igual a igual pueden almacenar archivos en su propio sistema y repartirlos a los demás. La dirección de los archivos no se realiza por rutas, sino por el hash del contenido del archivo.
Hace algún tiempo, los participantes de LibGen anunciaron hashes de IPFS y comenzaron a distribuir archivos. Esta semana, los enlaces a archivos en IPFS comenzaron a aparecer en los resultados de búsqueda de algunos espejos de LibGen. Además, gracias a las acciones de los activistas del equipo de Internet Archive y la cobertura del asunto en reddit, ahora hay un aumento en los seeders tanto en IPFS como en la distribución de torrents originales.
Aún no se sabe si los propios hashes de IPFS aparecerán en las copias de la base de datos de LibGen, pero parece que se puede esperar. La posibilidad de descargar los metadatos de la colección junto con los hashes de IPFS reducirá la barrera de entrada para crear un espejo propio, aumentará la estabilidad de toda la biblioteca y acercará la realización del sueño de los creadores de la biblioteca.
P.D. Para aquellos que deseen ayudar al proyecto, se ha creado un recurso , donde se encuentran instrucciones sobre cómo configurar IPFS.
Fuente: habr.com
