🥇Storacle — detsentraliseeritud failide salvestus

Enne alustan, pean jätma lingi eelmisele artiklile, et oleks selge, millest jutt.

Selles artiklis tahaksin käsitleda kihti, mis vastutab failide salvestamise eest, ja kuidas seda saavad kasutada kõik huvilised. Storacle — iseseisev teek, mis ei ole otseselt seotud muusika maailmaga. Failide salvestamine on võimalik igasuguste failide jaoks.

Eelmises artiklis kritiseerisin ma veidi ipfs, kuid see juhtus just seoses minu lahendatava ülesandega. Üldiselt pean seda projekti ägedaks. Lihtsalt mulle meeldib rohkem võimalus luua erinevaid võrgustikke erinevate ülesannete jaoks. See aitab paremini struktureerida ja vähendada koormust üksikutele sõlmedele ja kogu võrgule. Ühe projekti raames on isegi võimalik vajadusel jagada võrgustikku tükkideks mingite kriteeriumide põhjal, vähendades üldkoormust.

Nii et storacle kasutab mehhanismi spreadable võrgustiku korraldamiseks. Peamised omadused:

Failid saavad salvestada igast sõlmest.
Failid salvestatakse täielikult, mitte plokkidena.
Igal failil on oma ainulaadne hash sisu põhjal edasiseks töötluseks.
Failide kopeerimine suurema usaldusväärsuse tagamiseks
Ühe sõlme peal olevaid faile piirab ainult failisüsteem (on erandeid, mis järgnevas arutelus).
Võrgus olevate failide arvu piirab spreadable võimekus sarnaste sõlmede arvu osas, mis teises versioonis võimaldavad töötada lõpmatu arvu sõlmedega (sellest räägime teises artiklis).

Lihtne näide, kuidas see programmide kaudu töötab:

Server:

const  Node = require('storacle').Node;

(async () => {
  try {
    const node = new Node({
      port: 4000,
      hostname: 'localhost'
    });
    await node.init();
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

Kliendi:

const  Client = require('storacle').Client;

(async () => {
  try {
    const client = new  Client({
      address: 'localhost:4000'
    });
    await client.init();
    const hash = await client.storeFile('./my-file');
    const link = await client.getFileLink(hash);
    await client.removeFile(hash);
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

Vaade seest

Mootor on tavaline. Teave failide arvu, nende kogusuuruse ja teiste detailide kohta hoitakse in-memory andmebaasis ning seda uuendatakse failide kustutamisel ja lisamisel, seega pole sageli vajadust failisüsteemi juurde pöörduda. Ainus erand on prügikoguja aktiviseerimine, kui on vaja faile ringlusse võtta, kui mingid salvestusmõõdud on saavutatud, mitte uute lisamise keelamine. Sellisel juhul tuleb salvestust ringi vaadata, ja suure arvu failidega (öelgem, üle miljoni) võib see tekitada märkimisväärset koormust. Seega on parem hoida vähem faile ja käivitada rohkem sõlmi. Kui 'puhastaja' on välja lülitatud, ei ole sellist probleemi.

Failide salvestus koosneb 256 kaustast ja 2 taseme sügavusest. Failid asuvad teise taseme kaustades. Seega, kui on 1 miljon faili, on igas sellises kaustas umbes 62500 tükki (1000000 / sqrt(256)).

Kaustade nimed genereeritakse faili hash'i põhjal, et saaks kiiresti juurde pääseda, teades hash'i.

Selline struktuur valiti lähtuvalt paljusid erinevaid nõudmisi salvestusele: nõrkade failisüsteemide toetamine, kus ühes kaustas ei ole soovitatav hoida palju faile, kiire kaustade läbivaatamine vajadusel jne. Teatud kuldne keskkoht.

Vahemälu

Failide lisamisel ja ka nende saamisel salvestatakse vahemälu faile linke.
Selle tõttu ei pea sageli üle kogu võrgu failide otsimise nimel ringi liikuma. See kiirendab linkide saamist ja vähendab võrgu koormust. Samuti toimub vahemälestus läbi http pealkirjade.

Isomorfism

Klienditarkvara on kirjutatud Javascriptis ja on isomorfne, seda saab kasutada otse brauserist.
Faili saab üles laadida https://github.com/ortexx/storacle/blob/master/dist/storacle.client.js nagu skripti ja pääseda juurde window.ClientStoracle või importida läbi koostesüsteemi jne.

Edasi lükatud lingid

Huvitav omadus on ka 'edasi lükatud link'. See on link failile, mida saab saada sünkroonselt, siin ja praegu, ja fail tõmmatakse, kui see juba salvestusest leitud. See on väga mugav, kui näiteks tuleb näidata mingisuguseid pilte veebilehel. Lihtsalt määrame src jaoks edasi lükatud lingi ja kõik. Juhtumeid võib välja mõelda palju.

Kliendi API

async Client.prototype.storeFile() — faili salvestamine
async Client.prototype.getFileLink() — faili otsese lingi saamine
async Client.prototype.getFileLinks() — saada otseühenduste loend faili jaoks kõigilt sõlmedelt, kus see olemas on
async Client.prototype.getFileToBuffer() — saada fail päntesse
async Client.prototype.getFileToPath() — saada fail failisüsteemi
async Client.prototype.getFileToBlob() — saada fail blob'ina (brauseri versiooni jaoks)
async Client.prototype.removeFile() — eemaldada fail
Client.prototype.createRequestedFileLink() — luua viivitatud link

Failide eksportimine teisele serverile

Failide teisaldamiseks teisele sõlmele saab:

Lihtsalt kopeerida kogu salvestusse mõeldud kaust koos seadistustega. (tulevikus see ei pruugi töötada)
Kopeerida ainult failide kaust. Kuid sel juhul tuleb ühe korra käivitada funktsioon node.normalizeFilesInfo(), et ümber arvutada kõik andmed ja sisestada need andmebaasi.
Kasutage funktsiooni node.exportFiles(), mis alustab failide kopeerimist.

Sõlme põhiseaded
Salvestussõlme käivitamisel saab määrata kõik vajalikud seaded.
Kirjeldan kõige olulisemaid, ülejäänud leiate GitHubist.

storage.dataSize — failide kausta suurus
storage.tempSize — ajutise kausta suurus
storage.autoCleanSize — minimaalne salvestusruumi suurus, mida tuleb hoida. Kui see parameeter on määratud, siis kui ruum hakkab otsa saama, eemaldatakse kõige vähem kasutatavad failid.
file.maxSize — faili maksimaalne suurus
file.minSize — faili minimaalne suurus
file.preferredDuplicates — eelistatud failide koopiaarv võrgus
file.mimeWhitelist — lubatud faili tüübid
file.mimeBlacklist — keelatud faili tüübid
file.extWhitelist — lubatud faili laiendid
file.extBlacklist — keelatud faili laiendid
file.linkCache — erinevad linkide vahemälu seaded

Peaaegu kõik parameetrid, mis on seotud suurustega, võivad olla määratud nii absoluutsetes kui ka suhtelistes mõõtühikutes.

Töö käsurealt
Raamatukogu saab kasutada käsurealt. Selleks tuleb see globaalset installida: npm i -g storacle. Pärast seda saab vajalikke tegevusi käivitada projektikaustas, kus on sõlm. Näiteks, storacle -a storeFile -f ./file.txt -c ./config.js, et lisada fail. Kõiki tegevusi saab leida https://github.com/ortexx/storacle/blob/master/bin/actions.js

Miks see võiks sul vaja minna

Kui soovid luua mõnda detsentraliseeritud projekti, kus on plaanis salvestada ja töötada failidega mugaval viisil. Näiteks projekt muusika osas, mida on kirjeldatud artikli alguses, kasutab storacle.
Kui töötad muude projektide kallal, kus on vajalik failide hajutatud salvestamine, saad hõlpsasti luua oma privaatvõrgu, paindlikult konfigureerida sõlmi ja lisada uusi, kui see on vajalik.
Kui vajad lihtsalt kohta, kus salvestada oma saidi faile ja ei viitsi kõike ise kirjutada, sobib see teek võib-olla paremini kui teised sinu jaoks.
Kui sul on projekt, kus töötad failidega, kuid soovid kõik toimingud teha brauserist, saad vältida serverikoodi kirjutamist.

Minu kontaktid:

Allikas: habr.com

Storacle — detsentraliseeritud failide salvestuskoht