Storacle - decentralized faira kuchengetedza

Ndisati ndatanga, ndinofanira kuenda link yechinyorwa chapfuurakuti zvinyatsojeka zvatiri kutaura nezvazvo.

Muchinyorwa chino ndinoda kutarisa dhizaini ine basa rekuchengetedza mafaera, uye kuti ingashandiswa sei nemunhu wese. Storacle iraibhurari yakazvimirira, hapana kubatana kwakananga nemimhanzi. Iwe unogona kuronga kuchengetwa kwechero mafaira.

В предыдущей статье я немного "накатил бочку" на ipfs, но это произошло именно в контексте решаемой мной задачи. В целом, я считаю этот проект крутым. Просто мне больше нравится возможность создавать разные сети под разные задачи. Это позволяет лучше организовывать структуру и снижать нагрузку на отдельные узлы и сеть в целом. Можно даже в рамках одного какого-то проекта, при необходимости, дробить сеть на куски по каким-то критериям, снижая общую нагрузку.

Saka storcle inoshandisa michina kupararira для организации сети. Основные особенности:

• Файлы могут добавляться в хранилище через любой узел.
• Mafaira anochengetwa zvachose, kwete mumabhuroko.
• Imwe neimwe faira ine yayo yakasarudzika yemukati hash yekuwedzera basa nayo.
• Mafaira anogona kudzokororwa kuti avimbike zvakanyanya
• Huwandu hwemafaira pane imwe node inongogumira chete neiyo faira system (pane musiyano, zvimwe nezvayo pazasi)
• Nhamba yefaira mu network inogumira nekukwanisa kupararira zvichienderana nehuwandu hwemanodhi akakodzera mune network, iyo mune yechipiri vhezheni ichakwanisa kushanda nenhamba isingaperi yemanodhi (zvimwe pane izvi mune imwe chinyorwa)

Muenzaniso wakajeka wekuti izvi zvinowanzoshanda sei kubva kuchirongwa:

Sevha:

const  Node = require('storacle').Node;

(async () => {
  try {
    const node = new Node({
      port: 4000,
      hostname: 'localhost'
    });
    await node.init();
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

Mutengi:

const  Client = require('storacle').Client;

(async () => {
  try {
    const client = new  Client({
      address: 'localhost:4000'
    });
    await client.init();
    const hash = await client.storeFile('./my-file');
    const link = await client.getFileLink(hash); 
    await client.removeFile(hash);
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

Mukati kutarisa

Под капотом ничего сверхъестественного. Информация о количестве файлов, совокупном их размере и прочие моменты хранятся в in-memory базе и обновляются при удалении и добавлении файлов, поэтому необходимости часто обращаться к файловой системе нет. Исключением является включение сборщика мусора, когда нужна циркуляция файлов при достижении каких-то размеров хранилища, а не запрет на добавление новых. В этом случае приходится обходить хранилище, и работа с большим количеством файлов(> миллиона скажем) может приводить к существенным нагрузкам. И лучше хранить поменьше файлов и запускать побольше узлов. Если "чистильщик" отключен, то такой проблемы нет.

Iyo faira yekuchengetera ine 256 mafolda uye 2 mazinga ekudyara. Mafaira anochengetwa muchikamu chechipiri maforodha. Kureva, kana paine miriyoni. Pachave neanosvika makumi matanhatu nemazana mashanu mafaera mune imwe neimwe folda yakadaro (1 / sqrt(62500)).

Mazita eforodha anoumbwa kubva kufaira hashi kuitira kuti iwe ugone kukurumidza kuiwana kana iwe uchiziva hashi.

Ichi chimiro chakasarudzwa zvichienderana nenhamba huru yezvakasiyana zvekuchengetera zvinodiwa: kutsigirwa kune isina simba faira masisitimu, uko kusingafadzi kuve nemafaira akawanda mune imwe folda, nekukurumidza kutenderera kwemaforodha ese kana zvichidikanwa, nezvimwe. Imwe mhando yegoridhe zvinoreva.

caching

Paunenge uchiwedzera mafaira, uye kana uchiagamuchira, zvinongedzo kune mafaera zvinonyorerwa kune cache.
Nekuda kweizvi, kazhinji kazhinji hapana chikonzero chekupfuura netiweki yese uchitsvaga faira. Izvi zvinomhanyisa risiti yezvibatanidza uye zvinoderedza mutoro pane network. Caching zvakare inoitika kuburikidza ne http misoro.

Isomorphy

Mutengi akanyorwa mujavascript uye isomorphic, inogona kushandiswa zvakananga kubva kubrowser. 
Unogona kurodha faira https://github.com/ortexx/storacle/blob/master/dist/storacle.client.js se script uye kuwana window.ClientStoracle kana kuendesa kunze kuburikidza nekuvaka system, nezvimwe.

Deferred links

Интересной фичей также является "отложенная ссылка". Это ссылка на файл, которую можно получить синхронно, здесь и сейчас, а файл подтянется когда уже будет найден в хранилище. Это очень удобно, когда, например, нужно показать на сайте какие-то картинки. Просто проставляем в src отложенную ссылку и все. Кейсов можно придумать много.

Purogiramu inonzi Client

• async Client.prototype.storeFile() - kuchengetedza faira
• async Client.prototype.getFileLink() - kuwana chinongedzo chakananga kune faira
• async Client.prototype.getFileLinks() - kuwana runyorwa rwezvakananga zvinongedzo kune faira kubva kune ese node kwairi
• async Client.prototype.getFileToBuffer() - tora iyo faira mubuffer
• async Client.prototype.getFileToPath() - tora faira mufaira system
• async Client.prototype.getFileToBlob() - tora iyo faira mu blob (yebrowser vhezheni)
• async Client.prototype.removeFile() - bvisa faira
• Client.prototype.createRequestedFileLink() - gadzira chinongedzo chakamisikidzwa

Tumira mafaira kune imwe sevha

Kuti uendese mafaera kune imwe node, unogona:

• Ingoteedzera iyo yese yekuchengetedza folda pamwe chete nemaseting. (izvi zvinogona kusashanda mune ramangwana)
• Kopa chete folda ine mafaera. Asi, mune iyi kesi, iwe uchafanirwa kumhanya iyo basa kamwe chete node.normalizeFilesInfo()kuverengera zvakare data rese uye kuiisa mudhatabhesi.
• shandisa basa node.exportFiles()iyo inotanga kukopa mafaira.

Basic node settings
Paunotanga node yekuchengetedza, unogona kutsanangura ese anodiwa marongero.
Ini ndichatsanangura akanyanya kukosha, mamwe anogona kuwanikwa paGithub.

• storage.dataSize - saizi yefolda ine mafaera
• storage.tempSize - yenguva folda saizi
• storage.autoCleanSize - saizi shoma yekuchengetera inoda kuchengetwa. Kana iwe ukatsanangura iyi parameter, ipapo nzvimbo painongotanga kupera, mafaira mashoma akashandiswa anobviswa.
• file.maxSize — максимальный размер файла
• file.minSize - saizi shoma yefaira
• file.preferredDuplicates - yakasarudzika nhamba yemafaira akadzokorora pane network
• file.mimeWhitelist - mhando dzemafaira anoshanda
• file.mimeBlacklist - mhando dzemafaira dzisina kunaka
• file.extWhitelist - faira rekuwedzera rakakodzera
• file.extBlacklist - mafaira ekuwedzera asina kunaka
• file.linkCache - akasiyana ekubatanidza caching marongero

Anenge ese ma parameter ane hukama nehukuru anogona kuiswa mune ese absolute uye akaenzana kukosha.

Kushanda kuburikidza nemutsara wekuraira
Raibhurari inogona kushandiswa kuburikidza nemutsara wekuraira. Kuti uite izvi unofanirwa kuiisa pasi rose: npm i -g dura. Mushure meizvi, iwe unogona kuvhura zviito zvinodikanwa kubva kune dhairekitori reprojekiti uko node iri. Semuyenzaniso, dura -a storeFile -f ./file.txt -c ./config.jskuwedzera faira. Zviito zvese zvinowanikwa mukati https://github.com/ortexx/storacle/blob/master/bin/actions.js

Sei ungade izvi?

• Если ты хочешь создать какой-то децентрализованный проект, в котором планируется хранить и работать с файлами удобными методами. Например, проект с музыкой, описанный по ссылке в начале статьи, использует duracle.
• Kana iwe ukashanda pane chero mamwe mapurojekiti kwaunoda kuchengeta mafaera nenzira yakagoverwa. Iwe unogona nyore kuvaka yako yakavharwa network, zviri nyore kugadzirisa node uye kuwedzera matsva kana zvichidikanwa.
• Kana iwe uchingoda kuchengeta yako webhusaiti mafaera kumwe kunhu uye zvakawandisa kuti iwe unyore zvese iwe pachako. Zvichida raibhurari iyi inokodzera zviri nani pane vamwe vari kwauri.
• Если у тебя проект, в котором ты работаешь с файлами, но хочешь все манипуляции совершать из браузера. Ты можешь избежать написания серверного кода.

Vandinoshamwaridzana navo:

• @ortex
• [email inodzivirirwa]

Source: www.habr.com