Сторацле - децентрализовано складиштење датотека

Пре него што почнем, морам да одем линк до претходног чланкатако да је јасно о чему је тачно реч.

У овом чланку бих желео да погледам слој који је одговоран за складиштење датотека и како га свако може користити. Сторацле је самостална библиотека, нема директне везе са музиком. Можете организовати складиштење било које датотеке.

У претходном чланку, мало сам „закотрљао буре“. ипфс, али то се догодило управо у контексту проблема који сам решавао. Све у свему, мислим да је овај пројекат кул. Више волим могућност стварања различитих мрежа за различите задатке. Ово вам омогућава да боље организујете структуру и смањите оптерећење појединачних чворова и мреже у целини. Чак иу оквиру једног пројекта, ако је потребно, можете поделити мрежу на делове према неким критеријумима, смањујући укупно оптерећење.

Дакле, Сторацле користи механизам распрострањен за организовање мреже. Кључне карактеристике:

• Датотеке се могу додати у спремиште преко било ког чвора.
• Датотеке се чувају у потпуности, а не у блоковима.
• Свака датотека има свој јединствени хеш садржаја за даљи рад са њим.
• Датотеке се могу дуплирати ради веће поузданости
• Број датотека на једном чвору ограничен је само системом датотека (постоји изузетак, више о томе у наставку)
• Број датотека у мрежи је ограничен могућностима ширења према броју важећих чворова у мрежи, што ће у другој верзији омогућити рад са бесконачним бројем чворова (више о томе у другом чланку)

Једноставан пример како ово генерално функционише из програма:

Сервер:

const  Node = require('storacle').Node;

(async () => {
  try {
    const node = new Node({
      port: 4000,
      hostname: 'localhost'
    });
    await node.init();
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

Клијент:

const  Client = require('storacle').Client;

(async () => {
  try {
    const client = new  Client({
      address: 'localhost:4000'
    });
    await client.init();
    const hash = await client.storeFile('./my-file');
    const link = await client.getFileLink(hash); 
    await client.removeFile(hash);
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

Поглед изнутра

Нема ничег фенси испод хаубе. Информације о броју датотека, њиховој укупној величини и другим тачкама се чувају у бази података у меморији и ажурирају се када се датотеке бришу и додају, тако да нема потребе за честим приступом систему датотека. Изузетак је омогућавање сакупљача смећа када треба да циркулишете датотеке када се достигне одређена величина складишта, а не забрањује додавање нових. У овом случају морате заобићи складиште, а рад са великим бројем датотека (> рецимо милион) може довести до значајних оптерећења. И боље је чувати мање датотека и покретати више чворова. Ако је "чистач" онемогућен, онда нема тог проблема.

Складиште датотека се састоји од 256 фасцикли и 2 нивоа угнежђења. Датотеке се чувају у фасциклама другог нивоа. Односно, ако их има 1 милион. У свакој таквој фасцикли биће око 62500 датотека (1000000 / скрт(256)).

Имена фасцикли су формирана од хеш датотеке тако да можете брзо да јој приступите ако знате хеш.

Ова структура је изабрана на основу великог броја различитих захтева за складиштење: подршка за слабе системе датотека, где није пожељно имати много датотека у једној фасцикли, брзо прелажење свих фасцикли ако је потребно итд. Нека врста златне средине.

кеширање

Приликом додавања датотека, као и приликом њиховог пријема, везе до датотека се уписују у кеш меморију.
Захваљујући томе, врло често нема потребе да прелазите целу мрежу у потрази за датотеком. Ово убрзава пријем линкова и смањује оптерећење мреже. Кеширање се такође дешава преко хттп заглавља.

Изоморфија

Клијент је написан у јавасцрипт-у и изоморфан је, може се користити директно из претраживача. 
Можете да отпремите датотеку https://github.com/ortexx/storacle/blob/master/dist/storacle.client.js као скрипта и приступ виндов.ЦлиентСторацле или увоз кроз систем изградње итд.

Одложене везе

Занимљива карактеристика је и „одложена референца“. Ово је веза до датотеке која се може добити синхроно, овде и сада, а датотека ће бити повучена када се већ нађе у складишту. Ово је веома згодно када, на пример, треба да покажете неке слике на сајту. Само смо ставили одложену везу у срц и то је то. Можете смислити много случајева.

Цлиент АПИ

• асинц Цлиент.прототипе.стореФиле() - чување датотеке
• асинц Цлиент.прототипе.гетФилеЛинк() — добијање директне везе до датотеке
• асинц Цлиент.прототипе.гетФилеЛинкс() — добијање листе директних веза до датотеке са свих чворова на којима постоји
• асинц Цлиент.прототипе.гетФилеТоБуффер() — убаците датотеку у бафер
• асинц Цлиент.прототипе.гетФилеТоПатх() - убаците датотеку у систем датотека
• асинц Цлиент.прототипе.гетФилеТоБлоб() — преузмите датотеку у блоб-у (за верзију претраживача)
• асинц Цлиент.прототипе.ремовеФиле() - избришите датотеку
• Цлиент.прототипе.цреатеРекуестедФилеЛинк() — креирајте одложену везу

Извезите датотеке на други сервер

Да бисте пренели датотеке на други чвор, можете:

• Само копирајте целу фасциклу за складиштење заједно са подешавањима. (ово можда неће радити у будућности)
• Копирајте само фасциклу са датотекама. Али, у овом случају, мораћете да покренете функцију једном ноде.нормализеФилесИнфо()да прерачуна све податке и унесе их у базу података.
• користити функцију ноде.екпортФилес()који ће почети да копира датотеке.

Основна подешавања чвора
Приликом покретања чвора за складиштење, можете одредити сва потребна подешавања.
Описаћу најосновније, остало се може наћи на Гитхубу.

• стораге.датаСизе — величина фасцикле са датотекама
• стораге.темпСизе — величина привремене фасцикле
• стораге.аутоЦлеанСизе — минимална величина складишта коју треба држати. Ако наведете овај параметар, чим простор почне да понестаје, најмање коришћене датотеке ће бити избрисане.
• филе.макСизе — максимална величина датотеке
• филе.минСизе — минимална величина датотеке
• филе.преферредДуплицатес — жељени број дупликата датотека на мрежи
• филе.мимеВхителист - важећи типови датотека
• филе.мимеБлацклист - неважећи типови датотека
• филе.ектВхителист - важеће екстензије датотека
• филе.ектБлацклист - неважеће екстензије датотека
• филе.линкЦацхе - различита подешавања кеширања линкова

Готово сви параметри који се односе на димензије могу се унети и у апсолутним и у релативним вредностима.

Рад преко командне линије
Библиотека се може користити преко командне линије. Да бисте то урадили, морате да га инсталирате глобално: нпм и -г складиште. Након тога, можете покренути потребне радње из директорија пројекта у којем се налази чвор. На пример, сторацле -а стореФиле -ф ./филе.ткт -ц ./цонфиг.јсда додате датотеку. Све акције се могу наћи у https://github.com/ortexx/storacle/blob/master/bin/actions.js

Зашто би вам ово могло требати?

• Ако желите да направите неку врсту децентрализованог пројекта у којем планирате да складиштите и радите са датотекама користећи прикладне методе. На пример, користи се музички пројекат описан на линку на почетку чланка сторацле.
• Ако радите на било ком другом пројекту где морате да складиштите датотеке на дистрибуиран начин. Можете лако да изградите своју затворену мрежу, флексибилно конфигуришете чворове и додате нове када је то потребно.
• Ако само треба негде да ускладиштите датотеке своје веб локације и превише вам је да све сами пишете. Можда је ова библиотека прикладнија од других у вашем случају.
• Ако имате пројекат у којем радите са датотекама, али желите да извршите све манипулације из претраживача. Можете избећи писање кода сервера.

Моји контакти:

• @ортек
• [емаил заштићен]

Извор: ввв.хабр.цом