Storacle - 분산형 파일 저장소

시작하기 전에 떠나야 해요 이전 기사 링크그래서 우리가 말하는 것이 정확히 무엇인지 분명해집니다.

이 기사에서는 파일 저장을 담당하는 레이어와 이를 누구나 사용할 수 있는 방법을 살펴보고 싶습니다. Storagecle은 독립형 라이브러리입니다., 음악과 직접적인 관련은 없습니다. 모든 파일의 저장 공간을 구성할 수 있습니다.

이전 기사에서는 "통을 조금 굴렸다"고 했습니다. ipfs, 그러나 이것은 제가 해결하고 있던 문제의 맥락에서 정확하게 일어났습니다. 전반적으로 나는 이 프로젝트가 멋지다고 생각한다. 저는 단지 다양한 작업을 위해 다양한 네트워크를 생성하는 기능을 선호합니다. 이를 통해 구조를 더 잘 구성하고 개별 노드와 네트워크 전체의 부하를 줄일 수 있습니다. 하나의 프로젝트 프레임워크 내에서도 필요한 경우 일부 기준에 따라 네트워크를 여러 조각으로 분할하여 전체 부하를 줄일 수 있습니다.

그래서 저장소는 메커니즘을 사용합니다 퍼질 수 있는 네트워크 구성을 위해. 주요 특징들:

• 모든 노드를 통해 저장소에 파일을 추가할 수 있습니다.
• 파일은 블록이 아닌 전체로 저장됩니다.
• 각 파일에는 추가 작업을 위한 고유한 콘텐츠 해시가 있습니다.
• 신뢰성을 높이기 위해 파일을 복제할 수 있습니다.
• 한 노드의 파일 수는 파일 시스템에 의해서만 제한됩니다(예외가 있습니다. 자세한 내용은 아래 참조)
• 네트워크의 파일 수는 네트워크의 유효한 노드 수에 따라 확산 가능한 기능으로 제한됩니다. 두 번째 버전에서는 무한한 수의 노드와 함께 작동할 수 있습니다(자세한 내용은 다른 문서에서 설명)

이것이 일반적으로 프로그램에서 어떻게 작동하는지에 대한 간단한 예:

섬기는 사람:

const  Node = require('storacle').Node;

(async () => {
  try {
    const node = new Node({
      port: 4000,
      hostname: 'localhost'
    });
    await node.init();
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

고객:

const  Client = require('storacle').Client;

(async () => {
  try {
    const client = new  Client({
      address: 'localhost:4000'
    });
    await client.init();
    const hash = await client.storeFile('./my-file');
    const link = await client.getFileLink(hash); 
    await client.removeFile(hash);
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

내부보기

후드 아래에는 멋진 것이 없습니다. 파일 수, 전체 크기, 기타 포인트에 대한 정보는 메모리 내 데이터베이스에 저장되며 파일이 삭제되거나 추가될 때 업데이트되므로 파일 시스템에 자주 액세스할 필요가 없습니다. 특정 저장 크기에 도달했을 때 파일을 순환해야 하고 새 파일 추가를 금지하지 않아야 하는 경우 가비지 수집기를 활성화하는 것은 예외입니다. 이 경우 스토리지를 우회해야 하며 많은 수의 파일(예: 백만 개)을 사용하여 작업하면 상당한 로드가 발생할 수 있습니다. 그리고 더 적은 수의 파일을 저장하고 더 많은 노드를 실행하는 것이 좋습니다. "클리너"가 비활성화되어 있으면 그러한 문제가 없습니다.

파일 저장소는 256개의 폴더와 2단계 중첩으로 구성됩니다. 파일은 두 번째 수준 폴더에 저장됩니다. 즉, 1만 개가 있는 경우입니다. 각 폴더에는 약 62500개의 파일이 있습니다(1000000 / sqrt(256)).

폴더 이름은 파일 해시로 구성되므로 해시를 알면 빠르게 접근할 수 있습니다.

이 구조는 다양한 저장 요구 사항에 따라 선택되었습니다. 즉, 한 폴더에 많은 파일을 저장하는 것이 바람직하지 않은 취약한 파일 시스템에 대한 지원, 필요한 경우 모든 폴더의 빠른 탐색 등을 기반으로 선택되었습니다. 일종의 황금률.

캐싱

파일을 추가할 때와 파일을 받을 때 파일 링크가 캐시에 기록됩니다.
덕분에 파일을 찾기 위해 전체 네트워크를 탐색할 필요가 없는 경우가 많습니다. 이렇게 하면 링크 수신 속도가 빨라지고 네트워크 부하가 줄어듭니다. 캐싱은 http 헤더를 통해서도 발생합니다.

동형

클라이언트는 자바스크립트로 작성되었으며 동형이므로 브라우저에서 직접 사용할 수 있습니다. 
파일을 업로드하시면 됩니다 https://github.com/ortexx/storacle/blob/master/dist/storacle.client.js 스크립트 및 액세스로 window.ClientStoracle 또는 빌드 시스템 등을 통해 가져옵니다.

지연된 링크

흥미로운 기능은 "지연된 참조"입니다. 이것은 지금 여기에서 동기식으로 얻을 수 있는 파일에 대한 링크이며, 파일이 이미 저장소에 있으면 해당 파일을 가져옵니다. 예를 들어 사이트에 일부 사진을 표시해야 할 때 매우 편리합니다. 우리는 src에 지연된 링크를 넣기만 하면 됩니다. 많은 경우를 생각해 볼 수 있습니다.

클라이언트 API

• 비동기 클라이언트.프로토타입.스토어파일() - 파일 저장
• 비동기 클라이언트.프로토타입.getFileLink() — 파일에 대한 직접 링크 얻기
• 비동기 클라이언트.프로토타입.getFileLinks() — 파일이 존재하는 모든 노드에서 파일에 대한 직접 링크 목록을 가져옵니다.
• 비동기 Client.prototype.getFileToBuffer() — 파일을 버퍼에 넣습니다.
• 비동기 클라이언트.프로토타입.getFileToPath() — 파일 시스템에 파일 가져오기
• 비동기 Client.prototype.getFileToBlob() — Blob에서 파일 가져오기(브라우저 버전의 경우)
• 비동기 클라이언트.프로토타입.제거파일() - 파일 삭제
• Client.prototype.createRequestedFileLink() — 지연된 링크 생성

다른 서버로 파일 내보내기

파일을 다른 노드로 전송하려면 다음을 수행할 수 있습니다.

• 설정과 함께 전체 저장 폴더를 복사하면 됩니다. (향후에는 작동하지 않을 수도 있습니다)
• 파일이 있는 폴더만 복사하세요. 하지만 이 경우 해당 기능을 한 번 실행해야 합니다. node.normalizeFilesInfo()모든 데이터를 다시 계산하여 데이터베이스에 입력합니다.
• 기능 사용 node.exportFiles()그러면 파일 복사가 시작됩니다.

기본 노드 설정
스토리지 노드를 시작할 때 필요한 모든 설정을 지정할 수 있습니다.
가장 기본적인 것만 설명하고 나머지는 Github에서 확인할 수 있습니다.

• 스토리지.데이터크기 — 파일이 있는 폴더의 크기
• Storage.tempSize — 임시 폴더 크기
• Storage.autoCleanSize — 보유해야 하는 최소 저장 크기입니다. 이 매개변수를 지정하면 공간이 부족해지기 시작하자마자 가장 적게 사용된 파일이 삭제됩니다.
• 파일.최대 크기 — 최대 파일 크기
• 파일.최소 크기 — 최소 파일 크기
• file.preferred중복 — 네트워크에서 선호하는 파일 중복 수
• file.mime화이트리스트 - 유효한 파일 형식
• file.mime블랙리스트 - 잘못된 파일 형식
• file.ext화이트리스트 - 유효한 파일 확장자
• file.ext블랙리스트 - 잘못된 파일 확장자
• file.link캐시 - 다양한 링크 캐싱 설정

치수와 관련된 거의 모든 매개변수는 절대값과 상대값으로 입력할 수 있습니다.

명령줄을 통해 작업
라이브러리는 명령줄을 통해 사용할 수 있습니다. 이렇게 하려면 전역적으로 설치해야 합니다. npm i -g 저장소. 그런 다음 노드가 있는 프로젝트 디렉터리에서 필요한 작업을 시작할 수 있습니다. 예를 들어, 저장소 -a storeFile -f ./file.txt -c ./config.js파일을 추가하려면 모든 작업은 다음에서 찾을 수 있습니다. https://github.com/ortexx/storacle/blob/master/bin/actions.js

왜 이것이 필요할 수 있습니까?

• 편리한 방법을 사용하여 파일을 저장하고 작업할 일종의 분산형 프로젝트를 만들고 싶은 경우. 예를 들어 기사 시작 부분의 링크에 설명된 음악 프로젝트는 다음을 사용합니다. 저장고.
• 분산 방식으로 파일을 저장해야 하는 다른 프로젝트에서 작업하는 경우. 폐쇄형 네트워크를 쉽게 구축하고, 노드를 유연하게 구성하고, 필요할 때 새 노드를 추가할 수 있습니다.
• 웹 사이트 파일을 어딘가에 저장해야 하는데 모든 것을 직접 작성하기에는 너무 많은 경우입니다. 아마도 이 라이브러리가 귀하의 경우에는 다른 라이브러리보다 더 적합할 것입니다.
• 파일 작업을 하는 프로젝트가 있지만 브라우저에서 모든 조작을 수행하려는 경우. 서버 코드 작성을 피할 수 있습니다.

내 연락처 :

• @ortex
• [이메일 보호]

출처 : habr.com