작은 파일을 위한 소형 스토리지 서버인 wZD 1.0.0의 첫 번째 릴리스

사용 가능 초판 wZD 1.0.0 - 외부에서 보면 일반 WebDAV 서버처럼 보이는 컴팩트한 형태로 많은 양의 파일을 효율적으로 저장하기 위한 서버입니다. 수정된 버전이 저장에 사용됩니다. 볼트DB. 프로젝트 코드는 Go로 작성되었으며 배포자 BSD 라이센스에 따라.

서버 그것은 수 있습니다 전체 잠금 지원을 통해 일반 또는 클러스터 파일 시스템의 작은 파일 수를 크게 줄입니다. wZD 개발자가 유지 관리하는 클러스터는 클러스터된 FS의 250만 디렉터리에 분산되어 있는 약 15억 XNUMX만 개의 작은 파일을 저장합니다. 무스FS.

wZD를 사용하면 디렉터리 내용을 BoltDB 형식의 아카이브로 이동(아카이브)한 다음 이러한 아카이브에서 이러한 파일을 배포(또는 PUT 방법을 사용하여 파일을 아카이브에 저장)할 수 있어 FS의 파일 수를 크게 줄이고 메타데이터 저장에 따른 오버헤드. 대용량 파일 처리의 효율성을 높이기 위해 이러한 파일은 Bolt 아카이브와 별도로 저장할 수 있습니다. 이 접근 방식을 사용하면 파일 시스템의 inode 수 제한에 도달하지 않고도 수많은 작은 파일의 저장소를 구성할 수 있습니다.

서버는 키/값 형식의 데이터(디렉토리 구조에 따른 샤딩 포함) 또는 데이터베이스에서 미리 생성된 html 또는 json 문서를 배포하기 위한 NoSQL 데이터베이스로 사용할 수도 있습니다. 성능 측면에서 Bolt 아카이브를 사용하여 데이터를 업로드하고 쓰면 대기 시간이 읽기 시 약 20~25%, 쓰기 시 40~50% 증가합니다. 파일 크기가 작을수록 대기 시간의 차이도 작아집니다.

주요 기회:

• 멀티스레딩;
• 내결함성과 로드 밸런싱을 제공하는 다중 서버
• 사용자 또는 개발자를 위한 최대 투명성
• 지원되는 HTTP 메소드: GET, HEAD, PUT 및 DELETE;
• 클라이언트측 헤더를 통해 읽기 및 쓰기 동작을 관리합니다.
• 고도로 구성 가능한 가상 호스트 지원
• 쓰기/읽기 시 CRC 데이터 무결성 지원
• 최소한의 메모리 소비와 최적의 네트워크 성능 튜닝을 위한 반동적 버퍼
• 지연된 데이터 패킹;
• 또한 멀티스레드 아카이버도 제공됩니다. wZA 서비스를 중단하지 않고 파일을 Bolt 아카이브로 이동합니다.

현재 릴리스의 일부 제한 사항: Multipart 지원 안 함, POST 메서드, HTTPS 프로토콜, 프로그래밍 언어 바인딩, 디렉터리 재귀 삭제, WebDAV 또는 FUSE를 통해 파일 시스템에 구조 마운트 지원 ​​안 함, 파일은 한 시스템 사용자에게 저장됨 . 저장 형식은 아키텍처에 따라 다르며 Little Endian과 Big Endian 시스템 간에 이식 가능하지 않습니다. wZD 서버가 HTTP 프로토콜에 대한 지원을 구현한다는 사실에도 불구하고 nginx 및 haproxy와 같은 역방향 프록시를 가장하여 실행하기만 하면 됩니다.

출처 : opennet.ru