케이지 원격 파일 액세스 시스템

시스템 목적

네트워크에 있는 컴퓨터의 파일에 대한 원격 액세스를 지원합니다. 시스템은 TCP 프로토콜을 사용하여 트랜잭션(메시지)을 교환함으로써 모든 기본 파일 작업(생성, 삭제, 읽기, 쓰기 등)을 "가상"으로 지원합니다.

응용 분야

시스템 기능은 다음과 같은 경우에 효과적입니다.

• 통신이 일시적으로 중단될 경우(오프라인으로 전환) 원격 서버의 파일에 빠르게 액세스해야 하는 모바일 및 임베디드 장치(스마트폰, 온보드 제어 시스템 등)용 기본 애플리케이션
• 로드된 DBMS에서 쿼리 처리가 일부 서버에서 수행되고 데이터 저장이 다른 서버에서 수행되는 경우
• 정보 수집 및 처리를 위한 분산된 기업 네트워크에서 고속 데이터 교환, 중복성 및 신뢰성이 필요합니다.
• 모듈 간 정보 교환 지연이 중요한 마이크로서비스 아키텍처를 갖춘 복잡한 시스템에서.

구조

Cage 시스템(Windows의 Python 3.7에 베타 버전 구현이 있음)에는 두 가지 주요 부분이 포함됩니다.

1. 케이지서버 — 원격 액세스가 필요한 파일이 있는 네트워크의 컴퓨터에서 실행되는 파일 서버 프로그램(기능 패키지)
2. 클래스 새장 클라이언트 소프트웨어용 방법 라이브러리를 사용하여 서버와의 상호 작용 코딩을 단순화합니다.

클라이언트 측에서 시스템 사용

Cage 클래스의 메서드는 일반적인 "일상적인" 파일 시스템 작업을 대체합니다. 생성, 열기, 닫기, 삭제 파일뿐만 아니라 바이너리 형식으로 데이터 읽기/쓰기 (데이터의 위치와 크기를 나타냄) 개념적으로 이러한 방법은 파일 열기/닫기가 입력/출력의 "채널"에서 수행되는 C 언어의 파일 기능에 가깝습니다.

즉, 프로그래머는 "파일" 객체(클래스)의 메서드를 사용하여 작업하지 않습니다. _io Python에서는) Cage 클래스의 메서드를 사용합니다.

Cage 개체의 인스턴스가 생성되면 서버(또는 여러 서버)와의 초기 연결을 설정하고 클라이언트 ID로 인증되며 모든 파일 작업에 대한 전용 포트 번호로 확인을 받습니다. Cage 개체가 삭제되면 서버에 통신을 중지하고 파일을 닫도록 지시합니다. 통신 종료는 서버 자체에서 시작될 수도 있습니다.

시스템은 클라이언트 프로그램의 자주 사용되는 파일 조각을 RAM 캐시(버퍼)에 버퍼링하여 읽기/쓰기 성능을 향상시킵니다.
클라이언트 소프트웨어는 다양한 설정(버퍼 메모리 크기, 서버와 교환 시 블록 크기 등)으로 Cage 개체를 원하는 수만큼 사용할 수 있습니다.

단일 Cage 개체는 여러 서버의 여러 파일과 통신할 수 있습니다. 통신 매개변수(IP 주소 또는 DNS 서버, 인증을 위한 기본 포트, 경로 및 파일 이름)는 개체를 생성할 때 지정됩니다.

각 Cage 개체는 동시에 여러 파일을 작업할 수 있으므로 공유 메모리 공간이 버퍼링에 사용됩니다. 캐시 크기 – 페이지 수와 크기는 Cage 개체를 생성할 때 동적으로 설정됩니다. 예를 들어, 1GB 캐시는 각각 1000MB의 1페이지, 각각 10KB의 100페이지 또는 각각 1KB의 1만 페이지입니다. 페이지 크기와 수를 선택하는 것은 각 적용 사례에 대한 특정 작업입니다.

여러 Cage 개체를 동시에 사용하여 다양한 파일에서 정보에 액세스하는 방법에 따라 다양한 버퍼 메모리 설정을 정의할 수 있습니다. 기본적으로 가장 간단한 버퍼링 알고리즘이 사용됩니다. 특정 양의 메모리가 소진된 후 새 페이지는 최소 액세스 횟수로 폐기 원칙에 따라 이전 페이지를 대체합니다. 버퍼링은 첫째로 다른 파일에 대한 공유 액세스, 둘째로 각 파일의 조각에 대한 공유 액세스가 고르지 않은(통계적 의미에서) 경우에 특히 효과적입니다.

Cage 클래스는 데이터 주소(배열의 위치 및 길이 표시, 파일 시스템 작업 "교체")뿐만 아니라 더 낮은 "물리적" 수준(버퍼 메모리의 페이지 번호)으로도 I/O를 지원합니다.

Cage 객체에는 원래 기능이 지원됩니다. "동면" ("잠자기") - 클라이언트 측의 로컬 덤프 파일로 "축소"(예: 서버와의 연결이 끊기거나 애플리케이션이 중지된 경우 등)하고 신속하게 복원할 수 있습니다. 이 파일(통신이 재개된 후 애플리케이션을 다시 시작할 때) 자주 사용하는 파일 조각이 이미 캐시에 저장되어 있기 때문에 일시적으로 "오프라인" 상태가 된 후 클라이언트 프로그램을 활성화할 때 트래픽을 크게 줄일 수 있습니다.

Cage는 약 3600줄의 코드입니다.

서버 구축의 원리

Cageserver 파일 서버는 임의 개수의 포트로 실행될 수 있으며, 그 중 하나("기본")는 모든 클라이언트의 인증에만 사용되고 나머지는 데이터 교환에 사용됩니다. Cage 서버 프로그램에는 Python만 필요합니다. 동시에 파일 서버가 있는 컴퓨터는 다른 작업을 수행할 수 있습니다.

서버는 처음에 두 가지 주요 프로세스의 모음으로 시작됩니다.

1. "사이" – 클라이언트와의 통신을 설정하고 서버 주도로 이를 종료하는 작업을 수행하는 프로세스
2. "작업" – 파일 작업을 위해 클라이언트의 작업(작업)을 수행하고 클라이언트 명령에 따라 통신 세션을 종료하는 프로세스입니다.

두 프로세스 모두 동기화되지 않으며 다중 프로세스 대기열, 프록시 개체, 잠금 및 소켓을 기반으로 메시지를 주고받는 끝없는 루프로 구성됩니다.
연결 프로세스는 각 클라이언트가 데이터를 수신하고 전송할 포트를 할당합니다. 포트 수는 서버가 시작될 때 설정됩니다. 포트와 클라이언트 간의 매핑은 프로세스 간 공유 프록시 메모리에 저장됩니다.

운영 프로세스는 여러 클라이언트가 공유할 수 있도록 파일 리소스 공유를 지원합니다(준병렬, 액세스는 잠금으로 제어되므로) "첫 번째" 클라이언트가 처음 열었을 때 허용된 경우 한 파일에서 데이터를 읽습니다.

서버에서 파일을 생성/삭제/열기/닫기 위한 명령 처리는 서버 OS의 파일 하위 시스템을 사용하여 "작업" 프로세스 자체에서 엄격하게 순차적으로 수행됩니다.

일반적으로 읽기/쓰기 속도를 높이기 위해 이러한 작업은 "작업" 프로세스에서 생성된 스레드에서 수행됩니다. 스레드 수는 일반적으로 열린 파일 수와 같습니다. 클라이언트의 읽기/쓰기 작업은 일반 대기열에 제출되고 첫 번째 자유 스레드는 해당 작업을 헤드에서 가져옵니다. 특수 논리를 사용하면 서버 RAM에서 데이터 다시 쓰기 작업을 제거할 수 있습니다.

운영 프로세스는 클라이언트 활동을 모니터링하고 명령에 따라 또는 비활성 제한 시간이 초과되면 서비스를 중지합니다.

신뢰성을 보장하기 위해 Cageserver는 모든 트랜잭션의 로그를 유지합니다. 하나의 일반 로그에는 파일 생성/열기/이름 바꾸기/삭제 작업이 포함된 클라이언트의 메시지 복사본이 포함되어 있습니다. 각 작업 파일에 대해 별도의 로그가 생성되며, 여기에는 이 작업 파일의 데이터를 읽고 쓰는 작업이 포함된 메시지 복사본과 작성된(새) 데이터 배열 및 덮어쓰기(쓰기) 중에 파괴된 데이터 배열이 기록됩니다. 이전 데이터 "위에" 새 데이터가 있음).

이러한 로그는 백업에 대한 새로운 변경 사항을 복원하고 현재 콘텐츠를 과거 시점으로 롤백하는 기능을 제공합니다.

Cageserver는 약 3100줄의 코드입니다.

Cageserver 파일 서버 프로그램 시작

시작할 때 대화 상자에서 다음을 정의해야 합니다.
- 인증을 위한 주요 포트;
— 승인된 클라이언트와 트랜잭션을 교환하기 위한 포트 수(1개 이상부터 숫자 풀은 기본 포트 번호 옆에 있는 포트부터 시작됩니다).

케이지 클래스 사용

수업 새장.새장( 케이지_이름="", 페이지 크기=0, 페이지 수=0, maxstrlen=0, server_ip={}, wait=0, awake=False, 캐시_파일="" )

파일 서버와 상호 작용하고 버퍼 메모리를 포함하는 개체는 이 클래스에서 생성됩니다.

매개 변수

• 케이지_이름(하위 버전) - 서버 측에서 클라이언트를 식별하는 데 사용되는 개체의 조건부 이름
• 페이지 크기(INT) — 버퍼 메모리의 한 페이지 크기(바이트)
• 페이지 수(INT) — 버퍼 메모리 페이지 수
• 최대 길이(INT) - 쓰기 및 읽기 작업에서 바이트 문자열의 최대 길이
• 서버_IP(딕셔너리) - 사용된 서버의 주소가 포함된 사전입니다. 여기서 키는 서버의 조건부 이름(애플리케이션 내부의 서버 ID)이고 값은 주소가 포함된 문자열입니다: "ip 주소:포트" 또는 "DNS: port”(이름과 실제 주소의 비교는 일시적이며 변경될 수 있음)
• 기다리다(INT) — 포트를 수신할 때 서버의 응답을 기다리는 시간(초)
• 깨어(부울) — 객체 생성 방법에 대한 플래그(거짓 - 새로운 객체가 생성된 경우 참된 - 이전에 "축소된" 개체에서 개체가 생성된 경우 - "최대 절전 모드" 작업 사용, 기본적으로 False)
• 캐시_파일(하위 버전) - 최대 절전 모드용 파일 이름

방법

새장.파일 생성( 서버, 경로 ) – 새 파일을 만듭니다

새장.파일_이름 바꾸기( 서버, 경로, new_name ) – 파일 이름 바꾸기

새장.파일_제거( 서버, 경로) - 파일 삭제

새장.열 수( 서버, 경로, 모드 ) - 파일 열기

보고 f채널 채널 번호. 매개변수 모드 - 파일 열기 모드입니다: "wm" - 배타적(읽기/쓰기), "rs" - 읽기 전용, 다른 클라이언트의 읽기 전용 공유, "ws" - 읽기/쓰기, 읽기 전용 공유 다른 클라이언트.

새장.가까운 (f채널) – 파일을 닫습니다

새장.쓰다 (fchannel, 시작, 데이터 ) – 파일에 바이트 문자열 쓰기

새장.읽기 (fchannel, 시작, len_data ) – 파일에서 바이트 문자열을 읽습니다.

새장.put_pages ( f채널 ) – 수정된 특정 채널의 모든 페이지를 버퍼에서 서버로 "푸시"합니다. 이는 채널의 모든 작업이 서버의 파일에 물리적으로 저장되어 있는지 확인해야 하는 알고리즘의 해당 지점에서 사용됩니다.

새장.push_all () – 수정된 Cage 클래스 인스턴스에 대한 모든 채널의 모든 페이지를 버퍼에서 서버로 "푸시"합니다. 모든 채널의 모든 작업이 서버에 저장되었는지 확인해야 할 때 사용됩니다.

출처 : habr.com