PC를 통하지 않고 한 클라우드에서 다른 클라우드로 파일을 전송하는 방법

죽음, 이혼, 이사는 모든 사람의 삶에서 가장 스트레스가 많은 상황 중 세 가지입니다.
"미국의 공포 이야기".

- Andryukh, 집을 떠날 예정입니다. 이사를 도와주세요. 모든 것이 나에게 맞지 않을 것입니다 :(
- 네, 몇 개 있어요?
— 톤* 7-8...
*톤(jarg) - 테라바이트.

최근 인터넷 서핑을 하던 중 Habré 및 다양한 유형의 데이터를 마이그레이션하는 방법과 모델에 관한 많은 자료의 유사한 리소스가 있음에도 불구하고 이 주제에 대한 질문이 여전히 인터넷에 나타나는 것을 발견했습니다. 어떤 이유에서인지 항상 자세한 답변을 받을 수는 없습니다. 이 사실로 인해 어느 날 유사한 솔루션 구현에 대한 메모를 수집하고 이를 별도의 게시물 형식으로 정리하게 되었습니다.

일반적으로 한 장치, 시스템 및 서비스에서 다른 장치, 시스템 및 서비스로 데이터를 귀찮은 빈도로 전송해야 합니다. 시행착오를 통해 많은 흥미로운 제품을 알게 되었을 뿐만 아니라 제가 이야기하고 싶은 솔루션의 기능과 비용 간의 균형을 찾을 수 있었습니다.

디자인

설계 및 조사 작업의 결과로 밝혀진 바와 같이 마이그레이션 프로세스의 품질과 효율성은 데이터가 있거나 있을 "사이트"의 기술적 특성뿐만 아니라 물리적 위치에 따라 달라집니다.

마이그레이션 관리자는 프로세스의 "로직"(마이그레이션 관리용 소프트웨어)이 작동하는 컴퓨팅 노드입니다.

즉, "마이그레이션 관리자"를 배치하는 데는 두 가지 모델이 있습니다.

• 모델 A. 사이트 중 적어도 하나가 로컬 네트워크 내에서만 액세스할 수 있는 경우 동일한 네트워크에 "마이그레이션 관리자"를 배치하는 것이 좋습니다. 성능과 마이그레이션 시간은 여전히 ​​사이트를 연결하는 채널의 속도와 가동 시간에 의해 제한되기 때문입니다.
• 모델 B. 데이터 소스와 수신자 모두 로컬 네트워크 외부에 액세스할 수 있는 경우 "마이그레이션 관리자"는 둘 사이의 채널 속도와 가동 시간이 더 나은 위치에 있어야 합니다.

위의 내용을 어떻게든 분해하기 위해 기사의 주요 질문에서 작업으로 돌아가서 이를 기술 사양으로 공식화할 것을 제안합니다.

먼저, 사용 중인 소프트웨어가 클라우드를 지원하는지 확인해야 합니다. Mail.ru, Yandex, Google 드라이브, Mega, Nextloud?

짧은 대답은 "예!"입니다.

나는 사용한다 Rclone.

Rclone - 클라우드 스토리지용 rsync입니다. 45개 이상의 유형 및 유형의 스토리지와 파일 및 폴더를 동기화하도록 설계된 오픈 소스 소프트웨어입니다.

다음은 그중 몇 가지입니다.
— Alibaba Cloud(Aliyun) 객체 스토리지 시스템(OSS)
- 아마존 S3
— 세프
—디지털오션 스페이스
-드롭 박스
- 구글 클라우드 스토리지
- 구글 드라이브
- 구글 포토
- HTTP
-IBM COS S3
— Mail.ru 클라우드
—메가
- 마이크로소프트 Azure Blob 저장소
- 마이크로소프트 원드라이브
— 미니오
— 넥스트클라우드
- 오픈스택 스위프트
— 오라클 클라우드 스토리지
— ownCloud
— Rackspace 클라우드 파일
-rsync.net
-SFTP
- 웹DAV
— Yandex 디스크

온라인:
— MD5/SHA1 해시를 사용하여 파일의 무결성을 확인합니다.
— 파일 생성/변경을 위한 타임스탬프 저장.
- 부분 동기화를 지원합니다.
— 새 파일만 복사합니다.
— 동기화(단방향).
— 파일 확인(해시 기준).
— 한 클라우드 계정에서 다른 클라우드 계정으로 동기화하는 기능.
- 암호화 지원.
- 로컬 파일 캐싱을 지원합니다.
— FUSE를 통해 클라우드 서비스를 마운트하는 기능.

Rclone은 또한 데이터 백업 자동화와 관련된 문제의 대부분을 해결하는 데 도움이 된다고 덧붙일 것입니다. 프로젝트 "Väinämöinen".

다음 작업은 "마이그레이션 관리자" 배치 모델을 선택하는 것입니다.

다양한 퍼블릭 클라우드 서비스인 모든 데이터 소스는 인터넷을 통해 접근 가능합니다. API를 통한 포함. 수신기 XNUMX개 중 XNUMX개가 동일한 작업을 수행합니다. Nextcloud 자체가 어디에 배포되고 어떤 액세스가 가능한지 확실하지 않습니까?

나는 다섯 가지 가능한 옵션을 계산했습니다.

1. 집/회사 네트워크의 자체 서버에 있습니다.
2. 서비스 제공업체 데이터 센터의 임대 랙에 있는 자체 서버에서.
3. 서비스 제공업체에서 임대한 서버에서.
4. 서비스/호스팅 공급자가 있는 가상 서버(VDS/VPS) 
5. 서비스 제공자로부터 SaaS 모델에 따르면

Nextcloud가 여전히 클라우드 스토리지를 생성하고 사용하는 소프트웨어라는 점을 고려하면 다섯 가지 옵션 모두에서 인터넷을 통한 액세스가 가능하다고 안전하게 말할 수 있습니다. 이 경우 "마이그레이션 관리자"를 배치하기 위한 최적의 모델은 다음과 같습니다. 모델 B.

"마이그레이션 관리자"를 위한 플랫폼으로 선택된 모델에 따라 저는 제 관점에서 볼 때 최적의 옵션 중 하나인 가상 서버를 선택하겠습니다. M9 데이터 센터 러시아 최대 인터넷 트래픽 교환 포인트 MSK-IX.

세 번째로 내려야 할 결정은 가상 서버 구성을 결정하는 것입니다. 

VDS 구성 매개변수를 선택할 때는 사이트 간 채널 너비, 이동되는 파일 수 및 크기, 마이그레이션 스트림 수 및 설정 수에 따라 필요한 성능을 기준으로 해야 합니다. OS의 경우 Rclone은 Windows 및 Linux를 포함한 다양한 운영 체제에서 실행되는 크로스 플랫폼 소프트웨어입니다.

여러 마이그레이션 프로세스를 특정 빈도로 시작할 계획이라면 리소스 비용을 지불하고 VDS를 임대하는 옵션을 고려해 볼 가치가 있습니다.

창조

위 내용을 바탕으로 본 글의 프로토타입을 제작할 때 아래와 같은 구성으로 VDS를 선택했습니다.

비용은 월 560루블입니다. 쿠폰 이용 시 15% 할인 포함 스트레스없는.

이러한 선택은 기술 사양 조건을 준수하기 위해 Windows OS의 노드가 주문 가능한 다른 OS보다 구성하기가 더 쉽기 때문입니다.

주제 외: 보안 강화를 위해 이 가상 서버는 노드 중 하나에 할당됩니다. 보안 가상 네트워크. RDP를 통한 액세스는 그곳에서만 허용됩니다.

VDS를 생성하고 RDP를 통해 데스크톱에 액세스한 후 가장 먼저 해야 할 일은 Rclone 및 Web-GUI를 위한 환경을 준비하는 것입니다. 저것들. 불행히도 처음에 설치된 IE 11이 사용된 소프트웨어에서 항상 올바르게 작동하는 것은 아니기 때문에 Chrome과 같은 새로운 기본 브라우저를 설치하십시오. 

환경 준비 후 소프트웨어 패키지와 함께 아카이브를 다운로드합니다. Windows용 Rclone 그리고 포장을 풀어보세요. 

그런 다음 Windows 명령줄 모드에서 명령을 실행하여 추출된 파일이 있는 폴더로 이동합니다. 나에게는 관리자의 홈 폴더에 있습니다.

C:UsersAdministrator>cd rclone

전환 후 Web-GUI에서 Rclone을 시작하는 명령을 실행합니다.

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

여기서 "login" 및 "password"는 따옴표 없이 지정한 로그인 및 비밀번호입니다.

명령을 실행하면 터미널에 다음이 표시됩니다.

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

Rclone 그래픽 웹 인터페이스가 브라우저에서 자동으로 열립니다.

Web-GUI가 아직 테스트 버전 단계에 있고 아직 명령줄 인터페이스의 모든 Rclone 관리 기능을 갖추고 있지 않음에도 불구하고 해당 기능은 데이터 마이그레이션에 충분합니다. 그리고 조금 더.

조정

다음 단계는 데이터가 있거나 있을 사이트에 대한 연결을 설정하는 것입니다. 그리고 첫 번째 줄은 기본 데이터 수신기인 Nextcloud가 될 것입니다.

1. 이렇게 하려면 섹션으로 이동하세요. 구성 웹-GUI. 

2. 새 구성 생성 시작 - 버튼 새 구성.

3. 사이트 이름 설정 - 필드 이 드라이브의 이름(참고용): 넥스트클라우드.

4. 스토리지 유형 또는 유형 선택 선택: Nextcloud 및 Owncloud의 경우 주요 데이터 교환 인터페이스는 WebDAV입니다.

5. 다음을 클릭하세요. 2단계: 설정 드라이브를 실행하고 연결 매개변수 목록을 열고 입력하세요. 

- 5.1. URL에 연결할 http 호스트의 URL — WebDAV 인터페이스의 하이퍼텍스트 링크. Nextcloud에서는 설정(인터페이스 왼쪽 하단)에 있습니다.
- 5.2. 사용 중인 Webdav 사이트/서비스/소프트웨어 이름 — WebDAV 인터페이스 이름. 해당 필드는 선택 사항이므로 그러한 연결이 많아도 혼동하지 마십시오.
- 5.3 사용자 이름 — 인증을 위한 사용자 이름
- 5.4. 비밀번호 — 승인을 위한 비밀번호
- 5.5. 사용자/패스(예: 마카롱) 대신 베어러 토큰 및 베어러 토큰을 얻기 위해 실행하는 명령 고급 옵션에는 추가 매개변수와 인증 명령이 있습니다. 내 Nextcloud에서는 사용되지 않습니다.

6. 다음 클릭 구성 만들기 구성이 생성되었는지 확인하려면 섹션으로 이동하세요. 구성 웹 인터페이스... 동일한 페이지를 통해 새로 생성된 구성을 삭제하거나 편집할 수 있습니다.

사이트 연결 기능을 확인하려면 해당 섹션으로 이동하세요. 블록체인 탐색기... 현장에서 리모컨 구성된 사이트의 이름을 입력하고 엽니다. 파일 및 디렉터리 목록이 표시되면 사이트 연결이 작동하는 것입니다.

좀 더 설득력 있게 웹 인터페이스를 통해 폴더를 생성/삭제하거나 파일을 다운로드/삭제할 수 있습니다.

연결할 두 번째 플랫폼은 Yandex 디스크입니다.

• 처음 네 단계는 Nextcloud 연결 프로세스와 유사합니다.
• 다음으로 모든 것을 그대로 둡니다. 2단계: 드라이브 설정 비워두고 고급 옵션에서는 아무것도 변경하지 않습니다.
• 우리는 누릅니다 구성 만들기.
• 브라우저에서 Yandex 인증 페이지가 열리면 성공적인 연결에 대한 메시지와 Rclone으로 돌아가라는 메시지가 표시됩니다.
• 우리가 하는 일은 섹션을 확인하는 것입니다. 구성.

마이그레이션

두 개의 사이트가 연결되어 있으면 이미 두 사이트 간에 데이터를 마이그레이션할 수 있습니다. 프로세스 자체는 앞서 수행한 Nextcloud 연결 기능을 확인하는 것과 유사합니다.

• 우리는에 전달한다. 블록체인 탐색기.
• 템플릿 선택 2-나란히.
• 각각에서 리모컨 귀하의 사이트 이름을 나타냅니다.
• 우리는 누릅니다 엽니다.
• 우리는 각각에 대한 파일과 폴더의 디렉터리를 볼 수 있습니다.

마이그레이션 프로세스를 시작하려면 데이터 원본 디렉터리에서 파일이 있는 원하는 폴더를 선택하고 마우스로 대상 디렉터리로 드래그하면 됩니다.

나머지 사이트를 추가하고 사이트 간에 데이터를 마이그레이션하는 메커니즘은 위에서 수행한 작업과 유사합니다. 작업 중 오류가 발생하면 Web-GUI가 포함된 Rclone이 실행되는 터미널에서 해당 오류에 대한 세부 정보를 학습할 수 있습니다.

일반적으로 문서는 Rclone 웹사이트와 인터넷에서 광범위하고 이용 가능하며 사용에 어떤 어려움도 초래해서는 안 됩니다. 이것으로 PC를 우회하여 한 클라우드에서 다른 클라우드로 파일을 전송하는 방법에 대한 첫 번째 게시물을 완료했습니다.

PS 마지막 진술에 동의하지 않으면 댓글에 "다루지 않은 주제"와 계속할 가치가 있는 내용을 적어주세요.

출처 : habr.com