PC를 사용하지 않고 한 클라우드에서 다른 클라우드로 파일을 전송하는 방법

사망, 이혼, 이사는 누구에게나 인생에서 가장 스트레스가 많은 세 가지 상황입니다.
"아메리칸 호러 스토리"

- 안드류크, 집을 나가려고 하는데, 이사하는 걸 도와주세요. 모든 걸 다 넣을 수는 없어요 :(
- 알겠어요. 하지만 많은가요?
— 톤* 7-8…
*톤(jarg) - 테라바이트.

최근 인터넷을 서핑하다가 Habr과 유사한 리소스에서 다양한 유형의 데이터를 마이그레이션하는 방법과 모델에 대한 많은 자료를 이용할 수 있음에도 불구하고 이 주제에 대한 질문이 여전히 온라인에 나타나는 것을 발견했습니다. 어떤 이유에서인지, 항상 자세한 답변이 주어지지는 않습니다. 이러한 사실로 인해 저는 비슷한 솔루션 구현에 관한 노트를 수집하여 별도의 게시물 형식으로 정리한 적이 있습니다.

일반적으로, 어느 정도 성가신 빈도로 한 장치, 시스템 및 서비스에서 다른 장치, 시스템 및 서비스로 데이터를 전송해야 합니다. 시행착오를 거쳐서 흥미로운 제품들을 많이 접할 수 있었을 뿐만 아니라 제가 이야기하고 싶은 솔루션의 기능성과 비용 간의 균형을 찾을 수 있었습니다.

디자인

설계 및 조사 작업의 결과로 밝혀진 바에 따르면, 마이그레이션 프로세스의 품질과 효율성은 데이터가 있거나 위치하게 될 "사이트"의 기술적 특성뿐만 아니라 물리적 위치에 따라서도 달라집니다.

마이그레이션 관리자는 프로세스의 "논리"가 작동하는 컴퓨팅 노드, 즉 마이그레이션 관리를 위한 소프트웨어입니다.

즉, "마이그레이션 관리자"를 배치하는 데는 두 가지 모델만 있습니다.

• 모델 A. 최소한 하나의 사이트에 로컬 네트워크 내에서만 접근할 수 있는 경우, "마이그레이션 관리자"도 동일한 네트워크에 배치해야 합니다. 생산성과 마이그레이션 시간은 여전히 ​​사이트를 연결하는 채널의 속도와 가동 시간에 따라 제한되기 때문입니다.
• 모델 B. 데이터의 소스와 수신자가 모두 로컬 네트워크 외부에서 접근할 수 있는 경우, "마이그레이션 관리자"는 소스와 수신자 간 채널의 속도와 가동 시간이 훨씬 더 나은 곳에 배치해야 합니다.

위의 내용을 어떻게든 분해하기 위해, 본 논문의 주요 질문에서 다룬 과제로 돌아가서 이를 기술적 과제로 공식화하고자 합니다.

먼저, 내가 사용하는 소프트웨어가 클라우드를 지원하는지 확인해야 합니다. Mail.ru, Yandex, Google Drive, Mega, Nextloud?

간단히 말해서, "그렇습니다!"

나는 사용한다 Rclone.

Rclone - 클라우드 스토리지를 위한 rsync. 45가지 이상의 유형과 종류의 저장소와 파일 및 폴더를 동기화하도록 설계된 오픈 소스 소프트웨어입니다.

다음은 그중 몇 가지입니다.
— Alibaba Cloud(Aliyun) 객체 스토리지 시스템(OSS)
— 아마존 S3
— 세프
— 디지털오션 스페이스
— 드롭박스
— Google 클라우드 스토리지
— 구글 드라이브
— 구글 포토
— HTTP
— IBM COS S3
— Mail.ru 클라우드
— 메가
- Microsoft Azure Blob 스토리지
— 마이크로소프트 원드라이브
- 미니오
— 넥스트클라우드
— 오픈스택 스위프트
— 오라클 클라우드 스토리지
— ownCloud
— Rackspace 클라우드 파일
— rsync.net
— SFTP
— 웹DAV
— Yandex 디스크

주요 기능:
— MD5/SHA1 해시를 사용하여 파일의 무결성을 확인합니다.
— 파일 생성/수정 타임스탬프를 저장합니다.
— 부분 동기화 지원.
— 새로운 파일만 복사합니다.
— 동기화(단방향).
— 파일 검사(해시로).
— 한 클라우드 계정에서 다른 계정으로 동기화하는 기능.
— 암호화 지원.
— 로컬 파일 캐싱 지원.
— FUSE를 통해 클라우드 서비스를 마운트할 수 있는 가능성.

또한 Rclone은 데이터 백업 자동화와 관련된 작업의 대부분을 해결하는 데 도움이 된다고 덧붙이고 싶습니다. 프로젝트 "베이네뫼이넨".

다음 작업은 "마이그레이션 관리자"를 배치하기 위한 모델을 선택하는 것입니다.

다양한 퍼블릭 클라우드 서비스를 포함한 모든 데이터 소스는 인터넷을 통해 접근할 수 있습니다. API를 통해서도 가능합니다. 세 대의 수신기 중 두 대가 동일한 문제를 가지고 있습니다. Nextcloud 자체가 어디에 배포되어 있는지, 그리고 어떤 접근이 가능한지는 불분명합니다.

나는 가능한 옵션을 다섯 가지로 꼽았습니다.

1. 집이나 회사 네트워크 내의 개인 서버에서.
2. 서비스 제공업체의 데이터 센터에서 임대한 랙에 있는 자체 서버에서.
3. 서비스 제공자로부터 임대받은 서버.
4. 서비스/호스팅 제공업체의 가상 서버(VDS/VPS)에서 
5. 서비스 제공자에서 SaaS 모델로

Nextcloud가 여전히 클라우드 스토리지를 만들고 사용하기 위한 소프트웨어라는 점을 고려하면, 인터넷을 통해 접속하는 것은 다섯 가지 버전 모두에서 가능하다고 안전하게 말할 수 있습니다. 그리고 이 경우 "마이그레이션 관리자"를 배치하기 위한 최적의 모델은 다음과 같습니다. 모델 B.

“마이그레이션 관리자” 플랫폼으로 선택된 모델에 따라 내 관점에서 최적의 옵션 중 하나인 가상 서버를 선택하겠습니다. M9 데이터 센터 러시아 최대의 인터넷 트래픽 교환 포인트 MSK-IX.

세 번째로 내려야 할 결정은 가상 서버 구성을 결정하는 것입니다. 

VDS 구성 매개변수를 선택할 때는 사이트 간 대역폭, 전송되는 파일의 수와 크기, 마이그레이션 스레드 수 및 설정에 따라 달라지는 필요한 성능을 고려해야 합니다. 운영 체제와 관련하여 Rclone은 다양한 운영 체제에서 실행되는 크로스 플랫폼 소프트웨어입니다. Windows и Linux.

여러 마이그레이션 프로세스를 특정 간격으로 실행할 계획이라면 리소스에 대한 비용을 지불하고 VDS를 임대하는 옵션을 고려해야 합니다.

창조

위의 내용을 바탕으로 본 기사의 프로토타입을 만들 때 다음과 같은 구성의 VDS를 선택했습니다.

한 달에 560루블이 듭니다. 쿠폰 15% 할인을 고려하면 스트레스없는.

이러한 선택은 노드가 OS의 관리 하에 있기 때문입니다. Windows당사의 기술 사양 조건을 충족하기 위해 다른 주문 가능한 운영 체제보다 구성이 더 쉽습니다.

오프토픽: 그런데, 보안을 강화하기 위해 이 가상 서버는 노드 중 하나로 지정됩니다. 보안 가상 네트워크. 그리고 RDP를 통한 접근은 오직 그곳에서만 허용됩니다...

VDS를 만들고 RDP를 통해 데스크톱에 액세스한 후 가장 먼저 해야 할 일은 Rclone과 Web-GUI를 위한 환경을 준비하는 것입니다. 저것들. 처음에 설치된 IE 11은 불행히도 항상 사용하는 소프트웨어에서 제대로 작동하지 않으므로 Chrome과 같은 새로운 기본 브라우저를 설정하세요. 

환경 준비가 완료되면 소프트웨어 패키지와 함께 아카이브를 다운로드하세요. Rclone용 Windows 그리고 풀어보세요. 

다음은 명령줄 모드에서입니다. Windows 압축 해제된 파일이 있는 폴더로 이동하기 위해 명령어를 실행합니다. 제 경우에는 관리자 홈 폴더에 있습니다.

C:UsersAdministrator>cd rclone

전환 후 웹 GUI에서 Rclone을 시작하기 위한 명령을 실행합니다.

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

여기서 "login"과 "password"는 따옴표 없이 지정한 로그인과 비밀번호입니다.

명령을 실행하면 터미널에 다음이 표시됩니다.

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

그리고 Rclone 그래픽 웹 인터페이스가 자동으로 브라우저에서 열립니다.

웹 GUI는 아직 베타 단계이며 명령줄 인터페이스에서 제공하는 모든 Rclone 관리 기능을 갖추고 있지는 않지만 데이터 마이그레이션에는 충분한 기능을 갖추고 있습니다. 그리고 조금 더.

조정

다음 단계는 데이터가 있는 사이트나 데이터가 저장될 사이트에 대한 연결을 설정하는 것입니다. 그리고 가장 먼저 등장하는 것은 주요 데이터 수신자인 Nextcloud입니다.

1. 이렇게 하려면 섹션으로 이동하세요. 구성 웹 GUI. 

2. 새로운 구성 생성을 시작합니다 - 버튼 새로운 구성.

3. 우리는 사이트의 이름을 설정합니다 - 필드 이 드라이브의 이름(참고용): 넥스트클라우드.

4. 저장 유형이나 종류를 선택하세요 선택: Nextcloud와 Owncloud의 경우 기본 데이터 교환 인터페이스는 WebDAV입니다.

5. 다음으로 클릭하세요 2단계: 설정 연결 매개변수 목록을 열어서 입력하세요. 

- 5.1. 연결할 http 호스트의 URL — WebDAV 인터페이스의 하이퍼텍스트 링크. Nextcloud에서는 설정 - 인터페이스 왼쪽 하단에 있습니다.
- 5.2. 사용 중인 Webdav 사이트/서비스/소프트웨어의 이름 — WebDAV 인터페이스의 이름입니다. 이 필드는 선택 사항이므로, 이러한 연결이 많은 경우 혼란스러워하지 않도록 주의하세요.
- 5.3 사용자 이름 — 권한 부여 중 사용자 이름
- 5.4. 비밀번호 — 권한 부여를 위한 비밀번호
- 5.5. 사용자/암호 대신 보유자 토큰(예: 마카롱) 및 보유자 토큰을 얻기 위해 실행할 명령 고급 옵션에는 추가 매개변수와 권한 부여 명령이 있습니다. Nextcloud에서는 사용하지 않습니다.

6. 다음으로 클릭하세요 구성 생성 구성이 생성되었는지 확인하려면 섹션으로 이동하세요. 구성 웹 인터페이스... 이 동일한 페이지를 통해 새로 만든 구성을 삭제하거나 편집할 수 있습니다.

사이트 연결 기능을 확인하려면 섹션으로 이동하세요. 블록체인 탐색기... 현장에서 리모컨 구성된 사이트의 이름을 입력하고 클릭하세요 엽니다. 파일과 디렉토리 목록이 보이면 사이트 연결이 제대로 작동하는 것입니다.

더욱 설득력 있게 만들려면 웹 인터페이스를 통해 폴더를 만들거나 삭제하거나 파일을 다운로드하거나 삭제할 수 있습니다.

두 번째로 연결될 플랫폼은 Yandex Disk입니다.

• 처음 네 단계는 Nextcloud 연결 프로세스와 비슷합니다.
• 다음으로, 우리는 모든 것을 그대로 둡니다. 즉, 필드는 다음과 같습니다. 2단계: 드라이브 설정 비워두고 고급 옵션은 아무것도 변경하지 마세요.
• 우리는 누릅니다 구성 생성.
• 브라우저에서 Yandex 인증 페이지가 열리고, 그 후 연결 성공 메시지와 Rclone으로 돌아갈지 묻는 메시지가 표시됩니다.
• 섹션을 확인하여 우리가 하는 일은 다음과 같습니다. 구성.

마이그레이션

두 사이트를 연결한 후에는 두 사이트 간에 데이터를 이전할 수 있습니다. 프로세스 자체는 앞서 수행한 Nextcloud 연결 확인과 비슷합니다.

• 우리는에 전달한다. 블록체인 탐색기.
• 템플릿을 선택하세요 2-나란히.
• 각각의 리모컨 우리는 사이트의 이름을 표시합니다.
• 우리는 누릅니다 엽니다.
• 우리는 각각의 파일과 폴더의 디렉토리를 봅니다.

마이그레이션 프로세스를 시작하려면 데이터 소스 디렉토리에서 파일이 있는 원하는 폴더를 선택한 다음 마우스로 수신자 디렉토리로 드래그하기만 하면 됩니다.

나머지 사이트를 추가하고 사이트 간 데이터 마이그레이션 작업을 수행하는 메커니즘은 위에서 수행한 작업과 비슷합니다. 작업 중에 오류가 발생하면 Rclone with Web-GUI가 실행되는 터미널에서 오류의 세부 정보를 살펴볼 수 있습니다.

일반적으로 문서는 Rclone 웹사이트와 인터넷에서 광범위하고 접근하기 쉬우며, 사용에 어려움이 있어서는 안 됩니다. 이로써 PC를 거치지 않고 한 클라우드에서 다른 클라우드로 파일을 전송하는 방법에 대한 첫 번째 게시물을 완료했습니다.

PS 마지막 문장에 동의하지 않는다면, 댓글에 "다루지 않은 주제는 무엇인가"라고 적어주시고, 어떤 맥락으로 계속해야 할지 말씀해 주세요.

출처 : habr.com