Смртта, разводот и преселувањето се три од најстресните ситуации во животот на секоја личност.
„Американска хорор приказна“.
- Андриух, си одам од дома, помогни ми да се движам, сè нема да се вклопи со мене :(
- Добро, колку има?
— Тони* 7-8...
*Тон (јарг) - терабајт.
Неодамна, додека сурфав на Интернет, забележав дека и покрај достапноста на Habré и слични ресурси на многу материјали за методите и моделите за мигрирање на различни видови податоци, прашањата на оваа тема сè уште се појавуваат на Интернет. Кои, поради некоја причина, не секогаш добиваат детални одговори. Овој факт ме поттикна еден ден да соберам белешки за спроведување на слично решение и да ги подредам во форма на посебен пост.
Во принцип, морам да префрлам податоци од еден уред, систем и услуга на друг со некоја досадна фреквенција. Што, преку обиди и грешки, ми овозможи не само да се запознаам со многу интересни производи, туку и да најдам баланс помеѓу функционалноста и цената на решението за кое сакам да зборувам.
Дизајнирање
Како што се покажа како резултат на работата на дизајнот и истражувањето, квалитетот и ефикасноста на процесот на миграција не зависи само од техничките карактеристики на „локалитетите“ каде што се наоѓаат или ќе се наоѓаат податоците, туку и од нивната физичка локација.
Менаџерот за миграција е компјутерски јазол на кој функционира „логиката“ на процесот - софтвер за управување со миграцијата.
Односно, постојат два модели за поставување „менаџер за миграција“
- Моделот А. Ако барем една од локациите може да се пристапи само од локалната мрежа, тогаш вреди да се постави „менаџер за миграција“ на истата мрежа. Бидејќи перформансите и времето на миграција сè уште се ограничени од брзината и времето на работа на каналот што ги поврзува локациите.
- Модел Б. Ако и изворот и примачот на податоците имаат пристап надвор од локалната мрежа, тогаш „менаџерот за миграција“ треба да се наоѓа таму каде што брзината и времето на работа на каналот меѓу нив ќе бидат очигледно подобри.
Со цел некако да се разложи горенаведеното, предлагам да се вратам на задачите од главното прашање на статијата и да ги формализирам во технички спецификации.
Прво, треба да откријам дали софтверот што го користам поддржува облаци: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
Краткиот одговор е: „ДА!“
Јас го користам .
Rclone - rsync за складирање облак. Софтвер со отворен код дизајниран да синхронизира датотеки и папки со повеќе од 45 типови и типови на складирање.
Еве само неколку од нив:
— Alibaba Cloud (Aliyun) Систем за складирање на објекти (OSS)
- Амазон С3
- Кеф
- Дигитални океански простори
- Dropbox
- Google Cloud Storage
- Google Drive
- Фотографии на Google
- HTTP
-IBM COS S3
- Облак Mail.ru
- Мега
- Microsoft Azure Blob Storage
- Microsoft OneDrive
- Минио
- Следен облак
- Openstack Swift
- Oracle Cloud Storage
- сопствен облак
— Датотеки на облак Rackspace
- rsync.net
- SFTP
- WebDAV
- Yandex диск
Главна функционалност:
— Проверка на интегритетот на датотеките користејќи хашови MD5/SHA1.
— Зачувување временски печати за креирање/промена на датотеки.
- Поддржува делумна синхронизација.
— Копирање само нови датотеки.
— Синхронизација (еднонасочна).
— Проверка на датотеки (по хаш).
— Можност за синхронизирање од една сметка во облак на друга.
- Поддршка за шифрирање.
- Поддршка за локално кеширање на датотеки.
— Можност за монтирање облак услуги преку FUSE.
Сам ќе додадам дека Rclone исто така ми помага да го решам лавовскиот дел од проблемите поврзани со автоматизирање на резервната копија на податоци во .
Следната задача е да изберете модел за сместување „менаџер за миграција“.
Сите извори на податоци, кои се различни јавни облак услуги, се достапни преку Интернет. Вклучувајќи и преку API. Два од три приемници го прават истото. Не е јасно каде е распореден самиот Nextcloud и каков пристап е достапен до него?
Набројав пет можни опции:
- На свој сервер во вашата домашна/корпоративна мрежа.
- На вашиот сопствен сервер во изнајмена решетка на центарот за податоци на давателот на услуги.
- На сервер изнајмен од давател на услуги.
- На виртуелен сервер (VDS/VPS) со давател на услуги/хостинг
- Од давателот на услугата
Имајќи предвид дека Nextcloud е сè уште софтвер за креирање и користење облак складирање, можеме со сигурност да кажеме дека пристапот до него преку Интернет е достапен во сите пет опции. И во овој случај, оптималниот модел за поставување „менаџер за миграција“ ќе биде - модел Б.
Според моделот избран како платформа за „менаџерот за миграција“, ќе изберам една од оптималните, од моја гледна точка, опции - виртуелен сервер во Најголемата точка за размена на интернет сообраќај во Русија MSK-IX.
Третата одлука што треба да се донесе е да се одлучи за конфигурацијата на виртуелниот сервер.
При изборот на параметрите за конфигурација на VDS, треба да се водите од потребните перформанси, што зависи од ширината на каналите помеѓу локациите, бројот и големината на датотеките што се преместуваат, бројот на миграциски текови и поставки. Што се однесува до оперативниот систем, Rclone е софтвер со повеќе платформи кој работи на различни оперативни системи, вклучувајќи ги Windows и Linux.
Ако планирате да започнете неколку процеси на миграција, па дури и на одредена фреквенција, тогаш вреди да се разгледа опцијата за изнајмување VDS со плаќање за ресурси.
создавање
Врз основа на горенаведеното, при креирањето на прототипот за овој напис, го избрав VDS во следната конфигурација.
чини 560 рубли / месец. вклучувајќи 15% попуст со користење на купон БЕЗ СТРЕС.
Овој избор се должи на фактот дека јазол под Windows OS, за да се усогласат со условите на нашите технички спецификации, е полесен за конфигурирање отколку за други оперативни системи достапни за нарачка.
Офтопик: Патем, за поголема безбедност, овој виртуелен сервер е доделен на еден од јазлите . а пристапот до него преку RDP е дозволен само од таму...
По креирањето на VDS и стекнувањето пристап до работната површина преку RDP, првото нешто што треба да направите е да ја подготвите околината за Rclone и Web-GUI. Оние. инсталирајте нов стандарден прелистувач, на пример Chrome, бидејќи првично инсталираниот IE 11, за жал, не секогаш работи правилно со користениот софтвер.
Откако ќе ја подготвите околината, преземете ја архивата со софтверскиот пакет и отпакувајте го.
Следно, во режимот на командната линија на Windows, извршете ја командата за да отидете во папката со извлечените датотеки. За мене се наоѓа во домашната папка на администраторот:
C:UsersAdministrator>cd rclone
По транзицијата, ја извршуваме командата за стартување на Rclone од Web-GUI:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
каде што „најава“ и „лозинка“ се најавувањето и лозинката што ги наведовте, се разбира, без наводници.
По извршувањето на командата, терминалот се прикажува
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
и Rclone графичкиот веб-интерфејс автоматски се отвора во прелистувачот.
И покрај фактот што Web-GUI сè уште е во фаза на тест верзија и сè уште ги нема сите можности за управување со Rclone што ги има интерфејсот на командната линија, неговите способности се сосема доволни за миграција на податоци. Па дури и малку повеќе.
прилагодување
Следниот чекор е да поставите врски со локациите каде што се или ќе се наоѓаат податоците. И првиот во редот ќе биде главниот примач на податоци - Nextcloud.
1. За да го направите ова, одете во делот Конфигурира Веб-GUI.
2. Иницирање на создавање на нова конфигурација - копче Нова конфигурација.
3. Поставете го името на страницата - поле Име на овој диск (За ваша референца): Следен облак.
4. Избор на тип или тип на складирање изберете: За Nextcloud и Owncloud, главниот интерфејс за размена на податоци е WebDAV.
5. Следно, кликнете на Чекор 2: Поставување диск, отворете ја листата со параметри за поврзување и пополнете.
- 5.1. URL на http-домаќин за поврзување со URL-адреса — хипертекст врска на интерфејсот WebDAV. Во Nextcloud тие се наоѓаат во поставките - долниот лев агол на интерфејсот.
- 5.2. Име на веб-локацијата/услугата/софтверот на Webdav што ја користите — Име на интерфејсот WebDAV. Полето е изборно, за себе, за да не се збуниш ако има многу такви врски.
- 5.3 Корисничко име — Корисничко име за авторизација
- 5.4. Лозинка — Лозинка за овластување
- 5.5. Токен носител наместо корисник/пропусница (на пр. Macaroon) и команда да се кандидира за да добие токен носител во напредните опции има дополнителни параметри и команди за авторизација. Тие не се користат во мојот Nextcloud.
6. Следен клик Креирај конфигурација и за да се уверите дека е креирана конфигурацијата, одете во делот Конфиг веб интерфејс... Преку истата страница може да се избрише или уредува новосоздадената конфигурација.
За да ја проверите функционалноста на врската со страницата, одете во делот ИстражувачНа В поле Дистанции внесете го името на конфигурираната локација и кликнете Отворено. Ако видите список со датотеки и директориуми, врската со страницата работи.
За да бидете поубедливи, можете да креирате/бришете папка или да преземете/бришете датотека преку веб-интерфејсот.
Втората платформа што ќе се поврзе ќе биде дискот Yandex.
- Првите четири чекори се слични на процесот на поврзување Nextcloud.
- Следно, оставаме сè како што е, односно полињата внатре Чекор 2: Поставете го уредот Ги оставаме празни и не менуваме ништо во напредните опции.
- Притискаме Креирај Config.
- Во прелистувачот се отвора страницата за авторизација Yandex, по што добивате порака за успешна врска и понуда да се вратите на Rclone.
- Она што го правиме е да го провериме делот config.
Миграција
Кога имаме две поврзани страници, веќе можеме да мигрираме податоци меѓу нив. Самиот процес е сличен на проверка на функционалноста на врската со Nextcloud, што го извршивме претходно.
- Оди до Истражувач.
- Избор на шаблон 2-рамо до рамо.
- Во секоја од Дистанции наведете го името на вашата страница.
- Притискаме Отворено.
- Гледаме директориум со датотеки и папки за секоја од нив.
За да го започнете процесот на миграција, останува само да ја изберете саканата папка со датотеки во директориумот за извор на податоци и да ја повлечете со глувчето до одредишниот директориум.
Механизмот за додавање на преостанатите локации и мигрирање на податоци меѓу нив е сличен на операциите извршени погоре. Ако наидете на грешки за време на вашата работа, можете да ги проучите деталите за нив во терминалот каде што работи Rclone со Web-GUI.
Во принцип, документацијата за е обемна и достапна на веб-локацијата и на Интернет и не треба да предизвикува никакви тешкотии при користењето. Со ова, првиот пост за тоа како да префрлате датотеки од еден облак во друг, заобиколувајќи го вашиот компјутер, го сметам за завршен.
PS Ако не се согласувате со последната изјава, напишете во коментарите: која „тема не е покриена“ и во која насока вреди да се продолжи.
Извор: www.habr.com