Компьютер арқылы өтпей файлдарды бір бұлттан екіншісіне қалай тасымалдауға болады

Өлім, ажырасу және көшу - кез келген адамның өміріндегі ең стресстік жағдайлардың үшеуі.
«Американдық қорқынышты оқиғалар».

- Андрюх, мен үйден кетіп бара жатырмын, көшуге көмектесші, бәрі маған сәйкес келмейді :(
-Жарайды, нешеу бар?
— Тонна* 7-8...
*Тон (жарг) – терабайт.

Жақында Интернетті шарлау кезінде мен Хабреде және осыған ұқсас ресурстарда әртүрлі деректерді тасымалдау әдістері мен үлгілері туралы көптеген материалдардың болуына қарамастан, Интернетте осы тақырып бойынша сұрақтар әлі де пайда болатынын байқадым. Қандай да бір себептермен әрқашан егжей-тегжейлі жауап ала бермейді. Бұл факт мені бір күні ұқсас шешімді жүзеге асыру туралы жазбаларды жинауға және оларды бөлек пост түрінде орналастыруға итермеледі.

Жалпы, мен деректерді бір құрылғыдан, жүйеден және қызметтен екіншісіне кейбір тітіркендіргіш жиілікпен тасымалдауым керек. Бұл сынақ және қателік арқылы маған көптеген қызықты өнімдермен танысып қана қоймай, сонымен қатар мен сөйлескім келетін шешімнің функционалдығы мен құны арасындағы теңгерімді табуға мүмкіндік берді.

Жобалау

Жобалау және іздестіру жұмыстарының нәтижесінде белгілі болғандай, көші-қон процесінің сапасы мен тиімділігі деректер орналасқан немесе орналасатын «сайттардың» техникалық сипаттамаларына ғана емес, сонымен қатар олардың физикалық орналасуына да байланысты.

Тасымалдау менеджері – процесс «логикасы» — тасымалдауды басқаруға арналған бағдарламалық құрал — жұмыс істейтін есептеу түйіні.

Яғни, «көші-қон менеджерін» орналастырудың екі үлгісі бар.

• Үлгі А. Егер сайттардың кем дегенде біреуіне тек жергілікті желіден кіруге болатын болса, сол желіде «көшіру менеджерін» орналастырған жөн. Өйткені өнімділік пен тасымалдау уақыты әлі де тораптарды қосатын арнаның жылдамдығы мен жұмыс уақытымен шектеледі.
• Модель Б. Деректер көзі де, қабылдаушы да жергілікті желіден тыс қолжетімділікке ие болса, онда «көшіру менеджері» олардың арасындағы арнаның жылдамдығы мен жұмыс уақыты жақсырақ болатын жерде орналасуы керек.

Жоғарыда айтылғандарды қандай да бір түрде ыдырату үшін мен мақаланың негізгі сұрағынан тапсырмаларға оралуды және оларды техникалық сипаттамаларға ресімдеуді ұсынамын.

Біріншіден, мен пайдаланып жатқан бағдарламалық жасақтама бұлттарды қолдайтынын білуім керек: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Қысқа жауап: «ИӘ!»

Мен қолданамын Rclone.

Rclone - бұлтты сақтауға арналған rsync. 45-тен астам сақтау түрлері мен түрлерімен файлдар мен қалталарды синхрондауға арналған ашық бастапқы бағдарламалық құрал.

Міне, олардың бірнешеуі ғана:
— Alibaba Cloud (Aliyun) нысандарды сақтау жүйесі (OSS)
- Amazon S3
— Цеф
— Сандық мұхит кеңістігі
— Dropbox
- Google Cloud Storage
- Google Drive
- Google Photos
- HTTP
-IBM COS S3
— Mail.ru бұлт
— Мега
- Microsoft Azure Blob сақтау орны
- Microsoft OneDrive
-Минио
— Келесі бұлт
- Openstack Swift
— Oracle Cloud Storage
— ownCloud
— Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
— Яндекс дискі

Негізгі функционалдылық:
— MD5/SHA1 хэштерінің көмегімен файлдардың тұтастығын тексеру.
— Файлдарды жасау/өзгерту үшін уақыт белгілерін сақтау.
- Ішінара синхрондауды қолдайды.
— Тек жаңа файлдарды көшіру.
— Синхрондау (бір жақты).
— Файлдарды тексеру (хэштер бойынша).
— Бір бұлттық есептік жазбадан екіншісіне синхрондау мүмкіндігі.
- Шифрлауды қолдау.
- Жергілікті файлдарды кэштеуді қолдау.
— FUSE арқылы бұлттық қызметтерді орнату мүмкіндігі.

Мен Rclone сонымен қатар деректердің сақтық көшірмесін автоматтандыруға қатысты мәселелерді шешуге көмектесетінін өз бетіммен қосамын. «Вайнямойнен» жобасы.

Келесі тапсырма – «көшіру менеджерін» орналастыру үлгісін таңдау.

Әртүрлі жалпыға қолжетімді бұлттық қызметтер болып табылатын барлық деректер көздеріне Интернет арқылы қол жеткізуге болады. Оның ішінде API арқылы. Үш қабылдағыштың екеуі де солай істейді. Nextcloud өзі қайда орналастырылғаны және оған қандай қолжетімділік бар екені белгісіз?

Мен бес ықтимал нұсқаны санадым:

1. Үйдегі/корпоративтік желідегі өз серверіңізде.
2. Қызмет провайдерінің деректер орталығының жалға алынған сөресінде өз серверіңізде.
3. Қызмет провайдерінен жалға алынған серверде.
4. Қызмет/хостинг провайдері бар виртуалды серверде (VDS/VPS). 
5. Қызмет провайдерінен SaaS үлгісіне сәйкес

Nextcloud әлі де бұлтты сақтауды жасауға және пайдалануға арналған бағдарламалық жасақтама екенін ескере отырып, оған Интернет арқылы қол жеткізу барлық бес нұсқада қол жетімді деп сенімді түрде айта аламыз. Бұл жағдайда «көші-қон менеджерін» орналастырудың оңтайлы үлгісі болады - B үлгісі.

«Көші-қон менеджері» платформасы ретінде таңдалған модельге сәйкес мен оңтайлы, менің көзқарасым бойынша опциялардың бірін - виртуалды серверді таңдаймын. M9 деректер орталығы Ресейдегі ең ірі интернет-трафик алмасу нүктесі MSK-IX.

Қабылданатын үшінші шешім - виртуалды сервер конфигурациясын шешу. 

VDS конфигурациясының параметрлерін таңдағанда, сайттар арасындағы арналардың еніне, жылжытылатын файлдардың саны мен өлшеміне, тасымалдау ағындары мен параметрлеріне байланысты қажетті өнімділікті басшылыққа алу керек. Операциялық жүйеге келетін болсақ, Rclone әртүрлі операциялық жүйелерде, соның ішінде Windows және Linux-та жұмыс істейтін кросс-платформалық бағдарламалық жасақтама.

Егер сіз бірнеше көші-қон процестерін, тіпті белгілі бір жиілікте де іске қосуды жоспарласаңыз, онда ресурстарды төлей отырып, VDS жалға алу мүмкіндігін қарастырған жөн.

жаратылыс

Жоғарыда айтылғандарға сүйене отырып, осы мақаланың прототипін жасау кезінде мен келесі конфигурацияда VDS таңдадым.

құны 560 рубль/ай. оның ішінде купонды пайдалану арқылы 15% жеңілдік НОСТРЕСС.

Бұл таңдау біздің техникалық спецификацияларымыздың шарттарына сәйкес келу үшін Windows ОЖ астында түйінді конфигурациялау тапсырыс беруге болатын басқа операциялық жүйелерге қарағанда оңайырақ болуына байланысты.

Offtopic: Айтпақшы, үлкен қауіпсіздік үшін бұл виртуалды сервер түйіндердің біріне тағайындалған қауіпсіз виртуалды желі. және оған RDP арқылы кіруге тек сол жерден рұқсат етіледі...

VDS жасағаннан кейін және RDP арқылы жұмыс үстеліне қол жеткізгеннен кейін, ең алдымен, Rclone және Web-GUI үшін ортаны дайындау керек. Анау. жаңа әдепкі шолғышты орнатыңыз, мысалы, Chrome, себебі бастапқыда орнатылған IE 11, өкінішке орай, әрқашан пайдаланылған бағдарламалық құралмен дұрыс жұмыс істемейді. 

Ортаны дайындағаннан кейін архивті бағдарламалық пакетпен жүктеп алыңыз Windows жүйесіне арналған Rclone және оны орауыштан шығарыңыз. 

Әрі қарай, Windows пәрмен жолы режимінде шығарылған файлдары бар қалтаға өту пәрменін орындаңыз. Мен үшін ол әкімшінің үй қалтасында орналасқан:

C:UsersAdministrator>cd rclone

Өткізуден кейін Web-GUI ішінен Rclone іске қосу пәрменін орындаймыз:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

мұндағы «логин» және «пароль» сіз көрсеткен логин мен құпия сөз, әрине, тырнақшасыз.

Пәрменді орындағаннан кейін терминал көрсетіледі

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

және Rclone графикалық веб-интерфейсі браузерде автоматты түрде ашылады.

Web-GUI әлі сынақ нұсқасы сатысында және командалық жол интерфейсінде бар Rclone басқару мүмкіндіктерінің барлығына әлі ие болмағанына қарамастан, оның мүмкіндіктері деректерді тасымалдау үшін жеткілікті. Және одан да аз.

реттеу

Келесі қадам деректер орналасқан немесе орналасатын сайттарға қосылымдарды орнату болып табылады. Ал бірінші кезекте негізгі деректерді қабылдаушы - Nextcloud болады.

1. Мұны істеу үшін бөлімге өтіңіз Конфигурациялар Web-GUI. 

2. Жаңа конфигурацияны құруды бастау - түйме Жаңа конфигурация.

3. Сайт атауы - өрісін орнатыңыз Бұл дискінің атауы (анықтама үшін): Келесі бұлт.

4. Сақтау түрін немесе түрін таңдау таңдау: Nextcloud және Owncloud үшін негізгі деректер алмасу интерфейсі WebDAV болып табылады.

5. Әрі қарай, түймесін басыңыз 2-қадам: Реттеу диск, қосылым параметрлерінің тізімін ашып, толтырыңыз. 

- 5.1. URL мекенжайына қосылу үшін http хостының URL мекенжайы — WebDAV интерфейсінің гипермәтіндік сілтемесі. Nextcloud-та олар параметрлерде - интерфейстің төменгі сол жақ бұрышында орналасқан.
- 5.2. Сіз пайдаланып жатқан Webdav сайтының/қызметінің/бағдарламалық құралдың атауы — WebDAV интерфейсінің атауы. Мұндай байланыстар көп болса, шатастырмау үшін өріс міндетті емес.
- 5.3 Пайдаланушының аты — Авторизация үшін пайдаланушы аты
- 5.4. пароль — Авторизация үшін пароль
- 5.5. Пайдаланушы/паспорт орнына тасымалдаушы таңбалауышы (мысалы, макарон) және жеткізуші токенін алу үшін жүгіру пәрмені кеңейтілген опцияларда қосымша параметрлер мен авторизация пәрмендері бар. Олар менің NextCloud-та пайдаланылмайды.

6. Келесі басыңыз Конфигурация жасаңыз және конфигурацияның жасалғанына көз жеткізу үшін бөлімге өтіңіз Конфигурация веб-интерфейс... Сол бет арқылы жаңадан жасалған конфигурацияны жоюға немесе өңдеуге болады.

Сайтқа қосылудың функционалдығын тексеру үшін бөлімге өтіңіз зерттеуші... Алаңда Қабылдау конфигурацияланған сайттың атын енгізіп, түймесін басыңыз ашық. Файлдар мен каталогтардың тізімін көрсеңіз, сайтқа қосылу жұмыс істейді.

Неғұрлым сенімді болу үшін қалтаны жасауға/жоюға немесе веб-интерфейс арқылы файлды жүктеуге/жоюға болады.

Қосылатын екінші платформа Яндекс дискі болады.

• Алғашқы төрт қадам Nextcloud қосылу процесіне ұқсас.
• Әрі қарай, біз бәрін сол күйінде қалдырамыз, яғни өрістерді ішіндегі 2-қадам: Дискіні орнату Біз оларды бос қалдырамыз және кеңейтілген опцияларда ештеңені өзгертпейміз.
• басамыз Конфигурация жасау.
• Браузерде Яндекс авторизациясы беті ашылады, содан кейін сіз сәтті қосылу туралы хабарлама және Rclone-ге оралу туралы ұсыныс аласыз.
• Біз жасайтын нәрсе - бөлімді тексеру конфигурациясы.

Көші-қон

Қосылған екі сайт болғанда, біз олардың арасында деректерді тасымалдай аламыз. Процестің өзі біз бұрын орындаған Nextcloud қосылымының функционалдығын тексеруге ұқсас.

• Бару зерттеуші.
• Үлгіні таңдау 2 қатар.
• Әрқайсысында Қабылдау сайтыңыздың атын көрсетіңіз.
• басамыз ашық.
• Біз олардың әрқайсысы үшін файлдар мен қалталардың каталогын көреміз.

Тасымалдау процесін бастау үшін деректер көзі каталогындағы файлдары бар қалаған қалтаны таңдап, оны тінтуірмен тағайындалған каталогқа апару ғана қалады.

Қалған тораптарды қосу және олардың арасында деректерді тасымалдау механизмі жоғарыда орындалған әрекеттерге ұқсас. Жұмыс барысында қателерге тап болсаңыз, Web-GUI бар Rclone іске қосылған терминалда олар туралы мәліметтерді зерттеуге болады.

Жалпы алғанда, құжаттама Rclone веб-сайтта және Интернетте кең және қол жетімді және пайдалануда ешқандай қиындық тудырмауы керек. Осымен мен файлдарды бір бұлттан екіншісіне компьютерді айналып өтіп, қалай тасымалдауға болатыны туралы бірінші жазбаны аяқтадым.

PS Егер сіз соңғы мәлімдемемен келіспесеңіз, түсініктемелерде жазыңыз: қандай «тақырып қарастырылмаған» және оны қалай жалғастыру керек.

Ақпарат көзі: www.habr.com