Өлүм, ажырашуу жана көчүү - ар бир адамдын жашоосундагы эң стресстик үч жагдай.
"Америкалык коркунучтуу окуя".
- Андрюх, мен үйдөн кетип жатам, көчүп кетүүгө жардам берчи, баары мага туура келбейт :(
- Макул, канчасы бар?
— тонна* 7—8...
*Тон (жарг) - терабайт.
Жакында, интернетти кыдырып жүрүп, Habré жана ушул сыяктуу ресурстарда ар кандай маалыматтарды көчүрүү ыкмалары жана моделдери жөнүндө көптөгөн материалдардын бар экендигине карабастан, бул тема боюнча суроолор дагы эле Интернетте пайда болгонун байкадым. Кайсы, кандайдыр бир себептерден улам, дайыма эле толук жооп ала бербейт. Бул факт мени бир күнү ушундай чечимди ишке ашыруу боюнча жазууларды чогултууга жана аларды өзүнчө пост түрүндө уюштурууга түрткү болду.
Жалпысынан алганда, мен кээ бир тажатма жыштыгы менен бир аппараттан, системадан жана кызматтан башка маалыматтарды өткөрүп берүүгө туура келет. Сыноо жана ката аркылуу мага көптөгөн кызыктуу өнүмдөр менен таанышууга гана эмес, ошондой эле мен айткым келген чечимдин функционалдуулугу менен наркынын ортосундагы балансты табууга мүмкүндүк берди.
дизайн
Долбоорлоо-изилдөө иштеринин натыйжасында белгилүү болгондой, миграциялык процесстин сапаты жана натыйжалуулугу маалыматтар жайгашкан же боло турган «сайттардын» техникалык мүнөздөмөлөрүнөн гана эмес, ошондой эле алардын физикалык жайгашкан жеринен да көз каранды.
Миграция менеджери – процесстин “логикасы” – миграцияны башкаруу үчүн программалык камсыздоо – иштеген эсептөө түйүнү.
Башкача айтканда, "миграция менеджерин" жайгаштыруунун эки модели бар.
- Модель А. Эгерде жок дегенде бир сайтка локалдык тармактан гана кирүүгө мүмкүн болсо, анда ошол эле тармакка “миграция менеджерин” жайгаштыруу керек. Анткени аткаруу жана миграция убактысы дагы эле сайттарды бириктирген каналдын ылдамдыгы жана иштөө убактысы менен чектелген.
- Модель В. Эгерде маалыматтын булагы да, кабыл алуучусу да локалдык тармактан тышкары кирүү мүмкүнчүлүгүнө ээ болсо, анда "миграция менеджери" алардын ортосундагы каналдын ылдамдыгы жана иштөө убактысы жакшыраак боло турган жерде болушу керек.
Жогоруда айтылгандарды кандайдыр бир жол менен ажыратуу үчүн, мен макаланын негизги суроосунан милдеттерге кайтып келип, аларды техникалык мүнөздөмөлөргө формалдаштырууну сунуш кылам.
Биринчиден, мен колдонуп жаткан программа булуттарды колдойбу же жокпу, билишим керек: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
Кыска жооп: "Ооба!"
Мен колдоном .
Rclone - булут сактоо үчүн rsync. Open Source программалык камсыздоосу файлдарды жана папкаларды 45тен ашык сактоо түрлөрү жана түрлөрү менен синхрондоштуруу үчүн иштелип чыккан.
Бул жерде алардын бир канчасы гана:
— Alibaba Cloud (Aliyun) Объекттерди сактоо системасы (OSS)
- Amazon S3
— Кеф
— Санариптик океан мейкиндиктери
— Dropbox
- Google Cloud Storage
- Google Drive
- Google Фото
- HTTP
-IBM COS S3
— Mail.ru Булут
— Мега
- Microsoft Azure Blob сактагычы
- Microsoft OneDrive
— Минио
— Кийинки булут
- Openstack Swift
— Oracle Cloud Storage
— ownCloud
— Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
— Yandex Disk
Негизги функция:
— MD5/SHA1 хэштерин колдонуу менен файлдардын бүтүндүгүн текшерүү.
— Файлдарды түзүү/өзгөртүү үчүн убакыт белгилерин сактоо.
- Жарым-жартылай синхрондоштурууну колдойт.
— Жаңы гана файлдарды көчүрүү.
— Синхронизация (бир тараптуу).
— Файлдарды текшерүү (хэштер боюнча).
— Бир булут эсебинен экинчисине синхрондоштуруу мүмкүнчүлүгү.
- Шифрлөө колдоо.
- Жергиликтүү файлдарды кэштөө үчүн колдоо.
— FUSE аркылуу булут кызматтарын орнотуу мүмкүнчүлүгү.
Мен Rclone ошондой эле маалыматтардын камдык көчүрмөсүн автоматташтыруу менен байланышкан көйгөйлөрдүн негизги бөлүгүн чечүүгө жардам берерин өз алдынча кошом. .
Кийинки милдет - "миграция менеджери" жайгаштыруу моделин тандоо.
Ар кандай коомдук булут кызматтары болгон бардык маалымат булактары Интернет аркылуу жеткиликтүү. Анын ичинде API аркылуу. Үчтөн эки кабыл алуучу ушундай кылат. Nextcloud өзү кайда орнотулганы жана ага кандай мүмкүнчүлүк бар экени түшүнүксүз?
Мен беш мүмкүн болгон вариантты санадым:
- Үйүңүздөгү/корпоративдик тармагыңыздагы өз сервериңизде.
- Кызмат көрсөтүүчүнүн маалымат борборунун ижарага алынган стойкасында өз сервериңизде.
- Кызмат провайдеринен ижарага алынган серверде.
- Кызмат/хостинг провайдери менен виртуалдык серверде (VDS/VPS).
- Кызмат көрсөтүүчүдөн
Nextcloud дагы эле булут сактагычын түзүү жана колдонуу үчүн программа экенин эске алсак, ага Интернет аркылуу кирүү беш вариантта да бар деп ишенимдүү айта алабыз. Бул учурда, "миграция менеджерин" жайгаштыруу үчүн оптималдуу модель болот - модели Б.
“Миграция менеджери” платформасы катары тандалган моделге ылайык, мен оптималдуу, менин көз карашым боюнча, варианттардын бирин – виртуалдык серверди тандайм. Россиянын ири Интернет-трафик алмашуу пункту MSK-IX.
Кабыл алынышы керек болгон үчүнчү чечим - виртуалдык сервердин конфигурациясын чечүү.
VDS конфигурациясынын параметрлерин тандоодо сиз талап кылынган аткарууну жетекчиликке алышыңыз керек, ал сайттар ортосундагы каналдардын кеңдигине, жылдырылып жаткан файлдардын санына жана өлчөмүнө, миграциялык агымдардын жана орнотуулардын санына жараша болот. Операцияга келсек, Rclone бул ар кандай операциялык системаларда, анын ичинде Windows жана Linux менен иштеген кайчылаш платформалык программа.
Эгер сиз бир нече миграциялык процесстерди, ал тургай белгилүү бир жыштыкта баштоону пландап жатсаңыз, анда ресурстарды төлөө менен VDSти ижарага алуу мүмкүнчүлүгүн карап чыгуу керек.
түзүү
Жогоруда айтылгандардын негизинде, бул макаланын прототибин түзүүдө мен VDSти төмөнкү конфигурацияда тандадым.
айына 560 рублди түзөт. анын ичинде купонду колдонуу менен 15% арзандатуу NOSTRESS.
Бул тандоо биздин техникалык спецификацияларыбыздын шарттарына ылайык келүү үчүн Windows OS астындагы түйүндү конфигурациялоо, буйрутма үчүн жеткиликтүү болгон башка ОСтерге караганда оңой экендигине байланыштуу.
Offtopic: Айтмакчы, көбүрөөк коопсуздук үчүн бул виртуалдык сервер түйүндөрдүн бирине дайындалган . жана ага RDP аркылуу кирүүгө ошол жерден гана уруксат берилет...
VDS түзүп, RDP аркылуу иш тактасына кирүү мүмкүнчүлүгүнө ээ болгондон кийин, биринчи кезекте Rclone жана Web-GUI үчүн чөйрөнү даярдоо керек. Ошол. жаңы демейки браузерди орнотуңуз, мисалы Chrome, анткени алгач орнотулган IE 11, тилекке каршы, колдонулган программалык камсыздоо менен дайыма эле туура иштей бербейт.
Айлана-чөйрөнү даярдагандан кийин, программалык пакет менен архивди жүктөп алыңыз жана аны таңгактан чыгарыңыз.
Андан кийин, Windows буйрук сабы режиминде, алынган файлдар менен папкага өтүү буйругун аткарыңыз. Мен үчүн ал администратордун үй папкасында жайгашкан:
C:UsersAdministrator>cd rclone
Өткөөлдөн кийин, Web-GUIден Rclone ишке киргизүү буйругун аткарабыз:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
Бул жерде "логин" жана "пароль" - бул сиз көрсөткөн логин жана сырсөз, албетте, тырмакчасыз.
Буйрук аткарылгандан кийин, терминал көрсөтөт
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
жана Rclone графикалык веб интерфейси браузерде автоматтык түрдө ачылат.
Web-GUI дагы эле тесттик версия стадиясында жана командалык сап интерфейсинде болгон бардык Rclone башкаруу мүмкүнчүлүктөрүнө ээ эмес экендигине карабастан, анын мүмкүнчүлүктөрү маалыматтарды көчүрүү үчүн жетиштүү. Жана дагы бир аз.
тууралоо
Кийинки кадам - маалыматтар жайгашкан же жайгаша турган сайттарга байланыштарды орнотуу. Ал эми биринчи кезекте негизги маалымат алуучу болот - Nextcloud.
1. Бул үчүн, бөлүмгө өтүңүз Конфигуралар Web-GUI.
2. Жаңы конфигурацияны түзүүнү баштоо - баскыч Жаңы конфигурация.
3. Сайттын атын коюңуз - талаа Бул дисктин аты (Сиздин маалымдама үчүн): NextCloud.
4. Сактагычтын түрүн же түрүн тандоо тандоо: Nextcloud жана Owncloud үчүн, негизги маалымат алмашуу интерфейси WebDAV болуп саналат.
5. Кийинки, чыкылдатыңыз 2-кадам: Жөндөө диск, туташуу параметрлеринин тизмесин ачып, толтуруңуз.
- 5.1. URL менен туташуу үчүн http хостунун URL — WebDAV интерфейсинин гипертексттик шилтемеси. Nextcloudте алар орнотууларда жайгашкан - интерфейстин төмөнкү сол бурчунда.
- 5.2. Сиз колдонуп жаткан Webdav сайтынын/кызматынын/программасынын аталышы — WebDAV интерфейсинин аталышы. Мындай байланыштар көп болсо, чаташтырбоо үчүн, талаа милдеттүү эмес.
- 5.3 Колдонуучунун аты — Авторизация үчүн колдонуучунун аты
- 5.4. Купуя сөз - Авторизация үчүн сырсөз
- 5.5. Колдонуучунун/өтүүнүн ордуна алып жүрүүчү токен (мисалы, макарон) жана алып жүрүүчү белгисин алуу үчүн чуркоо буйругу өркүндөтүлгөн параметрлерде кошумча параметрлер жана авторизация буйруктары бар. Алар менин Nextcloud'умда колдонулбайт.
6. Кийинки чыкылдатыңыз Конфигурация түзүү жана конфигурация түзүлгөнүн текшерүү үчүн бөлүмгө өтүңүз Конфигурация веб-интерфейс... Ошол эле барак аркылуу жаңы түзүлгөн конфигурацияны жок кылууга же түзөтүүгө болот.
Сайтка туташуунун функционалдуулугун текшерүү үчүн бөлүмгө өтүңүз изилдөөчү аял... Талаада Аралыктан башкаруу конфигурацияланган сайттын атын киргизип, чыкылдатыңыз ачык. Эгер сиз файлдардын жана каталогдордун тизмесин көрсөңүз, сайтка байланыш иштеп жатат.
Ишенимдүү болушу үчүн, сиз папканы түзө аласыз/жок кылсаңыз же веб-интерфейс аркылуу файлды жүктөсөңүз/жок кыла аласыз.
Туташа турган экинчи платформа Яндекс диски болот.
- Биринчи төрт кадам Nextcloud туташуу процессине окшош.
- Андан кийин, биз бардыгын, башкача айтканда, талааларды ошол бойдон калтырабыз 2-кадам: Дискти орнотуу Биз аларды бош калтырабыз жана өркүндөтүлгөн параметрлерде эч нерсени өзгөртпөйбүз.
- басабыз Config түзүү.
- Браузерде Яндекс авторизация барагы ачылат, андан кийин сиз ийгиликтүү туташуу жөнүндө билдирүү жана Rclone'ге кайтуу сунушун аласыз.
- Биз эмне кылабыз бөлүмдү текшерүү Config.
көчүрүү
Бизде эки сайт кошулганда, биз алардын ортосунда маалыматтарды көчүрө алабыз. Процесстин өзү биз мурун ишке ашырган Nextcloud менен туташуунун функционалдуулугун текшерүүгө окшош.
- Мурунку изилдөөчү аял.
- Үлгү тандоо 2 жанаша.
- Ар биринде Аралыктан башкаруу сайтыңыздын атын көрсөтүңүз.
- басабыз ачык.
- Биз алардын ар бири үчүн файлдардын жана папкалардын каталогун көрөбүз.
Миграция процессин баштоо үчүн, маалымат булагы каталогундагы файлдары бар керектүү папканы тандап, аны чычкан менен көздөгөн каталогго сүйрөө гана калды.
Калган сайттарды кошуу жана алардын ортосунда маалыматтарды көчүрүү механизми жогоруда аткарылган операцияларга окшош. Эгерде сиз жумуш учурунда каталарга туш болсоңуз, алар тууралуу маалыматты Web-GUI менен Rclone иштеп жаткан терминалдан изилдей аласыз.
Жалпысынан алганда, документтер веб-сайтта жана Интернетте кеңири жана жеткиликтүү жана колдонууда эч кандай кыйынчылыктарды жаратпашы керек. Ушуну менен, мен компьютериңизди айланып өтүп, файлдарды бир булуттан экинчи булутка кантип өткөрүү боюнча биринчи постту толук деп эсептейм.
PS Эгер сиз акыркы билдирүүгө макул болбосоңуз, комментарийге жазыңыз: кайсы "тема камтылган эмес" жана кандай чөйрөдө улантуу керек.
Source: www.habr.com