Fájlok átvitele egyik felhőből a másikba anélkül, hogy átmenne a számítógépen

A halál, a válás és a költözés a három legstresszesebb helyzet minden ember életében.
"Amerikai horror történet".

- Andryukh, elmegyek otthonról, segíts költözni, nem fér bele minden :(
- Oké, hányan vannak?
— Tonna* 7-8...
*Ton (jarg) – terabájt.

Nemrég az interneten böngészés közben arra lettem figyelmes, hogy annak ellenére, hogy a Habré-n és hasonló forrásokban rengeteg anyag érhető el a különféle típusú adatok migrálásának módszereiről és modelljeiről, a témával kapcsolatos kérdések továbbra is megjelennek az interneten. Amelyekre valamiért nem mindig kapnak részletes választ. Ez a tény késztetett arra, hogy egy napon jegyzeteket gyűjtsek egy hasonló megoldás megvalósításáról, és ezeket külön posztba rendezzem.

Általában valami bosszantó gyakorisággal kell adatokat átvinnem egyik eszközről, rendszerről és szolgáltatásról a másikra. Ez a próba és hiba révén lehetővé tette számomra, hogy ne csak megismerkedjek sok érdekes termékkel, hanem megtaláljam az egyensúlyt a funkcionalitás és a megoldás költsége között, amelyről beszélni szeretnék.

tervezés

Mint a tervezési és felmérési munkák eredményeként kiderült, a migrációs folyamat minősége és hatékonysága nem csak azon „telephelyek” műszaki jellemzőitől függ, ahol az adatok találhatók vagy fognak elhelyezkedni, hanem azok fizikai elhelyezkedésétől is.

A Migration Manager egy számítási csomópont, amelyen a folyamat „logikája” – a migrációt kezelő szoftver – működik.

Vagyis két modell létezik a „migrációs menedzser” elhelyezésére

• A modell. Ha legalább az egyik oldal csak a helyi hálózaton belül érhető el, akkor érdemes egy „migrációs kezelőt” elhelyezni ugyanabba a hálózatba. Mert a teljesítményt és a migrációs időt továbbra is korlátozza a telephelyeket összekötő csatorna sebessége és üzemideje.
• B modell. Ha az adatok forrásának és vevőjének is van hozzáférése a helyi hálózaton kívül, akkor a „migrációs kezelőt” ott kell elhelyezni, ahol a köztük lévő csatorna sebessége és üzemideje nyilvánvalóan jobb lesz.

A fentiek valamilyen bontása érdekében azt javaslom, hogy térjünk vissza a cikk fő kérdéséhez tartozó feladatokhoz, és formalizáljuk azokat műszaki specifikációkká.

Először is meg kell találnom, hogy az általam használt szoftver támogatja-e a felhőket: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

A rövid válasz: „IGEN!”

Én használom Rclone.

Rclone – rsync felhőalapú tároláshoz. Nyílt forráskódú szoftver, amely a fájlok és mappák szinkronizálására szolgál több mint 45 típusú és típusú tárhellyel.

Íme csak néhány közülük:
- Alibaba Cloud (Aliyun) objektumtároló rendszer (OSS)
- Amazon S3
— Ceph
-Digitális Óceán Spaces
– Dropbox
- Google Cloud Storage
- Google Drive
- Google Fotók
- HTTP
-IBM COS S3
— Mail.ru Felhő
– Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
— Mini
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
— ownCloud
– Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
- Yandex lemez

Fő funkciók:
— Fájlok integritásának ellenőrzése MD5/SHA1 hashekkel.
— Időbélyegek mentése fájlok létrehozásához/módosításához.
- Támogatja a részleges szinkronizálást.
— Csak új fájlok másolása.
— Szinkronizálás (egyirányú).
— Fájlok ellenőrzése (kivonatokkal).
— Szinkronizálás lehetősége egyik felhőfiókról a másikra.
- Titkosítás támogatása.
- Helyi fájlok gyorsítótárazásának támogatása.
— Felhőszolgáltatások csatlakoztatása a FUSE-n keresztül.

Hozzáteszem, hogy az Rclone segít megoldani az adatok biztonsági mentésének automatizálásával kapcsolatos problémák oroszlánrészét. "Väinämöinen" projekt.

A következő feladat egy „migrációkezelő” elhelyezési modell kiválasztása.

Minden adatforrás, amely különféle nyilvános felhőszolgáltatás, elérhető az interneten keresztül. Az API-n keresztül is. Három vevőegységből kettő ugyanezt teszi. Nem világos, hogy maga a Nextcloud hol van telepítve, és milyen hozzáféréssel rendelkezik?

Öt lehetséges lehetőséget számoltam meg:

1. Saját szerverén az otthoni/vállalati hálózatában.
2. Saját szerveren a szolgáltató adatközpontjának bérelt rackjében.
3. Szolgáltatótól bérelt szerveren.
4. Virtuális szerveren (VDS/VPS) szolgáltatóval/tárhelyszolgáltatóval 
5. A szolgáltatótól SaaS modell szerint

Tekintettel arra, hogy a Nextcloud továbbra is felhőtárhely létrehozására és használatára szolgáló szoftver, nyugodtan kijelenthetjük, hogy az interneten keresztüli hozzáférés mind az öt opcióban elérhető. És ebben az esetben a „migrációs menedzser” elhelyezésének optimális modellje a következő lesz: B modell.

A „migrációs menedzser” platformjaként választott modell szerint az egyik, az én szempontom szerint optimális opciót választom - egy virtuális szervert M9 adatközpont Oroszország legnagyobb internetes forgalom cserepontja, MSK-IX.

A harmadik döntés, amelyet meg kell hozni, a virtuális szerver konfigurációjának eldöntése. 

A VDS konfigurációs paramétereinek kiválasztásakor a szükséges teljesítményt kell követnie, amely a helyek közötti csatornák szélességétől, az áthelyezett fájlok számától és méretétől, a migrációs adatfolyamok számától és a beállításoktól függ. Ami az operációs rendszert illeti, az Rclone egy többplatformos szoftver, amely különböző operációs rendszereken fut, beleértve a Windowst és a Linuxot is.

Ha több migrációs folyamatot tervez elindítani, méghozzá bizonyos gyakorisággal, akkor érdemes megfontolni a VDS bérelését erőforrások fizetésével.

teremtés

A fentiek alapján a cikk prototípusának létrehozásakor a következő konfigurációban a VDS-t választottam.

költsége 560 rubel/hó. beleértve a 15% kedvezményt kupon felhasználásával NINCS STRESSZ.

Ez a választás annak a ténynek köszönhető, hogy a Windows operációs rendszer alatti csomópontok könnyebben konfigurálhatók, hogy megfeleljenek műszaki specifikációink feltételeinek, mint a többi megrendelhető operációs rendszer esetében.

Offtopic: Egyébként a nagyobb biztonság érdekében ez a virtuális szerver az egyik csomóponthoz van hozzárendelve biztonságos virtuális hálózat. és RDP-n keresztül csak onnan lehet hozzáférni...

Miután létrehozta a VDS-t, és RDP-n keresztül hozzáfért az asztalhoz, először fel kell készítenie a környezetet az Rclone és a Web-GUI számára. Azok. telepítsen egy új alapértelmezett böngészőt, például a Chrome-ot, mivel az eredetileg telepített IE 11 sajnos nem mindig működik megfelelően a használt szoftverrel. 

A környezet elkészítése után töltse le az archívumot a szoftvercsomaggal Rclone for Windows és csomagolja ki. 

Ezután Windows parancssori módban hajtsa végre a parancsot, hogy a kicsomagolt fájlokat tartalmazó mappába lépjen. Számomra a rendszergazda saját mappájában található:

C:UsersAdministrator>cd rclone

Az átállás után végrehajtjuk a parancsot az Rclone elindításához a webes grafikus felületről:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

ahol a „login” és a „password” az Ön által megadott bejelentkezési név és jelszó, természetesen idézőjelek nélkül.

A parancs végrehajtása után a terminál megjelenik

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

és az Rclone grafikus webes felülete automatikusan megnyílik a böngészőben.

Annak ellenére, hogy a Web-GUI még a tesztverzió stádiumában van, és még nem rendelkezik mindazokkal az Rclone-kezelési képességekkel, amelyek a parancssori felülettel rendelkeznek, képességei teljesen elegendőek az adatok migrációjához. És még egy kicsit többet is.

beállítás

A következő lépés a kapcsolatok felállítása azokkal a helyekkel, ahol az adatok találhatók vagy lesznek. És az első a sorban a fő adatvevő lesz - a Nextcloud.

1. Ehhez lépjen a szakaszra Konfigurák Web-GUI. 

2. Új konfiguráció létrehozásának kezdeményezése - gomb Új konfiguráció.

3. Állítsa be a webhelynév mezőt A meghajtó neve (információként): Nextcloud.

4. A tárolás típusának vagy típusának kiválasztása választ: A Nextcloud és az Owncloud esetében a fő adatcsere felület a WebDAV.

5. Ezután kattintson a gombra 2. lépés: Beállítás meghajtót, nyissa meg a csatlakozási paraméterek listáját, és töltse ki. 

- 5.1. A http gazdagép URL-je az URL-hez való csatlakozáshoz — a WebDAV interfész hipertext hivatkozása. A Nextcloudban a beállításokban találhatók - a felület bal alsó sarkában.
- 5.2. Az Ön által használt Webdav webhely/szolgáltatás/szoftver neve — WebDAV interfész neve. A mező kitöltése nem kötelező, saját maga számára, nehogy összezavarodjon, ha sok ilyen kapcsolat van.
- 5.3 felhasználónév — Felhasználónév az engedélyezéshez
- 5.4. Jelszó — Jelszó az engedélyezéshez
- 5.5. Bearer token user/pass helyett (pl. Macaroon) és Command to run token beszerzéséhez a speciális beállításokban további paraméterek és engedélyezési parancsok találhatók. Nem használják a Nextcloudomban.

6. Következő kattintás Konfiguráció létrehozása és győződjön meg arról, hogy a konfiguráció létrejött, lépjen a szakaszra Konfig webes felület... Ugyanazon az oldalon keresztül az újonnan létrehozott konfiguráció törölhető vagy szerkeszthető.

A webhelyhez való csatlakozás működőképességének ellenőrzéséhez lépjen a szakaszba Felfedező... Terepen Távirányítók írja be a beállított webhely nevét, és kattintson a gombra Nyisd ki. Ha látja a fájlok és könyvtárak listáját, akkor a webhelyhez való kapcsolat működik.

Hogy meggyőzőbb legyen, létrehozhat/törölhet mappát vagy letölthet/törölhet fájlt a webes felületen keresztül.

A második csatlakoztatandó platform a Yandex lemez lesz.

• Az első négy lépés hasonló a Nextcloud csatlakozási folyamatához.
• Ezután mindent úgy hagyunk, ahogy van, vagyis a mezőket bent 2. lépés: A meghajtó beállítása Üresen hagyjuk őket, és nem változtatunk semmit a speciális beállításokon.
• Megnyomjuk Konfiguráció létrehozása.
• A böngészőben megnyílik a Yandex engedélyezési oldal, amely után üzenetet kap a sikeres csatlakozásról, és felajánlja, hogy visszatér az Rclone-hoz.
• Amit teszünk, az az, hogy ellenőrizzük a részt Config.

elvándorlás

Ha két telephelyünk van összekapcsolva, már tudunk adatokat migrálni közöttük. Maga a folyamat hasonló a Nextclouddal való kapcsolat működőképességének ellenőrzéséhez, amelyet korábban elvégeztünk.

• Menj Felfedező.
• Sablon kiválasztása 2 egymás mellett.
• Mindegyikben Távirányítók adja meg webhelye nevét.
• Megnyomjuk Nyisd ki.
• Mindegyikhez fájlok és mappák könyvtárát látjuk.

Az áttelepítési folyamat elindításához nem kell mást tenni, mint kiválasztani a kívánt mappát a fájlokkal az adatforrás könyvtárában, és az egérrel a célkönyvtárba húzni.

A fennmaradó helyek hozzáadásának és a köztük lévő adatok migrációjának mechanizmusa hasonló a fent végrehajtott műveletekhez. Ha munkája során hibákat tapasztal, tanulmányozhatja a részleteket abban a terminálban, ahol az Rclone with Web-GUI fut.

Általában a dokumentáció a Rclone kiterjedt és elérhető a weboldalon és az interneten, és nem okozhat nehézséget a használat során. Ezzel befejezettnek tekintem az első bejegyzést, amely arról szól, hogyan vihetünk át fájlokat egyik felhőből a másikba, a számítógép megkerülésével.

PS Ha nem értesz egyet az utolsó állítással, írd meg kommentben: melyik „témával nem foglalkozunk”, és milyen szellemben érdemes folytatni.

Forrás: will.com