כיצד להעביר קבצים מענן אחד לאחר מבלי לעבור דרך המחשב האישי שלך

מוות, גירושין ומעבר דירה הם שלושה מהמצבים המלחיצים ביותר בחייו של כל אדם.
"סיפור אימה אמריקאי".

- Andryukh, אני עוזב את הבית, עזור לי לעבור, הכל לא יתאים לי :(
- אוקיי, כמה יש?
— טונות* 7-8...
*טון (jarg) - טרה-בייט.

לאחרונה, תוך כדי גלישה באינטרנט, שמתי לב שלמרות הזמינות ב-Habré ומשאבים דומים של חומרים רבים על שיטות ומודלים להעברת נתונים מסוגים שונים, שאלות בנושא זה עדיין מופיעות באינטרנט. אשר, משום מה, לא תמיד זוכים לתשובות מפורטות. עובדה זו גרמה לי יום אחד לאסוף הערות על יישום פתרון דומה ולסדר אותם בצורה של פוסט נפרד.

באופן כללי, אני צריך להעביר נתונים ממכשיר, מערכת ושירות אחד לאחר בתדירות מעצבנת כלשהי. מה שבאמצעות ניסוי וטעייה אפשר לי לא רק להכיר הרבה מוצרים מעניינים, אלא גם למצוא איזון בין פונקציונליות לעלות הפתרון עליו אני רוצה לדבר

Проектирование

כפי שהתברר כתוצאה מעבודות תכנון וסקר, איכות ויעילות תהליך ההגירה תלויים לא רק במאפיינים הטכניים של ה"אתרים" שבהם הנתונים נמצאים או ימוקם, אלא גם במיקומם הפיזי.

מנהל הגירה הוא צומת מחשוב שעליו פועל ה"היגיון" של התהליך - תוכנה לניהול הגירה.

כלומר, ישנם שני מודלים להצבת "מנהל הגירה"

• דגם א'. אם ניתן לגשת לפחות לאחד מהאתרים רק מתוך הרשת המקומית, אז כדאי להציב "מנהל הגירה" באותה רשת. מכיוון שהביצועים וזמן ההגירה עדיין מוגבלים על ידי המהירות וזמן הפעולה של הערוץ המחבר בין האתרים.
• דגם B. אם גם למקור וגם למקלט הנתונים יש גישה מחוץ לרשת המקומית, אזי "מנהל ההגירה" צריך להיות ממוקם היכן שהמהירות וזמן הפעולה של הערוץ ביניהם יהיו טובים יותר.

כדי איכשהו לפרק את האמור לעיל, אני מציע לחזור למשימות מהשאלה העיקרית של המאמר ולנסח אותן למפרט טכני.

ראשית, אני צריך לברר אם התוכנה שבה אני משתמש תומכת בעננים: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

התשובה הקצרה היא: "כן!"

אני משתמש Rclone.

Rclone - rsync לאחסון בענן. תוכנת קוד פתוח המיועדת לסנכרן קבצים ותיקיות עם יותר מ-45 סוגים וסוגי אחסון.

הנה רק כמה מהם:
- מערכת אחסון אובייקטים של Alibaba Cloud (Aliyun) (OSS)
- אמזון S3
- קף
—DigitalOcean Spaces
-דרופבוקס
- Google Cloud Storage
- גוגל דרייב
- תמונות גוגל
- HTTP
-IBM COS S3
- Mail.ru Cloud
-מגה
- Microsoft Azure Blob Storage
- Microsoft OneDrive
- מיניו
- Nextcloud
- Openstack Swift
- אחסון בענן של אורקל
- ownCloud
- Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
- דיסק Yandex

פונקציונליות עיקרית:
- בדיקת תקינות הקבצים באמצעות hashes MD5/SHA1.
- שמירת חותמות זמן ליצירה/שינוי קבצים.
- תומך בסנכרון חלקי.
- העתקת קבצים חדשים בלבד.
- סנכרון (חד כיווני).
- בדיקת קבצים (לפי hashes).
- יכולת לסנכרן מחשבון ענן אחד למשנהו.
- תמיכה בהצפנה.
- תמיכה בשמירת קבצים מקומית.
- יכולת לעלות שירותי ענן באמצעות FUSE.

אני אוסיף בעצמי ש-Rclone גם עוזר לי לפתור את חלק הארי של הבעיות הקשורות לאוטומציה של גיבוי נתונים ב פרויקט "Väinämöinen".

המשימה הבאה היא לבחור מודל השמה של "מנהל ההגירה".

כל מקורות הנתונים, שהם שירותי ענן ציבוריים שונים, נגישים דרך האינטרנט. כולל דרך ה-API. שניים מתוך שלושה מקלטים עושים את אותו הדבר. לא ברור היכן נפרסת Nextcloud עצמה ואיזו גישה זמינה אליו?

ספרתי חמש אפשרויות אפשריות:

1. בשרת משלך ברשת הביתית/הארגונית שלך.
2. בשרת משלך במתקן שכור במרכז הנתונים של ספק השירות.
3. בשרת שנשכר מספק שירות.
4. בשרת וירטואלי (VDS/VPS) עם ספק שירות/אירוח 
5. מאת נותן השירות לפי מודל SaaS

בהתחשב בכך ש-Nextcloud היא עדיין תוכנה ליצירה ושימוש באחסון בענן, אנו יכולים לומר בבטחה שהגישה אליו דרך האינטרנט זמינה בכל חמש האפשרויות. ובמקרה זה, המודל האופטימלי להצבת "מנהל הגירה" יהיה - דגם B.

לפי המודל שנבחר כפלטפורמה ל"מנהל ההגירה", אבחר באחת מהאפשרויות האופטימליות מבחינתי - שרת וירטואלי ב מרכז נתונים M9 נקודת חילופי תעבורת האינטרנט הגדולה ביותר ברוסיה MSK-IX.

ההחלטה השלישית שצריך לקבל היא להחליט על תצורת השרת הוירטואלי. 

בעת בחירת פרמטרי תצורת VDS, עליך להיות מונחה על ידי הביצועים הנדרשים, אשר תלויים ברוחב הערוצים בין האתרים, במספר וגודל הקבצים המועברים, במספר זרמי ההעברה ובהגדרות. באשר למערכת ההפעלה, Rclone היא תוכנה חוצת פלטפורמות הפועלת על מערכות הפעלה שונות, כולל Windows ולינוקס.

אם אתם מתכננים להשיק מספר תהליכי הגירה, ואפילו בתדירות מסוימת, אז כדאי לשקול את האפשרות לשכור VDS עם תשלום עבור משאבים.

יצירה

בהתבסס על האמור לעיל, בעת יצירת אב הטיפוס למאמר זה, בחרתי ב-VDS בתצורה הבאה.

עולה 560 רובל לחודש. כולל 15% הנחה באמצעות קופון אין לחץ.

בחירה זו נובעת מהעובדה שצומת תחת מערכת ההפעלה של Windows, על מנת לעמוד בתנאי המפרט הטכני שלנו, קל יותר להגדרה מאשר עבור מערכת הפעלה אחרות הזמינות להזמנה.

Offtopic: אגב, ליתר אבטחה, שרת וירטואלי זה מוקצה לאחד הצמתים רשת וירטואלית מאובטחת. והגישה אליו דרך RDP מותרת רק משם...

לאחר יצירת VDS והשגת גישה לשולחן העבודה באמצעות RDP, הדבר הראשון שעליך לעשות הוא להכין את הסביבה עבור Rclone ו-Web-GUI. הָהֵן. התקן דפדפן ברירת מחדל חדש, למשל Chrome, מכיוון שה-IE 11 שהותקן בתחילה, למרבה הצער, לא תמיד פועל כהלכה עם התוכנה שבה נעשה שימוש. 

לאחר הכנת הסביבה, הורד את הארכיון עם חבילת התוכנה Rclone עבור Windows ולפרוק אותו. 

לאחר מכן, במצב שורת הפקודה של Windows, בצע את הפקודה כדי לעבור לתיקייה עם הקבצים שחולצו. בשבילי זה נמצא בתיקיית הבית של המנהל:

C:UsersAdministrator>cd rclone

לאחר המעבר, אנו מבצעים את הפקודה להפעלת Rclone מה-Web-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

כאשר "כניסה" ו"סיסמה" הם פרטי הכניסה והסיסמה שציינת, כמובן, ללא מרכאות.

עם ביצוע הפקודה, המסוף מוצג

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

וממשק האינטרנט הגרפי של Rclone נפתח אוטומטית בדפדפן.

למרות העובדה שה-Web-GUI עדיין בשלב גרסת הבדיקה ועדיין אין לו את כל יכולות הניהול של Rclone שיש לממשק שורת הפקודה, היכולות שלו מספיקות למדי להעברת נתונים. ואפילו קצת יותר.

התאמה

השלב הבא הוא להגדיר חיבורים לאתרים שבהם הנתונים נמצאים או יהיו ממוקמים. והראשון בתור יהיה מקלט הנתונים הראשי - Nextcloud.

1. כדי לעשות זאת, עבור אל הסעיף קונפיגים Web-GUI. 

2. התחלת יצירת תצורה חדשה - כפתור תצורה חדשה.

3. הגדר את שם האתר - שדה שם הכונן הזה (לעיונך): Nextcloud.

4. בחירת סוג או סוג האחסון בחר: עבור Nextcloud ו- Owncloud, ממשק חילופי הנתונים העיקרי הוא WebDAV.

5. לאחר מכן, לחץ על שלב 2: התקנה כונן, פתח את רשימת פרמטרי החיבור ומלא. 

- 5.1. כתובת האתר של מארח ה-http כדי להתחבר לכתובת האתר - קישור היפרטקסט של ממשק WebDAV. ב-Nextcloud הם ממוקמים בהגדרות - הפינה השמאלית התחתונה של הממשק.
- 5.2. שם האתר/השירות/התוכנה של Webdav שבהם אתה משתמש - שם ממשק WebDAV. התחום הוא אופציונלי, עבור עצמך, כדי לא להתבלבל אם יש הרבה קשרים כאלה.
- 5.3 כינוי - שם משתמש להרשאה
- 5.4. סיסמה — סיסמא להרשאה
- 5.5. אסימון נושא במקום משתמש/מעבר (למשל מקרון) ופקודה לרוץ כדי לקבל אסימון נושא באפשרויות מתקדמות ישנם פרמטרים נוספים ופקודות הרשאה. הם לא בשימוש ב-Nextcloud שלי.

6. הקליק הבא צור תצורה וכדי לוודא שהתצורה נוצרה, עבור לסעיף Config ממשק אינטרנט... דרך אותו עמוד, ניתן למחוק או לערוך את התצורה החדשה שנוצרה.

על מנת לבדוק את הפונקציונליות של החיבור לאתר היכנסו למדור מגלה ארצות... בשטח הסברים הזן את שם האתר המוגדר ולחץ להרחיב. אם אתה רואה רשימה של קבצים וספריות, החיבור לאתר עובד.

כדי להיות יותר משכנע, אתה יכול ליצור/למחוק תיקיה או להוריד/למחוק קובץ דרך ממשק האינטרנט.

הפלטפורמה השנייה שתתחבר תהיה דיסק Yandex.

• ארבעת השלבים הראשונים דומים לתהליך החיבור של Nextcloud.
• לאחר מכן, נשאיר הכל כפי שהוא, כלומר, את השדות בפנים שלב 2: התקנת כונן אנו משאירים אותם ריקים ולא משנים דבר באפשרויות המתקדמות.
• אנחנו לוחצים צור Config.
• דף ההרשאות של Yandex נפתח בדפדפן, ולאחר מכן תקבל הודעה על חיבור מוצלח והצעה לחזור ל-Rclone.
• מה שאנחנו עושים זה לבדוק את הסעיף Config.

הגירה

כשיש לנו שני אתרים מחוברים, אנחנו כבר יכולים להעביר נתונים ביניהם. התהליך עצמו דומה לבדיקת פונקציונליות החיבור ל-Nextcloud, שביצענו קודם לכן.

• לך ל מגלה ארצות.
• בחירת תבנית 2 זה לצד זה.
• בכל אחד מ הסברים ציין את שם האתר שלך.
• אנחנו לוחצים להרחיב.
• אנו רואים ספרייה של קבצים ותיקיות עבור כל אחד מהם.

כדי להתחיל את תהליך ההעברה, כל שנותר הוא לבחור את התיקיה הרצויה עם קבצים בספריית מקור הנתונים ולגרור אותה עם העכבר לספריית היעד.

מנגנון הוספת האתרים הנותרים והעברת נתונים ביניהם דומה לפעולות שבוצעו לעיל. אם אתה נתקל בשגיאות במהלך עבודתך, תוכל ללמוד פרטים עליהן בטרמינל שבו פועל Rclone עם Web-GUI.

באופן כללי, התיעוד עבור Rclone הינה נרחבת וזמינה באתר ובאינטרנט, ואינה אמורה לגרום לקשיים בשימוש. עם זה, אני מחשיב את הפוסט הראשון על איך להעביר קבצים מענן אחד למשנהו, תוך עקיפת המחשב האישי שלך, להשלים.

נ.ב. אם אינכם מסכימים עם האמירה האחרונה, כתבו בתגובות: איזה "נושא לא מכוסה" ובאיזה צורה כדאי להמשיך.

מקור: www.habr.com