מיניו לקטנטנים

MinIO הוא פתרון מצוין כאשר אתה צריך לארגן בקלות ובפשטות את אחסון החפצים. הגדרה יסודית, פלטפורמות רבות וביצועים טובים עשו את עבודתם בתחום האהבה העממית. אז לא הייתה לנו ברירה אלא להכריז על תאימות לפני חודש Veeam Backup & Replication ו-MinIO. כולל תכונה כל כך חשובה כמו Immutability. למעשה, ל-MinIO יש שלם סעיף בתיעוד המוקדש לשילוב שלנו.

לכן, היום נדבר על איך:

• הגדרת MinIO מהירה מאוד.
• הגדרת MinIO היא קצת פחות מהירה, אבל הרבה יותר טובה.
• השתמש בו כשכבת ארכיון עבור Veeam SOBR Scalable Repository.

מה אתה?

הקדמה קצרה למי שלא נתקל ב-MinIO. זהו אחסון אובייקטים בקוד פתוח התואם ל-Amazon S3 API. שוחרר תחת רישיון Apache v2 ודבק בפילוסופיה של המינימליזם הספרטני.

כלומר, אין לו GUI רחב ידיים עם לוחות מחוונים, גרפים ותפריטים רבים. MinIO פשוט משיקה את השרת שלה בפקודה אחת, שבה אתה יכול פשוט לאחסן נתונים באמצעות העוצמה המלאה של ה-API של S3. אך יש לציין שהפשטות הזו עלולה להטעות בכל הנוגע למשאבים המשמשים. זיכרון RAM ו-CPU נספגים בצורה מושלמת, אך הסיבות יידונו להלן. ודרך אגב, שילובים כמו FreeNAS ו-TrueNAS משתמשים ב-MinIO מתחת למכסה המנוע.

ההקדמה הזו יכולה להסתיים כאן.

הגדרת MinIO מהירה מאוד

ההגדרה שלו כל כך מהירה שאנחנו נסתכל על זה עבור Windows ו- Linux. יש אפשרויות עבור Docker, ועבור Kubernetis, ואפילו עבור MacOS, אבל המשמעות תהיה זהה בכל מקום.

אז, במקרה של Windows, עבור אל האתר הרשמי https://min.io/download#/windows ולהוריד את הגרסה העדכנית ביותר. שם אנו רואים גם הוראות להתחלה:

 minio.exe server F:Data

ויש גם קישור לאחד קצת יותר מפורט מדריך להתחלה מהירה. אין טעם לא להאמין להוראות, אז אנחנו מפעילים את זה ומקבלים משהו כמו זה.

זה הכל! האחסון עובד ואתה יכול להתחיל לעבוד איתו. לא צחקתי כשאמרתי ש-MinIO הוא מינימליסטי ופשוט עובד. אם תעקבו על הקישור המוצע במהלך ההשקה, הפונקציות המקסימליות הזמינות שם הן ליצירת דלי. ואתה יכול להתחיל לכתוב נתונים.

עבור אוהבי לינוקס, הכל נשאר לא פחות פשוט. ההוראות הפשוטות ביותר:

wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server /data

התוצאה תהיה בלתי ניתנת להבחנה ממה שנראה בעבר. 

הגדרת MinIO היא קצת יותר משמעותית

כפי שאנו מבינים, הפסקה הקודמת מפנקת לצורכי בדיקה. ובואו נהיה כנים, אנחנו משתמשים ב-MinIO באופן נרחב מאוד לבדיקות, שאנחנו בכלל לא מתביישים להודות. כמובן, זה עובד, אבל חבל לסבול את זה מעבר לספסלי מבחן. לכן, אנו לוקחים בידינו תיק ומתחילים להעלות אותו לראש.

HTTPS

שלב החובה הראשון בדרך לייצור הוא הצפנה. יש כבר מיליון ואלף מדריכים ברשת להוספת אישורים ל-MiniIO, אבל התוכנית הכללית שלהם היא כזו:

• צור תעודה
• במקרה של Windows, שים אותו ב-C:Users%User%.miniocerts
• עבור לינוקס ב-${HOME}/.minio/certs 
• מפעיל מחדש את השרת

הבנאלי Let's Encrypt משעמם ומתואר בכל מקום, אז הדרך שלנו היא הנתיב של הסמוראי, אז במקרה של Windows אנחנו מורידים Cygwin, ובמקרה של לינוקס אנחנו פשוט בודקים שיש לנו openssl מותקן. ואנחנו עושים קסם קונסולה קטן:

• יצירת מפתחות: openssl ecparam -genkey -name prime256v1 | openssl ec -out private.key
• אנו יוצרים אישור באמצעות המפתח: openssl req -new -x509 -days 3650 -key private.key -out public.crt
• העתק את private.key ו-public.crt לתיקיה שצוינה למעלה
• הפעל מחדש את MinIO

אם הכל הלך כמו שצריך, אז משהו כזה יופיע בסטטוס.

אפשר MinIO Erasure Coding

ראשית, כמה מילים על הנושא. בקצרה: זוהי הגנת תוכנה של נתונים מפני נזק ואובדן. כמו פשיטה, רק הרבה יותר אמין. אם RAID6 הקלאסי יכול להרשות לעצמו לאבד שני דיסקים, אז MinIO יכולה להתמודד בקלות עם אובדן של חצי. הטכנולוגיה מתוארת ביתר פירוט ב מדריך רשמי. אבל אם ניקח את המהות, אז זהו יישום של קודי ריד-סולומון: כל המידע מאוחסן בצורה של בלוקי נתונים, שיש להם בלוקים זוגיים. ונראה שכל זה כבר נעשה הרבה פעמים, אבל יש "אבל" חשוב: אנחנו יכולים לציין במפורש את היחס בין בלוקי זוגיות לבלוקי נתונים עבור אובייקטים מאוחסנים.
אתה רוצה 1:1? אנא!
אתה רוצה 5:2? אין בעיה!

תכונה חשובה מאוד אם אתה משתמש במספר צמתים בו זמנית ורוצה למצוא את האיזון שלך בין אבטחת נתונים מקסימלית למשאבים שהושקעו. מחוץ לקופסה, MinIO משתמש בנוסחה N/2 (כאשר N הוא המספר הכולל של הדיסקים), כלומר. מפצל את הנתונים שלך בין דיסקי נתונים N/2 ודיסקים זוגיים N/2. תרגום למונחים אנושיים: אתה יכול לאבד מחצית מהדיסקים ולשחזר את הנתונים. היחס הזה ניתן דרך מחלקת אחסון, מה שמאפשר לך לבחור בעצמך מה חשוב יותר: אמינות או יכולת.

המדריך נותן את הדוגמה הבאה: נניח שיש לך התקנה על 16 דיסקים ואתה צריך לשמור קובץ בגודל של 100 מגה. אם נעשה שימוש בהגדרות ברירת המחדל (8 דיסקים עבור נתונים, 8 עבור בלוקים זוגיות), אז הקובץ בסופו של דבר יתפוס כמעט כפול נפח, כלומר. 200 מגה-בייט. אם יחס הדיסק הוא 10/6, אז יהיה צורך ב-160 מגה-בייט. 14/2 - 114 מגה-בייט.

הבדל חשוב נוסף מפשיטות: במקרה של כשל בדיסק, MinIO יעבוד ברמת האובייקט, ישחזר אחד אחד, מבלי לעצור את המערכת כולה. בעוד שפשיטה רגילה תיאלץ לשחזר את כל הווליום, מה שייקח פרק זמן בלתי צפוי. המחבר זוכר מדף דיסקים שלאחר שנפלו שני דיסקים לקח שבוע וחצי לחשב מחדש. זה היה די לא נעים.

בנוסף, הערה חשובה: MinIO מחלק את כל הדיסקים לקידוד מחיקה לקבוצות מ-4 עד 16 דיסקים, תוך שימוש בגודל הסט המקסימלי האפשרי. ובעתיד, אלמנט אחד של מידע יאוחסן רק בתוך סט אחד.

כל זה נשמע מאוד מגניב, אבל כמה קשה יהיה להגדיר את זה? בואו נסתכל. אנחנו לוקחים את הפקודה להפעלה ופשוט נרשמים את הדיסקים עליהם צריך ליצור את האחסון. אם הכל נעשה נכון, אז בדוח נראה את מספר הדיסקים המעורבים. והעצה היא שלא טוב להוסיף חצי מהדיסקים למארח אחד בבת אחת, כי זה יוביל לאובדן נתונים.

c:minio>minio.exe server F: G: H: I: J: K:

לאחר מכן, כדי לנהל ולהגדיר את שרת MinIO, נצטרך סוכן, אותו תוכל להוריד שם מהאתר הרשמי.

כדי לא לשחוק את האצבעות בכל פעם שאתה מקליד את הכתובת ומקשי הגישה (וזה לא בטוח), נוח ליצור מיד כינוי כשאתה מתחיל להשתמש בנוסחה mc alias set [מפתח-הגישה שלך] [מפתח-הסוד שלך]

mc alias set veeamS3 https://172.17.32.52:9000 YOURS3ACCESSKEY YOURSECERTKE

או שתוכל להוסיף מיד את המארח שלך:

mc config host add minio-veeam https://minio.jorgedelacruz.es YOURS3ACCESSKEY YOURSECERTKEY

ואז ניצור דלי בלתי משתנה עם צוות יפהפה

mc mb --debug -l veeamS3/immutable 

mc: <DEBUG> PUT /immutable/ HTTP/1.1
Host: 172.17.32.52:9000
User-Agent: MinIO (windows; amd64) minio-go/v7.0.5 mc/2020-08-08T02:33:58Z
Content-Length: 0
Authorization: AWS4-HMAC-SHA256 Credential=minioadmin/20200819/us-east-1/s3/aws4_request, SignedHeaders=host;x-amz-bucket-object-lock-enabled;x-amz-content-sha256;x-amz-date, Signature=**REDACTED**
X-Amz-Bucket-Object-Lock-Enabled: true
X-Amz-Content-Sha256: UNSIGNED-PAYLOAD
X-Amz-Date: 20200819T092241Z
Accept-Encoding: gzip
mc: <DEBUG> HTTP/1.1 200 OK
Content-Length: 0
Accept-Ranges: bytes
Content-Security-Policy: block-all-mixed-content
Date: Wed, 19 Aug 2020 09:22:42 GMT
Location: /immutable
Server: MinIO/RELEASE.2020-08-16T18-39-38Z
Vary: Origin
X-Amz-Request-Id: 162CA0F9A3A3AEA0
X-Xss-Protection: 1; mode=block
mc: <DEBUG> Response Time:  253.0017ms

--לנפות מאפשר לך לראות לא רק את ההודעה הסופית, אלא מידע מפורט יותר. 

-l פירושו -עם מנעול, שפירושו בלתי ניתן לשינוי

אם נחזור כעת לממשק האינטרנט, הדלי החדש שלנו יופיע שם.

זה הכל לעת עתה. יצרנו אחסון מאובטח ומוכנים לעבור לאינטגרציה עם Veeam.

אתה יכול גם לוודא שהכל עובד בצורה מושלמת:

c:minio>mc admin info veeamS3

●  172.17.32.52:9000
   Uptime: 32 minutes
   Version: 2020-08-16T18:39:38Z
   Network: 1/1 OK
   Drives: 6/6 OK
0 B Used, 1 Bucket, 0 Objects
6 drives online, 0 drives offline

MinIO ו- Veeam

אזהרה! אם מסיבה מדהימה אתה רוצה לעבוד באמצעות HTTP, אז ב-HKEY_LOCAL_MACHINESOFTWAREVeeamVeeam גיבוי ושכפול צור מפתח DWORD SOBRArchiveS3DisableTLS. הגדר את הערך שלו ל-1 וזכרו שאנחנו מאוד לא מאשרים התנהגות כזו ולא ממליצים עליה לאף אחד.

שוב תשומת לב! אם, עקב אי הבנה כלשהי, אתה ממשיך להשתמש ב-Windows 2008 R2, אז כשתנסה לחבר את MinIO ל-Veeam, סביר להניח שתקבל שגיאה כזו: נכשל ביצירת חיבור לנקודת הקצה של Amazon S3. זה יכול להיות מטופל עם תיקון רשמי מ מיקרוסופט.

ובכן, ההכנות הושלמו, בואו נפתח את ממשק ה-VBR ונעבור ללשונית Backup Infrastructure, שם נקרא לאשף להוספת מאגר חדש.

כמובן, אנו מעוניינים באחסון אובייקטים, כלומר תואם S3. באשף שנפתח, הגדר שם ועבור על השלבים המציינים את הכתובת והחשבון. במידת הצורך, אל תשכח לציין את השער דרכו יישלחו בקשות לאחסון.

לאחר מכן בחר את הדלי, התיקיה וסמן את התיבה הפוך את הגיבויים האחרונים לבלתי ניתנים לשינוי. או שאנחנו לא מתקינים את זה. אבל מכיוון שעשינו מתקן אחסון שתומך בפונקציה זו, יהיה זה חטא לא להשתמש בו.

הבא > סיימו ותהנו מהתוצאה.

כעת עלינו להוסיף אותו למאגר SOBR בתור שכבת קיבולת. לשם כך, אנו יוצרים אחד חדש או עורכים אחד קיים. אנו מעוניינים בשלב ה-Capacity Tier.

כאן עלינו לבחור עם איזה תרחיש נעבוד. כל האפשרויות מתוארות היטב באחר статье, אז אני לא אחזור על עצמי

ועם השלמת האשף, משימות להעתקה או העברת גיבויים יופעלו אוטומטית. אבל אם התוכניות שלך אינן כוללות הנחת עומס מיידית על כל המערכות, הקפד להגדיר מרווחים מקובלים לעבודה על כפתור החלון.

וכמובן, אתה יכול לבצע משימות גיבוי נפרדות. יש הסבורים שזה אפילו יותר נוח, שכן הם קצת יותר שקופים וצפויים למשתמש שאינו רוצה להתעמק בפרטי תפעול מטווח הירי. ויש שם מספיק פרטים, אז שוב אני ממליץ על המאמר המקביל בקישור למעלה.

ולבסוף, התשובה לשאלה הבוגדנית: מה יקרה אם בכל זאת תנסה למחוק את הגיבוי מהאחסון הבלתי ניתן לשינוי?

הנה התשובה:

זה הכל להיום. במסורת אמיתית, תפסו רשימה של נושאים שימושיים בנושא:

• מדריך ל שימוש ב-MinIO עם Veeam
• דוגמא לשימוש MinIO עם גיבוי Veeam עבור Office 365.
• מדריך התקנה כללי S3 מאות דולר ב-Veeam.
• סניף על שלנו פורום על אחסון S3.

מקור: www.habr.com