hashget - זה בחינם, קוד פתוח מסיר כפילות הוא כלי עזר דומה לארכיון המאפשר לך להקטין משמעותית את גודל הגיבויים, כמו גם לארגן סכימות גיבוי מצטברות ודיפרנציאליות ועוד.

זהו מאמר סקירה לתיאור התכונות. השימוש בפועל ב-hashget (די פשוט) מתואר ב README פרויקט ו תיעוד ויקי.

השוואה

לפי חוק הז'אנר, אני אתחיל מיד עם התככים - בהשוואה בין התוצאות:

מדגם נתונים
גודל לא ארוז
.tar.gz
hashget.tar.gz

וורדפרס-5.1.1
43 Mb
11 מגה-ביט (26%)
155 Kb ( 0.3% )

לינוקס ליבה
934 Mb
161 מגה-ביט (20%)
4.7 מגה-ביט ( 0.5% )

Debian 9 (LAMP) LXC VM
724 Mb
165 מגה-ביט (23%)
4.1 מגה-ביט ( 0.5% )

רקע על מה צריך להיות גיבוי אידיאלי ויעיל

בכל פעם שעשיתי גיבוי של מכונה וירטואלית חדשה שנוצרה, רדפה אותי התחושה שאני עושה משהו לא בסדר. למה אני מקבל גיבוי כבד מהמערכת, שבה היצירתיות הבלתי נסבלת שלי היא index.html בשורה אחת עם הטקסט "שלום עולם"?

מדוע יש ‎16 MB /usr/sbin/mysqld בגיבוי שלי? האם באמת ייתכן שבעולם הזה יש לי הכבוד לשמור על התיק החשוב הזה, ואם אכשל, הוא יאבד לאנושות? סביר להניח שלא. הוא מאוחסן בשרתי דביאן אמינים במיוחד (אי אפשר להשוות את המהימנות והרציפות שלהם למה שאני יכול לספק), כמו גם בגיבויים (מיליונים מהם) של מנהלים אחרים. האם אנחנו באמת צריכים ליצור 10+ עותק ראשון של קובץ חשוב זה כדי לשפר את האמינות?

בדרך כלל hashget ופותר את הבעיה הזו. כאשר הוא ארוז, הוא יוצר גיבוי קטן מאוד. בעת פירוק - מערכת לא ארוזה לחלוטין, בדומה למה שהיתה אם tar -c / tar -x. (במילים אחרות, זוהי אריזה ללא אובדן)

איך ההאשגט עובד

ל-hashget יש את המושגים של Package ו- HashPackage, בעזרתם היא מבצעת מניעת כפילויות.

חֲבִילָה (שקית פלסטיק). קובץ (בדרך כלל ארכיון .deb או .tar.gz) הניתן להורדה מאובטחת מהאינטרנט, וממנו ניתן להשיג קובץ אחד או יותר.

HashPackage - קובץ JSON קטן המייצג חבילה, כולל כתובת URL של החבילה וסכומי hash (sha256) של קבצים ממנה. לדוגמה, עבור חבילת mariadb-server-core של 5 מגה-בייט, גודל ה-hashpack הוא 6 קילובייט בלבד. בערך פי אלף פחות.

מניעת כפילות - יצירת ארכיון ללא קבצים כפולים (אם ה-deduplicator יודע היכן ניתן להוריד את החבילה המקורית, זה מפחית כפילויות מהארכיון).

אריזה

בעת האריזה, כל הקבצים מהספרייה הנארזים נסרקים, סכומי הגיבוב שלהם מחושבים, ואם הסכום נמצא באחד מה-HashPackages המוכרים, נשמרים מטא נתונים על הקובץ (שם, hash, זכויות גישה וכו'). בקובץ מיוחד .hashget-restore.json, שייכלל גם הוא בארכיון.

במקרה הפשוט ביותר, האריזה עצמה נראית לא יותר מסובכת מזופת:

hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data

פורקים

הפריקה מתבצעת בשני שלבים. ראשית פריקת הזפת הרגילה:

tar -xf mybackup.tar.gz -C /path/to/data

לאחר מכן שחזר מהרשת:

hashget -u /path/to/data

בעת השחזור, hashget קורא את הקובץ .hashget-restore.json, מוריד את החבילות הדרושות, פורק אותן ומחלץ את הקבצים הדרושים, מתקין אותם בנתיבים הנדרשים, עם הבעלים/הקבוצה/ההרשאות הנדרשות.

דברים יותר קשים

מה שתואר לעיל כבר מספיק למי ש"רוצה את זה כמו זפת, אבל לארוז את הדביאן שלי ל-4 מגה בייט." בואו נסתכל על דברים מורכבים יותר מאוחר יותר.

אינדקס

אם ל-hashget לא היה חבילת HashPackage אחת, אז היא פשוט לא הייתה מסוגלת לבטל כפילות של דבר.

אתה יכול גם ליצור HashPackage באופן ידני (פשוט: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my), אבל יש דרך נוחה יותר.

על מנת לקבל את ה-hashpackage הדרוש, יש שלב אינדקס (זה מבוצע אוטומטית עם הפקודה --pack) ו היוריסטיקה. בעת יצירת אינדקס, hashget "מזין" כל קובץ שנמצא לכל היוריסטיות הזמינות שמתעניינות בו. לאחר מכן, Heuristics יכולה להוסיף כל חבילה לאינדקס כדי ליצור HashPackage.

לדוגמה, היוריסטיקה של דביאן אוהבת את הקובץ /var/lib/dpkg/status ומזהה חבילות דביאן מותקנות, ואם הן לא נוספו לאינדקס (לא נוצר עבורן HashPackage), מוריד ומוסיף אותן לאינדקס. התוצאה היא אפקט נחמד מאוד - hashget תמיד ישכפל ביעילות את מערכת ההפעלה של דביאן, גם אם יש להן את החבילות העדכניות ביותר.

קבצי רמז

אם הרשת שלך משתמשת בחלק מהחבילות הקנייניות שלך או בחבילה ציבורית שאינה כלולה בהיוריסטיקה של hashget, תוכל להוסיף לה קובץ רמז פשוט של hashget-hint.json כך:

{
    "project": "wordpress.org",
    "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}

לאחר מכן, בכל פעם שנוצר ארכיון, החבילה תתווסף לאינדקס (אם היא לא הייתה בעבר), וקובצי החבילה יפוקו מהארכיון. אין צורך בתכנות, הכל ניתן לעשות מ-vim ולשמור בכל גיבוי. שימו לב שבזכות גישת ה-hash sum, אם חלק מהקבצים מהחבילה ישתנו באופן מקומי (לדוגמה, קובץ תצורה ישתנה), אז הקבצים שהשתנו יישמרו בארכיון "כמות שהם" ולא יחתכו.

אם חלק מהחבילות שלך מתעדכנות מעת לעת, אך השינויים אינם גדולים במיוחד, תוכל לרמוז רק עבור גרסאות עיקריות. לדוגמה, בגרסה 1.0 הם עשו רמז שמצביע על mypackage-1.0.tar.gz, והוא יבוטל לחלוטין, ואז הוציאו את גרסה 1.1, שהיא מעט שונה, אבל הרמז לא עודכן. זה בסדר. רק קבצים התואמים (ניתן לשחזר) גרסה 1.0 נמחקים.

ההיוריסטיקה שמעבדת את קובץ הרמז היא דוגמה טובה להבנת המנגנון הפנימי של אופן פעולת היוריסטיקה. הוא מעבד רק קבצי hashget-hint.json (או .hashget-hint.json עם נקודה) ומתעלם מכל השאר. מתוך קובץ זה, הוא קובע איזו כתובת אתר לחבילה יש להוסיף לאינדקס, וה-hashget מוסיף אותה לאינדקס (אם הוא עדיין לא עשה זאת)

HashServer

זה יהיה די עתיר עבודה לבצע אינדקס מלא בעת יצירת גיבויים. כדי לעשות זאת, עליך להוריד כל חבילה, לפרוק אותה ולהוסיף אותה לאינדקס. לכן hashget משתמש בסכימה עם HashServer. כאשר מזוהה חבילת דביאן מותקנת, אם היא לא נמצאת ב-HashPackage המקומי, נעשה תחילה ניסיון פשוט להוריד את ה-HashPackage משרת ה-hash. ורק אם זה לא עובד, ה-hashget עצמו מוריד ומאשים את החבילה (ומעלה אותה ל-hashserver, כך שה-hashserver יספק אותה בעתיד).

HashServer הוא מרכיב אופציונלי של הסכימה, לא קריטי, הוא משמש אך ורק כדי להאיץ ולהפחית את העומס על המאגרים. מושבת בקלות (אופציונלי --hashserver ללא פרמטרים). בנוסף, אתה יכול בקלות צור שרת hash משלך.

גיבויים מצטברים ודיפרנציאליים, התיישנות מתוכננת

hashget מקל מאוד על יצירת דיאגרמה גיבויים מצטברים ודיפרנציאליים. למה שלא נוסיף את הגיבוי שלנו לאינדקס (עם כל הקבצים הייחודיים שלנו)? צוות אחד --submit וסיימת! הגיבוי הבא ש-hashget יוצר לא יכלול קבצים מהארכיון הזה.

אבל זו לא גישה טובה במיוחד, כי אולי יתברר שבעת השחזור נצטרך למשוך את כל גיבויי ההאשגטים בכל ההיסטוריה (אם כל אחד מכיל לפחות קובץ ייחודי אחד). יש מנגנון לזה התיישנות מתוכננת של גיבויים. בעת יצירת אינדקס, אתה יכול לציין את תאריך התפוגה של HashPackage --expires 2019-06-01, ולאחר תאריך זה (משעה 00:00), לא ייעשה בו שימוש. לא ניתן למחוק את הארכיון עצמו לאחר תאריך זה (אם כי hashget יכול להציג בנוחות את כתובות ה-URL של כל הגיבויים שהם/יהיו רקובים כרגע או בכל תאריך).

לדוגמה, אם נבצע גיבוי מלא ב-1 ונוסיף אותו לאינדקס לכל החיים עד סוף החודש, נקבל סכימת גיבוי דיפרנציאלית.

אם נוסיף לאינדקס גיבויים חדשים באותו אופן, תהיה תכנית של גיבויים מצטברים.

שלא כמו סכימות מסורתיות, hashget מאפשר לך להשתמש במספר מקורות בסיסיים. הגיבוי יקטן הן על ידי צמצום קבצים מגיבויים קודמים (אם יש) והן על ידי קבצים ציבוריים (מה שניתן להוריד).

אם מסיבה כלשהי איננו סומכים על המהימנות של משאבי דביאן (https://snapshot.debian.org/) או משתמש בהפצה אחרת, אנחנו יכולים פשוט לבצע גיבוי מלא פעם אחת עם כל החבילות, ואז להסתמך על זה (על ידי השבתת היוריסטיקה). כעת, אם כל השרתים של ההפצות שלנו יתבררו כלא זמינים עבורנו (באינטרנט למזכרות או במהלך אפוקליפסת זומבים), אבל הגיבויים שלנו תקינים, נוכל לשחזר מכל גיבוי הבדל קצר המסתמך רק על הגיבויים הקודמים שלנו .

Hashget מסתמך רק על מקורות שחזור מהימנים לפי שיקול דעתך. אלה שאתה מחשיב אמינים ישמשו.

FilePool וקרחון

מנגנון FilePool מאפשר לך לא ליצור קשר כל הזמן עם שרתים חיצוניים כדי להוריד חבילות, אלא להשתמש בחבילות ממדריך מקומי או משרת ארגוני, למשל:

$ hashget -u . --pool /tmp/pool

או

$ hashget -u . --pool http://myhashdb.example.com/

כדי ליצור מאגר בספרייה מקומית, אתה רק צריך ליצור ספרייה ולזרוק לתוכה קבצים, ה-hashget עצמו ימצא את מה שהוא צריך באמצעות ה-hash. כדי להנגיש את המאגר באמצעות HTTP, עליך ליצור סימלינקים בצורה מיוחדת; זה נעשה בפקודה אחת (hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool). HTTP FilePool עצמו הוא קבצים סטטיים, כך שכל שרת אינטרנט פשוט יכול לשרת אותו, העומס על השרת הוא כמעט אפס.

הודות ל-FilePool, אתה יכול להשתמש לא רק במשאבי http(s) כמשאבי בסיס, אלא גם לדוגמה,קרחון אמזון.

לאחר העלאת הגיבוי לקרחון, אנו מקבלים את מזהה ההעלאה שלו ומשתמשים בו ככתובת URL. לדוגמה:

hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01

כעת גיבויים חדשים (דיפרנציאליים) יתבססו על גיבוי זה ויהיו קצרים יותר. לאחר פריקת ה-diffbackup, נוכל לראות על אילו משאבים הוא מסתמך:

hashget --info /tmp/unpacked/ list

ופשוט השתמש בסקריפט מעטפת כדי להוריד את כל הקבצים האלה מ-Glacier לבריכה ולהפעיל את השחזור הרגיל: hashget -u /tmp/unpacked —pool /tmp/pool

האם המשחק שווה את הנר?

במקרה הפשוט ביותר, פשוט תשלמו פחות עבור גיבויים (אם תאחסנו אותם איפשהו בענן תמורת כסף). אולי הרבה הרבה פחות.

אבל זה לא הדבר היחיד. כמות הופכת לאיכות. אתה יכול להשתמש בזה כדי לקבל שדרוג באיכות גבוהה לסכימת הגיבוי שלך. לדוגמה, מכיוון שהגיבויים שלנו כעת קצרים יותר, אנו יכולים לבצע גיבויים לא חודשיים, אלא יומיים. אחסן אותם לא במשך שישה חודשים, כמו קודם, אלא במשך 5 שנים. בעבר אחסנתם אותו באחסון "קר" איטי אך זול (Glacier), כעת תוכלו לאחסן אותו באחסון חם, משם תמיד תוכלו להוריד במהירות גיבוי ולשחזר אותו תוך דקות, לא ביום.

אתה יכול להגביר את האמינות של אחסון גיבוי. אם אנו מאחסנים אותם כיום במתקן אחסון אחד, אז על ידי צמצום נפח הגיבויים, נוכל לאחסן אותם ב-2-3 מתקני אחסון ולשרוד ללא כאב אם אחד מהם ייפגע.

איך לנסות ולהתחיל להשתמש?

עבור לדף gitlab https://gitlab.com/yaroslaff/hashget, התקן עם פקודה אחת (pip3 install hashget[plugins]) ופשוט לקרוא ולהפעיל התחלה מהירה. אני חושב שזה ייקח 10-15 דקות לעשות את כל הדברים הפשוטים. לאחר מכן תוכל לנסות לדחוס את המכונות הוירטואליות שלך, ליצור קבצי רמז במידת הצורך כדי לחזק את הדחיסה, לשחק עם בריכות, מסד נתונים hash מקומי ושרת hash אם אתה מעוניין, ולמחרת לראות מה גודל הגיבוי המצטבר יהיה על זה של אתמול.

מקור: www.habr.com