אחסון, גיבוי וקטלוג תמונות

כאן הם כותבים מדי פעם פוסטים על האופן שבו הם מאחסנים ומגבים את התמונות שלהם - ורק קבצים. בפוסט האחרון כזה כתבתי תגובה די ארוכה, חשבתי קצת והחלטתי להרחיב אותה לפוסט. יתר על כן, שיניתי במידת מה את שיטת הגיבוי לענן, זה עשוי להיות שימושי למישהו.

השרת הביתי הוא המקום שבו מתרחשים הרבה מהדברים הבאים:

מה כדאי לחסוך?

הדבר הכי חשוב ורב נפח עבורי הם צילומים. מדי פעם סרטון, אבל מדי פעם - הוא תופס יותר מדי מקום ותופס יותר מדי זמן, אז אני לא אוהב את זה יותר מדי, אני מצלם רק סרטונים קצרים שנמצאים באותה ערימה של הצילומים. נכון לעכשיו, ארכיון התמונות שלי תופס כ-1,6 טרה-בייט והוא גדל בכ-200 ג'יגה-בייט בשנה. דברים חשובים אחרים הם הרבה פחות נפחיים ויש פחות בעיות איתם במונחים של אחסון וגיבוי; תריסר או שניים ג'יגה-בייט ניתן לדחוס לחבורה של מקומות חינמיים או זולים מאוד, החל מ-DVD ועד כונני הבזק ועננים.

איך הוא מאוחסן ומגבה?

כל ארכיון התמונות שלי תופס כרגע בערך 1,6 טרה-בייט. עותק המאסטר מאוחסן ב-SSD של שני טרה-בייט במחשב ביתי. אני משתדל לא לשמור תמונות בכרטיסי זיכרון יותר מהנדרש; אני מוחק את שולחן העבודה או המחשב הנייד שלי בהקדם האפשרי (כשאני בדרכים). למרות שאני לא מוחק אותו מכונן הבזק אם יש עדיין מקום. עותק נוסף אף פעם לא מזיק. מהמחשב הנייד, עם ההגעה הביתה, הכל מועבר גם לשולחן העבודה.

כל יום עותק עותק של תיקיה עם תמונות לשרת ביתי (עם סוג מראה מבוסס Drivepool, שבו מוגדרת שכפול של תיקיות חשובות). אגב, אני עדיין ממליץ על Drivepool – בכל שנות השימוש, אף לא תקלה אחת. זה פשוט עובד. רק אל תסתכל על הממשק הרוסי שלו, שלחתי למפתחים תרגום הגון יותר, אבל אני לא יודע מתי הוא ייושם. בינתיים, ברוסית, מדובר בתוכנית לניהול מאגר.

אתה יכול, כמובן, ליצור עותקים לעתים קרובות יותר; אם נעשתה עבודה רבה במהלך היום, אז אני יכול להכריח את המשימה לפעול. למרות שעכשיו אני עדיין חושב להתחיל להעתיק בעת שינוי קבצים, אני רוצה להפסיק להשאיר את שולחן העבודה מופעל מסביב לשעון, לתת לשרת לעבוד יותר. התוכנית היא GoodSync.

עד לאחרונה, קבצים הועלו מאותו שולחן עבודה באמצעות אותו GoodSync לענן של Onedrive. רוב הקבצים שלי אינם אישיים, אז העליתי אותם כפי שהם, ללא הצפנה. מה שהיה אישי הועלה כמשימה נפרדת, עם הצפנה.

Onedrive נבחרה מכיוון שמנוי של 365 Office 2000 Home Premium לשנה הציע חמישה (ועכשיו שישה) טרה-בייט של אחסון ענן. גם אם זה בחתיכות בגודל טרה-בייט. עכשיו, לעומת זאת, החינמון התייקר מעט, אבל לפני כמה שבועות הייתה אפשרות נוספת עבור 2600-2700 לשנה (צריך להסתכל על קמעונאים). חזיתי את זה כשבשנה שעברה מ.ס העלתה מחירים, ואפילו הפסיקה למכור מנויים באתר, אז הפעלתי מנוי לחמש שנים מראש בזמן שעדיין נמכרו 1800-2000 קופסאות (כמובן שהיו גם כמה קופסאות במילואים קח את זה, אבל לא העזתי לנחש כזה).

מהירות ההורדה היא המקסימלית לתעריף שלי, 4-5 מגה-בייט לשנייה, בלילה עד 10. פעם הסתכלתי על crashplan - זה טוב שם אם הורדו מגה-בייט לשנייה.

5TB לכל החיים עבור $2-3 מ-ebay הוא דבר אקראי מאוד. מכיוון שתוחלת החיים עשויה להתברר כקצרה מאוד, עד כה שלושה חודשים הם השיא. זה לא רעיון טוב לגבות למקום שעלול להתמוטט בכל רגע. אפילו בפרוטות.

אבל עכשיו, בגלל העובדה שהחלטתי לגרור חלק מהמשימות משולחן העבודה לשרת, העברתי את ההעתקה ל-Onedrive ל-Duplicati. למרות שזה בטא, אני משתמש בו כבר כמה חודשים ועד כה הוא עובד די אמין. מכיוון ש-Duplicati עדיין מאחסנת את הגיבויים שלה בארכיונים, ולא בכמות גדולה, היא החליטה להצפין את כל מה שהורד באמצעות כלים מובנים. בכל מקרה, אם משהו יקרה, תצטרך לשחזר אותו דרך Duplicati. אז תן לו להצפין הכל.

בהתחשב בכך שיש לי טרה-בייט בחלקים, הגיבוי לענן מורכב ממספר משימות. זה המקום שבו הגיבוי מועלה מחדש לענן. 2019 זרמה במהירות - היו שם חמישים תמונות תוך יומיים, עדיין לא נסעתי הרבה, ו-2018 לאט לאט זורמת פנימה. מהירות ההורדה הנוכחית אינה המקסימלית - זה יום, הערוצים עמוסים וכל זה.

בענן, תיקיית הגיבוי נראית כך - ישנם ארכיוני zip רבים, גודל הארכיון מוגדר בעת יצירת משימה:

בערך פעם בחודש אני עושה עותק על כונן חיצוני, שמאוחסן בארון. אני מתחבר ומפעיל את המשימה באופן ידני עם אותו GoodSync. אמנם, כמובן, אתה יכול להגדיר את זה להתחיל כשהדיסק מחובר - אבל אני לא תמיד צריך לעשות עותק כשאני מחבר את הדיסק.

זה יהיה טוב אם אתה צריך עוד מיקום אחסון מרוחק אחד - שלך ולא מעונן מדי. בשרת שלי, שנמצא באתר הספק, הכנתי מזמן דיסק לעניין הזה, אבל אני עדיין לא יכול להגיע אליו. אבל מכיוון שכבר התחלתי לגרור הכל תחת כפילויות, אני חושב שאעשה את זה עכשיו, אחרי שאעלה הכל מחדש ל-Onedrive.

איך זה מקוטלג?

כאן השאלה מתחלקת לשניים - רמת מערכת הקבצים, שבה מתרחש הקטלוג ברמת התיקיות וקיטלוג לוגי לפי מספר גדול יותר של פרמטרים, כי עץ התיקיות עדיין מוגבל ביכולותיו.

כן, אני מצלם באוויר הפתוח. כי raw ניתן להמיר ל-jpg בכל עת, אבל לא להיפך. נהגתי לצלם ב-raw+jpg כדי שאוכל להעביר במהירות את התמונה לטלפון ולשלוח אותה לאינטרנט (היה קשה להעביר raw לטלפון). jpg לאחר מכן נמחק בעת העתקה לשולחן העבודה. אבל עכשיו הטלפון התחיל להתאים לי מבחינת איכות הצילום (לפרסום באינטרנט), אז זנחתי לחלוטין את ה-jpg במצלמות. או שהם נשארו מהזמנים שבהם לא הייתה לי מצלמה ללא מראה, או שהם מגיעים מהטלפון שלי.

ברמת מערכת הקבצים זה נראה בערך כך: ברמת התיקייה העליונה - המקור. שמות הצלמים נפוצים.

רמה אחת למטה הם נושאים. לכולם יש פחות או יותר אותם נושאים, ייתכן שיש נושאים אישיים (לדוגמה, "כלבים", ייתכן שחלק מהנושאים לא קיימים.

הבא - שנה. בתוך השנה יש תיקיות ביום. ייתכן שיהיו מפגשי צילום נפרדים בתיקייה אם התמונות של היום מחולקות לנושאים.

כתוצאה מכך, הנתיב לקובץ עשוי להיראות בערך כך: MyTrips20182018-04-11 BerlinFrench StationP4110029.ORF

אני מצלם בשתי מצלמות, בדרך כלל בתורות, אבל מדי פעם אני מצלם את שתיהן איתי - ואז אני זורק את התמונות מהן לתיקייה אחת. העיקר שהזמן מסונכרן, אחרת צריך לחשב את ההפרש ולהתאים את תאריך הצילום של כל הקבצים (ב-Lightroom זה קל, אבל קצת מייגע לחשב את הפרש השעות).

ישנה תיקייה נפרדת ברמה השנייה לתמונות מהטלפון שלך, אך במידת הצורך ניתן לשלוח את התמונה לתיקיה נושאית.

קטלוג לוגי על גבי תיקיות - Adobe Lightroom. כמובן, יש די הרבה תוכנות לקטלוג ועיבוד, אבל Lightroom מתאים לי, זה די משתלם (והם אפילו מספקים פוטושופ בערכה), ובמהלך השנתיים האחרונות זה גם נעשה פחות איטי. אם כי, כמובן, גם המעבר המלא ל-SSD עזר.

כל התמונות חיות בספרייה אחת. נעשה שימוש במבנה התיקיות הבסיסי מהפסקה הקודמת, שמעליו מידע EXIF, תגיות גיאוגרפיות, תגים וסימני צבע. אתה יכול גם להפעיל זיהוי פנים, אבל אני לא משתמש בו.

בהתבסס על כל האמור לעיל, אתה יכול ליצור "אוספים חכמים" - בחירות דינמיות המבוססות על מאפייני קובץ מסוימים - מפרמטרי צילום ועד טקסט בהערות.

כל התגים מאוחסנים בקבצים, היסטוריית העריכה מאוחסנת בקבצי XMP ליד ה-ravs. הקטלוג של Lightroom מגובה באמצעות Lightroom עצמו פעם בשבוע לתיקיה ספציפית, משם הוא מועלה ל-OneDrive. ובכן, הצד החיובי, דרך סוכן veeam, דיסק המערכת של שולחן העבודה מועלה לשרת מדי יום - והספרייה נשמרת בדיסק המערכת.

מה הקשר לתמונה? מה, אין סוגי קבצים אחרים?

כן למה לא? שיטות הגיבוי אינן שונות (אם יש צורך בגיבוי בכלל), אך שיטות הקטלוג תלויות בסוג התוכן.

בעיקרון, מיון ברמת התיקייה מספיק; אין צורך בתגים. מקטלג נפרד משמש רק לסרטים וסדרות טלוויזיה. - Plex Media Server. זהו גם שרת מדיה, כפי שהשם מרמז. אבל הסוס לא שכב שם, בדרך כלל הוא ממוין היטב אם רבע מספריית הסרטים נמצאת, והשאר שוכב בתיקיית "!למיין".

מקור: www.habr.com