אחסון ומיון אוטומטי של תמונות וקבצים אחרים. עבודה עם אחסון קבצים על בסיס Synology NAS

הרבה זמן רציתי לכתוב על איך אני מאחסן את הקבצים שלי ואיך אני עושה גיבויים, אבל מעולם לא הגעתי לזה. לאחרונה הופיעה כאן מאמר, קצת דומה לשלי אבל בגישה שונה.
המאמר עצמו.

אני מנסה למצוא את השיטה המושלמת לאחסון קבצים כבר שנים רבות. אני חושב שמצאתי את זה, אבל תמיד יש מה לשפר, אם יש לך רעיונות איך לעשות את זה טוב יותר, אני אשמח לקרוא את זה.

אתחיל בלספר לכם כמה מילים על עצמי, אני עוסק בפיתוח אתרים ומצלם בזמני הפנוי. מכאן המסקנה שאני צריך לאחסן עבודה ופרויקטים אישיים, תמונות, סרטונים וקבצים אחרים.

יש לי בערך 680 GB של קבצים, 90 אחוז מהם הם תמונות וסרטונים.

תפוצה של קבצים באחסון שלי:

הנה תרשים משוער של איך והיכן כל הקבצים שלי מאוחסנים.

עכשיו ביתר פירוט.

כפי שאתה יכול לראות, הלב של הכל הוא ה-NAS שלי, כלומר ה-Synology DS214, אחד ה-NAS הפשוטים של Synology, עם זאת, הוא מתמודד עם כל מה שאני צריך.

Dropbox

מכונת העבודה שלי היא macbook pro 13, 2015. יש לי שם 512GB, אבל כמובן שלא כל הקבצים מתאימים, אני מאחסן רק את מה שצריך כרגע. אני מסנכרן את כל הקבצים והתיקיות האישיות שלי עם Dropbox, אני יודע שזה לא אמין במיוחד, אבל הוא מבצע רק את פונקציית הסנכרון. והוא עושה את זה הכי טוב, לפחות ממה שניסיתי. וניסיתי את כל העננים המפורסמים והלא כל כך מפורסמים.

לסינולוגיה יש גם ענן משלה, אתה יכול לפרוס אותו ב-NAS שלך, ניסיתי כמה פעמים לעבור מדרופבוקס ל-Synology Cloud Station, אבל תמיד היו בעיות בסנכרון, תמיד היו כמה שגיאות, או שלא סינכרנתי הכל.

כל הקבצים החשובים מאוחסנים בתיקיית Dropbox, לפעמים אני שומר משהו על שולחן העבודה שלי, כדי לא לאבד משהו, עשיתי קישור סימול לתיקיית Dropbox באמצעות תוכנת MacDropAny.
תיקיית ההורדות שלי לא מסונכרנת בשום אופן, אבל אין שם שום דבר חשוב, רק קבצים זמניים. אם אני מוריד משהו חשוב, אני מעתיק אותו לתיקיה המתאימה בדרופבוקס.

ההרפתקאות שלי עם דרופבוקספעם, אי שם ב-2013-2014, אחסנתי את כל הקבצים שלי בדרופבוקס ורק שם לא היו גיבויים. ואז לא היה לי 1Tb, כלומר, לא שילמתי עליו, היו לי בערך 25Gb, שהרווחתי מהזמנת חברים או משימות אחרות.

בוקר בהיר אחד הדלקתי את המחשב וכל הקבצים שלי נעלמו, קיבלתי גם מכתב מדרופבוקס שבו הם מתנצלים ושהקבצים שלי נעלמו באשמתם. הם נתנו לי קישור שבו אוכל לשחזר את הקבצים שלי, אבל כמובן שום דבר לא שוחזר. בשביל זה הם נתנו לי 1Tb למשך שנה, שלאחריה הפכתי ללקוח שלהם, כמה שזה נשמע מוזר, אבל אף פעם לא בטחתי בהם.

כפי שכתבתי למעלה, לא הצלחתי למצוא ענן שמתאים לי יותר, ראשית, עדיין לא היו בעיות סנכרון, ושנית, שירותים רבים ושונים עובדים רק עם Dropbox.

Git

קבצי עבודה מאוחסנים בשרת העבודה, פרויקטים אישיים מאוחסנים ב-GitLab, הכל פשוט כאן.

מכונת זמן

אני גם עושה גיבוי לכל המערכת, למעט תיקיית Dropbox והורדות כמובן, כדי לא לתפוס מקום לשווא. אני מגבה את המערכת באמצעות Time Machine, כלי מצוין שעזר לי יותר מפעם אחת. אני עושה את זה על אותו NAS, למרבה המזל יש לו פונקציה כזו. אתה יכול לעשות את זה על HDD חיצוני, כמובן, אבל זה לא כל כך נוח. בכל פעם שאתה צריך לחבר כונן חיצוני ולהפעיל את Time Machine בעצמך. בגלל עצלות, לעתים קרובות עשיתי גיבויים כאלה פעם בכמה שבועות. הוא עושה גיבויים אוטומטית לשרת, אני אפילו לא שם לב מתי הוא עושה את זה. אני עובד מהבית, אז תמיד יש לי גיבוי חדש של כל המערכת שלי. עותק נעשה כמה פעמים ביום, לא ספרתי כמה פעמים ובאיזו תדירות.

NAS

כאן מתרחש כל הקסם.

ל-Synology יש כלי מצוין, קוראים לו Cloud Sync, לדעתי מהשם ברור מה הוא עושה.

הוא יכול לסנכרן מערכות ענן רבות ביניהן, או ליתר דיוק, לסנכרן קבצים משרת NAS עם עננים אחרים. אני חושב שיש סקירה של התוכנית הזו באינטרנט. אני לא אכנס לפרטים. כדאי לי לתאר איך אני משתמש בזה.

בשרת יש לי תיקיית דיסק בשם Dropbox, זה עותק של חשבון Dropbox שלי, Cloud Sync אחראי לסנכרון כל זה. אם משהו קרה לקבצים בדרופבוקס, זה יקרה בשרת, זה לא משנה אם הוא נמחק או נוצר. באופן כללי, סנכרון קלאסי.

דיסק Yandex

לאחר מכן, אני זורק את כל הקבצים האלה לדיסק Yandex שלי, אני משתמש בו כדיסק גיבוי תוצרת בית, כלומר, אני זורק לשם את הקבצים אבל לא מוחק שום דבר משם, מסתבר שזה כזה dump של קבצים, אבל זה עזר כמה פעמים.

כונן Google

לשם אני שולח רק את תיקיית "תמונות", גם במצב סנכרון, אני עושה זאת רק לצפייה נוחה של תמונות בגוגל תמונות ועם אפשרות למחוק תמונות משם והן נמחקות בכל מקום (חוץ מדיסק Yandex כמובן). אני אכתוב על התמונה למטה; אתה יכול אפילו לכתוב שם מאמר נפרד.

גיבוי היפר

אבל כל זה לא מאוד אמין; אם תמחק בטעות קובץ, הוא יימחק בכל מקום ואתה יכול לראות אותו אבוד. אתה כמובן יכול לשחזר מדיסק Yandex, אבל ראשית, גיבוי במקום אחד אינו אמין במיוחד כשלעצמו, ודיסק Yandex עצמו אינו שירות שבו אתה יכול להיות בטוח ב-100%, למרות שמעולם לא היו כאלה. בעיות עם זה.

לכן, תמיד ניסיתי לאחסן קבצים במקום אחר, עם מערכת גיבוי רגילה.

ל-Synology יש גם כלי לזה, זה נקרא HyperBackup, הוא מגבה קבצים לשרתים אחרים של Synology או לפתרונות ענן מסוימים מיצרני צד שלישי.
זה יכול גם לבצע גיבויים לכוננים חיצוניים המחוברים ל-NAS, וזה מה שעשיתי עד לאחרונה. אבל זה גם לא אמין, למשל, אם יש שריפה, אז הסוף של השרת וגם של HDD.

Synology C2

כאן אנו ניגשים בהדרגה לשירות אחר, הפעם מ-Synology עצמה. יש לו עננים משלו לאחסון גיבויים. זה תוכנן במיוחד עבור HyperBackup, הוא עושה שם גיבויים כל יום, אבל זה גיבוי מחושב היטב, יש גרסאות קבצים, ציר זמן ואפילו לקוחות עבור Windows ו-mac os.

זה הכל לאחסון קבצים, אני מקווה שהקבצים שלי בטוחים.

כעת נעבור למיון הקבצים.

אני ממיין קבצים רגילים, ספרים, סריקות של מסמכים ושאר קבצים לא חשובים לתיקיות ביד, בדיוק כמו כל דבר אחר. בדרך כלל אין הרבה כאלה ואני רק ממעטת לפתוח אותם.

הכי קשה זה למיין תמונות וסרטונים, יש לי הרבה כאלה.

אני מצלם בין כמה עשרות לכמה מאות תמונות בחודש. אני מצלם עם DSLR, מזל"ט ולפעמים בטלפון שלי. תמונות יכולות להיות אישיות או למלאי. אני גם מצלם לפעמים סרטונים ביתיים (לא מה שאתה יכול לחשוב, רק סרטונים משפחתיים, לעתים קרובות עם הבת שלי). זה גם צריך להיות מאוחסן איכשהו ולמיין אותו כדי שזה לא יהפוך לבלגן.

יש לי תיקייה באותה דרופבוקס שנקראת Sort Images, יש תיקיות משנה שבהן כל התמונות והסרטונים הולכים, משם הם נלקחים וממיינים איפה שצריך.

המיון מתבצע על שרת ה-NAS, יש רצים שם סקריפטים של bash שמופעלים אוטומטית פעם ביום ועושים את העבודה שלהם. ה-NAS אחראי גם להפעלתם; יש מתזמן משימות שאחראי על השקת כל הסקריפטים ומשימות אחרות. אתה יכול להגדיר באיזו תדירות ומתי יושקו משימות, cron עם ממשק אם זה פשוט יותר.

לכל תיקיה יש סקריפט משלה. עכשיו עוד על תיקיות:

מזל"ט - הנה תמונות ממזל"ט שצילמתי למטרות אישיות. ראשית אני מעבד את כל התמונות ב-lightroom, ואז מייצא JPG לתיקיה זו. משם הם מגיעים לתיקיית Dropbox אחרת, "תמונה".

יש תיקייה "Drone" ושם הם כבר ממוינים לפי שנה וחודש. הסקריפטים עצמם יוצרים את התיקיות הדרושות ומשנים את שמות התמונות בעצמם לפי התבנית שלי, לרוב זה התאריך והשעה של צילום התמונה, אני גם מוסיף מספר אקראי בסוף כדי שלא יופיעו קבצים בעלי שם זהה. אני לא זוכר מדוע הגדרת שניות בשם הקובץ לא התאימה למטרות אלו.

העץ נראה כך: צילום/Drone/2019/05 — מאי/01 — מאי — 2019_19.25.53_37.jpg

סרטון מזל"ט - אני עדיין לא מצלם וידאו עם מזל"ט, יש הרבה מה ללמוד, אין לי זמן לזה עכשיו, אבל כבר יצרתי תיקייה.

פעולות תמונה — יש שתי תיקיות בפנים, כשנמצאים שם קבצים, הם פשוט נדחסים בצד המקסימלי ל-2000px לפרסום באינטרנט, או שהתמונות מתהפכות, אני כבר לא צריך את זה, אבל עדיין לא מחקתי את התיקיה.

פנורמות — כאן נכנסות לתמונה פנורמיות, כפי שאתה יכול לנחש, אני מאחסן אותן בנפרד מכיוון שמדובר בסוג מסוים של תמונה, אני בדרך כלל מצלם אותן עם מזל"ט. אני גם עושה פנורמות רגילות, אבל אני גם עושה פנורמות 360 ולפעמים כדורים, סוג כזה של פנורמה כמו כוכבי לכת קטנים, אני גם עושה את זה עם מזל"ט. מתיקיה זו, כל התמונות עוברות גם אל Photo/Panoramas/2019/01 - מאי - 2019_19.25.53_37.jpg. כאן אני לא ממיין לפי חודשים כי אין כל כך הרבה פנורמות.

תמונה אישית — הנה התמונות שאני מצלם עם DSLR, בדרך כלל אלו תמונות משפחתיות או טיולים, באופן כללי, תמונות שצולמו למען הזיכרון ולמען עצמי. אני גם מעבד תמונות גולמיות ב- Lightroom ואז מייצא אותן לכאן.

מכאן הם מגיעים לכאן: תמונה/2019/05 — מאי/01 — מאי — 2019_19.25.53_37.jpg

אם צילמתי איזושהי חגיגה או משהו אחר שעדיף לאחסן בנפרד, אז בתיקייה 2019 אני יוצר תיקייה עם שם החגיגה ומעתיק לשם את התמונה ידנית.

RAW - הנה מקורות הצילום. אני תמיד מצלם ב-RAW, אני מאחסן את כל התמונות ב-JPG, אבל לפעמים אני רוצה לאחסן גם קבצי RAW, לפעמים אני רוצה לעבד מסגרת אחרת. בדרך כלל זה הטבע ורק הצילומים הטובים ביותר מגיעים לשם, לא כולם ברצף.

צילום מלאי - כאן אני מעלה תמונות לתמונות מלאי, אותן אני מצלם ב-DSLR או ברחפן. המיון זהה לתמונות אחרות, רק בתיקייה נפרדת משלו.

בספריית השורש של Dropbox, יש תיקיית Camera Uploads, זוהי תיקיית ברירת המחדל שאליה האפליקציה לנייד של Dropbox מעלה את כל התמונות והסרטונים. כל התמונות של האישה מהטלפון נשמטות בדרך זו. אני גם מעלה לכאן את כל התמונות והסרטונים שלי מהטלפון ומשם אני ממיין אותם לתיקיה נפרדת. אבל אני עושה את זה בצורה אחרת, יותר נוחה לי. יש תוכנה כזו לאנדרואיד, FolderSync, היא מאפשרת לצלם את כל התמונות מהטלפון הנייד, להעלות אותן לדרופבוקס ואז למחוק אותן מהטלפון. יש הרבה הגדרות, אני ממליץ על זה. גם סרטונים מהטלפון שלך נכנסים לתיקיה זו; הם גם ממוינים כמו כל התמונות, לפי שנה וחודש.

אספתי את כל התסריטים בעצמי מהוראות שונות באינטרנט, לא מצאתי פתרונות מוכנים. אני לא יודע כלום על תסריטי bash, אולי יש כמה שגיאות או כמה דברים שאפשר לעשות טוב יותר, אבל הדבר הכי חשוב עבורי הוא שהם יעשו את העבודה שלהם ויעשו מה שאני צריך.

התסריטים הועלו ל-GitHub: https://github.com/pelinoleg/bash-scripts

בעבר, כדי למיין תמונות וסרטונים, השתמשתי ב-Hazel תחת mac os, הכל יותר קל שם, כל המשימות נוצרות ויזואלית, אין צורך לכתוב קוד, אבל יש שני חסרונות. ראשית, צריך לשמור את כל התיקיות במחשב כדי שהכל יעבוד טוב, ושנית, אם אני פתאום עובר לווינדוס או לינוקס, אין שם תוכנות כאלה. ניסיתי לחפש אלטרנטיבה אבל כולם לא הועילו. פתרון עם סקריפטים על השרת הוא פתרון אוניברסלי יותר.

כל הסקריפטים מוגדרים לביצוע פעם ביום, בדרך כלל בלילה. אבל אם אין לך זמן להמתין ואתה צריך איכשהו להפעיל את הסקריפט הנדרש עכשיו, יש שני פתרונות: להתחבר דרך SSH לשרת ולהפעיל את הסקריפט הדרוש, או ללכת לפאנל הניהול וגם להפעיל ידנית את הדרוש תַסרִיט. כל זה נראה לי לא נוח, אז מצאתי פתרון שלישי. יש תוכנית לאנדרואיד שיכולה לשלוח פקודות ssh. יצרתי מספר פקודות, לכל אחת יש כפתור משלה, ועכשיו אם אני צריך למיין, למשל, תמונות שצילמתי מרחפן, אז אני פשוט לוחץ על כפתור אחד והסקריפט רץ. התוכנית נקראת SSHing, יש עוד דומות, אבל בשבילי זה הכי נוח.

יש לי גם כמה אתרים משלי, הם יותר לראווה, כמעט אף אחד לא הולך לשם, אבל עדיין לא מזיק לעשות גיבוי. אני מפעיל את האתרים שלי ב-DigitalOcean, שם התקנתי את פאנל aaPanel. שם אפשר לעשות עותקי גיבוי של כל הקבצים וכל מסדי הנתונים, אבל על אותו דיסק.

אחסון גיבוי על אותו דיסק זה לא המקרה, אז אני גם משתמש בסקריפט bash כדי ללכת לשם ולהעתיק הכל לשרת שלי, מאחסן הכל בארכיון אחד עם התאריך בשם.

אני מקווה שלפחות מישהו ייעזר בשיטות שבהן אני משתמש ואיתן שיתפתי.

כפי שניתן לראות מהמאמר, אני אוהב אוטומציה ומשתדל לבצע אוטומציה של כל מה שאפשר, לא תיארתי הרבה דברים מנקודת מבט של אוטומציה, שכן אלו כבר נושאים אחרים ומאמרים אחרים.

מקור: www.habr.com