ذخیره سازی و مرتب سازی خودکار عکس ها و سایر فایل ها. کار با ذخیره سازی فایل بر اساس Synology NAS

مدت‌ها بود که می‌خواستم در مورد نحوه ذخیره فایل‌هایم و نحوه پشتیبان‌گیری بنویسم، اما هرگز به آن نرسیدم. اخیراً مقاله ای در اینجا ظاهر شد که تا حدودی شبیه مقاله من است اما با رویکردی متفاوت.
خود مقاله

من چندین سال است که سعی می کنم روش مناسبی برای ذخیره فایل ها پیدا کنم. فکر می‌کنم آن را پیدا کردم، اما همیشه چیزی برای بهبود وجود دارد، اگر ایده‌ای در مورد چگونگی انجام بهتر آن دارید، خوشحال می‌شوم آن را بخوانم.

من با گفتن چند کلمه در مورد خودم شروع می کنم، من توسعه وب انجام می دهم و در اوقات فراغتم عکاسی می کنم. از این رو به این نتیجه رسیدم که باید پروژه های کاری و شخصی، عکس ها، فیلم ها و فایل های دیگر را ذخیره کنم.

من حدود 680 گیگابایت فایل دارم که 90 درصد آن عکس و فیلم است.

گردش فایل ها در انبارهای من:

در اینجا یک نمودار تقریبی از نحوه و مکان ذخیره همه فایل های من است.

حالا بیشتر

همانطور که می بینید، قلب همه چیز NAS من است، یعنی Synology DS214، یکی از ساده ترین NAS های Synology، با این حال، با هر چیزی که من نیاز دارم کنار می آید.

Dropbox به

ماشین کاری من یک مک بوک پرو 13، 2015 است. من 512 گیگابایت در آنجا دارم، اما البته همه فایل ها جا نمی شوند، من فقط آنچه را که در حال حاضر نیاز است ذخیره می کنم. من همه فایل‌ها و پوشه‌های شخصی‌ام را با Dropbox همگام‌سازی می‌کنم، می‌دانم که خیلی قابل اعتماد نیست، اما فقط عملکرد همگام‌سازی را انجام می‌دهد. و او این کار را به بهترین وجه انجام می دهد، حداقل از آنچه من تلاش کرده ام. و همه ابرهای معروف و نه چندان معروف را امتحان کردم.

Synology نیز ابر مخصوص به خود را دارد، می توانید آن را روی NAS خود مستقر کنید، من چندین بار سعی کردم از Dropbox به Synology Cloud Station جابجا شوم، اما همیشه مشکلاتی در همگام سازی وجود داشت، همیشه برخی از خطاها وجود داشت یا من همه چیز را همگام نکردم.

همه فایل‌های مهم در پوشه Dropbox ذخیره می‌شوند، گاهی اوقات چیزی را روی دسکتاپ ذخیره می‌کنم، برای اینکه چیزی از دست ندهم، با استفاده از برنامه MacDropAny یک سیم‌لینک به پوشه Dropbox ایجاد کردم.
پوشه My Download به هیچ وجه همگام نیست، اما هیچ چیز مهمی وجود ندارد، فقط فایل های موقت. اگر چیزی مهم دانلود کنم، آن را در پوشه مربوطه در Dropbox کپی می کنم.

ماجراهای من با دراپ باکسروزی روزگاری، جایی در سال‌های 2013-2014، همه فایل‌هایم را در Dropbox ذخیره کردم و فقط در آنجا هیچ نسخه پشتیبان‌گیری وجود نداشت. بعد 1 ترابایت نداشتم یعنی پولش را ندادم حدود 25 گیگ داشتم که با دعوت از دوستان یا کارهای دیگر به دست آوردم.

یک روز صبح خوب کامپیوتر را روشن کردم و همه فایل هایم ناپدید شدند، همچنین نامه ای از دراپ باکس دریافت کردم که در آن عذرخواهی می کنند و فایل های من به تقصیر آنها ناپدید شدند. یک لینک به من دادند که بتوانم فایل هایم را بازیابی کنم، اما البته چیزی بازیابی نشد. برای این یک سال 1 ترابایت به من دادند، بعد از آن مشتری آنها شدم، هر چقدر هم که عجیب به نظر برسد، اما هرگز به آنها اعتماد نکردم.

همانطور که در بالا نوشتم ، نتوانستم ابری را پیدا کنم که برای من مناسب تر باشد ، اولاً هنوز هیچ مشکلی در همگام سازی وجود ندارد و ثانیاً بسیاری از خدمات مختلف فقط با Dropbox کار می کنند.

رفتن

فایل های کاری در سرور کار ذخیره می شوند، پروژه های شخصی در GitLab ذخیره می شوند، همه چیز در اینجا ساده است.

ماشین زمان

از کل سیستم هم بک آپ میگیرم البته به استثنای پوشه Dropbox و Downloads که بیهوده فضا اشغال نکنم. من با استفاده از Time Machine از سیستم نسخه پشتیبان تهیه می کنم، ابزاری عالی که بیش از یک بار به من کمک کرده است. من روی همون NAS انجامش میدم، خوشبختانه همچین عملکردی داره. البته می‌توانید این کار را روی یک هارد دیسک خارجی انجام دهید، اما این کار چندان راحت نیست. هر بار که نیاز دارید یک درایو خارجی وصل کنید و خودتان Time Machine را راه اندازی کنید. به دلیل تنبلی، اغلب هر چند هفته یک بار چنین نسخه های پشتیبان تهیه می کردم. او به طور خودکار از سرور بک آپ می گیرد، من حتی متوجه نمی شوم چه زمانی این کار را انجام می دهد. من در خانه کار می کنم، بنابراین همیشه یک نسخه پشتیبان تازه از کل سیستم خود دارم. یک کپی چند بار در روز ساخته می شود، من شمارش نکردم چند بار و چند بار.

NAS

اینجاست که همه جادو اتفاق می افتد.

Synology یک ابزار عالی دارد، به نام Cloud Sync، فکر می کنم از نام آن مشخص است که چه کاری انجام می دهد.

این می تواند بسیاری از سیستم های ابری را با یکدیگر همگام کند، یا به طور دقیق تر، فایل های یک سرور NAS را با ابرهای دیگر همگام سازی کند. من فکر می کنم یک بررسی آنلاین از این برنامه وجود دارد. وارد جزئیات نمی شوم. بهتر است نحوه استفاده از آن را شرح دهم.

در سرور من یک پوشه دیسک به نام Dropbox دارم، این یک کپی از حساب Dropbox من است، Cloud Sync مسئول همگام سازی همه اینها است. اگر برای فایل‌های دراپ باکس اتفاقی بیفتد، روی سرور اتفاق می‌افتد، فرقی نمی‌کند که حذف شده یا ایجاد شده باشد. به طور کلی، هماهنگ سازی کلاسیک.

دیسک Yandex

بعد، من همه این فایل ها را روی دیسک Yandex خود می اندازم، از آن به عنوان یک دیسک پشتیبان خانگی استفاده می کنم، یعنی فایل ها را آنجا می اندازم اما چیزی را از آنجا حذف نمی کنم، به نظر می رسد که یک چنین روگرفت فایل است، اما چند بار کمک کرد

گوگل درایو

در آنجا فقط پوشه "Photos" را ارسال می کنم ، همچنین در حالت همگام سازی ، این کار را فقط برای مشاهده راحت عکس ها در Google Photos و با قابلیت حذف عکس ها از آنجا انجام می دهم و آنها در همه جا حذف می شوند (البته به جز دیسک Yandex). من در مورد عکس زیر می نویسم؛ حتی می توانید یک مقاله جداگانه در آنجا بنویسید.

هایپر پشتیبان گیری

اما همه اینها چندان قابل اعتماد نیستند؛ اگر به طور تصادفی یک فایل را حذف کنید، همه جا پاک می شود و می توانید آن را گم شده در نظر بگیرید. البته می توانید از دیسک Yandex بازیابی کنید، اما اولاً، پشتیبان گیری در یک مکان به خودی خود بسیار قابل اعتماد نیست و خود دیسک Yandex سرویسی نیست که بتوانید در آن 100٪ اطمینان داشته باشید، حتی اگر هرگز وجود نداشته باشد. مشکلات با آن

بنابراین، من همیشه سعی می‌کردم فایل‌ها را در جای دیگری با یک سیستم پشتیبان معمولی ذخیره کنم.

Synology همچنین ابزاری برای این کار دارد، به نام HyperBackup، از فایل‌ها در سرورهای دیگر Synology یا برخی راه‌حل‌های ابری تولیدکنندگان شخص ثالث پشتیبان‌گیری می‌کند.
همچنین می تواند از درایوهای خارجی متصل به NAS بک آپ بگیرد، کاری که من تا همین اواخر انجام می دادم. اما این نیز قابل اعتماد نیست، به عنوان مثال، اگر آتش سوزی وجود داشته باشد، انتهای هر دو سرور و HDD.

Synology C2

در اینجا به تدریج به سرویس دیگری نزدیک می شویم، این بار از خود Synology. این ابرهای مخصوص به خود را برای ذخیره نسخه پشتیبان دارد. این به طور خاص برای HyperBackup طراحی شده است، او هر روز پشتیبان گیری می کند، اما این یک نسخه پشتیبان کاملاً فکر شده است، نسخه های فایل، جدول زمانی و حتی کلاینت هایی برای ویندوز و سیستم عامل مک وجود دارد.

این همه برای ذخیره فایل است، امیدوارم فایل های من سالم باشند.

حالا بیایید به مرتب سازی فایل ها بپردازیم.

من فایل‌های معمولی، کتاب‌ها، اسکن‌های اسناد و سایر فایل‌های بی‌اهمیت را به صورت دستی در پوشه‌ها مرتب می‌کنم، درست مثل هر چیز دیگری. معمولا تعدادشان کم است و به ندرت بازشان می کنم.

سخت ترین کار مرتب کردن عکس ها و فیلم ها است، من تعداد زیادی از آنها را دارم.

من از چند ده تا چند صد عکس در ماه می گیرم. من با دوربین DSLR، پهپاد و گاهی اوقات با تلفنم عکاسی می کنم. عکس ها می توانند شخصی یا برای انبار باشند. من همچنین گاهی اوقات فیلم های خانگی می گیرم (نه آن چیزی که شما فکر می کنید، فقط فیلم های خانوادگی، اغلب با دخترم). همچنین باید به نحوی ذخیره و مرتب شود تا به هم نخورد.

من یک پوشه در همان Dropbox دارم به نام Sort Images، زیر پوشه هایی وجود دارد که همه عکس ها و فیلم ها در آنجا می روند، از آنجا گرفته می شوند و در جاهایی که لازم است مرتب می شوند.

مرتب سازی روی سرور NAS انجام می شود، اسکریپت های bash در آنجا اجرا می شوند که به طور خودکار یک بار در روز راه اندازی می شوند و کار خود را انجام می دهند. NAS همچنین مسئول راه‌اندازی آن‌ها است؛ یک زمان‌بندی کار وجود دارد که مسئول راه‌اندازی همه اسکریپت‌ها و سایر وظایف است. می‌توانید تعداد دفعات و زمان راه‌اندازی وظایف را پیکربندی کنید، اگر ساده‌تر است، با یک رابط کاربری را انتخاب کنید.

هر پوشه اسکریپت مخصوص به خود را دارد. اکنون بیشتر در مورد پوشه ها:

وزوز - در اینجا عکس هایی از یک هواپیمای بدون سرنشین است که من برای اهداف شخصی گرفته ام. ابتدا تمام عکس ها را در لایت روم پردازش می کنم، سپس JPG ها را به این پوشه صادر می کنم. از آنجا به پوشه Dropbox دیگر، "Photo" ختم می شوند.

یک پوشه "Drone" وجود دارد و آنها قبلاً بر اساس سال و ماه مرتب شده اند. خود اسکریپت ها پوشه های لازم را ایجاد می کنند و نام عکس ها را مطابق با قالب من تغییر می دهند، معمولاً این تاریخ و ساعت عکسبرداری است، در آخر یک عدد تصادفی هم اضافه می کنم تا فایل هایی با همین نام ظاهر نشوند. یادم نیست چرا تنظیم ثانیه در نام فایل برای این اهداف مناسب نبود.

درخت به این شکل است: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg

فیلم پهپاد - من هنوز با هواپیمای بدون سرنشین ویدیو نمی‌گیرم، چیزهای زیادی برای یادگیری وجود دارد، اکنون برای آن وقت ندارم، اما قبلاً یک پوشه ایجاد کرده‌ام.

عملیات تصویر - دو پوشه در داخل وجود دارد، هنگامی که فایل‌ها در آنجا یافت می‌شوند، آنها به سادگی یا در حداکثر ضلع 2000 پیکسل برای انتشار در اینترنت فشرده می‌شوند، یا تصاویر برگردانده می‌شوند، من دیگر به این نیاز ندارم، اما هنوز پوشه را حذف نکرده‌ام.

پانوراما - اینجاست که پانوراماها وارد می شوند، همانطور که ممکن است حدس بزنید، من آنها را جداگانه ذخیره می کنم زیرا این یک نوع عکس خاص است، من معمولا آنها را با پهپاد می گیرم. پانورامای معمولی هم انجام می‌دهم، اما 360 پانوراما و گاهی اوقات کره هم انجام می‌دهم، این نوع پانوراماها مانند سیارات کوچک، با پهپاد هم انجام می‌دهم. از این پوشه، تمام عکس ها نیز به Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg می روند. در اینجا من بر اساس ماه مرتب نمی‌کنم زیرا پانورامای زیادی وجود ندارد.

عکس شخصی — اینجا عکس هایی است که من با دوربین DSLR می گیرم، معمولاً این ها عکس های خانوادگی یا مسافرتی هستند، به طور کلی عکس هایی که برای خاطره و برای خودم گرفته می شوند. من همچنین عکس های خام را در لایت روم پردازش می کنم و سپس آنها را به اینجا صادر می کنم.

از اینجا به اینجا می رسند: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg

اگر از نوعی جشن یا چیز دیگری عکس گرفتم که بهتر است جداگانه ذخیره شود، پس در پوشه 2019 یک پوشه با نام جشن ایجاد می کنم و عکس را به صورت دستی در آنجا کپی می کنم.

RAW - در اینجا منابع عکس آمده است. من همیشه با فرمت RAW عکس می‌گیرم، همه عکس‌ها را با فرمت JPG ذخیره می‌کنم، اما گاهی اوقات می‌خواهم فایل‌های RAW را نیز ذخیره کنم، گاهی اوقات می‌خواهم یک فریم را متفاوت پردازش کنم. معمولاً این طبیعت است و فقط بهترین عکس ها به آنجا می رسند، نه همه آنها پشت سر هم.

عکس استوک — در اینجا من عکس‌هایی را برای عکس‌های استوک آپلود می‌کنم، آنها را با DSLR یا پهپاد می‌گیرم. مرتب سازی مانند عکس های دیگر است، فقط در پوشه جداگانه خودش.

در پوشه اصلی Dropbox، یک پوشه Camera Uploads وجود دارد، این پوشه پیش فرض است که برنامه موبایل Dropbox تمام عکس ها و فیلم ها را در آن آپلود می کند. تمام عکس های همسر از روی تلفن به این ترتیب حذف می شود. من همچنین تمام عکس ها و ویدیوهایم را از تلفنم در اینجا آپلود می کنم و از آنجا آنها را در یک پوشه جداگانه مرتب می کنم. اما من این کار را به روش دیگری انجام می دهم، برای من راحت تر. چنین برنامه ای برای اندروید FolderSync وجود دارد که به شما امکان می دهد تمام عکس ها را از تلفن همراه خود بگیرید، آنها را در Dropbox آپلود کنید و سپس آنها را از گوشی حذف کنید. تنظیمات زیادی وجود دارد، من آن را توصیه می کنم. ویدیوهای گوشی شما نیز در این پوشه قرار می گیرند؛ آنها نیز مانند همه عکس ها، بر اساس سال و ماه مرتب شده اند.

من خودم تمام اسکریپت ها را از دستورالعمل های مختلف در اینترنت جمع آوری کردم؛ هیچ راه حل آماده ای پیدا نکردم. من اصلاً چیزی در مورد اسکریپت های bash نمی دانم، شاید برخی از خطاها وجود داشته باشد یا برخی از کارها می توانند بهتر انجام شوند، اما مهمترین چیز برای من این است که آنها کار خود را انجام دهند و آنچه من نیاز دارم را انجام دهند.

اسکریپت ها در GitHub آپلود شدند: https://github.com/pelinoleg/bash-scripts

قبلاً برای مرتب کردن عکس ها و فیلم ها از Hazel در سیستم عامل مک استفاده می کردم ، همه چیز در آنجا راحت تر است ، همه کارها به صورت بصری ایجاد می شوند ، نیازی به نوشتن کد نیست ، اما دو نقطه ضعف وجود دارد. اولاً باید همه پوشه ها را روی رایانه نگه دارید تا همه چیز به خوبی کار کند و ثانیاً اگر من ناگهان به ویندوز یا لینوکس سوئیچ کنم ، چنین برنامه هایی در آنجا وجود ندارد. من سعی کردم به دنبال جایگزینی بگردم اما همه آنها بی فایده بودند. راه حلی با اسکریپت روی سرور راه حل جهانی تری است.

همه اسکریپت ها به گونه ای پیکربندی شده اند که یک بار در روز، معمولا در شب اجرا شوند. اما اگر زمان صبر کردن ندارید و اکنون باید به نحوی اسکریپت مورد نیاز را اجرا کنید، دو راه حل وجود دارد: اتصال از طریق SSH به سرور و اجرای اسکریپت مورد نیاز، یا رفتن به پنل مدیریت و همچنین اجرای دستی مورد نیاز اسکریپت همه اینها به نظر من ناخوشایند است، بنابراین راه حل سومی پیدا کردم. برنامه ای برای اندروید وجود دارد که می تواند دستورات ssh را ارسال کند. من چندین دستور ایجاد کردم، هر کدام دکمه مخصوص به خود را دارند، و حالا اگر لازم باشد مثلاً عکس هایی که از یک پهپاد گرفته ام را مرتب کنم، فقط یک دکمه را فشار می دهم و اسکریپت اجرا می شود. این برنامه SSHing نام دارد، موارد مشابه دیگری نیز وجود دارد، اما برای من این راحت ترین است.

من همچنین چندین سایت خودم را دارم ، آنها بیشتر برای نمایش هستند ، تقریباً هیچ کس به آنجا نمی رود ، اما باز هم تهیه نسخه پشتیبان ضرری ندارد. من سایت هایم را در DigitalOcean اجرا می کنم، جایی که پنل aaPanel را نصب کردم. در آنجا امکان تهیه نسخه پشتیبان از همه فایل ها و همه پایگاه های داده وجود دارد، اما روی یک دیسک.

ذخیره کردن یک نسخه پشتیبان روی یک دیسک درست نیست، بنابراین من از یک اسکریپت bash برای رفتن به آنجا و کپی کردن همه چیز در سرور خود استفاده می کنم، و همه چیز را در یک بایگانی با تاریخ در نام بایگانی می کنم.

امیدوارم حداقل کسی با روش هایی که من استفاده می کنم و با آنها به اشتراک گذاشته ام کمک شود.

همانطور که از مقاله مشخص است ، من عاشق اتوماسیون هستم و سعی می کنم همه چیزهایی را که ممکن است به صورت خودکار انجام دهم ، بسیاری از چیزها را از نظر اتوماسیون توصیف نکردم ، زیرا اینها قبلاً موضوعات و مقالات دیگری هستند.

منبع: www.habr.com