ფოტოების და სხვა ფაილების შენახვა და ავტომატური დახარისხება. ფაილების შენახვასთან მუშაობა NAS Synology-ის საფუძველზე

დიდი ხანია მინდოდა დამეწერა იმის შესახებ, თუ როგორ ვინახავ ჩემს ფაილებს და როგორ ვაკეთებ სარეზერვო ასლებს, მაგრამ ამას არასდროს მივაღწიე. ცოტა ხნის წინ გამოჩნდა სტატია, რომელიც ჩემსას ჰგავს, მაგრამ განსხვავებული მიდგომით.
თავად სტატია.

უკვე მრავალი წელია ვცდილობ ვიპოვო ფაილების შესანახად იდეალური მეთოდი. ვფიქრობ, ვიპოვე, მაგრამ ყოველთვის არის რაღაც გასაუმჯობესებელი, თუ გაქვთ რაიმე იდეა, თუ როგორ გავაკეთო ეს უკეთესად, სიამოვნებით წავიკითხავ.

დავიწყებ იმით, რომ რამდენიმე სიტყვით მოგიყვებით ჩემს შესახებ, ვაკეთებ ვებ დეველოპერებს და თავისუფალ დროს ვიღებ ფოტოებს. აქედან გამომდინარეობს დასკვნა, რომ მე მჭირდება სამუშაო და პირადი პროექტების, ფოტოების, ვიდეოების და სხვა ფაილების შენახვა.

მე მაქვს დაახლოებით 680 GB ფაილი, რომელთა 90 პროცენტი არის ფოტოები და ვიდეო.

ფაილების მიმოქცევა ჩემს საცავებში:

აქ არის სავარაუდო დიაგრამა, თუ როგორ და სად ინახება ჩემი ყველა ფაილი.

ახლა უფრო.

როგორც ხედავთ, ყველაფრის გული ჩემი NAS-ია, კერძოდ, Synology DS214, ერთ-ერთი უმარტივესი NAS Synology-დან, თუმცა, ის უმკლავდება ყველაფერს, რაც მე მჭირდება.

Dropbox

ჩემი სამუშაო მანქანა არის macbook pro 13, 2015. 512 GB მაქვს მანდ, მაგრამ რათქმაუნდა ყველა ფაილი არ ჯდება, მხოლოდ იმას ვინახავ იმ მომენტში რაც საჭიროა. ყველა ჩემს პერსონალურ ფაილს და საქაღალდეს Dropbox-თან სინქრონიზაციას ვუწევ, ვიცი, რომ არც ისე სანდოა, მაგრამ მხოლოდ სინქრონიზაციის ფუნქციას ასრულებს. და ის ამას საუკეთესოდ აკეთებს, ყოველ შემთხვევაში, რაც მე ვცადე. და მე ვცადე ყველა ცნობილი და არც ისე ცნობილი ღრუბელი.

Synology-საც აქვს თავისი ღრუბელი, შეგიძლიათ განათავსოთ იგი თქვენს NAS-ზე, რამდენჯერმე ვცადე Dropbox-დან Synology Cloud Station-ზე გადასვლა, მაგრამ ყოველთვის იყო პრობლემები სინქრონიზაციასთან დაკავშირებით, ყოველთვის იყო გარკვეული შეცდომები, ან მე არ ვაკეთებდი ყველაფრის სინქრონიზაციას.

ყველა მნიშვნელოვანი ფაილი ინახება Dropbox-ის საქაღალდეში, ხანდახან რაღაცას ვინახავ დესკტოპზე, რომ რაღაც არ დავკარგო, MacDropAny პროგრამით Dropbox-ის საქაღალდეზე სიმლინკი გავაკეთე.
My Download საქაღალდე არანაირად არ არის სინქრონიზებული, მაგრამ აქ არაფერია მნიშვნელოვანი, მხოლოდ დროებითი ფაილები. თუ რაიმე მნიშვნელოვანს გადმოვწერ, ვაკოპირებ შესაბამის საქაღალდეში Dropbox-ში.

ჩემი თავგადასავლები Dropbox-თან ერთადერთხელ, სადღაც 2013-2014 წლებში, ყველა ჩემი ფაილი შევინახე Dropbox-ში და მხოლოდ იქ არ იყო სარეზერვო ასლები. მაშინ 1 ტბ არ მქონდა, ანუ არ გადავიხადე, დაახლოებით 25 გბ მქონდა, რომელიც მეგობრების მოწვევით თუ სხვა დავალებებით ვიშოვე.

ერთ მშვენიერ დილას კომპიუტერი ჩავრთე და ჩემი ყველა ფაილი გაქრა, ასევე მივიღე წერილი Dropbox-დან, სადაც ბოდიშს იხდიან და ჩემი ფაილები მათი ბრალით გაქრა. მომცეს ლინკი, სადაც შემეძლო ჩემი ფაილების აღდგენა, მაგრამ, რა თქმა უნდა, არაფერი აღდგენილია. ამისთვის ერთი წელი მაძლევდნენ 1 ტბ, რის შემდეგაც გავხდი მათი კლიენტი, რაც არ უნდა უცნაურად ჟღერდეს, მაგრამ არასდროს ვენდობოდი მათ.

როგორც ზემოთ დავწერე, ვერ ვიპოვე ჩემთვის უფრო შესაფერისი ღრუბელი, ჯერ ერთი, სინქრონიზაციის პრობლემები ჯერ არ ყოფილა და მეორეც, ბევრი სხვადასხვა სერვისი მუშაობს მხოლოდ Dropbox-ით.

წასვლა

სამუშაო ფაილები ინახება სამუშაო სერვერზე, პერსონალური პროექტები ინახება GitLab-ზე, აქ ყველაფერი მარტივია.

დროის მანქანა

ასევე ვაკეთებ მთელი სისტემის სარეზერვო ასლს, რა თქმა უნდა Dropbox-ის და Downloads საქაღალდის გამოკლებით, რომ ტყუილად არ დავიკავო ადგილი. მე სისტემის სარეზერვო ასლს ვაკეთებ Time Machine-ის გამოყენებით, შესანიშნავი ინსტრუმენტი, რომელიც არაერთხელ დამეხმარა. იგივე NAS-ზე ვაკეთებ, საბედნიეროდ აქვს ასეთი ფუნქცია. თქვენ შეგიძლიათ ამის გაკეთება გარე HDD-ზე, რა თქმა უნდა, მაგრამ ეს არც ისე მოსახერხებელია. ყოველ ჯერზე, როცა გჭირდებათ გარე დისკის დაკავშირება და თავად გაუშვით Time Machine. სიზარმაცის გამო ხშირად რამდენიმე კვირაში ერთხელ ვაკეთებდი ასეთ სარეზერვო ასლებს. ის ავტომატურად აკეთებს სარეზერვო ასლებს სერვერზე, ვერც კი ვამჩნევ, როდის აკეთებს ამას. მე ვმუშაობ სახლიდან, ამიტომ ყოველთვის მაქვს ჩემი მთელი სისტემის ახალი სარეზერვო ასლი. ასლი კეთდება დღეში რამდენჯერმე, არ დამითვლია რამდენჯერ და რამდენჯერ.

NAS

აქ ხდება მთელი ჯადოქრობა.

Synology-ს აქვს შესანიშნავი ინსტრუმენტი, მას ჰქვია Cloud Sync, ვფიქრობ, სახელიდან ნათელია, რასაც აკეთებს.

მას შეუძლია მრავალი ღრუბლოვანი სისტემის ერთმანეთთან სინქრონიზაცია, უფრო სწორად, NAS სერვერის ფაილების სინქრონიზაცია სხვა ღრუბლებთან. ვფიქრობ, არის ამ პროგრამის მიმოხილვა ინტერნეტში. დეტალებში არ შევალ. ჯობია აღვწერო როგორ ვიყენებ.

სერვერზე მაქვს დისკის საქაღალდე სახელად Dropbox, ეს არის ჩემი Dropbox ანგარიშის ასლი, Cloud Sync პასუხისმგებელია ამ ყველაფრის სინქრონიზაციაზე. თუ რამე დაემართა ფაილებს Dropbox-ში, ეს მოხდება სერვერზე, არ აქვს მნიშვნელობა წაშლილია თუ შექმნილი. ზოგადად, კლასიკური სინქრონიზაცია.

Yandex დისკი

შემდეგ ყველა ამ ფაილს ვაყრი ჩემს Yandex დისკზე, ვიყენებ როგორც ხელნაკეთი სარეზერვო დისკს, ანუ ვყრი ფაილებს იქ, მაგრამ არ წავშალო არაფერი იქიდან, თურმე ფაილების ასეთი ნაგავსაყრელია, მაგრამ რამდენჯერმე დაეხმარა.

Google წამყვანი

იქ მხოლოდ "ფოტოების" საქაღალდეს ვაგზავნი, ასევე სინქრონიზაციის რეჟიმში, ამას ვაკეთებ მხოლოდ ფოტოების მოსახერხებელი სანახავად Google Photos-ში და იქიდან ფოტოების წაშლის შესაძლებლობით და ისინი ყველგან იშლება (გარდა Yandex დისკისა, რა თქმა უნდა). ქვემოთ დავწერ ფოტოზე, შეგიძლიათ ცალკე სტატიაც კი დაწეროთ.

ჰიპერრეზერვი

მაგრამ ეს ყველაფერი არც თუ ისე სანდოა, თუ შემთხვევით წაშლით ფაილს, ის ყველგან წაიშლება და შეგიძლიათ დაკარგულად ჩათვალოთ. თქვენ, რა თქმა უნდა, შეგიძლიათ აღადგინოთ Yandex დისკიდან, მაგრამ ჯერ ერთი, სარეზერვო ასლი ერთ ადგილას თავისთავად არ არის ძალიან საიმედო და თავად Yandex დისკი არ არის სერვისი, რომელშიც შეგიძლიათ იყოთ 100% დარწმუნებული, მიუხედავად იმისა, რომ არასდროს ყოფილა ასეთი. პრობლემები მასთან.

ამიტომ, ყოველთვის ვცდილობდი ფაილების სხვაგან შენახვას, ჩვეულებრივი სარეზერვო სისტემით.

Synology-ს ასევე აქვს ამისთვის ინსტრუმენტი, მას ჰქვია HyperBackup, ის ქმნის ფაილების სარეზერვო ასლს ან სხვა Synology სერვერებზე ან მესამე მხარის მწარმოებლების ღრუბლოვან გადაწყვეტილებებს.
მას ასევე შეუძლია სარეზერვო ასლების გაკეთება NAS-თან დაკავშირებულ გარე დისკებზე, რასაც ვაკეთებდი ბოლო დრომდე. მაგრამ ეს ასევე არ არის სანდო, მაგალითად, თუ ხანძარია, მაშინ მთავრდება როგორც სერვერი, ასევე HDD.

სინოლოგია C2

აქ თანდათან მივუახლოვდებით სხვა სერვისს, ამჯერად თავად Synology-ისგან. მას აქვს საკუთარი ღრუბლები სარეზერვო ასლების შესანახად. იგი შექმნილია სპეციალურად HyperBackup-ისთვის, ის იქ აკეთებს სარეზერვო ასლებს ყოველდღე, მაგრამ ეს არის კარგად გააზრებული სარეზერვო ასლი, არის ფაილის ვერსიები, ვადები და კლიენტებიც კი Windows-ისა და mac OS-ისთვის.

ეს ყველაფერი ფაილების შესანახად, იმედი მაქვს, რომ ჩემი ფაილები უსაფრთხოა.

ახლა მოდით გადავიდეთ ფაილების დახარისხებაზე.

მე ვახარისხებ ჩვეულებრივ ფაილებს, წიგნებს, დოკუმენტების სკანირებას და სხვა უმნიშვნელო ფაილებს საქაღალდეებში ხელით, ისევე როგორც ყველაფერი. როგორც წესი, არც ისე ბევრია და იშვიათად ვხსნი.

ყველაზე რთული ფოტოების და ვიდეოების დახარისხებაა, ბევრი მაქვს.

თვეში რამდენიმე ათეულიდან რამდენიმე ასეულამდე ფოტოს ვიღებ. ვიღებ DSLR-ით, დრონით და ზოგჯერ ტელეფონით. ფოტოები შეიძლება იყოს პირადი ან საფონდო. მე ასევე ხანდახან ვიღებ სახლის ვიდეოებს (არა ის, რასაც თქვენ ფიქრობთ, მხოლოდ ოჯახურ ვიდეოებს, ხშირად ჩემს ქალიშვილთან ერთად). ის ასევე უნდა იყოს როგორმე შენახვა და დახარისხება, რომ არ გახდეს არეულობა.

იგივე Dropbox-ში მაქვს საქაღალდე Sort Images, არის ქვესაქაღალდე სადაც ყველა ფოტო და ვიდეო მიდის, იქიდან იღებენ და დალაგდებიან სადაც საჭიროა.

დახარისხება ხდება NAS სერვერზე, იქ გაშვებულია bash სკრიპტები, რომლებიც ავტომატურად იხსნება დღეში ერთხელ და აკეთებენ თავის საქმეს. NAS ასევე პასუხისმგებელია მათ გაშვებაზე; არსებობს დავალების გრაფიკი, რომელიც პასუხისმგებელია ყველა სკრიპტისა და სხვა ამოცანის გაშვებაზე. შეგიძლიათ დააკონფიგურიროთ რამდენად ხშირად და როდის დაიწყება ამოცანები, შეაერთეთ ინტერფეისი, თუ ეს უფრო მარტივია.

თითოეულ საქაღალდეს აქვს საკუთარი სკრიპტი. ახლა მეტი საქაღალდეების შესახებ:

Drone — აქ არის ფოტოები დრონიდან, რომელიც პირადი მიზნებისთვის გადავიღე. ჯერ ყველა ფოტოს ვამუშავებ lightroom-ში, შემდეგ JPG-ის ექსპორტი ამ საქაღალდეში. იქიდან ისინი ხვდებიან სხვა Dropbox საქაღალდეში, "Photo".

არის საქაღალდე „დრონი“ და იქ უკვე დალაგებულია წლისა და თვის მიხედვით. სკრიპტები თავად ქმნიან აუცილებელ საქაღალდეებს და თავად გადაარქმევენ ფოტოებს ჩემი შაბლონის მიხედვით, ჩვეულებრივ, ეს არის ფოტოს გადაღების თარიღი და დრო, ბოლოს შემთხვევით რიცხვსაც ვამატებ, რომ არ გამოჩნდეს იგივე სახელის ფაილები. არ მახსოვს, რატომ არ იყო ამ მიზნებისათვის შესაფერისი ფაილის სახელში წამის დაყენება.

ხე ასე გამოიყურება: Photo/Drone/2019/05 — მაისი/01 — მაისი — 2019_19.25.53_37.jpg

დრონის ვიდეო — ჯერ არ ვიღებ ვიდეოს დრონით, სასწავლი ბევრია, ახლა დრო არ მაქვს, მაგრამ საქაღალდე უკვე შევქმენი.

გამოსახულების ოპერაციები — შიგნით არის ორი საქაღალდე, როცა იქ ფაილები აღმოჩნდება, ისინი უბრალოდ ან შეკუმშულია მაქსიმალურ მხარეს 2000 პიქსელზე ინტერნეტში გამოსაქვეყნებლად, ან სურათებს აბრუნებენ, ეს აღარ მჭირდება, მაგრამ საქაღალდე ჯერ არ წავშალე.

პანორამები — სწორედ აქ შემოდის პანორამები, როგორც თქვენ მიხვდებით, მე მათ ცალკე ვინახავ, რადგან ეს კონკრეტული ტიპის ფოტოა, ჩვეულებრივ, დრონით ვიღებ. რეგულარულ პანორამებსაც ვაკეთებ, მაგრამ ასევე ვაკეთებ 360 პანორამას და ხან სფეროებს, ამგვარ პანორამებს პატარა პლანეტები მოსწონს, ამას დრონითაც ვაკეთებ. ამ საქაღალდიდან ყველა ფოტო ასევე გადადის Photo/Panoramas/2019/01 - მაისი - 2019_19.25.53_37.jpg. აქ თვეების მიხედვით არ ვახარისხებ, რადგან ამდენი პანორამა არ არის.

პირადი ფოტო — აქ არის ფოტოები, რომლებსაც DSLR-ით ვიღებ, ჩვეულებრივ, ეს არის ოჯახური ფოტოები ან მოგზაურობა, ზოგადად, მეხსიერებისთვის და ჩემთვის გადაღებული ფოტოები. მე ასევე ვამუშავებ დაუმუშავებელ ფოტოებს Lightroom-ში და შემდეგ მათ ექსპორტზე აქ.

აქედან ისინი აქ იღებენ: ფოტო/2019/05 — მაისი/01 — მაისი — 2019_19.25.53_37.jpg

თუ მე გადავიღე რაიმე სახის ზეიმი ან რაიმე სხვა, რომელიც უკეთესი იქნებოდა ცალკე შენახული, მაშინ 2019 საქაღალდეში ვქმნი საქაღალდეს ზეიმის სახელწოდებით და ფოტოს ხელით ვაკოპირებ.

RAW - აქ არის ფოტო წყაროები. მე ყოველთვის ვიღებ RAW-ში, ყველა ფოტოს ვინახავ JPG-ში, მაგრამ ხან მინდა RAW ფაილების შენახვაც, ხან სხვანაირად მინდა კადრის დამუშავება. როგორც წესი, ეს ბუნებაა და მხოლოდ საუკეთესო კადრები ხვდება იქ და არა ყველა ზედიზედ.

საფონდო ფოტო — აქ ვტვირთავ ფოტოებს სტოკ ფოტოებისთვის, რომლებსაც ვიღებ ან DSLR-ზე ან დრონით. დახარისხება იგივეა, რაც სხვა ფოტოებში, მხოლოდ თავის ცალკეულ საქაღალდეში.

Dropbox-ის ძირეულ დირექტორიაში არის Camera Uploads საქაღალდე, ეს არის ნაგულისხმევი საქაღალდე, რომელშიც Dropbox მობილური აპლიკაცია ატვირთავს ყველა ფოტოს და ვიდეოს. მეუღლის ყველა ფოტო ტელეფონიდან ასე იშლება. მე ასევე ავტვირთავ ჩემს ყველა ფოტოს და ვიდეოს ჩემი ტელეფონიდან აქ და იქიდან ვახარისხებ მათ ცალკე საქაღალდეში. მაგრამ მე ამას სხვანაირად ვაკეთებ, ჩემთვის უფრო მოსახერხებელია. ანდროიდისთვის არის ასეთი პროგრამა FolderSync, ის საშუალებას გაძლევთ გადაიღოთ ყველა ფოტო მობილურიდან, ატვირთოთ Dropbox-ში და შემდეგ წაშალოთ ტელეფონიდან. ბევრი პარამეტრია, გირჩევთ. ვიდეოები თქვენი ტელეფონიდან ასევე შედის ამ საქაღალდეში; ისინი ასევე დალაგებულია, როგორც ყველა ფოტო, წლისა და თვის მიხედვით.

მე თვითონ შევაგროვე ყველა სკრიპტი ინტერნეტში სხვადასხვა ინსტრუქციებიდან, ვერ ვიპოვე მზა გადაწყვეტილებები. მე საერთოდ არაფერი ვიცი bash სკრიპტების შესახებ, შესაძლოა არის შეცდომები ან რაღაცის უკეთ გაკეთება, მაგრამ ჩემთვის ყველაზე მნიშვნელოვანი ის არის, რომ ისინი ასრულებენ თავიანთ საქმეს და აკეთებენ იმას, რაც მე მჭირდება.

სკრიპტები აიტვირთა GitHub-ზე: https://github.com/pelinoleg/bash-scripts

ადრე ფოტოების და ვიდეოების დასალაგებლად ვიყენებდი Hazel-ს mac os-ზე, იქ ყველაფერი უფრო ადვილია, ყველა დავალება იქმნება ვიზუალურად, არ არის საჭირო კოდის დაწერა, მაგრამ არის ორი მინუსი. ჯერ ერთი, კომპიუტერზე ყველა საქაღალდე უნდა შეინახო, რომ ყველაფერი კარგად იმუშაოს და მეორეც, თუ უეცრად ვინდოუსზე ან ლინუქსზე გადავიყვან, იქ ასეთი პროგრამები არ არის. ვცადე ალტერნატივის მოძებნა, მაგრამ ყველამ უშედეგოდ. სერვერზე სკრიპტების გადაწყვეტა უფრო უნივერსალური გადაწყვეტაა.

ყველა სკრიპტი არის კონფიგურირებული, რომ შესრულდეს დღეში ერთხელ, ჩვეულებრივ ღამით. მაგრამ თუ ლოდინის დრო არ გაქვთ და ახლა გჭირდებათ როგორმე შეასრულოთ საჭირო სკრიპტი, არსებობს ორი გამოსავალი: დაუკავშირდით სერვერს SSH-ით და შეასრულეთ საჭირო სკრიპტი, ან გადადით ადმინისტრაციულ პანელზე და ასევე ხელით გაუშვით საჭირო სკრიპტი. ეს ყველაფერი უხერხულად მეჩვენება, ამიტომ მესამე გამოსავალი ვიპოვე. ანდროიდისთვის არის პროგრამა, რომელსაც შეუძლია ssh ბრძანებების გაგზავნა. მე შევქმენი რამდენიმე ბრძანება, თითოეულს აქვს თავისი ღილაკი და ახლა თუ დამჭირდება დახარისხება, მაგალითად, დრონიდან გადაღებული ფოტოები, მაშინ უბრალოდ ვაჭერ ერთ ღილაკს და სკრიპტი მუშაობს. პროგრამას ჰქვია SSHing, არის სხვა მსგავსი, მაგრამ ჩემთვის ეს ყველაზე მოსახერხებელია.

მეც მაქვს რამდენიმე ჩემი საიტი, უფრო საჩვენებლადაა, იქ თითქმის არავინ დადის, მაგრამ სარეზერვო ასლის გაკეთება მაინც არ უშლის ხელს. მე ვმართავ ჩემს საიტებს DigitalOcean-ზე, სადაც დავაყენე aaPanel პანელი. იქ შესაძლებელია ყველა ფაილის და ყველა მონაცემთა ბაზის სარეზერვო ასლის გაკეთება, მაგრამ იმავე დისკზე.

სარეზერვო ასლის შენახვა ერთსა და იმავე დისკზე ასე არ არის, ამიტომ მე ასევე ვიყენებ bash სკრიპტს, რომ მივიდე იქ და დავაკოპირო ყველაფერი ჩემს სერვერზე, დავარქივებ ყველაფერს ერთ არქივში სახელის თარიღით.

ვიმედოვნებ, რომ ვინმეს მაინც დაეხმარება ის მეთოდები, რომლებსაც მე ვიყენებ და რაც გავუზიარე.

როგორც სტატიიდან ჩანს, მე მიყვარს ავტომატიზაცია და ვცდილობ ავტომატიზირება მოვახდინო ყველაფრის ავტომატიზაციას, რაც შესაძლებელია, ბევრი რამ არ აღვწერე ავტომატიზაციის თვალსაზრისით, რადგან ეს უკვე სხვა თემები და სხვა სტატიებია.

წყარო: www.habr.com