Mi-am dorit de mult să scriu despre cum îmi stochează fișierele și cum fac copii de rezervă, dar nu am ajuns niciodată la asta. Recent a apărut aici un articol, oarecum asemănător cu al meu, dar cu o abordare diferită.
Încerc de mulți ani să găsesc metoda perfectă pentru stocarea fișierelor. Cred că l-am găsit, dar întotdeauna există ceva de îmbunătățit, dacă aveți idei despre cum să o faceți mai bine, o să-l citesc cu plăcere.
Încep prin a vă spune câteva cuvinte despre mine, fac dezvoltare web și fac fotografii în timpul liber. De aici concluzia că trebuie să stochez proiecte de lucru și personale, fotografii, videoclipuri și alte fișiere.
Am aproximativ 680 GB de fișiere, dintre care 90 la sută sunt fotografii și videoclipuri.
Circulația fișierelor în depozitele mele:
Iată o diagramă aproximativă despre cum și unde sunt stocate toate fișierele mele.
Acum mai mult.
După cum puteți vedea, inima tuturor este NAS-ul meu, și anume Synology DS214, unul dintre cele mai simple NAS de la Synology, totuși, face față la tot ce am nevoie.
dropbox
Mașina mea de lucru este un macbook pro 13, 2015. Am 512GB acolo, dar bineînțeles că nu se potrivesc toate fișierele, stochez doar ceea ce este necesar momentan. Îmi sincronizez toate fișierele și folderele personale cu Dropbox, știu că nu este foarte fiabil, dar realizează doar funcția de sincronizare. Și o face cel mai bine, cel puțin din ceea ce am încercat. Și am încercat toți norii celebri și nu atât de faimoși.
Synology are și propriul său cloud, îl poți implementa pe NAS-ul tău, am încercat de mai multe ori să trec de la Dropbox la Synology Cloud Station, dar întotdeauna au fost probleme cu sincronizarea, au fost întotdeauna unele erori sau nu am sincronizat totul.
Toate fișierele importante sunt stocate în folderul Dropbox, uneori salvez ceva pe desktop, ca să nu pierd ceva, am făcut un link simbolic către folderul Dropbox folosind programul MacDropAny.
Dosarul My Download nu este sincronizat în niciun fel, dar nu există nimic important acolo, doar fișiere temporare. Dacă descarc ceva important, îl copiez în folderul corespunzător din Dropbox.
Aventurile mele cu DropboxPe vremuri, undeva prin 2013-2014, mi-am stocat toate fișierele în Dropbox și doar acolo nu existau copii de rezervă. Atunci nu aveam 1Tb, adică nu am plătit pentru asta, aveam vreo 25Gb, pe care i-am câștigat invitând prieteni sau alte sarcini.
Într-o bună dimineață am pornit computerul și toate fișierele mele au dispărut, am primit și o scrisoare de la Dropbox în care își cer scuze și că fișierele mele au dispărut din vina lor. Mi-au dat un link de unde îmi puteam restaura fișierele, dar desigur nimic nu a fost restaurat. Pentru asta mi-au dat 1Tb timp de un an, după care am devenit clientul lor, oricât de ciudat ar suna, dar nu am avut încredere niciodată în ei.
După cum am scris mai sus, nu am putut găsi un nor care să fie mai potrivit pentru mine, în primul rând, nu au existat încă probleme de sincronizare și, în al doilea rând, multe servicii diferite funcționează numai cu Dropbox.
merge
Fișierele de lucru sunt stocate pe serverul de lucru, proiectele personale sunt stocate pe GitLab, totul este simplu aici.
Time Machine
Fac și o copie de rezervă a întregului sistem, cu excepția folderului Dropbox și Downloads desigur, pentru a nu ocupa spațiu degeaba. Fac backup sistemului folosind Time Machine, un instrument excelent care m-a ajutat de mai multe ori. O fac pe acelasi NAS, din fericire are o asemenea functie. O poți face pe un HDD extern, desigur, dar nu este la fel de convenabil. De fiecare dată când trebuie să conectați o unitate externă și să lansați singur Time Machine. Din cauza lenei, făceam adesea astfel de copii de rezervă o dată la câteva săptămâni. El face automat backup-uri pe server, nici măcar nu observ când o face. Lucrez de acasă, așa că am întotdeauna o copie de rezervă proaspătă a întregului meu sistem. O copie se face de mai multe ori pe zi, nu am numărat de câte ori și cât de des.
NAS
Aici se întâmplă toată magia.
Synology are un instrument excelent, se numește Cloud Sync, cred că din nume este clar ce face.
Poate sincroniza multe sisteme cloud între ele sau, mai precis, poate sincroniza fișiere de pe un server NAS cu alte cloud. Cred că există o revizuire a acestui program online. Nu voi intra în detalii. Mai bine descriu cum îl folosesc.
Pe server am un folder de disc numit Dropbox, este o copie a contului meu Dropbox, Cloud Sync este responsabil de sincronizarea tuturor acestor lucruri. Dacă s-a întâmplat ceva cu fișierele din Dropbox, se va întâmpla pe server, nu contează dacă este șters sau creat. În general, sincronizare clasică.
Discul Yandex
Apoi, arunc toate aceste fișiere pe discul meu Yandex, îl folosesc ca un disc de rezervă de casă, adică arunc fișierele acolo, dar nu șterg nimic de acolo, se dovedește a fi o astfel de descărcare de fișiere, dar a ajutat de câteva ori.
Disc Google
Acolo trimit doar folderul „Fotografii”, tot în modul de sincronizare, fac acest lucru numai pentru vizualizarea comodă a fotografiilor în Google Photos și cu posibilitatea de a șterge fotografii de acolo și sunt șterse peste tot (cu excepția discului Yandex, desigur). Voi scrie despre fotografia de mai jos; ați putea chiar să scrieți un articol separat acolo.
HyperBackup
Dar toate acestea nu sunt foarte de încredere; dacă ștergeți accidental un fișier, acesta va fi șters peste tot și îl puteți considera pierdut. Puteți, desigur, să restaurați de pe disc Yandex, dar în primul rând, o copie de rezervă într-un singur loc nu este foarte fiabilă în sine, iar discul Yandex în sine nu este un serviciu în care puteți fi 100% încrezător, chiar dacă nu a existat niciodată probleme cu el.
Prin urmare, am încercat întotdeauna să stochez fișierele în altă parte, cu un sistem de backup normal.
Synology are, de asemenea, un instrument pentru aceasta, se numește HyperBackup, face copii de siguranță ale fișierelor fie pe alte servere Synology, fie pe unele soluții cloud de la producători terți.
De asemenea, poate face copii de rezervă pe unități externe conectate la un NAS, ceea ce am făcut până de curând. Dar nici acest lucru nu este de încredere, de exemplu, dacă există un incendiu, atunci sfârșitul atât al serverului, cât și al HDD-ului.
Synology C2
Aici abordăm treptat un alt serviciu, de data aceasta chiar de la Synology. Are propriile nori pentru stocarea copiilor de rezervă. Este conceput special pentru HyperBackup, el face copii de rezervă acolo în fiecare zi, dar aceasta este o copie de rezervă bine gândită, există versiuni de fișiere, o cronologie și chiar clienți pentru Windows și mac os.
Asta e tot pentru stocarea fișierelor, sper că fișierele mele sunt în siguranță.
Acum să trecem la sortarea fișierelor.
Sort manual fișiere obișnuite, cărți, scanări de documente și alte fișiere neimportante în dosare, la fel ca orice altceva. De obicei nu sunt multe și le deschid rar.
Cel mai dificil lucru este sortarea fotografiilor și videoclipurilor, am multe.
Fac de la câteva zeci la câteva sute de fotografii pe lună. Filmez cu un DSLR, o dronă și uneori pe telefon. Fotografiile pot fi personale sau pentru stoc. De asemenea, filmez uneori videoclipuri acasă (nu ceea ce ați putea crede, doar videoclipuri de familie, adesea cu fiica mea). De asemenea, trebuie să fie într-un fel stocat și sortat, astfel încât să nu devină o mizerie.
Am un folder în același Dropbox numit Sort Images, sunt subfoldere în care merg toate fotografiile și videoclipurile, de acolo sunt luate și sortate acolo unde este nevoie.
Sortarea are loc pe serverul NAS, acolo rulează scripturi bash care sunt lansate automat o dată pe zi și își fac treaba. NAS este, de asemenea, responsabil pentru lansarea acestora; există un planificator de activități care este responsabil pentru lansarea tuturor scripturilor și a altor sarcini. Puteți configura cât de des și când vor fi lansate sarcinile, cronați cu o interfață dacă este mai simplă.
Fiecare folder are propriul script. Acum mai multe despre foldere:
Trântor — iată fotografii de la o dronă pe care le-am făcut în scopuri personale. Mai întâi procesez toate fotografiile în lightroom, apoi export JPG în acest folder. De acolo ajung într-un alt folder Dropbox, „Foto”.
Există un folder „Drone” și acolo sunt deja sortate pe an și lună. Scripturile în sine creează folderele necesare și redenumesc fotografiile în funcție de șablonul meu, de obicei aceasta este data și ora la care a fost făcută fotografia, adaug și un număr aleatoriu la sfârșit pentru ca fișierele cu același nume să nu apară. Nu-mi amintesc de ce setarea secundelor în numele fișierului nu a fost potrivită pentru aceste scopuri.
Copacul arată astfel: Foto/Drone/2019/05 — Mai/01 — Mai — 2019_19.25.53_37.jpg
Video cu drone — Nu filmez încă video cu o dronă, sunt multe de învățat, nu am timp pentru asta acum, dar am creat deja un folder.
Operații de imagine — există două foldere în interior, când fișierele sunt găsite acolo, pur și simplu sunt fie comprimate pe partea maximă la 2000px pentru publicare pe Internet, fie imaginile sunt răsturnate, nu mai am nevoie de asta, dar încă nu am șters folderul.
Panorame — aici intervin panoramele, după cum ați putea ghici, le stochez separat, deoarece acesta este un tip specific de fotografie, de obicei le fac cu o dronă. Fac și panorame obișnuite, dar fac și panorame 360 și uneori sfere, genul ăsta de panorame ca planetele mici, o fac și cu dronă. Din acest dosar, toate fotografiile merg și la Foto/Panorame/2019/01 - Mai - 2019_19.25.53_37.jpg. Aici nu triez după lună pentru că nu sunt atât de multe panorame.
Fotografie personală — Iată fotografiile pe care le fac cu un DSLR, de obicei sunt fotografii de familie sau de călătorie, în general, fotografii care sunt făcute pentru memorie și pentru mine. De asemenea, procesez fotografiile brute în Lightroom și apoi le export aici.
De aici ajung aici: Foto/2019/05 — Mai/01 — Mai — 2019_19.25.53_37.jpg
Dacă am fotografiat un fel de sărbătoare sau altceva care ar fi mai bine stocat separat, atunci în folderul 2019 creez un folder cu numele sărbătorii și copiez fotografia acolo manual.
RAW — iată sursele foto. Filmez întotdeauna în RAW, stochează toate fotografiile în JPG, dar uneori vreau să stochez și fișiere RAW, alteori vreau să procesez un cadru diferit. De obicei, aceasta este natura și doar cele mai bune fotografii ajung acolo, nu toate la rând.
Fotografie de stoc — aici încarc fotografii pentru fotografii de stoc, pe care le fac fie cu un DSLR, fie cu o dronă. Sortarea este aceeași ca și în alte fotografii, doar în propriul folder separat.
În directorul rădăcină al Dropbox, există un folder Încărcare camere, acesta este folderul implicit în care aplicația mobilă Dropbox încarcă toate fotografiile și videoclipurile. Toate fotografiile soției de pe telefon sunt aruncate în acest fel. De asemenea, îmi încarc toate fotografiile și videoclipurile de pe telefon aici și de acolo le sortez într-un folder separat. Dar o fac într-un mod diferit, mai convenabil pentru mine. Există un astfel de program pentru Android, FolderSync, care vă permite să faceți toate fotografiile de pe telefonul mobil, să le încărcați în Dropbox și apoi să le ștergeți de pe telefon. Sunt o mulțime de setări, vi le recomand. Videoclipurile de pe telefonul dvs. intră și ele în acest dosar; ele sunt, de asemenea, sortate ca toate fotografiile, după an și lună.
Am colectat personal toate scripturile din diverse instrucțiuni de pe Internet; nu am găsit soluții gata făcute. Nu știu absolut nimic despre scripturile bash, poate că există unele erori sau unele lucruri ar putea fi făcute mai bine, dar cel mai important lucru pentru mine este că își fac treaba și fac ceea ce am nevoie.
Scripturile au fost încărcate pe GitHub:
Anterior, pentru a sorta fotografii și videoclipuri, am folosit Hazel sub mac os, totul este mai ușor acolo, toate sarcinile sunt create vizual, nu este nevoie să scrieți cod, dar există două dezavantaje. În primul rând, trebuie să păstrați toate folderele de pe computer, astfel încât totul să funcționeze bine, iar în al doilea rând, dacă trec brusc la Windows sau Linux, nu există astfel de programe acolo. Am încercat să caut o alternativă, dar toate au fost în zadar. O soluție cu scripturi pe server este o soluție mai universală.
Toate scripturile sunt configurate pentru a fi executate o dată pe zi, de obicei noaptea. Dar dacă nu aveți timp să așteptați și trebuie să executați cumva scriptul necesar acum, există două soluții: conectați-vă prin SSH la server și executați scriptul necesar sau mergeți la panoul de administrare și, de asemenea, executați manual scriptul necesar. scenariu. Toate acestea mi se par incomod, așa că am găsit o a treia soluție. Există un program pentru Android care poate trimite comenzi ssh. Am creat mai multe comenzi, fiecare are propriul buton, iar acum dacă trebuie să sortez, de exemplu, fotografiile pe care le-am făcut de pe o dronă, atunci apăs doar un buton și rulează scriptul. Programul se numește SSHing, există și altele asemănătoare, dar pentru mine acesta este cel mai convenabil.
Am și mai multe site-uri proprii, sunt mai mult pentru show, aproape nimeni nu merge acolo, dar totuși nu strica să faci o copie de rezervă. Îmi rulez site-urile pe DigitalOcean, unde am instalat panoul aaPanel. Acolo este posibil să se facă copii de rezervă ale tuturor fișierelor și ale tuturor bazelor de date, dar pe același disc.
Stocarea unei copii de rezervă pe același disc nu este cazul, așa că folosesc și un script bash pentru a merge acolo și a copia totul pe serverul meu, arhivând totul într-o arhivă cu data în nume.
Sper că măcar cineva va fi ajutat de metodele pe care le folosesc și cu care am împărtășit.
După cum se vede din articol, ador automatizarea și încerc să automatizez tot ce este posibil, nu am descris multe lucruri din punct de vedere al automatizării, deoarece acestea sunt deja alte subiecte și alte articole.
Sursa: www.habr.com