De mult timp vreau să scriu despre cum îmi păstrez fișierele, cum fac backup-uri, dar mereu mi-a lipsit timpul. Recent a apărut un articol pe această temă, asemănător cu al meu, dar cu o altă abordare.
De mulți ani încerc să găsesc metoda perfectă pentru a-mi stoca fișierele. Cred că am găsit-o, dar întotdeauna există loc de îmbunătățire; dacă aveți sugestii pentru a face lucrurile mai bine, aș citi cu plăcere.
Voi începe cu câteva cuvinte despre mine: sunt dezvoltator web și în timpul liber fac fotografie. De aici rezultă că trebuie să îmi păstrez proiectele de lucru și personale, fotografii, videoclipuri și alte fișiere.
Am aproximativ 680 GB de fișiere, dintre care 90% sunt fotografii și videoclipuri.
Circuitul fișierelor în stocările mele:
Aici este un grafic aproximativ despre cum și unde îmi păstrez toate fișierele.
Acum în detaliu.
În mod evident, inima totului este NAS-ul meu, și anume Synology DS214, unul dintre cele mai simple NAS-uri de la Synology, cu toate acestea, se descurcă foarte bine cu tot ce am nevoie.
Dropbox
Laptop-ul meu de lucru este un MacBook Pro de 13 inci, din 2015. Am 512 GB, dar evident nu se încap toate fișierele, păstrez doar ceea ce este necesar în prezent. Toate fișierele și folderele personale le sincronizez cu Dropbox; știu că nu este foarte sigur, dar el îndeplinește doar funcția de sincronizare. Și o face cel mai bine, cel puțin din ceea ce am testat. Am încercat toate serviciile de cloud cunoscute și mai puțin cunoscute.
De asemenea, Synology are propriul său serviciu de cloud, pe care îl poți activa pe NAS-ul tău. Am încercat de câteva ori să migrez de la Dropbox la Synology Cloud Station, dar mereu am întâmpinat probleme cu sincronizarea, întotdeauna apăreau erori sau nu toate fișierele erau sincronizate.
Toate fișierele importante sunt păstrate în folderul Dropbox; uneori salvez ceva pe desktop pentru a nu pierde, am făcut un simbolic link către folderul Dropbox cu ajutorul programului MacDropAny.
Folderul de Descărcări nu se sincronizează deloc, dar acolo nu este nimic important, doar fișiere temporare. Dacă descarc ceva important, copiez în folderul corespunzător din Dropbox.
Povestirile mele cu DropboxCu mult timp în urmă, undeva între 2013-2014, îmi păstram toate fișierele doar în Dropbox, nu aveam backup-uri. Atunci nu aveam 1TB, adică nu plăteam pentru el, aveam cam 25GB, pe care i-am obținut prin invitarea prietenilor sau alte sarcini.
Într-o dimineață frumoasă am deschis computerul și toate fișierele mele au dispărut. De asemenea, am primit un e-mail de la Dropbox în care se disculpă și spun că fișierele mele au dispărut din vina lor. Mi-au oferit un link prin care aș putea recupera fișierele, dar, desigur, nimic nu s-a recuperat. În schimb, mi-au oferit 1TB timp de un an, după care am devenit clientul lor, oricât de ciudat ar suna, dar niciodată nu le-am avut încredere.
Așa cum am menționat anterior, nu am putut găsi un serviciu de stocare în cloud mai potrivit pentru mine, mai întâi nu au existat probleme de sincronizare, iar în al doilea rând, multe servicii funcționează doar cu Dropbox.
Git
Fișierele de lucru sunt stocate pe serverul de lucru, iar proiectele personale sunt pe GitLab, aici totul este simplu.
Time Machine
De asemenea, fac backup întregului sistem, excluzând folderul Dropbox și Downloads, desigur, pentru a nu ocupa inutil spațiu. Fac backup-ul sistemului prin Time Machine, un instrument excelent care m-a ajutat de multe ori. Fac backup pe același NAS, noroc că există această funcție. Se poate face și pe un HDD extern, desigur, dar nu este atât de convenabil. Trebuie să conectezi de fiecare dată unitatea externă și să pornești manual Time Machine. Din cauza leneșei, făceam astfel de backup-uri o dată la câteva săptămâni. Pe server, în schimb, backup-ul se face automat, nici măcar nu observ când se întâmplă. Lucrez de acasă, așa că am întotdeauna o copie de rezervă recentă a întregului meu sistem. Se fac copii de mai multe ori pe zi, nu am numărat câte ori și cât de des.
NAS
Aici se întâmplă toată magia.
Synology are un instrument grozav, numit Cloud Sync, cred că din nume este clar ce face.
Acesta poate sincroniza multe sisteme cloud între ele, mai exact, poate sincroniza fișiere de pe serverul NAS cu alte servicii cloud. Cred că există o recenzie a acestui program pe internet, nu voi intra în detalii. Mai bine voi descrie cum îl folosesc.
Pe serverul meu am un folder pe disc numit Dropbox, care este o copie a contului meu Dropbox, iar sincronizarea acestuia este realizată de Cloud Sync. Dacă se întâmplă ceva cu fișierele din Dropbox, se va întâmpla și pe server, indiferent dacă este vorba despre ștergere, modificare sau creare. În general, o sincronizare clasică.
Yandex Disk
Apoi, toate aceste fișiere le transfer în Yandex Disk, pe care îl folosesc ca un disk de backup artizanal, adică arunc fișiere acolo, dar nu șterg nimic de acolo, se transformă într-un fel de depozit de fișiere, dar m-a salvat de câteva ori.
Google Drive
Acolo trimit doar folderul „Photos”, de asemenea în modul de sincronizare, fac asta doar pentru a vizualiza convenabil fotografiile în Google Photos și cu posibilitatea de a șterge fotografiile, iar ele se șterg peste tot (cu excepția Yandex Disk, desigur). Voi scrie mai jos despre fotografii, acolo se poate scrie chiar un articol separat.
HyperBackup
Dar toate acestea nu sunt foarte fiabile, dacă ștergi accidental un fișier, acesta se va șterge peste tot și poate fi considerat pierdut. Desigur, se poate recupera din Yandex Disk, dar, pe de o parte, backup-ul într-un singur loc nu este foarte de încredere de la sine, iar Yandex Disk nu este serviciul în care poți avea 100% încredere, deși nu am avut probleme cu el până acum.
De aceea, am încercat întotdeauna să păstrez fișierele și în altă parte, deja cu un sistem corespunzător de backup.
Synology are un instrument pentru asta, numit HyperBackup, care face backup de fișiere fie pe alte servere Synology, fie pe soluții cloud de la furnizori terți.
De asemenea, poate face backup pe unități externe conectați la NAS, așa am procedat până de curând. Dar nici asta nu este fiabil, de exemplu, dacă apare un incendiu, este sfârșitul atât pentru server cât și pentru HDD.
Synology C2
Aici ne apropiem de un alt serviciu, deja de la Synology. Acesta are propriile soluții cloud pentru stocarea backup-urilor. Este special conceput pentru HyperBackup, face backup acolo în fiecare zi, dar acesta este deja un backup bine gândit, există versiuni ale fișierelor, un timeline și chiar clienți pentru Windows și Mac OS.
Pe aceasta, cu stocarea fișierelor totul este bine, sper că fișierele mele sunt în siguranță.
Acum să trecem la sortarea fișierelor.
Fișierele obișnuite, cărțile, scanările documentelor și alte fișiere mai puțin importante le sortează manual, ca toată lumea. De obicei, nu sunt foarte multe și le deschid rar.
Cel mai complicat este să sortez fotografiile și videourile, am multe.
Fac între câteva zeci și câteva sute de fotografii pe lună. Fotografiez cu aparat reflex, cu drona și uneori cu telefonul. Fotografiile sunt personale și pentru stocuri. De asemenea, filmez uneori video de familie (nu ce ai putea crede, doar video de familie, mai ales cu fiica mea). De asemenea, trebuie să fie păstrate și sortate, astfel încât să nu fie un haos.
Am un folder în același Dropbox, numit Sort Images, acolo sunt subfoldere unde ajung toate fotografiile și videourile, de unde sunt luate și sortate unde trebuie.
Sortarea se face pe serverul NAS, unde rulează scripturi bash care se pornesc automat o dată pe zi și își fac treaba. NAS-ul este responsabil și pentru rularea acestora; există un planificator de sarcini care se ocupă de lansarea tuturor scripturilor și altor sarcini. Poți seta cât de des și când se vor lansa sarcinile, un cron cu o interfață pentru comoditate.
Fiecare folder are propriul script. Acum, mai multe detalii despre foldere:
Drone — aici ajung fotografiile din dron pe care le-am realizat în scopuri personale. Mai întâi, procesez toate fotografiile în Lightroom, apoi export JPG în acest folder. De acolo, ajung într-un alt folder Dropbox, „Photo”.
Acolo este un folder „Drone” și acolo se sortează deja pe ani și luni. Scripturile creează singure folderele necesare și redenumesc singure fotografiile conform șablonului meu, de obicei aceasta este data și ora realizării fotografiei; în plus, adaug la sfârșit un număr aleator pentru a evita fișiere cu același nume. Nu-mi amintesc de ce pentru aceste scopuri nu era potrivit să folosesc secunde în numele fișierului.
Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone Video — momentan nu filmez cu drona, trebuie să învăț multe, nu am timp pentru asta acum, dar am creat deja folderul.
Images Operations — aici sunt două foldere; atunci când fișiere ajung acolo, acestea sunt fie comprimante pe latura maximă la 2000px pentru publicații pe internet, fie se face flip pe imagini; aceasta nu-mi este necesară, dar nu am șters folderul deocamdată.
Panoramas — aici ajung, cum e de așteptat, panoramele; le păstrez separate deoarece reprezintă un tip specific de fotografie, de obicei le fac cu drona. Fac și panorame obișnuite, dar de asemenea fac panorame 360 și uneori sfere, un tip de panoramă ca planetele mici, de asemenea realizate cu drona. Din acest folder, toate fotografiile ajung și în Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg. Aici nu fac sortare pe luni deoarece nu sunt atât de multe panorame.
Personal Photo — Aici ajung fotografiile pe care le fac cu camera reflex, de obicei fotografii de familie sau călătorii, în general fotografii pe care le fac pentru amintire și pentru mine. De asemenea, fotografiile brute le procesez în Lightroom și apoi le export aici.
Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Dacă am filmat un eveniment sau altceva ce ar fi mai bine să fie păstrat separat, în folderul 2019 creez un folder cu numele evenimentului și copiez acolo fotografiile manual.
RAW — aici ajung sursele foto. Întotdeauna fotografiez în RAW, toate fotografiile le păstrez în JPG, dar uneori îmi doresc să păstrez și fișierele RAW, uneori vreau să procesez diferit un cadru. De obicei, acestea sunt fotografii de natură și aici ajung doar cele mai bune cadre, nu toate fără discriminare.
Fotografie de stoc — aici uploadez fotografiile pentru stocuri, pe care le fac fie cu aparatul foto reflex, fie cu drona. Sortarea este la fel ca la celelalte fotografii, doar că într-un folder separat.
În directorul rădăcină Dropbox, există un folder Camera Uploads, acesta este folderul implicit în care aplicația mobilă Dropbox uploadează toate fotografiile și videoclipurile. Toate fotografiile soției de pe telefon sunt transferate astfel. De asemenea, îmi uploadez toate fotografiile și videoclipurile mele de pe telefon aici și apoi le sortezi într-un folder separat. Dar fac asta într-un mod diferit, mai convenabil pentru mine. Există o aplicație pentru Android, FolderSync, care permite să preiei toate fotografiile de pe mobil, să le încarci pe Dropbox și apoi să le ștergi de pe telefon. Are multe setări, o recomand. În acest folder ajung și videoclipurile de pe telefon, acestea sunt și ele sortate la fel ca toate fotografiile, pe ani și luni.
Toate scripturile le-am adunat eu din diverse instrucțiuni pe internet, nu am găsit soluții gata făcute. Eu nu știu nimic despre scripturi bash, poate există anumite erori sau anumite lucruri care ar putea fi făcute mai bine, dar cel mai important pentru mine este că ele își fac treaba și fac ceea ce am nevoie.
Scripturile le-am încărcat pe GitHub:
În trecut, pentru sortarea fotografiilor și videoclipurilor am folosit Hazel pe macOS, acolo totul este mai simplu, toate sarcinile sunt create vizual, nu trebuie să scrii cod, dar există două dezavantaje. Pe de o parte, trebuie să păstrez toate folderele pe computer pentru ca totul să funcționeze bine și, pe de altă parte, dacă cumva mă mut pe Windows sau Linux, nu există astfel de programe. Am încercat să caut alternative, dar toate au fost ineficiente. Iar soluția cu scripturile pe server este o soluție mai universală.
Toate scripturile sunt configurate pentru a fi executate o dată pe zi, de obicei noaptea. Însă, dacă nu am timp să aștept și trebuie să execut un anumit script acum, există două soluții: să mă conectez prin SSH la server și să execut scriptul sau să accesez panoul de administrare și să lansez manual scriptul. Toate acestea mi se par incomode, așa că am găsit o a treia soluție. Există o aplicație pe Android care poate trimite comenzi SSH. Am creat câteva comenzi, fiecare cu butonul său, iar acum, dacă trebuie să sorteaz, de exemplu, fotografiile făcute cu drona, pur și simplu apăs un buton și scriptul se execută. Aplicația se numește SSHing; există și altele similare, dar pentru mine aceasta este cea mai convenabilă.
De asemenea, am câteva site-uri personale, care sunt mai mult pentru formă, deoarece aproape nimeni nu le vizitează, dar totuși este bine să fac backup. Îmi găzduiesc site-urile pe DigitalOcean, unde am instalat panoul aaPanel. Acolo există opțiunea de a face copii de rezervă pentru toate fișierele și toate bazele de date, însă pe același disc.
A păstra backup-ul pe același disc nu este o idee bună, așa că mă conectez printr-un script bash și copiez totul pe serverul meu, arhivând totul într-o singură arhivă cu data în nume.
Sper ca măcar cuiva să îi fie utile metodele pe care le folosesc și cu care am împărtășit.
Așa cum se vede din articol, îmi place automatizarea și încerc să automatizez tot ce este posibil, am omis multe lucruri din perspectiva automatizării, deoarece acestea sunt deja alte teme și alte articole.
Sursa: habr.com
