Odavno sam želio pisati o tome kako pohranjujem svoje datoteke i kako pravim sigurnosne kopije, ali nikako nisam stigao do toga. Nedavno se ovdje pojavio članak, pomalo sličan mom, ali s drugačijim pristupom.
Već dugi niz godina pokušavam pronaći savršenu metodu za pohranjivanje datoteka. Mislim da sam pronašao, ali uvijek postoji nešto za poboljšanje, ako imate bilo kakvu ideju kako to učiniti bolje, rado ću pročitati.
Počeću tako što ću vam reći nekoliko reči o sebi, bavim se web razvojem i fotografisanjem u slobodno vreme. Otuda zaključak da moram pohraniti poslovne i lične projekte, fotografije, video i druge fajlove.
Imam oko 680 GB fajlova, od kojih su 90 posto fotografije i video zapisi.
Cirkulacija fajlova u mojim skladištima:
Evo približnog dijagrama kako i gdje su pohranjeni svi moji fajlovi.
Sada više.
Kao što vidite, srce svega je moj NAS, odnosno Synology DS214, jedan od najjednostavnijih NAS-ova kompanije Synology, međutim, on se nosi sa svime što mi treba.
Dropbox
Moja radna mašina je macbook pro 13, 2015. Tamo imam 512GB, ali naravno ne odgovaraju svi fajlovi, čuvam samo ono što je trenutno potrebno. Sinhronizujem sve svoje lične fajlove i fascikle sa Dropboxom, znam da nije baš pouzdan, ali obavlja samo funkciju sinhronizacije. I on to radi najbolje, barem iz onoga što sam ja pokušao. I probao sam sve poznate i ne tako poznate oblake.
Synology također ima svoj oblak, možete ga postaviti na svoj NAS, nekoliko puta sam pokušavao da se prebacim sa Dropboxa na Synology Cloud Station, ali uvijek je bilo problema sa sinhronizacijom, uvijek je bilo nekih grešaka ili nisam sve sinhronizirao.
Svi važni fajlovi su pohranjeni u Dropbox folderu, ponekad nešto spremim na radnu površinu, da nešto ne izgubim, napravio sam simbolički link na Dropbox folder pomoću programa MacDropAny.
Moj folder za preuzimanje nije sinhronizovan ni na koji način, ali tu nema ničeg važnog, samo privremene datoteke. Ako preuzmem nešto važno, kopiram ga u odgovarajuću mapu u Dropboxu.
Moje avanture sa DropboxomJednom davno, negdje 2013-2014, pohranio sam sve svoje fajlove u Dropbox i samo tamo nije bilo rezervnih kopija. Tada nisam imao 1Tb, odnosno nisam ga platio, imao sam oko 25Gb, koje sam zaradio pozivanjem prijatelja ili drugim zadacima.
Jednog lepog jutra sam upalio kompjuter i svi moji fajlovi su nestali, dobio sam i pismo od Dropboxa gde se izvinjavaju i da su moji fajlovi nestali njihovom krivicom. Dali su mi link gdje mogu vratiti svoje fajlove, ali naravno ništa nije vraćeno. Za to su mi dali 1Tb na godinu dana, nakon čega sam postao njihov klijent, koliko god to čudno zvučalo, ali im nikad nisam vjerovao.
Kao što sam gore napisao, nisam mogao pronaći oblak koji bi mi više odgovarao, prvo, još nije bilo problema sa sinkronizacijom, a drugo, mnogi različiti servisi rade samo sa Dropboxom.
ići
Radni fajlovi se čuvaju na radnom serveru, lični projekti se čuvaju na GitLabu, ovde je sve jednostavno.
Vremeplov
Pravim i sigurnosnu kopiju cijelog sistema, isključujući naravno Dropbox i Downloads folder kako ne bih uzalud zauzimao prostor. Pravim rezervnu kopiju sistema koristeći Time Machine, odličan alat koji mi je više puta pomogao. Ja to radim na istom NAS-u, srećom ima takvu funkciju. Naravno, možete to učiniti na vanjskom HDD-u, ali nije tako zgodno. Svaki put kada trebate da povežete eksterni disk i sami pokrenete Time Machine. Zbog lijenosti sam često pravio takve rezervne kopije jednom u nekoliko sedmica. On automatski pravi rezervne kopije na serveru, ne primećujem ni kada to radi. Radim od kuće, tako da uvijek imam svježu rezervnu kopiju cijelog sistema. Kopija se pravi nekoliko puta dnevno, nisam računao koliko puta i koliko često.
NAS
Ovde se dešava sva magija.
Synology ima odličan alat, zove se Cloud Sync, mislim da je iz naziva jasno šta radi.
Može da sinhronizuje mnoge sisteme u oblaku međusobno, ili preciznije, sinhronizuje datoteke sa NAS servera sa drugim oblacima. Mislim da postoji recenzija ovog programa na internetu. Neću ulaziti u detalje. Bolje da opišem kako ga koristim.
Na serveru imam fasciklu na disku koja se zove Dropbox, to je kopija mog Dropbox naloga, Cloud Sync je odgovoran za sinhronizaciju svega ovoga. Ako se nešto dogodilo sa fajlovima u Dropboxu, to će se desiti na serveru, nije važno da li je izbrisano ili kreirano. Općenito, klasična sinhronizacija.
Yandex disk
Zatim bacam sve ove datoteke na svoj Yandex disk, koristim ga kao domaći backup disk, odnosno bacam datoteke tamo, ali ne brišem ništa odatle, ispostavilo se da je to takva deponija datoteka, ali pomoglo je par puta.
Google Drive
Tamo šaljem samo folder "Fotografije", također u načinu sinhronizacije, to radim samo za praktično gledanje fotografija u Google fotografijama i uz mogućnost brisanja fotografija odatle i brišu se svuda (osim Yandex diska naravno). Pisaću o fotografiji u nastavku; možete čak i tamo napisati poseban članak.
HyperBackup
Ali sve ovo nije baš pouzdano; ako slučajno izbrišete datoteku, ona će biti svuda izbrisana i možete je smatrati izgubljenom. Možete, naravno, vratiti s Yandex diska, ali prvo, sigurnosna kopija na jednom mjestu nije sama po sebi pouzdana, a sam Yandex disk nije usluga u koju možete biti 100% sigurni, iako nikada nije postojao problema sa tim.
Stoga sam uvijek pokušavao da skladištim fajlove negdje drugdje, uz normalan backup sistem.
Synology također ima alat za to, zove se HyperBackup, koji pravi sigurnosne kopije datoteka ili na drugim Synology serverima ili na nekim cloud rješenjima proizvođača trećih strana.
Takođe može da pravi rezervne kopije na eksternim diskovima povezanim na NAS, što sam donedavno radio. Ali to također nije pouzdano, na primjer, ako dođe do požara, onda je kraj i servera i HDD-a.
Synology C2
Ovdje se postepeno približavamo drugoj usluzi, ovaj put iz same Synology. Ima svoje oblake za čuvanje rezervnih kopija. Dizajniran je posebno za HyperBackup, on tamo pravi sigurnosne kopije svaki dan, ali ovo je dobro osmišljena sigurnosna kopija, postoje verzije datoteka, vremenska linija, pa čak i klijenti za Windows i mac os.
To je sve za pohranu datoteka, nadam se da su moji fajlovi sigurni.
Sada pređimo na sortiranje datoteka.
Ručno sortiram obične fajlove, knjige, skenirane dokumente i druge nebitne fajlove u fascikle, kao i sve ostalo. Obično ih nema puno i rijetko ih otvaram.
Najteže je sortirati fotografije i video zapise, imam ih puno.
Snimim od nekoliko desetina do nekoliko stotina fotografija mjesečno. Snimam DSLR-om, dronom i ponekad telefonom. Fotografije mogu biti lične ili za zalihe. Ponekad snimam i kućne video zapise (ne ono što mislite, samo porodične, često sa ćerkom). Takođe ga treba nekako uskladištiti i sortirati kako ne bi postao nered.
Imam folder u istom Dropboxu koji se zove Sort Images, postoje podfolderi u koje idu sve fotografije i video zapisi, odatle se snimaju i sortiraju gdje je potrebno.
Sortiranje se odvija na NAS serveru, tamo rade bash skripte koje se automatski pokreću jednom dnevno i rade svoj posao. NAS je također odgovoran za njihovo pokretanje; postoji planer zadataka koji je odgovoran za pokretanje svih skripti i drugih zadataka. Možete konfigurirati koliko često i kada će se zadaci pokretati, cron sa sučeljem ako je jednostavnije.
Svaki folder ima svoju skriptu. Sada više o folderima:
trut — evo fotografija sa drona koje sam snimio u lične svrhe. Prvo obrađujem sve fotografije u lightroomu, a zatim izvozim JPG u ovaj folder. Odatle završavaju u drugom Dropbox folderu, "Photo".
Postoji folder “Drone” i tamo su već sortirani po godini i mjesecu. Skripte same kreiraju potrebne foldere i same preimenuju fotografije prema mom šablonu, obično je to datum i vrijeme snimanja fotografije, dodajem i nasumični broj na kraju kako se fajlovi sa istim imenom ne bi pojavljivali. Ne sjećam se zašto postavljanje sekundi u nazivu datoteke nije bilo prikladno za ove svrhe.
Drvo izgleda ovako: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone Video — Još ne snimam video dronom, ima dosta toga da naučim, nemam vremena za to sada, ali već sam napravio folder.
Operacije slike — unutra se nalaze dva foldera, kada se fajlovi tamo pronađu, oni se jednostavno ili komprimiraju na maksimalnoj strani na 2000px za objavljivanje na internetu, ili se slike okreću, ovo mi više ne treba, ali još nisam obrisao folder.
Panorame — tu dolaze panorame, kao što možete pretpostaviti, ja ih čuvam odvojeno pošto je ovo posebna vrsta fotografije, obično ih snimam dronom. Radim i obične panorame, ali radim i panorame od 360 i ponekad sfere, ovakve panorame poput malih planeta, radim i sa dronom. Iz ovog foldera sve fotografije takođe idu u Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg. Ovdje ne sortiram po mjesecima jer nema toliko panorama.
Personal Photo — Evo fotografija koje snimam DSLR-om, obično su to porodične fotografije ili fotografije s putovanja, općenito, fotografije koje se snimaju za uspomenu i za sebe. Također obrađujem neobrađene fotografije u Lightroomu, a zatim ih izvozim ovdje.
Odavde dolaze ovdje: Fotografija/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Ako sam slikao neku proslavu ili nešto drugo što bi bilo bolje odvojeno pohraniti, onda u folderu 2019 napravim folder sa nazivom proslave i tu ručno kopiram fotografiju.
RAW — evo izvora fotografija. Uvek snimam u RAW formatu, sve fotografije spremam u JPG, ali ponekad želim da pohranim i RAW fajlove, ponekad želim drugačije da obradim okvir. Obično je ovo priroda i samo najbolji snimci dođu do toga, a ne svi redom.
Stock Photo — ovdje postavljam fotografije za stock fotografije, koje snimam ili na DSLR ili na dron. Sortiranje je isto kao i na drugim fotografijama, samo u posebnom folderu.
U korijenskom direktoriju Dropbox-a nalazi se mapa Camera Uploads, ovo je zadana mapa u koju Dropbox mobilna aplikacija postavlja sve fotografije i video zapise. Sve fotografije supruge sa telefona su izbačene na ovaj način. Također postavljam sve svoje fotografije i video zapise sa svog telefona ovdje i odatle ih sortiram u poseban folder. Ali ja to radim na drugačiji način, meni zgodniji. Postoji takav program za Android, FolderSync, koji vam omogućava da snimite sve fotografije sa svog mobilnog telefona, otpremite ih na Dropbox i zatim ih izbrišete sa telefona. Ima dosta podešavanja, preporučujem. Video snimci sa vašeg telefona takođe idu u ovu fasciklu, takođe su sortirani kao i sve fotografije, po godini i mesecu.
Sve sam skripte sam prikupio iz raznih uputstava na internetu, nisam našao gotova rješenja. Ne znam baš ništa o bash skriptama, možda ima nekih grešaka ili bi neke stvari mogle bolje da se urade, ali meni je najvažnije da rade svoj posao i rade ono što meni treba.
Skripte su postavljene na GitHub:
Ranije sam za sortiranje fotografija i videa koristio Hazel pod mac os-om, tamo je sve lakše, svi zadaci se kreiraju vizualno, nema potrebe za pisanjem koda, ali postoje dva nedostatka. Prvo, morate zadržati sve fascikle na računaru da sve radi dobro, a drugo, ako iznenada pređem na Windows ili Linux, tamo nema takvih programa. Pokušao sam da potražim alternativu, ali sve su bile bezuspešne. Rješenje sa skriptama na serveru je univerzalnije rješenje.
Sve skripte su konfigurisane da se izvršavaju jednom dnevno, obično noću. Ali ako nemate vremena za čekanje i trebate nekako sada izvršiti potrebnu skriptu, postoje dva rješenja: povežite se preko SSH-a na server i izvršite potrebnu skriptu ili idite na admin panel i također ručno pokrenite traženu skriptu. script. Sve mi se to čini nezgodnim, pa sam našao treće rješenje. Postoji program za Android koji može slati ssh komande. Napravio sam nekoliko komandi, svaka ima svoje dugme, a sada ako treba da sortiram, na primer, fotografije koje sam snimio sa drona, onda samo pritisnem jedno dugme i skripta se pokreće. Program se zove SSHing, ima i drugih sličnih, ali meni je ovo najpogodniji.
Imam i nekoliko svojih sajtova, više su za pokazivanje, skoro niko ne ide tamo, ali ipak ne škodi napraviti backup. Pokrećem svoje stranice na DigitalOceanu, gdje sam instalirao aaPanel panel. Tamo je moguće napraviti rezervne kopije svih datoteka i svih baza podataka, ali na istom disku.
Čuvanje rezervne kopije na istom disku nije slučaj, tako da koristim i bash skriptu da odem tamo i sve kopiram na svoj server, arhivirajući sve u jednu arhivu sa datumom u imenu.
Nadam se da će bar nekome pomoći metode koje koristim i sa kojima sam podijelio.
Kao što se vidi iz članka, volim automatizaciju i trudim se da automatizujem sve što je moguće, nisam mnogo toga opisivao sa stanovišta automatizacije, pošto su to već druge teme i drugi članci.
izvor: www.habr.com