Dugo sam htio pisati o tome kako pohranjujem svoje datoteke, kako radim sigurnosne kopije, ali ruke mi nikako nisu dolazile do toga. Nedavno je ovdje izašao članak, donekle sličan mome, ali s drugačijim pristupom.
Godinama sam pokušavao pronaći savršenu metodu za pohranu datoteka. Mislim da sam ga našao, ali uvijek ima nešto za poboljšati, ako ima razmišljanja kako to učiniti boljim, pročitat ću to sa zadovoljstvom.
Za početak ću vam reći nekoliko riječi o sebi, ja sam web programer i fotografiram u slobodno vrijeme. Otuda zaključak da trebam pohraniti radne i osobne projekte, fotografije, videozapise i druge datoteke.
Imam oko 680 GB datoteka, od čega su 90 posto fotografije i video.
Cikliranje datoteka u mojim trezorima:
Ovdje je približan dijagram kako i gdje su pohranjene sve moje datoteke.
Sada više.
Kao što vidite, srce svega je moj NAS, točnije Synology DS214, jedan od najjednostavnijih NAS-ova iz Synologyja, međutim, nosi se sa svime što mi treba.
Dropbox
Moj radni stroj je macbook pro 13, 2015. Tamo imam 512GB, ali ne stanu sve datoteke same od sebe, spremam samo ono što mi trenutno treba. Sinkroniziram sve svoje osobne datoteke i mape s Dropboxom, znam da to nije baš pouzdano, ali obavlja samo funkciju sinkronizacije. I on to radi najbolje, barem koliko sam ja probao. I probao sam sve poznate i ne baš oblake.
Synology ima i svoj cloud, možete ga postaviti na NAS, nekoliko puta sam pokušao prebaciti s Dropboxa na Synology Cloud Station, ali uvijek je bilo problema sa sinkronizacijom, uvijek neke greške ili nije sve sinkronizirano.
Sve važne datoteke su pohranjene u mapi Dropbox, ponekad nešto spremim na desktop, da ne bih nešto izgubila, napravila sam simbolički link na mapu Dropbox pomoću programa MacDropAny.
Mapa Download nije nikako sinkronizirana, ali tamo nema ništa važno, samo privremene datoteke. Ako preuzmem nešto važno, onda to kopiram u odgovarajuću mapu u Dropboxu.
Moje avanture s DropboxomJednom davno, negdje 2013-2014, sve sam datoteke držao u Dropboxu i jedino u njemu nije bilo sigurnosne kopije. Tada nisam imao 1Tb, odnosno nisam ga platio, imao sam oko 25Gb, koje sam zaradio pozivanjem prijatelja ili drugim zadacima.
Jednog lijepog jutra sam upalio kompjuter i sve moje datoteke su nestale, također sam dobio e-mail od Dropboxa gdje se ispričavaju i da su moje datoteke nestale njihovom krivnjom. Dali su mi poveznicu na kojoj mogu vratiti svoje datoteke, ali ništa se nije vratilo samo od sebe. Za to su mi dali 1Tb na godinu dana, nakon čega sam postao njihov klijent, koliko god to čudno zvučalo, ali nikada im nisam vjerovao.
Kao što sam gore napisao, nisam mogao pronaći oblak koji bi mi više odgovarao, prvo, još nije bilo problema sa sinkronizacijom, a drugo, puno svih vrsta usluga radi samo s Dropboxom.
ići
Radne datoteke pohranjuju se na radni poslužitelj, osobni projekti na GitLab, ovdje je sve jednostavno.
vremeplov
Napravim i backup cijelog sustava, izuzimajući sam Dropbox i mapu Downloads, da ne zauzimam prostor uzalud. Sigurnosno kopiram sustav preko Time Machinea, odličan alat, pomogao mi je više puta. Radim to na istom NAS-u, jer tamo postoji takva funkcija. Možete to učiniti na vanjskom HDD-u, naravno, ali nije tako zgodno. Svaki put morate spojiti vanjski pogon i sami pokrenuti Time Machine. Zbog lijenosti sam takve sigurnosne kopije često radio svakih nekoliko tjedana. Na serveru automatski napravi backup, ja ni ne primijetim kad to napravi. Radim od kuće tako da uvijek imam svježu sigurnosnu kopiju svog cijelog sustava. Preslika se radi nekoliko puta dnevno, nisam brojao koliko puta i koliko puta.
NAS
Ovdje se događa sva magija.
Synology ima odličan alat, zove se Cloud Sync, mislim da je iz naziva jasno čemu služi.
Može sinkronizirati mnoge cloud sustave međusobno, točnije, može sinkronizirati datoteke s NAS poslužitelja s drugim oblacima. Mislim da postoji pregled ovog programa na mreži. Neću ulaziti u detalje. Radije bih opisao kako ga koristim.
Na poslužitelju imam mapu na disku koja se zove Dropbox, to je kopija mog Dropbox računa, Cloud Sync obavlja svu sinkronizaciju. Ako se nešto dogodilo s datotekama u Dropboxu, dogodit će se i na poslužitelju, nije važno ako izbrišete/stvorite. Općenito, klasična sinkronizacija.
Yandex pogon
Nadalje, bacam sve te datoteke na svoj Yandex disk, koristim ga kao domaći backup disk, to jest, bacam datoteke tamo, ali ne brišem ništa odatle, ispada takav dump datoteka, ali pomoglo je nekoliko puta.
Google disk
Tamo šaljem samo mapu "Fotografije", također u načinu sinkronizacije, radim to samo za praktično pregledavanje fotografija u Google fotografijama i uz mogućnost brisanja fotografija od tamo i brišu se posvuda (osim samog Yandex diska) . Pisaću o fotografiji ispod, tamo općenito možete napisati zaseban članak.
hipersigurnosna kopija
Ali sve to nije vrlo pouzdano, ako slučajno izbrišete datoteku, tada će se izbrisati posvuda i možete je smatrati izgubljenom. Možete, naravno, vratiti s Yandex diska, ali prvo, sigurnosna kopija na jednom mjestu nije baš pouzdana sama po sebi, a sam Yandex disk nije usluga u koju možete biti 100% sigurni, iako nikada nije imao problema.
Stoga sam uvijek pokušavao pohraniti datoteke negdje drugdje, već s normalnim backup sustavom.
Synology također ima alat za to, zove se HyperBackup, sigurnosno kopira datoteke ili na druge Synology poslužitelje ili na neka treća rješenja u oblaku.
Također zna napraviti sigurnosnu kopiju na vanjskim diskovima spojenim na NAS-y, što sam i ja radio donedavno. Ali to također nije pouzdano, na primjer, ako dođe do požara, onda kraj i poslužitelja i HDD-a.
Synology C2
Ovdje se glatko približavamo drugoj usluzi, već od samog Synologyja. Ona ima vlastite oblake za pohranu sigurnosnih kopija. Nabrušen je posebno za HyperBackup, tamo radi backup svaki dan, ali ovo je već dobro osmišljen backup, postoje verzije datoteka, vremenska linija, pa čak i klijenti za windows i mac os.
To je sve, s pohranom datoteka, nadam se da su moje datoteke sigurne.
Sada prijeđimo na sortiranje datoteka.
Obične datoteke, knjige, skenirane dokumente i druge nevažne datoteke, kao i sve ostalo, rukama razvrstavam u mape. Obično ih nema puno i rijetko ih otvaram.
Najteže je sortirati fotografije i videa, imam ih jako puno.
Fotografiram od nekoliko desetaka do nekoliko stotina mjesečno. Snimam DSLR-om, dronom, a ponekad i telefonom. Slike su osobne i za zalihe. Također ponekad snimam kućne videe (nije ono što ste mislili, samo obiteljske videe, češće s kćeri). I to treba nekako spremiti i sortirati, da ne bude kaše.
Imam mapu u istom Dropboxu koja se zove Sort Images, postoje podmape u koje idu sve fotografije i videozapisi, odatle se uzimaju i sortiraju gdje je potrebno.
Sortiranje se odvija na NAS serveru, postoje bash skripte koje se automatski pokreću jednom dnevno i rade svoj posao. NAS je također odgovoran za njihovo pokretanje, postoji task scheduler koji je odgovoran za pokretanje svih skripti i drugih zadataka. Možete konfigurirati koliko često i kada će se zadaci pokretati, cron sučelje ako je lakše.
Svaka mapa ima svoju skriptu. Sada više o mapama:
trut - evo fotografija iz drona koje sam snimio za osobne potrebe. Prvo obrađujem sve fotografije u Lightroomu, zatim izvozim JPG u ovu mapu. odatle završavaju u drugoj Dropbox mapi, "Photo".
Postoji mapa "Dron" i tamo su već poredani po godini i mjesecu. Skripte same stvaraju potrebne mape i same preimenuju fotografije prema mom predlošku, obično je to datum i vrijeme snimanja fotografije, dodam i slučajni broj na kraju kako ne bi ispale datoteke s istim nazivom. Ne sjećam se zašto postavljanje sekundi u nazivu datoteke nije bilo prikladno za ove svrhe.
Stablo izgleda ovako: Photo/Drone/2019/05 - May/01 - May - 2019_19.25.53_37.jpg
Drone video - Još ne snimam video dronom, tu se ima što naučiti, nema sad vremena za ovo, ali već sam napravio folder.
Operacije slike - unutra su dvije mape, kad tu naiđu fajlovi jednostavno se ili komprimiraju maksimalno na 2000px za objavu na internetu ili se napravi flip slika, to mi više ne treba, ali do sada nisam nisam izbrisao mapu.
Panorame - panorame, kao što nije teško pogoditi, dolaze ovdje, čuvam ih posebno, pošto je ovo specifična vrsta fotografija, obično ih slikam dronom. Radim i obične panorame, ali radim i 360 panorame i ponekad sfere, poput panorama malih planeta, radim i s dronom. Sve fotografije iz ove mape također završavaju u Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg. Ovdje ne sortiram po mjesecima, jer nema toliko panorama.
Osobna fotografija - Ovdje su fotografije koje snimam na SLR, obično su to obiteljske fotografije ili putovanja, općenito, fotografije koje slikam za uspomenu i za sebe. Također obrađujem sirove fotografije u Lightroomu i zatim ih izvozim ovdje.
Odavde dolaze ovdje: Photo/2019/05 – May/01 – May – 2019_19.25.53_37.jpg
Ako sam snimio neku proslavu ili nešto drugo što bi bilo bolje pohraniti odvojeno, onda u mapi 2019. napravim mapu s nazivom proslave i tamo kopiram fotografiju rukama.
RAW - evo izvora fotografije. Uvijek snimam u RAW formatu, sve fotografije pohranjujem u JPG, ali ponekad želim pohraniti i RAW datoteke, ponekad želim drugačije obraditi kadar. Obično je ovo priroda i tamo dospiju samo najbolji kadrovi, a ne svi za redom.
stock fotografija - ovdje postavljam fotografije za akcije, što radim ili na DSLR-u ili na dronu. Razvrstavanje je isto kao i na ostalim fotografijama, samo u zasebnoj mapi.
U korijenskom direktoriju Dropboxa nalazi se mapa Camera Uploads, ovo je zadana mapa u koju mobilna aplikacija Dropbox prenosi sve fotografije i videozapise. Sve fotografije supruge s telefona se tako izbacuju. Ovdje također bacam sve svoje fotografije i videozapise s telefona i sortiram ih u zasebnu mapu odavde. Ali ja to radim na drugačiji način, meni prikladniji. Postoji takav program za Android, FolderSync, omogućuje vam da uzmete sve fotografije s mobitela, postavite ih na Dropbox i zatim ih izbrišete s telefona. Postoji mnogo postavki, preporučujem. Video s telefona također spadaju u ovu mapu, oni su također poredani, kao i sve fotografije, po godini i mjesecu.
Sakupio sam sve skripte iz raznih uputa na internetu, nisam našao gotova rješenja. Ne znam uopće ništa o bash skriptama, možda ima grešaka ili bi se neke stvari mogle bolje napraviti, ali najvažnije mi je da rade svoj posao i rade ono što ja trebam.
Skripte prenesene na github:
Ranije sam koristio Hazel za mac os za sortiranje fotografija, videa, tamo je sve lakše, svi zadaci se kreiraju vizualno, nema potrebe za pisanjem koda, ali postoje dva minusa. Prvo, morate zadržati sve mape na računalu kako bi sve dobro radilo, a drugo, ako odjednom prijeđem na windows ili linux, tamo nema takvih programa. Pokušao sam potražiti alternativu, ali ništa. Rješenje sa skriptama na poslužitelju je univerzalnije rješenje.
Sve su skripte konfigurirane za pokretanje jednom dnevno, obično noću. Ali ako nemate vremena za čekanje i trebate sada nekako izvršiti željenu skriptu, postoje dva rješenja: spojite se putem SSH-a na poslužitelj i izvršite željenu skriptu ili idite na admin panel i ručno pokrenite željenu skriptu u Isti način. Sve ovo mi se ne čini zgodnim, pa sam našao treće rješenje. Postoji Android program koji može slati ssh naredbe. Napravio sam nekoliko naredbi, svaka ima svoju tipku i sada ako trebam sortirati npr. fotografije koje sam napravio s drona, onda samo pritisnem jednu tipku i skripta radi. Program se zove SSHing, ima još sličnih, ali meni je ovaj najprikladniji.
Imam i nekoliko svojih stranica, više su za pokazivanje, tamo gotovo nitko ne ide, ali ipak ne škodi napraviti backup. Držim stranice na DigitalOceanu, tamo sam instalirao aaPanel panel. Postoji mogućnost sigurnosnog kopiranja svih datoteka i svih baza podataka, ali na istom disku.
Držanje sigurnosne kopije na istom disku nije slučaj, pa i ja pokucam preko bash skripte i kopiram sve na svoj server, arhiviram sve u jednu arhivu sa datumom u naslovu.
Nadam se da će barem netko pomoći metodama koje koristim i s kojima sam podijelio.
Kao što vidite iz članka, volim automatizaciju i trudim se automatizirati sve što je moguće, mnoge stvari nisam opisivao sa stajališta automatizacije, budući da su to već druge teme i drugi članci.
Izvor: www.habr.com