Že dolgo sem si želel pisati o tem, kako shranjujem svoje datoteke in kako delam varnostne kopije, a mi nikakor ni uspelo. Pred kratkim se je tukaj pojavil članek, ki je nekoliko podoben mojemu, vendar z drugačnim pristopom.
Že vrsto let poskušam najti popoln način za shranjevanje datotek. Mislim, da sem našel, ampak vedno se da kaj izboljšati, če imate kakšno idejo, kako to narediti bolje, jo z veseljem preberem.
Začel bom z nekaj besedami o sebi, ukvarjam se z razvojem spletnih strani in v prostem času fotografiram. Od tod sklep, da moram shraniti službene in osebne projekte, fotografije, videe in druge datoteke.
Imam približno 680 GB datotek, od katerih je 90 odstotkov fotografij in videoposnetkov.
Kroženje datotek v mojih skladiščih:
Tukaj je približen diagram, kako in kje so shranjene vse moje datoteke.
Zdaj več.
Kot lahko vidite, je srce vsega moj NAS, in sicer Synology DS214, eden najpreprostejših NAS-ov iz Synologyja, vendar je kos vsemu, kar potrebujem.
varno shrambo
Moj delovni stroj je macbook pro 13, 2015. Tam imam 512GB, pa seveda ne štimajo vse datoteke, shranim samo tisto, kar je trenutno potrebno. Vse svoje osebne datoteke in mape sinhroniziram z Dropboxom, vem, da ni zelo zanesljiv, vendar opravlja samo funkcijo sinhronizacije. In to mu gre najbolje, vsaj po tem, kar sem poskusil. In poskusil sem vse znane in manj znane oblake.
Synology ima tudi svoj oblak, lahko ga razmestiš na NAS, večkrat sem poskušal preklopiti iz Dropboxa na Synology Cloud Station, pa so bile vedno težave s sinhronizacijo, vedno so bile kakšne napake ali pa nisem vsega sinhroniziral.
Vse pomembne datoteke so shranjene v mapi Dropbox, včasih si kaj shranim na namizje, da ne bi česa izgubil, sem s programom MacDropAny naredil simbolno povezavo do mape Dropbox.
Moja mapa Download ni sinhronizirana na noben način, vendar tam ni nič pomembnega, samo začasne datoteke. Če prenesem nekaj pomembnega, to kopiram v ustrezno mapo v Dropboxu.
Moje dogodivščine z DropboxomNekoč, nekje v letih 2013-2014, sem vse datoteke shranjeval v Dropbox in samo tam ni bilo varnostnih kopij. Potem nisem imel 1Tb, to pomeni, da ga nisem plačal, imel sem približno 25Gb, ki sem jih zaslužil s povabilom prijateljev ali drugimi opravili.
Nekega lepega jutra sem prižgal računalnik in vse moje datoteke so izginile, prejel sem tudi pismo od Dropboxa, kjer se opravičujejo in da so moje datoteke izginile po njihovi krivdi. Dali so mi povezavo, kjer bi lahko obnovil svoje datoteke, vendar se seveda nič ni obnovilo. Za to so mi dali 1Tb za eno leto, potem pa sem postal njihova stranka, pa naj se sliši še tako čudno, vendar jim nikoli nisem zaupal.
Kot sem napisal zgoraj, nisem mogel najti oblaka, ki bi bil bolj primeren zame, prvič, še ni bilo težav s sinhronizacijo, in drugič, veliko različnih storitev deluje samo z Dropboxom.
git
Delovne datoteke so shranjene na delovnem strežniku, osebni projekti so shranjeni na GitLabu, tukaj je vse preprosto.
Time Machine
Naredim tudi varnostno kopijo celotnega sistema, seveda brez mape Dropbox in Downloads, da ne jemljem prostora zaman. Varnostno kopiram sistem s Time Machineom, odličnim orodjem, ki mi je pomagalo že več kot enkrat. Jaz to delam na istem NAS-u, na srečo ima tako funkcijo. Seveda lahko to storite na zunanjem trdem disku, vendar ni tako priročno. Vsakič, ko morate priključiti zunanji disk in sami zagnati Time Machine. Zaradi lenobe sem pogosto delal takšne varnostne kopije enkrat na nekaj tednov. Samodejno dela varnostne kopije na strežnik, sploh ne opazim, kdaj to naredi. Delam od doma, zato imam vedno svežo varnostno kopijo celotnega sistema. Kopija se dela večkrat na dan, nisem štela kolikokrat in kako pogosto.
NAS
Tukaj se zgodi vsa čarovnija.
Synology ima odlično orodje, imenuje se Cloud Sync, mislim, da je iz imena jasno, kaj počne.
Med seboj lahko sinhronizira številne oblačne sisteme ali natančneje sinhronizira datoteke s strežnika NAS z drugimi oblaki. Mislim, da obstaja pregled tega programa na spletu. Ne bom šel v podrobnosti. Bolje, da opišem, kako ga uporabljam.
Na strežniku imam mapo na disku, imenovano Dropbox, je kopija mojega računa Dropbox, Cloud Sync je odgovoren za sinhronizacijo vsega tega. Če se je nekaj zgodilo z datotekami v Dropboxu, se bo to zgodilo na strežniku, ne glede na to, ali so izbrisane ali ustvarjene. Na splošno klasična sinhronizacija.
Yandex disk
Nato vržem vse te datoteke na svoj disk Yandex, uporabljam ga kot domači varnostni disk, to pomeni, da vržem datoteke tja, vendar od tam ne izbrišem ničesar, izkaže se, da je tako odlagališče datotek, vendar nekajkrat je pomagalo.
Google Drive
Tam pošljem samo mapo »Fotografije«, tudi v načinu sinhronizacije, to naredim samo za udoben ogled fotografij v Google Photos in z možnostjo brisanja fotografij od tam in se izbrišejo povsod (razen diska Yandex seveda). Spodaj bom pisal o fotografiji, tam bi lahko napisali celo ločen članek.
HyperBackup
Toda vse to ni zelo zanesljivo; če pomotoma izbrišete datoteko, bo izbrisana povsod in jo lahko smatrate za izgubljeno. Seveda lahko obnovite z Yandex diska, ampak prvič, varnostna kopija na enem mestu sama po sebi ni zelo zanesljiva in Yandex disk sam po sebi ni storitev, v katero bi lahko bili 100% prepričani, čeprav jih nikoli ni bilo težave z njim.
Zato sem vedno poskušal shraniti datoteke nekje drugje, z običajnim varnostnim sistemom.
Synology ima tudi orodje za to, imenuje se HyperBackup, varnostno kopira datoteke bodisi na druge strežnike Synology bodisi na nekatere rešitve v oblaku tretjih proizvajalcev.
Prav tako lahko naredi varnostne kopije na zunanje diske, povezane z NAS, kar sem počel do nedavnega. Toda tudi to ni zanesljivo, na primer, če pride do požara, potem konec strežnika in trdega diska.
Synology C2
Tu se postopoma približujemo drugi storitvi, tokrat samemu Synologyju. Ima lastne oblake za shranjevanje varnostnih kopij. Zasnovan je posebej za HyperBackup, tam vsak dan naredi varnostne kopije, vendar je to dobro premišljena varnostna kopija, obstajajo različice datotek, časovnica in celo odjemalci za Windows in mac os.
To je vse za shranjevanje datotek, upam, da so moje datoteke na varnem.
Zdaj pa preidimo na razvrščanje datotek.
Navadne datoteke, knjige, skene dokumentov in druge nepomembne datoteke, tako kot vse drugo, ročno sortiram v mape. Ponavadi jih ni veliko in jih redkokdaj odprem.
Najtežje je razvrščanje fotografij in video posnetkov, imam jih veliko.
Mesečno posnamem od nekaj deset do nekaj sto fotografij. Snemam z DSLR, dronom in včasih s telefonom. Fotografije so lahko osebne ali za zalogo. Včasih snemam tudi domače videoposnetke (ne kar bi si mislili, samo družinske videoposnetke, pogosto s hčerko). Prav tako ga je treba nekako shraniti in sortirati, da ne postane nered.
V istem Dropboxu imam mapo z imenom Razvrsti slike, tam so podmape, kamor gredo vse fotografije in videi, od tam se vzamejo in razvrstijo, kjer je treba.
Razvrščanje poteka na strežniku NAS, tam tečejo bash skripte, ki se samodejno zaženejo enkrat na dan in opravijo svoje delo. Za njihov zagon je odgovoren tudi NAS; za zagon vseh skriptov in drugih opravil je odgovoren razporejevalnik opravil. Konfigurirate lahko, kako pogosto in kdaj bodo opravila zagnana, cron z vmesnikom, če je preprostejši.
Vsaka mapa ima svoj skript. Zdaj pa več o mapah:
Drone — tukaj so fotografije z drona, ki sem jih posnel za osebne namene. Najprej vse fotografije obdelam v lightroomu, nato pa v to mapo izvozim JPG. Od tam končajo v drugi mapi Dropbox, »Photo«.
Obstaja mapa "Drone" in tam so že razvrščeni po letu in mesecu. Skripte same ustvarijo potrebne mape in same preimenujejo fotografije po moji predlogi, običajno je to datum in ura fotografiranja, na koncu dodam še naključno številko, da se ne prikažejo istoimenske datoteke. Ne spomnim se, zakaj nastavitev sekund v imenu datoteke ni bila primerna za te namene.
Drevo izgleda takole: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Video drona — Z dronom še ne snemam videa, veliko se je treba naučiti, zdaj nimam časa za to, sem pa že ustvaril mapo.
Operacije s slikami — notri sta dve mapi, ko se tam najdejo datoteke, se preprosto stisnejo na največjo stran na 2000px za objavo na internetu ali pa se slike obrnejo, tega ne potrebujem več, vendar mape še nisem izbrisal.
Panorame — tu pridejo na vrsto panorame, kot lahko uganete, jih shranjujem posebej, ker je to specifična vrsta fotografij, ponavadi jih posnamem z dronom. Delam tudi običajne panorame, delam pa tudi 360 panorame in včasih sfere, tovrstne panorame kot so mali planeti, delam tudi z dronom. Iz te mape gredo vse fotografije tudi na Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg. Tukaj ne razvrščam po mesecih, ker ni toliko panoram.
Osebna fotografija — Tukaj so fotografije, ki jih posnamem z DSLR, običajno so to družinske fotografije ali potovanja, na splošno fotografije, ki so posnete za spomin in zase. V Lightroomu obdelam tudi neobdelane fotografije in jih nato izvozim sem.
Od tu pridejo sem: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Če sem fotografiral kakšno praznovanje ali kaj drugega, kar bi bilo bolje shraniti posebej, potem v mapi 2019 ustvarim mapo z imenom praznovanja in tja ročno skopiram fotografijo.
RAW — tukaj so viri fotografij. Vedno fotografiram v RAW, vse fotografije shranjujem v JPG, včasih pa želim shraniti tudi RAW datoteke, včasih želim obdelati okvir drugače. Ponavadi je to narava in tja pridejo le najboljši posnetki, ne vsi po vrsti.
Stock Photo — tukaj naložim fotografije za stock fotografije, ki jih posnamem na DSLR ali na dron. Razvrščanje je enako kot pri drugih fotografijah, le v svoji ločeni mapi.
V korenskem imeniku Dropboxa je mapa Camera Uploads, to je privzeta mapa, v katero mobilna aplikacija Dropbox naloži vse fotografije in videe. Vse fotografije žene iz telefona na ta način odpadejo. Sem tudi naložim vse svoje fotografije in videe iz telefona, od tam pa jih razvrstim v ločeno mapo. Ampak to počnem na drugačen način, bolj primeren zame. Obstaja tak program za Android, FolderSync, omogoča, da posnamete vse fotografije iz svojega mobilnega telefona, jih naložite v Dropbox in jih nato izbrišete iz telefona. Nastavitev je veliko, priporočam. V to mapo gredo tudi videoposnetki iz vašega telefona; prav tako so razvrščeni kot vse fotografije, po letu in mesecu.
Vse skripte sem zbral sam iz raznih navodil na internetu, nobene pripravljene rešitve nisem našel. Ne vem čisto nič o bash skriptah, morda so kakšne napake ali pa bi se dalo kaj bolje narediti, a najbolj pomembno mi je, da opravljajo svoje delo in delajo, kar potrebujem.
Skripti so bili naloženi na GitHub:
Prej sem za razvrščanje fotografij in videov uporabljal Hazel pod mac os, tam je vse lažje, vse naloge so ustvarjene vizualno, kode ni treba pisati, vendar sta dve pomanjkljivosti. Prvič, v računalniku morate ohraniti vse mape, da vse dobro deluje, in drugič, če nenadoma preklopim na Windows ali Linux, tam ni takih programov. Poskušal sem poiskati alternativo, vendar so bile vse brez uspeha. Rešitev s skriptami na strežniku je bolj univerzalna rešitev.
Vsi skripti so konfigurirani za izvajanje enkrat na dan, običajno ponoči. Če pa nimate časa čakati in morate zdaj nekako izvesti zahtevani skript, obstajata dve rešitvi: povežite se prek SSH s strežnikom in izvedite zahtevani skript ali pa pojdite na skrbniško ploščo in prav tako ročno zaženite zahtevani scenarij. Vse to se mi zdi neprijetno, zato sem našel tretjo rešitev. Obstaja program za Android, ki lahko pošilja ukaze ssh. Ustvaril sem več ukazov, vsak ima svoj gumb in zdaj, če moram sortirati npr. fotografije, ki sem jih posnel z drona, potem samo pritisnem en gumb in skripta teče. Program se imenuje SSHing, obstajajo še drugi podobni, a meni je ta najbolj priročen.
Imam tudi več svojih strani, so bolj za predstavo, tja skoraj nihče ne hodi, a vseeno ne škodi narediti backup. Svoja spletna mesta vodim na DigitalOcean, kjer sem namestil ploščo aaPanel. Tam je mogoče narediti varnostne kopije vseh datotek in vseh baz podatkov, vendar na isti disk.
Shranjevanje varnostne kopije na isti disk ni tako, zato uporabim tudi skript bash, da grem tja in kopiram vse na svoj strežnik, vse arhiviram v en arhiv z datumom v imenu.
Upam, da bodo vsaj komu pomagale metode, ki jih uporabljam in s katerimi sem delil.
Kot je razvidno iz članka obožujem avtomatizacijo in poskušam avtomatizirati vse kar se da, veliko stvari nisem opisoval z vidika avtomatizacije, saj so to že druge teme in drugi članki.
Vir: www.habr.com