Olen pikka aega tahtnud kirjutada sellest, kuidas ma oma faile hoian, kuidas teen varukoopiaid, aga pole lihtsalt jõudnud. Hiljuti ilmus siia artikkel, mis on minu omaga mõnes mõttes sarnane, kuid erineva lähenemisega.
Olen juba aastaid püüdnud leida enda jaoks ideaalset meetodit failide hoidmiseks. Arvan, et olen selle leidnud, kuid alati on midagi, mida saaks paremaks muuta; kui kellelgi on mõtteid, kuidas seda paremini teha, loen neid hea meelega.
Alustan sellest, et räägin paar sõna endast. Olen veebiarendusega tegelnud ja vabast ajast fotografeerin. Seetõttu pean hoidma nii töö- kui ka isiklikke projekte, fotosid, videosid ja muid faile.
Mul on umbes 680 GB faile, millest umbes 90% on fotod ja videod.
Failide ringlus minu hoidlates:
Siin on umbkaudne skeem, kuidas ja kus kõik mu failid on hoitud.
Nüüd vaatakse lähemalt.
Nagu näha, on kogu süsteemi südameks minu NAS, täpsemalt Synology DS214, üks lihtsalt NAS-idest Synology-lt, kuid ometigi suudab see hallata kõike, mida ma vajan.
Dropbox
Minu töömasin on MacBook Pro 13, 2015. aastast. Mul on seal 512GB, aga loomulikult ei mahu sinna kõik failid, hoian vaid neid, mis on hetkel vajalikud. Kõik oma isiklikud failid ja kaustad sünkroonin Dropboxiga, tean, et see ei ole väga usaldusväärne, kuid see täidab ainult sünkroniseerimise funktsiooni. Ja ta teeb seda parimal moel, vähemalt kõikide nende seas, mida olen proovinud. Olen proovinud kõiki tuntud ja vähem tuntud pilveteenuseid.
Synology-l on ka oma pilv, mida saab oma NAS-il käivitada. Olen mitu korda proovinud üle minna Dropboxilt Synology Cloud Stationile, kuid seal olid alati sünkroniseerimise probleemid, pidevalt mingid vead või ei sünkrooninud kõike.
Kõik olulised failid on hoitud Dropboxi kaustas, vahel salvestan midagi töölauale, et mitte midagi kaotada, tegin Dropboxi kausta sümboolsed lingid MacDropAny rakenduse abil.
Minu allalaadimise kaust ei sünkroonitu kuidagi, kuid seal pole ka midagi olulist, ainult ajutised failid. Kui laen alla midagi olulist, koputan selle vastavasse kausta Dropboxis.
Minu seiklused DropboxigaKaua aega tagasi, kuskil 2013-2014 hoidsin kõiki faile ainult Dropboxis ja ei teinud ühtegi varukoopiat. Sel ajal mul ei olnud 1TB, st ma ei maksnud selle eest, mul oli kuskil 25GB, mille teenisin sõprade kutsumise või teiste ülesannete kaudu.
Ühel kaunil hommikul lülitasin arvuti sisse ja kõik mu failid olid kadunud. Sain ka kirja Dropboxilt, kus nad vabandavad ja ütlevad, et failid kadusid nende süül. Nad andsid mulle lingi, mille kaudu ma sain oma faile taastada, kuid loomulikult ei taastunud need. Selle asemel kingiti mulle aastaks 1TB, pärast mida sain nende kliendiks, kuigi see kõlab imelikult, aga ma pole kunagi neile usaldanud.
Nagu kirjutasin, ei suutnud leida endale paremat pilve, esiteks polnud veel sünkroniseerimise probleeme, teiseks töötavad paljud teenused ainult Dropboxiga.
Git
Töötamiseks vajalikud failid hoian tööserveris, isiklikud projektid on GitLabis, siin on kõik lihtne.
Time Machine
Teeksin ka kogu süsteemi varukoopia, välja arvatud Dropbox ja Downloads, et mitte koormata mäluruumi. Tean, et süsteemi varukoopia teen läbi Time Machine'i, suurepärane tööriist, mis on mind korduvalt aidanud. Teen seda samal NAS-il, õnneks on seal selline funktsioon. Võib seda teha ka välisele HDD-le, kuid see pole nii mugav. Iga kord tuleb välist ketast ühendada ja ise Time Machine'i käivitada. Loodusest tingituna tegin selliseid varukoopiaid tihti paar korda nädalas. Serveris teeb see automaatselt varukoopia, ma isegi ei märkagi, kui see juhtub. Töötan kodust, seega on mul alati värske varukoopia kogu minu süsteemist. Korduvad kopeerimised toimuvad mitu korda päevas, ma ei ole üldse arvestanud, kui tihti.
NAS
Siin toimub kogu maagia.
Synology-l on suurepärane tööriist, mida nimetatakse Cloud Synciks, arvan, et nimi ütleb edasi, mida see teeb.
See suudab sünkroniseerida mitmeid pilvesüsteeme omavahel, kui täpsemalt, sünkroniseerida faile NAS-serverist teiste pilvede vahel. Usun, et selle programmi ülevaade on internetis olemas. Ma ei hakka detailidesse laskuma. Paremini kirjeldan, kuidas ma seda kasutan.
Minu serveris on Dropboxi nimega kaust, mis on minu Dropboxi konto koopia, kogu sünkroniseerimine toimub Cloud Synci kaudu. Kui Dropboxis toimub midagi failidega, juhtub see ka serveris, olgu see siis kustutamine, loomine või muudatus. Kokkuvõttes on see klassikaline sünkroniseerimine.
Yandex Disk
Seejärel viskan kõik need failid oma Yandexi diskile, mida kasutan kui isetehtud varukoopia ketast, st viskan failid sinna, kuid ei kustuta sealt midagi, tulemusena on see failide prügimägi, aga mõned korrad on see mind päästnud.
Google Drive
Siia saadab ma ainult kausta «Photos», samuti sünkroniseerimise režiimis, teen ma seda ainult mugavuse huvides fotode vaatamiseks Google Photos'is ning võimalusega seal fotosid kustutada, ja need kustutatakse igalt poolt (välja arvatud Yandex Disk, iseenesest). Fotodest kirjutan hiljem, seal võiks isegi eraldi artikli kirjutada.
HyperBackup
Kuid see kõik ei ole väga usaldusväärne, kui juhuslikult fail kustutataks, siis see eemaldatakse igalt poolt ja võib pidada, et see on kadunud. Loomulikult saab taastada Yandex Disk'ist, kuid esiteks ei ole varukoopia ühes kohas ise asi, ja Yandex Disk ei ole teenus, millele 100% ulatuses kindel olla, kuigi minuga pole seni probleeme olnud.
Seega olen ma alati püüdnud faile veel kuskil hoida, juba normaalse varukoopia süsteemiga.
Synology'l on samuti selleks tööriist, mida nimetatakse HyperBackup, see teeb varukoopiaid kas teistele Synology serveritele või mõnedele kolmandate osapoolte pilveteenustele.
Samuti oskab ta teha varukoopiaid välistele ketastele, mis on ühendatud NAS-se, nii tegingi ma kuni viimasel ajal. Kuid see pole ka usaldusväärne, näiteks kui tulekahju, siis on lõpp nii serverile kui HDD-le.
Synology C2
Siin liigume sujuvalt teise teenuse juurde, juba Synology endaga. Neil on oma pilved varukoopiate hoidmiseks. See on mõeldud just HyperBackup'i jaoks, see teeb sinna varukoopia iga päev, kuid see on juba läbimõeldud varukoopia, seal on failiversioonid, ajaskaalad ja isegi kliendid Windowsile ja Mac OS-ile.
Sellega, failide hoidmisega on kõik, loodan, et mu failid on turvaliselt hoitud.
Nüüd liigume failide sortimise juurde.
Tavalised failid, raamatud, dokumentide skaneerimised ja teised vähem olulised failid, sorteerin ma nagu kõik käsitsi kaustade kaupa. Tavaliselt pole neid palju ja avatan neid harva.
Kõige keerulisem on fotode ja videote sorteerimisel, mul on neid palju.
Teen kohe mitu tosinat kuni mitusada fotot kuus. Teen neid peegelkaameraga, drooniga ja mõnikord telefoniga. Fotod võivad olla isiklikud ja varufotod. Samuti filmisin aeg-ajalt koduvideoid (mitte seda, mida võite mõelda, lihtsalt pereliikmete videoid, tihti tütrega). Seda tuleb samuti kuidagi salvestada ja sorteerida, et ei tekiks segadust.
Mul on kaust samas Dropbox'is, nimega Sort Images, seal on alakaustad, kuhu kõik fotod ja videod satuvad, sealt need võetakse ja sorteeritakse õigesse kohta.
Sorteerimine toimub NAS-serveris, kus töötavad bash skriptid, mis käivituvad automaatselt kord päevas ja täidavad oma ülesandeid. Nende käivitamise eest vastutab samuti NAS, millel on ülesannete planeerija, mis vastutab kõigi skriptide ja muude ülesannete käivitamise eest. Saate seadistada, kui tihti ja millal ülesanded käivitatakse, kront valikute pakkumisega, kui soovite lihtsamalt.
Iga kausta jaoks on oma skript. Nüüd lähemalt kaustadest:
Drone — siia tulevad fotod droonilt, mida olen teinud isiklikuks otstarbeks. Esiteks töötlen kõik fotod Lightroomis, seejärel teen siia kausta eksporti JPG formaadis. Sealt läheb see teise Dropboxi kausta, „Photo.“
Seal on kaust „Drone“ ja seal need juba sorteeritakse aastate ja kuude kaupa. Skriptid loovad ise vajalikud kaustad ja renimeerivad fotod minu mallile, tavaliselt on see foto võtmise kuupäev ja kellaaeg, lisaks lisan lõppu juhusliku numbri, et ei saaks faile sama nimega. Ma ei mäleta, miks sekundite korraldamine failinimes ei sobinud.
Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone Video — ma ei joo drooniga videoid, seal on palju õppida, nüüd pole selleks aega, aga kausta olen juba loonud.
Images Operations — siin sees on kaks kausta, kui failid seal satuvad, siis nad lihtsalt kas surutakse maksimaalse külje järgi 2000px-ni, et avaldada internetis, või tehakse piltide flip, seda mul nüüd ei ole vaja, aga ma pole kausta veel kustutanud.
Panoramas — siia satuvad nagu mitte raske oletada panoramad, hoian neid eraldi, kuna see on spetsiifiline fotode tüüp, tavaliselt teen neid drooniga. Teen ka tavalisi panoramasid, kuid teen ka 360 panoramasid ja mõnikord sfääre, selliseid panoramasid nagu väikesed planeedid, teen samuti drooniga. Sellest kaustast satuvad kõik fotod ka Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg. Siin ei tee ma sortimist kuude järgi, kuna panoramasid ei ole nii palju.
Personal Photo — Siia satuvad fotod, mida teen peegelkaameraga, tavaliselt on need peresündmused või reisid, üldiselt fotod, mida tehakse mälestuseks ja endale. Samuti töötlen toored fotod Lightroomis ja seejärel eksportin siia.
Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Kui olen salvestanud mõne tähistamise või muu asja, mida oleks parem eraldi hoida, siis loon kaustas 2019 tähistamise nimega kausta ja kopeerin sinna fotod käsitsi.
RAW — siia satuvad fotode algfailid. Ma pildistan alati RAW formaadis, kõik fotod hoian JPG formaadis, aga vahel tahan ka RAW-faile säilitada, vahel tahan mõnda kaadrit teistsuguselt töödelda. Tavaliselt on need looduse pildid ja nende hulka satuvad ainult parimad kaadrid, mitte kõik järjest.
Stock Photo — siia laadisin üles fotod, mida teen kas peegelkaameraga või drooniga. Sorteerimine on sama nagu muude fotode puhul, lihtsalt oma eraldi kausta.
Dropboxi juurkataloogis on kaust Camera Uploads, see on vaikekaust, kuhu Dropboxi mobiilirakendus kõik fotod ja videod edastab. Kõik mu naise telefonist tehtud fotod edastatakse selliselt. Mina edastan siia ka kõik oma telefonist tehtud fotod ja videod ning sorteerin sealt edasi eraldi kaustadesse. Kuid teen seda teisel viisil, mis on mulle mugavam. On olemas programm Androidile, FolderSync, see võimaldab kõik fotod mobiilist laadida Dropboxi ja seejärel telefonist kustutada. Seal on palju seadeid, soovitan. Sellesse kausta satuvad ka telefonivideod, neid sorteeritakse samuti nagu kõiki fotosid, aastate ja kuude kaupa.
Kõik skriptid olen kokku kogunud erinevatest juhenditest internetis, valmis lahendusi ei leidnud. Ma ei tea üldiselt midagi bash-skriptidest, võib-olla on seal mingeid vigu või midagi võiks paremini teha, aga kõige tähtsam — minu jaoks, nad täidavad oma ülesande ja teevad seda, mida ma vajan.
Skripte olen üles laadinud GitHubi:
Varem kasutasin fotode ja videode sortimiseks Hazelit mac os-is, seal on kõik lihtne, kõik ülesanded luuakse visuaalselt, ei pea koodi kirjutama, aga seal on kaks miinust. Esiteks peab kõik kaustad arvutis olema, et kõik hästi töötaks ja teiseks, kui peaksin Windowsile või Linuxile üle minema, siis selliseid programme seal ei ole. Olen proovinud otsida alternatiive, kuid kõik need olid kehvad. Lahendus skriptide kasutamiseks serveris on universaalsem lahendus.
Kõik skriptid on seadistatud tööle kord ööpäevas, tavaliselt öösel. Kuid kui oodata pole aega ja on vaja mõnda skripti kohe käivitada, on kaks lahendust: SSH kaudu serverisse sisse logida ja käivitada vajalik skript või minna admin-paneeli ja käivitada skript manuaalselt. Kaks viimast varianti tunduvad mulle ebamugavad, seetõttu leidsin kolmanda lahenduse. On olemas rakendus Androidile, mis suudab saata SSH-käske. Olen loonud mitu käsku, igale on oma nupp ja nüüd, kui pean näiteks sorteerima pilte, mille tegin drooniga, vajutan lihtsalt ühte nuppu ja skript käivitub. Rakendus nimega SSHing on minu arvates kõige mugavam, kuigi on ka teisi sarnaseid rakendusi.
Mul on ka mitu oma veebisaiti, need on rohkem lihtsalt kohal olemas, praegu ei käi seal praktiliselt keegi, aga varukoopia tegemine ei tee kunagi paha. Hoian oma saite DigitalOceanis, kus olen seadistanud aaPaneli. Seal on võimalus teha varukoopiaid kõikidest failidest ja andmebaasidest, kuid samal kettal.
Varukoopia pidamine samal kettal ei sobi, seetõttu loggin ka Bash-skripti kaudu sinna ja kopeerin kõik oma serverisse, arhiveerides kõik ühte arhiivi koos kuupäevalehe nimega.
Loodan, et mu kasutatavad meetodid aitavad kedagi, kellega olen jaganud.
Nagu artiklist näha, armastan automatiseerimist ja püüan automatiseerida kõike, mis võimalik; paljusid asju ma automatiseerimise seisukohalt ei kirjeldanud, kuna need on juba teised teemad ja muud artiklid.
Allikas: habr.com
