Olen juba ammu tahtnud kirjutada sellest, kuidas ma oma faile talletan ja varukoopiaid teen, kuid ma pole kunagi selleni jõudnud. Hiljuti ilmus siin artikkel, mis on mõnevõrra sarnane minu omaga, kuid teistsuguse lähenemisega.
Olen juba aastaid püüdnud leida täiuslikku meetodit failide salvestamiseks. Ma arvan, et leidsin selle, kuid alati on midagi parandada. Kui teil on ideid, kuidas seda paremini teha, siis loen seda hea meelega.
Alustuseks räägin paar sõna endast, tegelen veebiarendusega ja pildistan vabal ajal. Siit ka järeldus, et pean talletama töö- ja isiklikke projekte, fotosid, videoid ja muid faile.
Mul on umbes 680 GB faile, millest 90 protsenti on fotod ja videod.
Failide ringlus minu hoidlates:
Siin on ligikaudne diagramm selle kohta, kuidas ja kus kõik minu failid on salvestatud.
Nüüd rohkem
Nagu näete, on kõige südameks minu NAS, nimelt Synology DS214, üks Synology lihtsamaid NAS-e, kuid see saab kõigega hakkama, mida vajan.
edastuskast
Minu töömasin on macbook pro 13, 2015. Mul on seal 512GB, aga kõik failid muidugi ei mahu, salvestan ainult selle, mis parasjagu vaja on. Kõik isiklikud failid ja kaustad sünkroniseerin Dropboxiga, tean, et see pole kuigi töökindel, aga täidab ainult sünkroonimisfunktsiooni. Ja ta teeb seda kõige paremini, vähemalt selle põhjal, mida ma olen proovinud. Ja proovisin ära kõik kuulsad ja mitte nii kuulsad pilved.
Synologyl on ka oma pilv, saate seda oma NAS-is juurutada, proovisin mitu korda Dropboxilt Synology Cloud Stationile lülituda, kuid sünkroonimisega oli alati probleeme, alati esines vigu või ma ei sünkrooninud kõike.
Kõik olulised failid on salvestatud Dropboxi kausta, mõnikord salvestan midagi oma töölauale, et mitte midagi kaotada, tegin MacDropAny programmi abil sümlingi Dropboxi kausta.
Minu allalaadimise kausta ei sünkroniseerita kuidagi, aga seal pole midagi olulist, ainult ajutised failid. Kui ma midagi olulist alla laadin, kopeerin selle Dropboxi vastavasse kausta.
Minu seiklused DropboxigaKunagi, kuskil 2013-2014, salvestasin kõik oma failid Dropboxi ja ainult seal, ei olnud varukoopiaid. Siis ei olnud mul 1Tb, see tähendab, et ma ei maksnud selle eest, mul oli umbes 25 Gb, mille teenisin sõprade kutsumise või muude ülesannetega.
Ühel ilusal hommikul lülitasin arvuti sisse ja kõik failid kadusid, Dropboxist sain ka kirja, kus nad vabandavad ja et mu failid kadusid nende süül. Nad andsid mulle lingi, kus ma saan oma failid taastada, kuid loomulikult ei taastatud midagi. Selle eest andsid nad mulle aastaks 1Tb, misjärel minust sai nende klient, kui kummaliselt see ka ei kõlaks, aga ma ei usaldanud neid kunagi.
Nagu eespool kirjutasin, ei leidnud ma endale sobivamat pilve, esiteks polnud veel sünkroonimisprobleeme ja teiseks töötavad paljud erinevad teenused ainult Dropboxiga.
Git
Tööfailid salvestatakse tööserverisse, isiklikud projektid salvestatakse GitLabisse, siin on kõik lihtne.
ajamasin
Teen ka kogu süsteemist varukoopia, välja arvatud muidugi kaust Dropbox ja Downloads, et mitte asjata ruumi võtta. Varundan süsteemi Time Machine'i abil, mis on suurepärane tööriist, mis on mind rohkem kui korra aidanud. Teen seda sama NAS peal, õnneks on tal selline funktsioon. Muidugi saate seda teha välisel kõvakettal, kuid see pole nii mugav. Iga kord, kui peate ühendama välise draivi ja ise käivitama Time Machine. Laiskuse tõttu tegin selliseid varukoopiaid sageli kord paari nädala jooksul. Ta teeb automaatselt serverisse varukoopiaid, ma isegi ei pane tähele, kui ta seda teeb. Töötan kodus, nii et mul on alati kogu süsteemist värske varukoopia. Koopia tehakse mitu korda päevas, ma ei lugenud, mitu korda ja kui tihti.
NAS
Siin toimub kogu maagia.
Synologyl on suurepärane tööriist, selle nimi on Cloud Sync, ma arvan, et nime järgi on selge, mida see teeb.
See võib sünkroonida paljusid pilvesüsteeme üksteisega või täpsemalt sünkroonida faile NAS-serverist teiste pilvedega. Ma arvan, et selle programmi kohta on Internetis ülevaade. Ma ei lasku detailidesse. Ma parem kirjeldan, kuidas ma seda kasutan.
Serveris on mul kettakaust nimega Dropbox, see on minu Dropboxi konto koopia, kõige selle sünkroonimise eest vastutab Cloud Sync. Kui Dropboxis olevate failidega midagi juhtus, juhtub see serveris, pole vahet, kas see on kustutatud või loodud. Üldiselt klassikaline sünkroniseerimine.
Yandex ketas
Järgmiseks viskan kõik need failid oma Yandexi kettale, kasutan seda isetehtud varukoopiakettana ehk viskan failid sinna, aga ei kustuta sealt midagi, tuleb välja, et selline failide prügimägi, aga paar korda aitas.
Google Drive
Seal saadan ainult kausta "Fotod", ka sünkroonimisrežiimis, teen seda ainult fotode mugavaks vaatamiseks teenuses Google Photos ja võimalusega sealt fotosid kustutada ja need kustutatakse kõikjal (muidugi välja arvatud Yandexi ketas). Kirjutan allpool olevast fotost; sinna võiks isegi eraldi artikli kirjutada.
HüperBackup
Kuid see kõik pole eriti usaldusväärne; kui faili kogemata kustutate, kustutatakse see kõikjal ja võite lugeda selle kadunuks. Muidugi saate Yandexi kettalt taastada, kuid esiteks pole ühes kohas varundamine iseenesest kuigi usaldusväärne ja Yandexi ketas ise pole teenus, milles võite olla 100% kindel, kuigi seda pole kunagi olnud. probleeme sellega.
Seetõttu proovisin faile alati kuskil mujal, tavalise varundussüsteemiga salvestada.
Synologyl on selleks ka tööriist, nimega HyperBackup, mis varundab faile kas teistesse Synology serveritesse või mõnesse kolmandate osapoolte tootjate pilvelahendustesse.
See võib teha ka varukoopiaid NAS-iga ühendatud välistele draividele, mida ma tegin kuni viimase ajani. Aga see pole ka usaldusväärne, näiteks kui on tulekahju, siis nii serveri kui ka HDD ots.
Synology C2
Siin läheneme järk-järgult teisele teenusele, seekord Synology enda teenusele. Sellel on varukoopiate salvestamiseks oma pilved. See on loodud spetsiaalselt HyperBackupi jaoks, ta teeb seal iga päev varukoopiaid, kuid see on hästi läbimõeldud varukoopia, seal on failiversioonid, ajaskaala ja isegi Windowsi ja mac os-i kliendid.
See on kõik failide salvestamiseks, loodan, et mu failid on turvalised.
Liigume nüüd failide sorteerimise juurde.
Tavalised failid, raamatud, dokumentide skaneeringud ja muud ebaolulised failid sorteerin käsitsi kaustadesse nagu kõik muugi. Tavaliselt pole neid palju ja avan neid harva.
Kõige keerulisem on fotode ja videote sorteerimine, mul on neid palju.
Teen kuus mitukümmend kuni mitusada fotot. Pildistan DSLR-iga, drooniga ja vahel ka telefoniga. Fotod võivad olla isiklikud või laos olevad. Ma pildistan mõnikord ka koduvideoid (mitte seda, mida arvate, vaid lihtsalt perevideoid, sageli oma tütrega). Samuti tuleb seda kuidagi hoiustada ja sorteerida, et see jama ei läheks.
Mul on sealsamas Dropboxis kaust Sort Images, seal on alamkaustad, kuhu kõik fotod ja videod lähevad, sealt need tehakse ja sorteeritakse kuhu vaja.
Sorteerimine toimub NAS-i serveris, seal jooksevad bash-skriptid, mis käivituvad automaatselt kord päevas ja teevad oma töö. NAS vastutab ka nende käivitamise eest; on ülesannete planeerija, mis vastutab kõigi skriptide ja muude ülesannete käivitamise eest. Saate seadistada, kui sageli ja millal ülesandeid käivitatakse. Kui see on lihtsam, kasutage seda liidesega.
Igal kaustal on oma skript. Nüüd kaustade kohta lähemalt:
undamine — siin on fotod droonist, mille tegin isiklikuks otstarbeks. Kõigepealt töötlen kõik fotod lightroomis, seejärel ekspordin JPG sellesse kausta. Sealt satuvad nad teise Dropboxi kausta "Photo".
Seal on kaust “Drone” ja seal on need juba aasta ja kuu järgi sorteeritud. Skriptid loovad ise vajalikud kaustad ja nimetavad fotod ise ümber minu malli järgi, tavaliselt on see pildi tegemise kuupäev ja kellaaeg, lõppu lisan ka juhusliku numbri, et samanimelisi faile ei tekiks. Ma ei mäleta, miks failinime sekundite määramine nendel eesmärkidel ei sobinud.
Puu näeb välja selline: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drooni video — Ma ei filmi veel drooniga, õppida on palju, mul pole praegu selleks aega, aga ma olen juba kausta loonud.
Pilditoimingud — sees on kaks kausta, kui sealt failid leitakse, siis need lihtsalt kas tihendatakse maksimaalselt 2000px-ni internetis avaldamiseks või keeratakse pilte, mul pole seda enam vaja, aga ma pole kausta veel kustutanud.
Panoraamid — siin tulevadki panoraamid, nagu arvata võib, hoian neid eraldi, kuna tegemist on kindlat tüüpi fotodega, pildistan neid tavaliselt drooniga. Teen ka tavalisi panoraame, aga teen ka 360 panoraame ja vahel ka sfääre, sellised panoraamid nagu väikesed planeedid, teen ka drooniga. Sellest kaustast lähevad kõik fotod ka Photo/Panoramas/2019/01 - mai - 2019_19.25.53_37.jpg. Siin ma kuude järgi ei sorteeri, sest panoraame pole nii palju.
Isiklik foto — Siin on fotod, mida ma DSLR-iga pildistan, tavaliselt on need pere- või reisifotod, üldiselt mälestuseks ja iseenda jaoks tehtud fotod. Toorfotosid töötlen ka Lightroomis ja ekspordin need siis siia.
Siit jõuavad nad siia: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Kui pildistasin mingit pidupäeva või midagi muud, mida oleks parem eraldi hoida, siis 2019. aasta kausta loon kausta tähistamise nimega ja kopeerin foto sinna käsitsi.
RAW - siin on fotode allikad. Pildistan alati RAW-vormingus, salvestan kõik fotod JPG-vormingus, aga vahel tahan salvestada ka RAW-faile, vahel tahan kaadrit teisiti töödelda. Tavaliselt on see loodus ja sinna jõuavad ainult parimad kaadrid, mitte kõik järjest.
Stock foto — siia laadin üles fotod stock-fotodeks, mida pildistan kas DSLR-iga või drooniga. Sorteerimine toimub samamoodi nagu teistel fotodel, ainult omaette kaustas.
Dropboxi juurkataloogis on kaust Kaamera üleslaadimised, see on vaikekaust, kuhu Dropboxi mobiilirakendus kõik fotod ja videod üles laadib. Kõik naise fotod telefonist langevad sel viisil maha. Laen siia üles ka kõik oma telefonist tehtud fotod ja videod ning sealt sorteerin need eraldi kausta. Aga ma teen seda teistmoodi, minu jaoks mugavamalt. Androidile on selline programm FolderSync, mis võimaldab mobiiltelefonist kõik fotod teha, Dropboxi üles laadida ja siis telefonist kustutada. Seadeid on palju, soovitan. Sellesse kausta lähevad ka teie telefoni videod; neid sorteeritakse nagu kõiki fotosid aasta ja kuu järgi.
Kogusin kõik skriptid ise erinevatest Interneti-juhistest kokku, ma ei leidnud ühtegi valmislahendust. Ma ei tea bash-skriptidest üldse midagi, võib-olla on vigu või mõnda asja saaks paremini teha, aga minu jaoks on kõige tähtsam, et nad teeksid oma tööd ja teeksid seda, mida mina vajan.
Skriptid laaditi GitHubi üles:
Varem kasutasin fotode ja videote sortimiseks mac os-i all Hazelit, seal on kõik lihtsam, kõik ülesanded luuakse visuaalselt, koodi pole vaja kirjutada, kuid on kaks miinust. Esiteks tuleb kõik kaustad arvutis hoida, et kõik hästi töötaks ja teiseks, kui ma järsku Windowsile või Linuxile üle lähen, siis selliseid programme seal pole. Üritasin otsida alternatiivi, kuid need kõik ei andnud tulemusi. Serveris olevate skriptidega lahendus on universaalsem lahendus.
Kõik skriptid on konfigureeritud käivitama üks kord päevas, tavaliselt öösel. Aga kui sul pole aega oodata ja vajad kohe kuidagi vajaminevat skripti täitma, siis on kaks lahendust: SSH kaudu ühendus serveriga ja nõutud skripti käivitamine või administraatori paneeli ja ka vajaliku skripti käsitsi käivitamine. stsenaarium. See kõik tundub mulle ebamugav, seega leidsin kolmanda lahenduse. Androidile on olemas programm, mis saab saata ssh-käske. Tegin mitu käsku, igaühel on oma nupp ja kui nüüd on vaja sorteerida näiteks droonist tehtud fotosid, siis vajutan lihtsalt ühte nuppu ja skript läheb käima. Programmi nimi on SSHing, sarnaseid on ka teisi, kuid minu jaoks on see kõige mugavam.
Mul on ka mitu oma saiti, need on rohkem näitamiseks, peaaegu keegi ei käi seal, kuid siiski ei tee varukoopiat teha. Käitan oma saite DigitalOceanis, kuhu installisin aaPaneli paneeli. Seal on võimalik teha kõikidest failidest ja kõikidest andmebaasidest varukoopiaid, kuid samale kettale.
Varukoopia salvestamine samale kettale pole nii, nii et ma kasutan ka bash-skripti, et sinna minna ja kõik oma serverisse kopeerida, arhiveerides kõik ühte arhiivi koos kuupäevaga nimes.
Loodan, et vähemalt kedagi aitavad meetodid, mida kasutan ja millega jagasin.
Nagu artiklist näha, armastan ma automatiseerimist ja üritan automatiseerida kõike, mis võimalik, ma ei kirjeldanud paljusid asju automatiseerimise seisukohast, kuna need on juba muud teemad ja muud artiklid.
Allikas: www.habr.com