Ik woe al lang skriuwe oer hoe't ik myn bestannen opslaan en hoe't ik backups meitsje, mar ik kaam der noait oan. Koartlyn ferskynde hjir in artikel, wat ferlykber mei my, mar mei in oare oanpak.
Ik haw al in protte jierren besocht de perfekte metoade te finen foar it opslaan fan bestannen. Ik tink dat ik it fûn, mar d'r is altyd wat te ferbetterjen, as jo ideeën hawwe oer hoe't jo it better kinne dwaan, sil ik it graach lêze.
Ik sil begjinne mei it fertellen fan in pear wurden oer mysels, ik doch webûntwikkeling en nim foto's yn myn frije tiid. Dêrfandinne de konklúzje dat ik wurk en persoanlike projekten, foto's, fideo's en oare bestannen moatte opslaan.
Ik haw sawat 680 GB bestannen, wêrfan 90 prosint foto's en fideo's binne.
Sirkulaasje fan bestannen yn myn opslach:
Hjir is in ûngefear diagram fan hoe en wêr't al myn bestannen wurde opslein.
No mear.
Sa't jo sjen kinne, is it hert fan alles myn NAS, nammentlik de Synology DS214, ien fan 'e ienfâldichste NAS fan Synology, lykwols, it omgaat mei alles wat ik nedich is.
Dropbox
Myn wurkmasine is in macbook pro 13, 2015. Ik haw dêr 512GB, mar fansels net alle triemmen passe, Ik bewarje allinne wat nedich is op it stuit. Ik syngronisearje al myn persoanlike bestannen en mappen mei Dropbox, ik wit dat it net heul betrouber is, mar it docht allinich de syngronisaasjefunksje. En hy docht it bêst, alteast fan wat ik besocht haw. En ik besocht alle ferneamde en net sa ferneamde wolken.
Synology hat ek in eigen wolk, jo kinne it ynsette op jo NAS, ik besocht ferskate kearen te wikseljen fan Dropbox nei Synology Cloud Station, mar der wiene altyd problemen mei syngronisaasje, der wiene altyd wat flaters, of ik haw net alles syngronisearre.
Alle wichtige bestannen wurde opslein yn 'e Dropbox-map, soms bewarje ik wat op myn buroblêd, om net wat te ferliezen, makke ik in symlink nei de Dropbox-map mei it MacDropAny-programma.
Myn ynlaadmap is op gjin inkelde manier syngronisearre, mar d'r is neat wichtich, allinich tydlike bestannen. As ik wat wichtichs downloade, kopiearje ik it nei de passende map yn Dropbox.
Myn aventoeren mei DropboxEartiids, earne yn 2013-2014, haw ik al myn bestannen yn Dropbox opslein en allinich dêr wiene d'r gjin backups. Dan hie ik gjin 1Tb, dat is, ik haw der net foar betelle, ik hie sawat 25Gb, dy't ik fertsjinne troch freonen of oare taken út te noegjen.
Op in moaie moarn sette ik de kompjûter oan en al myn bestannen ferdwûnen, ik krige ek in brief fan Dropbox wêr't se har ekskús oanmeitsje en dat myn bestannen troch har skuld ferdwûnen. Se joegen my in keppeling dêr't ik koe werstelle myn triemmen, mar fansels neat weromset. Dêrfoar joegen se my in jier lang 1Tb, wêrnei't ik harren klant waard, hoe frjemd it ek klinke kin, mar ik haw se noait fertroud.
Lykas ik hjirboppe skreau, koe ik gjin wolk fine dy't mear geskikt foar my wie, as earste wiene d'r noch gjin syngronisaasjeproblemen, en twad wurkje in protte ferskate tsjinsten allinich mei Dropbox.
gean
Wurkbestannen wurde opslein op 'e wurkserver, persoanlike projekten wurde opslein op GitLab, alles is hjir ienfâldich.
Time Machine
Ik meitsje ek in reservekopy fan it hiele systeem, útsein de Dropbox en Downloads map fansels, om net om 'e nocht romte yn te nimmen. Ik reservekopy it systeem mei Time Machine, in poerbêst ark dat my mear as ien kear holpen hat. Ik doch it op deselde NAS, gelokkich hat it sa'n funksje. Jo kinne it dwaan op in eksterne HDD, fansels, mar it is net sa handich. Elke kear moatte jo in ekstern stasjon ferbine en Time Machine sels starte. Fanwege de luiheid makke ik faaks ien kear yn de pear wike sokke backups. Hy makket automatysk backups nei de tsjinner, ik fernim net iens as hy it docht. Ik wurkje fan hûs, dus ik haw altyd in frisse reservekopy fan myn hiele systeem. Der wurdt ferskate kearen deis in kopy makke, hoefolle kearen en hoe faak telde ik net.
NAS
Dit is wêr't alle magy bart.
Synology hat in poerbêst ark, it hjit Cloud Sync, ik tink fan 'e namme dat it dúdlik is wat it docht.
It kin in protte wolksystemen mei elkoar syngronisearje, of krekter, bestannen fan in NAS-tsjinner syngronisearje mei oare wolken. Ik tink dat d'r in resinsje fan dit programma online is. Ik sil net yngean op details. Ik soe better beskriuwe hoe't ik it brûk.
Op de tsjinner haw ik in skiifmap mei de namme Dropbox, it is in kopy fan myn Dropbox-akkount, Cloud Sync is ferantwurdlik foar it syngronisearjen fan dit alles. As der wat bard is mei de bestannen yn Dropbox, sil it barre op 'e server, it makket net út oft it is wiske of makke. Yn it algemien, klassike syngronisaasje.
Yandex-skiif
Folgjende, ik smyt al dizze triemmen op myn Yandex skiif, ik brûk it as in selsmakke reservekopy skiif, dat is, ik smyt de triemmen dêr mar wiskje neat út dêr, it docht bliken sa'n dump fan triemmen, mar it holp in pear kear.
Google Drive
Dêr stjoer ik allinich de map "Foto's", ek yn syngronisaasjemodus, ik doch dit allinich foar maklik besjen fan foto's yn Google Foto's en mei de mooglikheid om foto's dêrwei te wiskjen en se wurde oeral wiske (útsein Yandex skiif fansels). Ik skriuw oer de foto hjirûnder; dêr kinne jo sels in apart artikel skriuwe.
HyperBackup
Mar dit alles is net heul betrouber; as jo per ongelok in bestân wiskje, sil it oeral wiske wurde en jo kinne it as ferlern beskôgje. Jo kinne fansels weromsette fan Yandex-skiif, mar foarearst is in reservekopy op ien plak net heul betrouber op himsels, en Yandex-skiif sels is gjin tsjinst wêryn jo 100% fertrouwen kinne wêze, ek al hawwe d'r noch noait west problemen mei it.
Dêrom haw ik altyd besocht om bestannen earne oars op te slaan, mei in normaal reservekopysysteem.
Synology hat hjir ek in ark foar, it hjit HyperBackup, it makket in reservekopy fan bestannen op oare Synology-tsjinners of nei guon wolkoplossingen fan fabrikanten fan tredden.
It kin ek backups meitsje foar eksterne skiven dy't ferbûn binne mei in NAS, dat is wat ik oant koartlyn die. Mar dit is ek net betrouber, bygelyks as der in brân is, dan is it ein fan sawol de tsjinner as de HDD.
Synology C2
Hjir benaderje wy stadichoan in oare tsjinst, dizze kear fan Synology sels. It hat syn eigen wolken foar it opslaan fan backups. It is spesifyk ûntworpen foar HyperBackup, hy makket dêr alle dagen backups, mar dit is in goed trochtocht backup, d'r binne bestânsferzjes, in tiidline, en sels kliïnten foar Windows en mac os.
Dat is alles foar bestân opslach, ik hoopje dat myn bestannen feilich binne.
Litte wy no gean nei it sortearjen fan de bestannen.
Ik sortearje gewoane bestannen, boeken, scans fan dokuminten en oare ûnbelangrike bestannen mei de hân yn mappen, krekt as al it oare. Meastentiids binne d'r net folle en ik iepenje se selden.
It dreechste is it sortearjen fan foto's en fideo's, ik haw der in protte fan.
Ik nim fan ferskate tsientallen oant inkele hûnderten foto's yn 'e moanne. Ik sjit mei in DSLR, in drone en soms op myn telefoan. Foto's kinne persoanlik wêze as foar stock. Ik sjit ek soms thúsfideo's (net wat jo tinke, gewoan famyljefideo's, faak mei myn dochter). It moat ek op ien of oare manier opslein en sortearre wurde, sadat it gjin rommel wurdt.
Ik haw in map yn deselde Dropbox mei de namme Sortearje ôfbyldings, d'r binne submappen wêr't alle foto's en fideo's hinne gean, fan dêrút wurde se nommen en sorteare wêr't it nedich is.
It sortearjen fynt plak op de NAS-tsjinner, d'r rinne dêr bash-skripts dy't ien kear deis automatysk wurde lansearre en har wurk dogge. De NAS is ek ferantwurdlik foar it lansearjen fan se; d'r is in taakplanner dy't ferantwurdlik is foar it starten fan alle skripts en oare taken. Jo kinne ynstelle hoe faak en wannear taken sille wurde lansearre, cron mei in ynterface as it is ienfâldiger.
Elke map hat syn eigen skript. No mear oer mappen:
drone - hjir binne foto's fan in drone dy't ik makke foar persoanlike doelen. Earst ferwurkje ik alle foto's yn lightroom, eksportearje dan JPG nei dizze map. Fan dêrút einigje se yn in oare Dropbox-map, "Foto".
Der is in map "Drone" en dêr binne se al sortearre op jier en moanne. De skripts sels meitsje de nedige mappen en omneame de foto's sels neffens myn sjabloan, meastentiids is dit de datum en tiid dat de foto makke is, ik foegje ek in willekeurich nûmer oan 'e ein ta sadat bestannen mei deselde namme net ferskine. Ik wit it net wêrom't it ynstellen fan sekonden yn 'e bestânsnamme net geskikt wie foar dizze doelen.
De beam sjocht der sa út: Foto/Drone/2019/05 — Maaie/01 — Maaie — 2019_19.25.53_37.jpg
Drone fideo - Ik sjit noch gjin fideo mei in drone, der is in protte te learen, ik haw der no gjin tiid foar, mar ik haw al in map makke.
Image Operations - d'r binne twa mappen binnen, as bestannen dêr fûn wurde, wurde se gewoan oan 'e maksimale kant komprimearre nei 2000px foar publikaasje op it ynternet, of ôfbyldings wurde omdraaid, ik haw dit net mear nedich, mar ik haw de map noch net wiske.
Panorama's - dit is wêr't panorama's binnenkomme, lykas jo miskien riede, ik bewarje se apart, om't dit in spesifyk type foto is, ik nim se normaal mei in drone. Ik doch ek gewoane panorama's, mar ik doch ek 360 panorama's en soms sferen, dit soarte fan panorama's as lytse planeten, ik doch it ek mei in drone. Fanút dizze map geane alle foto's ek nei Foto/Panorama's/2019/01 - maaie - 2019_19.25.53_37.jpg. Hjir sortearje ik net op moanne, want der binne net safolle panorama's.
Persoanlike foto - Hjir binne de foto's dy't ik nim mei in DSLR, meastentiids binne dit famyljefoto's of reis, yn 't algemien, foto's dy't makke binne foar ûnthâld en foar mysels. Ik ferwurkje ek rauwe foto's yn Lightroom en eksportearje se dan hjir.
Hjirwei komme se hjir: Foto/2019/05 — Maaie/01 — Maaie — 2019_19.25.53_37.jpg
As ik in soarte fan fiering fotografearre of wat oars dat better apart opslein wurde soe, dan meitsje ik yn de map fan 2019 in map mei de namme fan de fiering en kopiearje de foto dêr mei de hân.
RAU - hjir binne de foto boarnen. Ik sjit altyd yn RAW, ik bewarje alle foto's yn JPG, mar soms wol ik RAW-bestannen ek opslaan, soms wol ik in frame oars ferwurkje. Meastentiids is dit de natuer en allinich de bêste shots komme der, net allegear op in rige.
Stock Foto - hjir upload ik foto's foar stockfoto's, dy't ik op in DSLR of op in drone nim. Sortearje is itselde as yn oare foto's, gewoan yn in eigen aparte map.
Yn 'e rootmap fan Dropbox is d'r in map Camera Uploads, dit is de standertmap wêryn't de Dropbox mobile applikaasje alle foto's en fideo's uploadt. Alle foto's fan 'e frou fan 'e tillefoan falle op dizze manier. Ik upload hjir ek al myn foto's en fideo's fan myn telefoan en fan dêrút sortearje ik se yn in aparte map. Mar ik doch it op in oare manier, handiger foar my. D'r is sa'n programma foar Android, FolderSync, it lit jo alle foto's fan jo mobile tillefoan nimme, uploade nei Dropbox en se dan fan 'e tillefoan wiskje. D'r binne in protte ynstellings, ik advisearje it. Fideo's fan jo tillefoan gean ek yn dizze map; se wurde ek sortearre lykas alle foto's, per jier en moanne.
Ik sammele alle skripts sels út ferskate ynstruksjes op it ynternet; ik fûn gjin kant-en-klare oplossingen. Ik wit hielendal neat oer bash-skripts, miskien binne der wat flaters of guon dingen kinne better dien wurde, mar it wichtichste foar my is dat se har wurk dogge en dogge wat ik nedich is.
De skripts waarden opladen nei GitHub:
Earder, om foto's en fideo's te sortearjen, brûkte ik Hazel ûnder mac os, alles is dêr makliker, alle taken wurde visueel makke, d'r is gjin needsaak om koade te skriuwen, mar d'r binne twa neidielen. As earste moatte jo alle mappen op 'e kompjûter hâlde, sadat alles goed wurket, en twad, as ik ynienen oerstap nei Windows of Linux, binne d'r gjin sokke programma's. Ik besocht nei in alternatyf te sykjen, mar se wiene allegear net slagge. In oplossing mei skripts op de tsjinner is in mear universele oplossing.
Alle skripts binne konfigurearre om ien kear deis út te fieren, meast nachts. Mar as jo gjin tiid hawwe om te wachtsjen en jo moatte no it fereaske skript op ien of oare manier útfiere, dan binne d'r twa oplossingen: ferbine fia SSH mei de tsjinner en fier it fereaske skript út, of gean nei it adminpaniel en fier ek it fereaske skript manuell út. skrift. Dit alles liket my ûngemaklik, dus ik fûn in tredde oplossing. D'r is in programma foar Android dat ssh-kommando's kin stjoere. Ik haw ferskate kommando's makke, elk hat syn eigen knop, en no as ik bygelyks foto's moat sortearje dy't ik fan in drone haw nommen, dan druk ik gewoan op ien knop en it skript rint. It programma hjit SSHing, d'r binne oare ferlykbere, mar foar my is dit it handichste.
Ik haw ek ferskate fan myn eigen siden, se binne mear foar show, hast gjinien giet dêr, mar dochs docht it gjin sear om in reservekopy. Ik rinne myn siden op DigitalOcean, wêr't ik it aaPanel-paniel ynstalleare. Dêr is it mooglik om reservekopyen te meitsjen fan alle bestannen en alle databases, mar op deselde skiif.
It opslaan fan in reservekopy op deselde skiif is net it gefal, dus ik brûk ek in bash-skript om dêr hinne te gean en alles nei myn server te kopiearjen, alles yn ien argyf te argivearjen mei de datum yn 'e namme.
Ik hoopje op syn minst ien sil wurde holpen troch de metoaden dy't ik brûk en wêrmei ik dielde.
Lykas út it artikel kin wurde sjoen, hâld ik fan automatisearring en besykje alles te automatisearjen dat mooglik is, ik haw net in protte dingen beskreaun út it eachpunt fan automatisearring, om't dit al oare ûnderwerpen en oare artikels binne.
Boarne: www.habr.com