Stokado kaj aŭtomata ordigo de fotoj kaj aliaj dosieroj. Laborante kun dosierstokado bazita sur NAS Synology

Mi delonge volis skribi pri kiel mi konservas miajn dosierojn kaj kiel mi faras sekurkopiojn, sed mi neniam atingis ĝin. Lastatempe aperis ĉi tie artikolo, iom simila al mia sed kun alia aliro.
La artikolo mem.

Jam de multaj jaroj mi provas trovi la perfektan metodon por konservi dosierojn. Mi pensas, ke mi trovis ĝin, sed ĉiam estas io por plibonigi, se vi havas ideojn pri kiel fari ĝin pli bone, mi volonte legos ĝin.

Mi komencos dirante al vi kelkajn vortojn pri mi mem, mi faras retan disvolviĝon kaj fotas en mia libera tempo. Tial la konkludo, ke mi bezonas konservi laborajn kaj personajn projektojn, fotojn, filmetojn kaj aliajn dosierojn.

Mi havas ĉirkaŭ 680 GB da dosieroj, el kiuj 90 procentoj estas fotoj kaj filmetoj.

Cirkulado de dosieroj en miaj stokejoj:

Stokado kaj aŭtomata ordigo de fotoj kaj aliaj dosieroj. Laborante kun dosierstokado bazita sur NAS Synology

Jen proksimuma diagramo pri kiel kaj kie ĉiuj miaj dosieroj estas konservitaj.

Nun pli.

Kiel vi povas vidi, la koro de ĉio estas mia NAS, nome la Synology DS214, unu el la plej simplaj NAS de Synology, tamen ĝi traktas ĉion, kion mi bezonas.

Dropbox

Mia labormaŝino estas macbook pro 13, 2015. Mi havas tie 512GB, sed kompreneble ne ĉiuj dosieroj taŭgas, mi stokas nur tion, kion oni bezonas nuntempe. Mi sinkronigas ĉiujn miajn personajn dosierojn kaj dosierujojn kun Dropbox, mi scias, ke ĝi ne estas tre fidinda, sed ĝi nur plenumas la sinkronigan funkcion. Kaj li faras ĝin plej bone, almenaŭ laŭ tio, kion mi provis. Kaj mi provis ĉiujn famajn kaj ne tiel famajn nubojn.

Synology ankaŭ havas sian propran nubon, vi povas disfaldi ĝin sur via NAS, mi provis plurfoje ŝanĝi de Dropbox al Synology Cloud Station, sed ĉiam estis problemoj pri sinkronigado, ĉiam estis iuj eraroj, aŭ mi ne sinkronigis ĉion.

Ĉiuj gravaj dosieroj estas konservitaj en la dosierujo Dropbox, foje mi konservas ion sur mia labortablo, por ne perdi ion, mi faris simbolligon al la dosierujo Dropbox per la programo MacDropAny.
Mia Elŝuta dosierujo neniel estas sinkronigita, sed tie estas nenio grava, nur provizoraj dosieroj. Se mi elŝutas ion gravan, mi kopias ĝin al la taŭga dosierujo en Dropbox.

Miaj aventuroj kun DropboxIam, ie en 2013-2014, mi konservis ĉiujn miajn dosierojn en Dropbox kaj nur tie, ne estis sekurkopioj. Tiam mi ne havis 1Tb, tio estas, mi ne pagis por ĝi, mi havis ĉirkaŭ 25Gb, kiujn mi gajnis invitante amikojn aŭ aliajn taskojn.

Iun belan matenon mi ŝaltis la komputilon kaj ĉiuj miaj dosieroj malaperis, mi ankaŭ ricevis leteron de Dropbox kie ili pardonpetas kaj ke miaj dosieroj malaperis pro ilia kulpo. Ili donis al mi ligilon, kie mi povus restarigi miajn dosierojn, sed kompreneble nenio restarigis. Por tio ili donis al mi 1Tb por jaro, post kio mi fariĝis ilia kliento, kiom ajn strange ĝi sonus, sed mi neniam fidis ilin.

Kiel mi skribis supre, mi ne povis trovi nubon pli taŭgan por mi, unue, ankoraŭ ne estis problemoj de sinkronigado, kaj due, multaj malsamaj servoj funkcias nur kun Dropbox.

Git

Labordosieroj estas stokitaj sur la laborservilo, personaj projektoj estas stokitaj sur GitLab, ĉio estas simpla ĉi tie.

Prifriponu Machine

Mi ankaŭ faras sekurkopion de la tuta sistemo, krom la dosierujo Dropbox kaj Elŝutoj kompreneble, por ne vane okupi spacon. Mi rezervas la sistemon per Time Machine, bonega ilo, kiu helpis min pli ol unufoje. Mi faras ĝin sur la sama NAS, feliĉe ĝi havas tian funkcion. Vi povas fari ĝin sur ekstera HDD, kompreneble, sed ĝi ne estas tiel oportuna. Ĉiufoje vi bezonas konekti eksteran diskon kaj lanĉi Time Machine mem. Pro maldiligento mi ofte faris tiajn sekurkopiojn unufoje ĉiujn kelkajn semajnojn. Li aŭtomate faras sekurkopiojn al la servilo, mi eĉ ne rimarkas, kiam li faras ĝin. Mi laboras hejme, do mi ĉiam havas freŝan sekurkopion de mia tuta sistemo. Kopio estas farita plurfoje tage, mi ne kalkulis kiomfoje kaj kiom ofte.

NAS

Ĉi tie okazas la tuta magio.

Synology havas bonegan ilon, ĝi nomiĝas Cloud Sync, mi pensas de la nomo estas klare, kion ĝi faras.

Ĝi povas sinkronigi multajn nubsistemojn unu kun la alia, aŭ pli precize sinkronigi dosierojn de la NAS-servilo kun aliaj nuboj. Mi pensas, ke estas revizio de ĉi tiu programo interrete. Mi ne eniros detalojn. Mi pli bone priskribu kiel mi uzas ĝin.

Stokado kaj aŭtomata ordigo de fotoj kaj aliaj dosieroj. Laborante kun dosierstokado bazita sur NAS Synology

Sur la servilo mi havas disko-dosierujon nomatan Dropbox, ĝi estas kopio de mia Dropbox-konto, Cloud Sync respondecas pri sinkronigado de ĉio ĉi. Se io okazis al la dosieroj en Dropbox, tio okazos sur la servilo, ne gravas ĉu ĝi estas forigita aŭ kreita. Ĝenerale, klasika sinkronigo.

Yandex-veturado

Poste, mi ĵetas ĉiujn ĉi tiujn dosierojn sur mian Yandex-diskon, mi uzas ĝin kiel memfaritan rezervan diskon, tio estas, mi ĵetas la dosierojn tien sed ne forigas ion de tie, ĝi rezultas esti tia forĵetaĵo de dosieroj, sed ĝi helpis kelkajn fojojn.

Google Drive

Tie mi sendas nur la dosierujon "Fotoj", ankaŭ en sinkroniga reĝimo, mi faras tion nur por oportuna spektado de fotoj en Google Fotoj kaj kun la kapablo forigi fotojn de tie kaj ili estas forigitaj ĉie (krom Yandex-disko kompreneble). Mi skribos pri la suba foto; vi eĉ povus skribi apartan artikolon tie.

HyperBackup

Sed ĉio ĉi ne estas tre fidinda; se vi hazarde forigas dosieron, ĝi estos forigita ĉie kaj vi povas konsideri ĝin perdita. Vi povas, kompreneble, restarigi de Yandex-disko, sed unue, sekurkopio en unu loko ne estas tre fidinda en si mem, kaj Yandex-disko mem ne estas servo, en kiu vi povas esti 100% certa, kvankam neniam estis iu ajn. problemoj kun ĝi.

Tial mi ĉiam provis stoki dosierojn aliloke, kun normala rezerva sistemo.

Stokado kaj aŭtomata ordigo de fotoj kaj aliaj dosieroj. Laborante kun dosierstokado bazita sur NAS Synology

Synology ankaŭ havas ilon por ĉi tio, ĝi nomiĝas HyperBackup, ĝi rezervas dosierojn aŭ al aliaj Synology-serviloj aŭ al iuj nubaj solvoj de triaj fabrikistoj.
Ĝi ankaŭ povas fari sekurkopiojn al eksteraj diskoj konektitaj al NAS, kion mi faris ĝis antaŭ nelonge. Sed ĉi tio ankaŭ ne estas fidinda, ekzemple, se estas fajro, tiam la fino de kaj la servilo kaj la HDD.

Sinologio C2

Ĉi tie ni iom post iom alproksimiĝas al alia servo, ĉi-foje de Synology mem. Ĝi havas siajn proprajn nubojn por stoki sekurkopiojn. Ĝi estas desegnita specife por HyperBackup, li faras sekurkopiojn tie ĉiutage, sed ĉi tio estas bone pripensita sekurkopio, ekzistas dosierversioj, templinio, kaj eĉ klientoj por Vindozo kaj mac os.

Stokado kaj aŭtomata ordigo de fotoj kaj aliaj dosieroj. Laborante kun dosierstokado bazita sur NAS Synology

Jen ĉio por konservado de dosieroj, mi esperas, ke miaj dosieroj estas sekuraj.

Nun ni pluiru al ordigo de la dosieroj.

Mi ordigas ordinarajn dosierojn, librojn, skanaĵojn de dokumentoj kaj aliajn negravajn dosierojn en dosierujojn permane, same kiel ĉio alia. Kutime ne estas multaj el ili kaj mi malofte malfermas ilin.

La plej malfacila afero estas ordigi fotojn kaj filmetojn, mi havas multajn el ili.

Mi prenas de kelkaj dekoj ĝis kelkcent fotoj monate. Mi pafas per DSLR, virabelo kaj foje per mia telefono. Fotoj povas esti personaj aŭ por stoko. Mi ankaŭ kelkfoje filmas hejmajn filmetojn (ne kion vi povus pensi, nur familiajn filmetojn, ofte kun mia filino). Ĝi ankaŭ devas esti iel konservita kaj ordigita por ke ĝi ne fariĝu malordo.

Mi havas dosierujon en la sama Dropbox nomita Ordigi Bildojn, estas subdosierujoj kie ĉiuj fotoj kaj videoj iras, de tie ili estas prenitaj kaj ordigitaj kie necesas.

Stokado kaj aŭtomata ordigo de fotoj kaj aliaj dosieroj. Laborante kun dosierstokado bazita sur NAS Synology

Ordigo okazas sur la NAS-servilo, tie funkcias bash-skriptoj, kiuj aŭtomate estas lanĉitaj unufoje tage kaj plenumas sian laboron. La NAS ankaŭ respondecas pri lanĉo de ili; ekzistas taskoplanilo, kiu respondecas pri lanĉo de ĉiuj skriptoj kaj aliaj taskoj. Vi povas agordi kiom ofte kaj kiam taskoj estos lanĉitaj, cron kun interfaco se ĝi estas pli simpla.

Stokado kaj aŭtomata ordigo de fotoj kaj aliaj dosieroj. Laborante kun dosierstokado bazita sur NAS Synology

Ĉiu dosierujo havas sian propran skripton. Nun pli pri dosierujoj:

drone — jen fotoj de virabelo, kiujn mi faris por personaj celoj. Unue mi prilaboras ĉiujn fotojn en lightroom, poste eksportas JPG al ĉi tiu dosierujo. De tie ili finiĝas en alia Dropbox-dosierujo, "Foto".

Estas dosierujo "Drone" kaj tie ili jam estas ordigitaj laŭ jaro kaj monato. La skriptoj mem kreas la necesajn dosierujojn kaj mem renomas la fotojn laŭ mia ŝablono, kutime ĉi tio estas la dato kaj horo, kiam la foto estis prenita, mi ankaŭ aldonas hazardan numeron ĉe la fino por ke dosieroj kun la sama nomo ne aperu. Mi ne memoras kial agordi sekundojn en la dosiernomo ne taŭgis por ĉi tiuj celoj.

La arbo aspektas jene: Foto/Drone/2019/05 — Maj/01 — Majo — 2019_19.25.53_37.jpg

Stokado kaj aŭtomata ordigo de fotoj kaj aliaj dosieroj. Laborante kun dosierstokado bazita sur NAS Synology

Virabelo Video — Mi ankoraŭ ne filmas filmeton per virabelo, estas multe por lerni, mi ne havas tempon por ĝi nun, sed mi jam kreis dosierujon.

Bildaj Operacioj — estas du dosierujoj ene, kiam dosieroj troviĝas tie, ili estas simple aŭ kunpremitaj je la maksimuma flanko al 2000px por publikigo en Interreto, aŭ bildoj estas renversitaj, mi ne plu bezonas tion, sed mi ankoraŭ ne forigis la dosierujon.

Panoramoj — ĉi tie venas panoramoj, kiel vi povas supozi, mi konservas ilin aparte ĉar ĉi tio estas specifa speco de foto, mi kutime prenas ilin per virabelo. Mi ankaŭ faras regulajn panoramojn, sed ankaŭ mi faras 360 panoramojn kaj foje sferojn, ĉi tia panoramoj kiel malgrandaj planedoj, mi ankaŭ faras ĝin per drone. El ĉi tiu dosierujo, ĉiuj fotoj ankaŭ iras al Foto/Panoramas/2019/01 - Majo - 2019_19.25.53_37.jpg. Ĉi tie mi ne ordigas laŭmonate ĉar ne estas tiom da panoramoj.

Persona Foto — Jen la fotoj, kiujn mi faras per DSLR, kutime temas pri familiaj fotoj aŭ vojaĝaj, ĝenerale, fotoj kiuj estas faritaj por memoro kaj por mi mem. Mi ankaŭ prilaboras krudajn fotojn en Lightroom kaj poste eksportas ilin ĉi tie.

De ĉi tie ili venas ĉi tien: Foto/2019/05 — Maj/01 — Majo — 2019_19.25.53_37.jpg

Se mi fotis ian feston aŭ ion alian, kiu estus pli bone konservita aparte, tiam en la dosierujo 2019 mi kreas dosierujon kun la nomo de la festo kaj kopias la foton tie mane.

RAW — jen la fotofontoj. Mi ĉiam pafas en RAW, mi konservas ĉiujn fotojn en JPG, sed foje mi volas ankaŭ konservi RAW-dosierojn, foje mi volas prilabori kadron alimaniere. Kutime ĉi tio estas naturo kaj nur la plej bonaj pafoj alvenas tie, ne ĉiuj en vico.

Stock Foto — ĉi tie mi alŝutas fotojn por stokaj fotoj, kiujn mi prenas aŭ per DSLR aŭ per virabelo. Ordigo estas sama kiel en aliaj fotoj, nur en sia propra aparta dosierujo.

En la radika dosierujo de Dropbox, estas dosierujo de Fotilaj Alŝutoj, ĉi tiu estas la defaŭlta dosierujo en kiu la poŝtelefona aplikaĵo Dropbox alŝutas ĉiujn fotojn kaj filmetojn. Ĉiuj fotoj de la edzino de la telefono estas faligitaj tiamaniere. Mi ankaŭ alŝutas ĉiujn miajn fotojn kaj filmetojn de mia telefono ĉi tie kaj de tie mi ordigas ilin en apartan dosierujon. Sed mi faras ĝin alimaniere, pli oportuna por mi. Estas tia programo por Android, FolderSync, ĝi ebligas al vi preni ĉiujn fotojn de via poŝtelefono, alŝuti ilin al Dropbox kaj poste forigi ilin de la telefono. Estas multaj agordoj, mi rekomendas ĝin. Filmetoj de via telefono ankaŭ eniras ĉi tiun dosierujon; ili ankaŭ estas ordigitaj kiel ĉiuj fotoj, laŭ jaro kaj monato.

Mi mem kolektis ĉiujn skriptojn el diversaj instrukcioj en la Interreto; mi ne trovis pretajn solvojn. Mi tute ne scias pri bash-skriptoj, eble estas iuj eraroj aŭ iuj aferoj povus esti pli bone faritaj, sed la plej grava afero por mi estas, ke ili faru sian laboron kaj faras tion, kion mi bezonas.

La skriptoj estis alŝutitaj al GitHub: https://github.com/pelinoleg/bash-scripts

Antaŭe, por ordigi fotojn kaj filmetojn, mi uzis Hazel sub mac os, ĉio estas pli facila tie, ĉiuj taskoj estas kreitaj vide, ne necesas skribi kodon, sed estas du malavantaĝoj. Unue, vi devas konservi ĉiujn dosierujojn en la komputilo, por ke ĉio funkciu bone, kaj due, se mi subite ŝanĝas al Vindozo aŭ Linukso, tie ne ekzistas tiaj programoj. Mi provis serĉi alternativon sed ili ĉiuj estis vane. Solvo kun skriptoj sur la servilo estas pli universala solvo.

Ĉiuj skriptoj estas agorditaj por esti ekzekutitaj unufoje tage, kutime nokte. Sed se vi ne havas tempon por atendi kaj vi devas iel ekzekuti la postulatan skripton nun, ekzistas du solvoj: konekti per SSH al la servilo kaj ekzekuti la bezonatan skripton, aŭ iru al la administra panelo kaj ankaŭ mane ruli la bezonatan. skripto. Ĉio ĉi ŝajnas al mi maloportuna, do mi trovis trian solvon. Estas programo por Android, kiu povas sendi ssh-komandojn. Mi kreis plurajn komandojn, ĉiu havas sian propran butonon, kaj nun se mi bezonas ordigi, ekzemple, fotojn, kiujn mi prenis el drone, tiam mi nur premas unu butonon kaj la skripto ruliĝas. La programo nomiĝas SSHing, ekzistas aliaj similaj, sed por mi ĉi tio estas la plej oportuna.

Stokado kaj aŭtomata ordigo de fotoj kaj aliaj dosieroj. Laborante kun dosierstokado bazita sur NAS Synology

Mi ankaŭ havas plurajn miajn proprajn retejojn, ili estas pli por montri, preskaŭ neniu iras tien, sed tamen ne doloras fari sekurkopion. Mi prizorgas miajn retejojn sur DigitalOcean, kie mi instalis la panelon aaPanel. Tie eblas fari rezervajn kopiojn de ĉiuj dosieroj kaj ĉiuj datumbazoj, sed sur la sama disko.

Stoki sekurkopion sur la sama disko ne estas la kazo, do mi ankaŭ uzas bash-skripton por iri tien kaj kopii ĉion al mia servilo, arkivante ĉion en unu arkivo kun la dato en la nomo.

Mi esperas, ke almenaŭ iu estos helpata de la metodoj, kiujn mi uzas kaj kun kiuj mi konigis.

Kiel videblas el la artikolo, mi amas aŭtomatigon kaj provas aŭtomatigi ĉion eblan, mi ne priskribis multajn aferojn el la vidpunkto de aŭtomatigo, ĉar temas jam pri aliaj temoj kaj aliaj artikoloj.

fonto: www.habr.com

Aldoni komenton