Fotoattēlu un citu failu glabāŔana un automātiska ŔķiroÅ”ana. Darbs ar failu krātuvi, kuras pamatā ir NAS Synology

Es jau sen gribēju rakstÄ«t par to, kā es glabāju savus failus un kā veidoju dublējumkopijas, taču man tas nekad nav izdevies. Nesen Å”eit parādÄ«jās raksts, nedaudz lÄ«dzÄ«gs manam, bet ar atŔķirÄ«gu pieeju.
Pats raksts.

Jau daudzus gadus esmu mēģinājis atrast perfektu metodi failu glabāŔanai. Man Ŕķiet, ka atradu, bet vienmēr ir ko uzlabot, ja ir kādas idejas, kā to izdarÄ«t labāk, ar prieku lasÄ«Å”u.

Sākumā pastāstÄ«Å”u dažus vārdus par sevi, es nodarbojos ar tÄ«mekļa izstrādi un brÄ«vajā laikā fotografēju. LÄ«dz ar to secinājums, ka man jāsaglabā darba un personÄ«gie projekti, fotogrāfijas, video un citi faili.

Man ir aptuveni 680 GB failu, no kuriem 90 procenti ir fotoattēli un video.

Failu aprite manās krātuvēs:

Fotoattēlu un citu failu glabāŔana un automātiska ŔķiroÅ”ana. Darbs ar failu krātuvi, kuras pamatā ir NAS Synology

Šeit ir aptuvenā diagramma par to, kā un kur tiek glabāti visi mani faili.

Tagad vairāk

Kā redzat, visa sirds ir mans NAS, proti, Synology DS214, viens no vienkārŔākajiem NAS no Synology, tomēr tas tiek galā ar visu, kas man nepiecieÅ”ams.

dropbox

Mana darba iekārta ir MacBook Pro 13, 2015. Man tur ir 512GB, bet, protams, visi faili neder, glabāju tikai to, kas Å”obrÄ«d ir vajadzÄ«gs. Sinhronizēju visus savus personÄ«gos failus un mapes ar Dropbox, zinu, ka tas nav Ä«paÅ”i uzticams, bet pilda tikai sinhronizācijas funkciju. Un viņŔ to dara vislabāk, vismaz no tā, ko esmu mēģinājusi. Un es izmēģināju visus slavenos un ne tik slavenos mākoņus.

Synology ir arī savs mākonis, jūs varat to izvietot savā NAS, es vairākas reizes mēģināju pārslēgties no Dropbox uz Synology Cloud Station, taču vienmēr bija problēmas ar sinhronizāciju, vienmēr bija dažas kļūdas vai es nesinhronizēju visu.

Visi svarīgie faili tiek glabāti mapē Dropbox, dažreiz es kaut ko saglabāju savā darbvirsmā, lai kaut kas nepazustu, es izveidoju simlinku uz mapi Dropbox, izmantojot MacDropAny programmu.
Mana lejupielādes mape nekādi netiek sinhronizēta, bet nekā svarīga tur nav, ir tikai pagaidu faili. Ja lejupielādēju kaut ko svarīgu, iekopēju to attiecīgajā Dropbox mapē.

Mani piedzīvojumi ar DropboxKādreiz, kaut kur 2013-2014, es visus savus failus glabāju Dropbox un tikai tur, nebija rezerves kopiju. Tad man nebija 1Tb, tas ir, es par to nemaksāju, man bija apmēram 25 Gb, ko es nopelnīju, aicinot draugus vai citus uzdevumus.

Kādā jaukā rītā ieslēdzu datoru un visi faili pazuda, saņēmu arī vēstuli no Dropbox, kur viņi atvainojas un ka mani faili pazuda viņu vainas dēļ. Viņi man iedeva saiti, kur es varu atjaunot savus failus, bet, protams, nekas netika atjaunots. Par to viņi man iedeva 1Tb uz gadu, pēc tam es kļuvu par viņu klientu, lai cik dīvaini tas neizklausītos, bet es viņiem nekad neuzticējos.

Kā jau rakstīju augstāk, nevarēju atrast sev piemērotāku mākoni, pirmkārt, vēl nebija sinhronizācijas problēmu, otrkārt, daudzi dažādi servisi darbojas tikai ar Dropbox.

Git

Darba faili tiek glabāti darba serverī, personīgie projekti tiek glabāti GitLab, Ŕeit viss ir vienkārŔi.

Time Machine

Es arÄ« veidoju visas sistēmas dublējumu, protams, izņemot mapi Dropbox un Downloads, lai velti neaizņemtu vietu. Es dublēju sistēmu, izmantojot Time Machine ā€” lielisku rÄ«ku, kas man ir palÄ«dzējis vairāk nekā vienu reizi. Es to daru tajā paŔā NAS, par laimi tam ir tāda funkcija. Protams, to var izdarÄ«t uz ārējā HDD, taču tas nav tik ērti. Katru reizi, kad jums ir jāpievieno ārējais disks un paÅ”am jāpalaiž Time Machine. Slinkuma dēļ Ŕādus dublējumus bieži veidoju reizi pāris nedēļās. ViņŔ automātiski izveido dublējumus serverÄ«, es pat nepamanu, kad viņŔ to dara. Es strādāju no mājām, tāpēc man vienmēr ir jauna visas sistēmas dublējumkopija. Kopiju taisa vairākas reizes dienā, es neskaitÄ«ju, cik reizes un cik bieži.

NAS

Šeit notiek visa burvība.

Synology ir lielisks rīks, to sauc Cloud Sync, manuprāt, pēc nosaukuma ir skaidrs, ko tas dara.

Tas var sinhronizēt daudzas mākoņsistēmas savā starpā vai precÄ«zāk, sinhronizēt failus no NAS servera ar citiem mākoņiem. Es domāju, ka tieÅ”saistē ir Ŕīs programmas apskats. Es neiedziļināŔos detaļās. Es labāk aprakstÄ«Å”u, kā es to izmantoju.

Fotoattēlu un citu failu glabāŔana un automātiska ŔķiroÅ”ana. Darbs ar failu krātuvi, kuras pamatā ir NAS Synology

ServerÄ« man ir diska mape ar nosaukumu Dropbox, tā ir mana Dropbox konta kopija, Cloud Sync ir atbildÄ«ga par visa Ŕī sinhronizāciju. Ja kaut kas notika ar failiem Dropbox, tas notiks serverÄ«, nav svarÄ«gi, vai tas ir izdzēsts vai izveidots. Kopumā klasiskā sinhronizācija.

Yandex disks

Tālāk es visus Å”os failus iemetu savā Yandex diskā, izmantoju to kā paÅ”taisÄ«tu rezerves disku, tas ir, es izmetu failus tur, bet neko no turienes neizdzÄ“Å”u, izrādās, ka tā ir tāda failu izgāztuve, bet tas pāris reizes palÄ«dzēja.

Google Drive

Tur es sÅ«tu tikai mapi ā€œFotoattēliā€, arÄ« sinhronizācijas režīmā, es to daru tikai ērtai fotoattēlu apskatei pakalpojumā Google fotoattēli un ar iespēju izdzēst fotoattēlus no turienes, un tie tiek izdzēsti visur (protams, izņemot Yandex disku). Es rakstÄ«Å”u par fotoattēlu zemāk; jÅ«s pat varētu tur uzrakstÄ«t atseviŔķu rakstu.

HiperBackup

Bet tas viss nav ļoti uzticams; ja nejauÅ”i izdzēsÄ«sit failu, tas tiks izdzēsts visur, un jÅ«s varat uzskatÄ«t, ka tas ir pazaudēts. JÅ«s, protams, varat atjaunot no Yandex diska, taču, pirmkārt, dublÄ“Å”ana vienā vietā pati par sevi nav Ä«paÅ”i uzticama, un pats Yandex disks nav pakalpojums, kurā varat bÅ«t 100% pārliecināts, lai gan nekad nav bijis. problēmas ar to.

Tāpēc vienmēr mēģināju glabāt failus kaut kur citur, ar parastu rezerves sistēmu.

Fotoattēlu un citu failu glabāŔana un automātiska ŔķiroÅ”ana. Darbs ar failu krātuvi, kuras pamatā ir NAS Synology

Synology tam ir arÄ« rÄ«ks, ko sauc par HyperBackup. Tas dublē failus vai nu citos Synology serveros, vai dažos treÅ”o puÅ”u ražotāju mākoņrisinājumos.
Tas var arī dublēt ārējos diskus, kas savienoti ar NAS, ko es darīju vēl nesen. Bet tas arī nav uzticams, piemēram, ja ir ugunsgrēks, tad beidzas gan serveris, gan HDD.

Synology C2

Å eit mēs pakāpeniski tuvojamies citam pakalpojumam, Å”oreiz no paÅ”as Synology. Tam ir savi mākoņi dublējumu glabāŔanai. Tas ir Ä«paÅ”i paredzēts HyperBackup, viņŔ tur dublē katru dienu, bet Ŕī ir pārdomāta dublÄ“Å”ana, ir failu versijas, laika skala un pat klienti Windows un mac os.

Fotoattēlu un citu failu glabāŔana un automātiska ŔķiroÅ”ana. Darbs ar failu krātuvi, kuras pamatā ir NAS Synology

Tas ir viss failu glabāŔanai, es ceru, ka mani faili ir droŔībā.

Tagad pāriesim pie failu kārtoŔanas.

Es kārtoju parastos failus, grāmatas, skenētus dokumentus un citus nesvarīgus failus mapēs ar roku, tāpat kā visu pārējo. Parasti to nav daudz un es tos atveru reti.

Grūtākais ir kārtot fotogrāfijas un video, man to ir daudz.

Es uzņemu no vairākiem desmitiem lÄ«dz pat vairākiem simtiem fotogrāfiju mēnesÄ«. Fotografēju ar DSLR, dronu un dažreiz arÄ« ar telefonu. Fotogrāfijas var bÅ«t personiskas vai noliktavas. Es arÄ« dažreiz filmēju mājas video (nevis to, ko jÅ«s varētu domāt, tikai Ä£imenes video, bieži ar savu meitu). Tas arÄ« kaut kā jāuzglabā un jāŔķiro, lai tas nekļūtu par putru.

Man tajā paŔā Dropbox ir mape ar nosaukumu Sort Images, tur ir apakÅ”mapes, kur nonāk visas fotogrāfijas un video, no turienes tie tiek uzņemti un sakārtoti, kur vajag.

Fotoattēlu un citu failu glabāŔana un automātiska ŔķiroÅ”ana. Darbs ar failu krātuvi, kuras pamatā ir NAS Synology

Å Ä·iroÅ”ana notiek NAS serverÄ«, tur darbojas bash skripti, kas tiek automātiski palaisti reizi dienā un dara savu darbu. NAS ir atbildÄ«gs arÄ« par to palaiÅ”anu; ir uzdevumu plānotājs, kas ir atbildÄ«gs par visu skriptu un citu uzdevumu palaiÅ”anu. Varat konfigurēt, cik bieži un kad uzdevumi tiks palaisti, izmantojot interfeisu, ja tas ir vienkārŔāk.

Fotoattēlu un citu failu glabāŔana un automātiska ŔķiroÅ”ana. Darbs ar failu krātuvi, kuras pamatā ir NAS Synology

Katrai mapei ir savs skripts. Tagad vairāk par mapēm:

dÅ«koņa ā€” Å”eit ir fotogrāfijas no drona, kuras uzņēmu personÄ«giem nolÅ«kiem. Vispirms apstrādāju visas fotogrāfijas Lightroom, tad eksportēju JPG uz Å”o mapi. No turienes tie nonāk citā Dropbox mapē "Foto".

Tur ir mape ā€œDroneā€ un tur tie jau ir sakārtoti pa gadiem un mēneÅ”iem. PaÅ”i skripti veido vajadzÄ«gās mapes un paÅ”i pārdēvē bildes pēc manas veidnes, parasti tas ir bildes uzņemÅ”anas datums un laiks, beigās pievienoju arÄ« izlases ciparu, lai neparādās faili ar tādu paÅ”u nosaukumu. Es neatceros, kāpēc sekunžu iestatÄ«Å”ana faila nosaukumā nebija piemērota Å”iem mērÄ·iem.

Koks izskatās Ŕādi: Photo/Drone/2019/05 ā€” May/01 ā€” May ā€” 2019_19.25.53_37.jpg

Fotoattēlu un citu failu glabāŔana un automātiska ŔķiroÅ”ana. Darbs ar failu krātuvi, kuras pamatā ir NAS Synology

Drona video ā€” Pagaidām ar dronu nefilmēju video, ir daudz jāmācās, Å”obrÄ«d man tam nav laika, bet mapi jau izveidoju.

Attēlu darbÄ«bas ā€” iekŔā ir divas mapes, kad tur tiek atrasti faili, tie vienkārÅ”i ir vai nu saspiesti no maksimālās puses lÄ«dz 2000px publicÄ“Å”anai internetā, vai arÄ« attēli ir apgriezti, man Å”o vairs nevajag, bet mapi vēl neesmu izdzēsis.

Panorāmas ā€” Å”eit parādās panorāmas, kā jau varētu nojaust, es tās glabāju atseviŔķi, jo Å”is ir specifisks fotoattēlu veids, parasti uzņemu ar dronu. Taisu arÄ« parastās panorāmas, bet taisu arÄ« 360 panorāmas un reizēm sfēras, tādas panorāmas kā mazas planētas, daru arÄ« ar dronu. No Ŕīs mapes visas fotogrāfijas nonāk arÄ« uz Photo/Panoramas/2019/01 - maijs - 2019_19.25.53_37.jpg. Å eit es neŔķiroju pa mēneÅ”iem, jo ā€‹ā€‹nav tik daudz panorāmu.

PersonÄ«gais fotoattēls ā€” Å eit ir fotogrāfijas, kuras es uzņemu ar DSLR, parasti tās ir Ä£imenes vai ceļojumu bildes, vispār tādas fotogrāfijas, kas tiek uzņemtas atmiņai un sev. Es arÄ« apstrādāju neapstrādātus fotoattēlus programmā Lightroom un pēc tam eksportēju tos Å”eit.

No Å”ejienes tie nonāk Å”eit: Photo/2019/05 ā€” May/01 ā€” May ā€” 2019_19.25.53_37.jpg

Ja nofotografēju kādus svētkus vai ko citu, ko labāk bÅ«tu glabāt atseviŔķi, tad 2019. gada mapē izveidoju mapi ar svētku nosaukumu un iekopēju tur fotogrāfiju manuāli.

RAW - Å”eit ir fotoattēlu avoti. Es vienmēr fotografēju RAW formātā, visas bildes glabāju JPG formātā, bet reizēm gribas saglabāt arÄ« RAW failus, reizēm kādu kadru apstrādāt savādāk. Parasti tāda ir daba un tur nokļūst tikai labākie kadri, nevis visi pēc kārtas.

Fonda foto ā€” Å”eit es augÅ”upielādēju fotoattēlus fonda fotogrāfijām, kuras uzņemu vai nu ar DSLR, vai ar dronu. KārtoÅ”ana ir tāda pati kā citos fotoattēlos, tikai savā atseviŔķā mapē.

Dropbox saknes direktorijā ir mape Camera Uploads, Ŕī ir noklusējuma mape, kurā Dropbox mobilā lietojumprogramma augÅ”upielādē visus fotoattēlus un videoklipus. Tādā veidā tiek nomestas visas sievas fotogrāfijas no telefona. Å eit es arÄ« augÅ”upielādēju visus savus fotoattēlus un videoklipus no sava tālruņa, un no turienes es tos sakārtoju atseviŔķā mapē. Bet es to daru savādāk, man ērtāk. Ir tāda programma Android, FolderSync, tā ļauj no mobilā telefona uzņemt visus fotoattēlus, augÅ”upielādēt tos Dropbox un pēc tam izdzēst no tālruņa. IestatÄ«jumu ir daudz, iesaku. Å ajā mapē tiek ievietoti arÄ« jÅ«su tālruņa videoklipi; tie tiek kārtoti tāpat kā visi fotoattēli pēc gada un mēneÅ”a.

Es pats savācu visus skriptus no dažādām instrukcijām internetā, gatavus risinājumus neatradu. Es vispār neko nezinu par bash skriptiem, varbūt ir kādas kļūdas vai dažas lietas var izdarīt labāk, bet man vissvarīgākais ir tas, ka viņi dara savu darbu un dara to, kas man vajadzīgs.

Skripti tika augÅ”upielādēti GitHub: https://github.com/pelinoleg/bash-scripts

IepriekÅ” fotogrāfiju un video ŔķiroÅ”anai izmantoju Hazel zem mac os, tur viss ir vienkārŔāk, visi uzdevumi tiek veidoti vizuāli, nav jāraksta kods, bet ir divi mÄ«nusi. Pirmkārt, datorā jāsaglabā visas mapes, lai viss darbotos labi, otrkārt, ja es pēkŔņi pārslēdzos uz Windows vai Linux, tad tur tādas programmas nav. Es mēģināju meklēt alternatÄ«vu, bet tie visi bija bez rezultātiem. Risinājums ar skriptiem serverÄ« ir universālāks risinājums.

Visi skripti ir konfigurēti tā, lai tie tiktu izpildÄ«ti vienu reizi dienā, parasti naktÄ«. Bet, ja jums nav laika gaidÄ«t un jums tagad kaut kā jāizpilda nepiecieÅ”amais skripts, ir divi risinājumi: izveidot savienojumu caur SSH ar serveri un izpildÄ«t nepiecieÅ”amo skriptu vai doties uz admin paneli un arÄ« manuāli palaist nepiecieÅ”amo skriptu. skripts. Tas viss man Ŕķiet neērti, tāpēc es atradu treÅ”o risinājumu. Ir programma Android, kas var nosÅ«tÄ«t ssh komandas. Es izveidoju vairākas komandas, katrai ir sava poga, un tagad, ja man ir jāsakārto, piemēram, fotogrāfijas, kuras esmu uzņēmis no drona, tad vienkārÅ”i nospiežu vienu pogu un skripts darbojas. Programma saucas SSHing, ir arÄ« citas lÄ«dzÄ«gas, bet man Ŕī ir visērtākā.

Fotoattēlu un citu failu glabāŔana un automātiska ŔķiroÅ”ana. Darbs ar failu krātuvi, kuras pamatā ir NAS Synology

Man ir arÄ« vairākas savas vietnes, tās ir vairāk paredzētas demonstrÄ“Å”anai, gandrÄ«z neviens tur neiet, bet tomēr nenāk par ļaunu veikt dublējumu. Es vadu savas vietnes DigitalOcean, kur instalēju paneli aaPanel. Tur ir iespējams izveidot visu failu un visu datu bāzu rezerves kopijas, bet tajā paŔā diskā.

Dublējuma glabāŔana tajā paŔā diskā tā nav, tāpēc es arÄ« izmantoju bash skriptu, lai dotos tur un kopētu visu uz savu serveri, arhivējot visu vienā arhÄ«vā ar datumu nosaukumā.

Ceru, ka vismaz kādam palīdzēs metodes, kuras izmantoju un ar kurām dalījos.

Kā redzams no raksta, es mÄ«lu automatizāciju un cenÅ”os automatizēt visu, kas ir iespējams, es daudzas lietas neaprakstÄ«ju no automatizācijas viedokļa, jo tās jau ir citas tēmas un citi raksti.

Avots: www.habr.com

Pievieno komentāru