Geymsla og sjálfvirk flokkun mynda og annarra skráa. Að vinna með skráageymslu byggt á Synology NAS

Mig hefur lengi langað til að skrifa um hvernig ég geymi skrárnar mínar og hvernig ég geri öryggisafrit, en ég komst aldrei í það. Nýlega birtist hér grein, nokkuð svipuð mínum en með annarri nálgun.
Greinin sjálf.

Ég hef verið að reyna að finna hina fullkomnu aðferð til að geyma skrár í mörg ár núna. Ég held að ég hafi fundið það, en það er alltaf eitthvað til að bæta, ef þú hefur einhverjar hugmyndir um hvernig á að gera það betur, mun ég vera fús til að lesa það.

Ég byrja á því að segja ykkur nokkur orð um sjálfa mig, ég stunda vefþróun og tek ljósmyndir í frítíma mínum. Þess vegna er niðurstaðan sú að ég þarf að geyma vinnu og persónuleg verkefni, myndir, myndbönd og aðrar skrár.

Ég á um 680 GB af skrám, 90 prósent þeirra eru myndir og myndbönd.

Dreifing skráa í geymslum mínum:

Geymsla og sjálfvirk flokkun mynda og annarra skráa. Að vinna með skráageymslu byggt á Synology NAS

Hér er áætlað skýringarmynd af því hvernig og hvar allar skrárnar mínar eru geymdar.

Núna meira.

Eins og þú sérð er hjarta alls NAS minn, nefnilega Synology DS214, einn einfaldasti NAS frá Synology, hins vegar ræður hann við allt sem ég þarf.

Dropbox

Vinnuvélin mín er macbook pro 13, 2015. Ég er með 512GB þarna en auðvitað passa ekki allar skrárnar, ég geymi bara það sem þarf í augnablikinu. Ég samstilla allar persónulegu skrárnar mínar og möppur við Dropbox, ég veit að það er ekki mjög áreiðanlegt, en það framkvæmir aðeins samstillingaraðgerðina. Og hann gerir það best, allavega miðað við það sem ég hef reynt. Og ég prófaði öll frægu og ekki svo frægu skýin.

Synology hefur líka sitt eigið ský, þú getur sett það á NAS-kerfið þitt, ég reyndi nokkrum sinnum að skipta úr Dropbox yfir í Synology Cloud Station, en það voru alltaf vandamál með samstillingu, það voru alltaf einhverjar villur eða ég samstillti ekki allt.

Allar mikilvægar skrár eru geymdar í Dropbox möppunni, stundum vista ég eitthvað á skjáborðinu mínu, til að glata ekki einhverju, gerði ég táknmynd í Dropbox möppuna með MacDropAny forritinu.
Niðurhalsmappan mín er ekki samstillt á nokkurn hátt, en það er ekkert mikilvægt þar, aðeins tímabundnar skrár. Ef ég sæki eitthvað mikilvægt afrita ég það í viðeigandi möppu í Dropbox.

Ævintýri mín með DropboxEinu sinni, einhvers staðar á árunum 2013-2014, geymdi ég allar skrárnar mínar í Dropbox og aðeins þar voru engin afrit. Þá átti ég ekki 1Tb, það er að segja, ég borgaði ekki fyrir það, ég átti um 25Gb, sem ég þénaði með því að bjóða vinum eða öðrum verkefnum.

Einn góðan veðurdag kveikti ég á tölvunni og allar skrárnar mínar hurfu, ég fékk líka bréf frá Dropbox þar sem þeir biðjast afsökunar og að skrárnar mínar hurfu í þeirra sök. Þeir gáfu mér tengil þar sem ég gæti endurheimt skrárnar mínar, en auðvitað var ekkert endurheimt. Fyrir þetta gáfu þeir mér 1Tb í eitt ár, eftir það varð ég skjólstæðingur þeirra, hversu undarlega sem það kann að hljóma, en ég treysti þeim aldrei.

Eins og ég skrifaði hér að ofan gat ég ekki fundið ský sem hentaði mér betur, í fyrsta lagi voru engin samstillingarvandamál ennþá, og í öðru lagi virka margar mismunandi þjónustur aðeins með Dropbox.

fara

Vinnuskrár eru geymdar á vinnuþjóninum, persónuleg verkefni eru geymd á GitLab, hér er allt einfalt.

Time Machine

Ég tek líka öryggisafrit af öllu kerfinu, fyrir utan Dropbox og Downloads möppuna auðvitað, til að taka ekki pláss til einskis. Ég afrita kerfið með Time Machine, frábært tól sem hefur hjálpað mér oftar en einu sinni. Ég geri það á sama NAS, sem betur fer hefur það slíka virkni. Þú getur auðvitað gert það á ytri HDD, en það er ekki eins þægilegt. Í hvert skipti sem þú þarft að tengja utanáliggjandi drif og ræsa Time Machine sjálfur. Vegna leti tók ég oft svona öryggisafrit einu sinni á nokkurra vikna fresti. Hann gerir sjálfkrafa afrit á netþjóninn, ég tek ekki einu sinni eftir því þegar hann gerir það. Ég vinn heima, svo ég er alltaf með nýtt öryggisafrit af öllu kerfinu mínu. Afrit er gert nokkrum sinnum á dag, ég taldi ekki hversu oft og hversu oft.

NAS

Þetta er þar sem allir galdarnir gerast.

Synology er með frábært tól, það heitir Cloud Sync, ég held að af nafninu sé ljóst hvað það gerir.

Það getur samstillt mörg skýjakerfi hvert við annað, eða nánar tiltekið, samstillt skrár frá NAS netþjóni við önnur ský. Ég held að það sé endurskoðun á þessu forriti á netinu. Ég skal ekki fara út í smáatriði. Ég myndi betur lýsa því hvernig ég nota það.

Geymsla og sjálfvirk flokkun mynda og annarra skráa. Að vinna með skráageymslu byggt á Synology NAS

Á þjóninum er ég með diskamöppu sem heitir Dropbox, hún er afrit af Dropbox reikningnum mínum, Cloud Sync sér um að samstilla þetta allt. Ef eitthvað kom fyrir skrárnar í Dropbox mun það gerast á þjóninum, það skiptir ekki máli hvort þeim er eytt eða búið til. Almennt, klassísk samstilling.

Yandex drif

Næst hendi ég öllum þessum skrám inn á Yandex diskinn minn, ég nota hann sem heimagerðan afritunardisk, það er að segja ég henti skránum þangað en eyði engu þaðan, það kemur í ljós að þetta er svona dump af skrám, en það hjálpaði nokkrum sinnum.

Google Drive

Þar sendi ég bara “Photos” möppuna, líka í samstillingarstillingu, ég geri þetta bara til að skoða myndir í Google Photos og með möguleika á að eyða myndum þaðan og þeim er eytt alls staðar (nema Yandex diskur auðvitað). Ég mun skrifa um myndina hér að neðan; þú gætir jafnvel skrifað sérstaka grein þar.

HyperBackup

En allt þetta er ekki mjög áreiðanlegt; ef þú eyðir skrá fyrir slysni verður henni eytt alls staðar og þú getur talið hana glataða. Þú getur auðvitað endurheimt af Yandex diski, en í fyrsta lagi er öryggisafrit á einum stað ekki mjög áreiðanlegt í sjálfu sér og Yandex diskurinn sjálfur er ekki þjónusta sem þú getur verið 100% öruggur með, jafnvel þó að það hafi aldrei verið nein vandamál með það.

Þess vegna reyndi ég alltaf að geyma skrár annars staðar, með venjulegu afritunarkerfi.

Geymsla og sjálfvirk flokkun mynda og annarra skráa. Að vinna með skráageymslu byggt á Synology NAS

Synology er líka með tól fyrir þetta, það heitir HyperBackup, það tekur afrit af skrám annað hvort á aðra Synology netþjóna eða á sumar skýjalausnir frá þriðja aðila framleiðendum.
Það getur líka gert öryggisafrit á ytri drif sem eru tengd við NAS, sem er það sem ég gerði þar til nýlega. En þetta er heldur ekki áreiðanlegt, til dæmis ef það er eldur, þá endirinn á bæði þjóninum og HDD.

Synology C2

Hér nálgumst við smám saman aðra þjónustu, að þessu sinni frá Synology sjálfri. Það hefur sín eigin ský til að geyma afrit. Það er hannað sérstaklega fyrir HyperBackup, hann tekur afrit þar á hverjum degi, en þetta er úthugsað öryggisafrit, það eru til skráarútgáfur, tímalína og jafnvel clients fyrir Windows og mac os.

Geymsla og sjálfvirk flokkun mynda og annarra skráa. Að vinna með skráageymslu byggt á Synology NAS

Það er allt fyrir skráageymslu, ég vona að skrárnar mínar séu öruggar.

Nú skulum við halda áfram að flokka skrárnar.

Ég flokka venjulegar skrár, bækur, skanna af skjölum og öðrum óskiptar skrám í möppur með höndunum eins og allt annað. Yfirleitt eru þær ekki margar og ég opna þær sjaldan.

Það erfiðasta er að flokka myndir og myndbönd, ég á fullt af þeim.

Ég tek frá nokkrum tugum til nokkur hundruð mynda á mánuði. Ég tek með DSLR, dróna og stundum í símanum mínum. Myndir geta verið persónulegar eða á lager. Ég tek líka stundum heimamyndbönd (ekki það sem þú gætir haldið, bara fjölskyldumyndbönd, oft með dóttur minni). Það þarf líka einhvern veginn að geyma og flokka þannig að það verði ekki rugl.

Ég er með möppu í sama Dropboxi sem heitir Sort Images, það eru undirmöppur þar sem allar myndir og myndbönd fara, þaðan eru þær teknar og flokkaðar þar sem þarf.

Geymsla og sjálfvirk flokkun mynda og annarra skráa. Að vinna með skráageymslu byggt á Synology NAS

Flokkun fer fram á NAS servernum, þar eru í gangi bash scripts sem fara sjálfkrafa í gang einu sinni á dag og vinna vinnuna sína. NAS er einnig ábyrgt fyrir því að ræsa þau; það er verkefnaáætlun sem er ábyrgur fyrir því að ræsa öll forskriftir og önnur verkefni. Þú getur stillt hversu oft og hvenær verkefni verða sett af stað, cron með viðmóti ef það er einfaldara.

Geymsla og sjálfvirk flokkun mynda og annarra skráa. Að vinna með skráageymslu byggt á Synology NAS

Hver mappa hefur sitt eigið handrit. Nú meira um möppur:

Drone — hér eru myndir frá dróna sem ég tók í persónulegum tilgangi. Fyrst vinn ég allar myndirnar í lightroom, flyt svo JPG út í þessa möppu. Þaðan enda þeir í annarri Dropbox möppu, „Photo“.

Það er mappa „Drone“ og þar er þeim þegar raðað eftir ári og mánuði. Handritin sjálf búa til nauðsynlegar möppur og endurnefna myndirnar sjálfar eftir sniðmátinu mínu, venjulega er þetta dagsetningin og tíminn sem myndin var tekin, ég bæti líka við slembitölu í lokin svo að skrár með sama nafni komi ekki fram. Ég man ekki hvers vegna að setja sekúndur í skráarnafnið hentaði ekki í þessum tilgangi.

Tréð lítur svona út: Mynd/Drone/2019/05 — maí/01 — maí — 2019_19.25.53_37.jpg

Geymsla og sjálfvirk flokkun mynda og annarra skráa. Að vinna með skráageymslu byggt á Synology NAS

Dróna myndband — Ég tek ekki myndband með dróna ennþá, það er margt sem þarf að læra, ég hef ekki tíma fyrir það núna, en ég hef þegar búið til möppu.

Myndaaðgerðir — það eru tvær möppur inni, þegar skrár finnast þar, þá eru þær einfaldlega annað hvort þjappaðar á hámarkshlið í 2000px til birtingar á netinu eða myndum er flett, ég þarf þetta ekki lengur, en ég hef ekki eytt möppunni ennþá.

Víðmyndir — þetta er þar sem víðmyndir koma inn, eins og þú gætir giska á, ég geymi þær sérstaklega þar sem þetta er ákveðin tegund af myndum, ég tek þær venjulega með dróna. Ég geri líka venjulegar víðmyndir, en ég geri líka 360 víðmyndir og stundum kúlur, svona víðmyndir eins og litlar plánetur, ég geri það líka með dróna. Úr þessari möppu fara allar myndir líka í Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg. Hér flokka ég ekki eftir mánuðum vegna þess að það eru ekki svo margar víðmyndir.

Persónuleg mynd — Hér eru myndirnar sem ég tek með DSLR, venjulega eru þetta fjölskyldumyndir eða ferðalög, almennt, myndir sem eru teknar fyrir minnið og sjálfan mig. Ég vinn líka hráar myndir í Lightroom og flyt þær svo hingað.

Héðan komast þeir hingað: Mynd/2019/05 — maí/01 — maí — 2019_19.25.53_37.jpg

Ef ég myndaði einhvers konar hátíð eða eitthvað annað sem væri betra að geyma sérstaklega, þá bý ég til möppu með nafni hátíðarinnar í 2019 möppunni og afrita myndina þar handvirkt.

RAW — hér eru heimildir mynda. Ég tek alltaf í RAW, geymi allar myndir í JPG, en stundum vil ég geyma RAW skrár líka, stundum vil ég vinna ramma öðruvísi. Venjulega er þetta náttúran og aðeins bestu skotin komast þangað, ekki öll í röð.

Stock mynd — hér set ég inn myndir fyrir myndir sem ég tek annað hvort á DSLR eða dróna. Flokkun er sú sama og á öðrum myndum, bara í sinni eigin möppu.

Í rótarskrá Dropbox er myndavélaupphleðsla mappa, þetta er sjálfgefin mappa sem Dropbox farsímaforritið hleður inn öllum myndum og myndböndum. Allar myndir af eiginkonunni úr símanum falla niður á þennan hátt. Ég set líka inn allar myndirnar mínar og myndbönd úr símanum mínum hingað og þaðan raða ég þeim í sérstaka möppu. En ég geri það á annan hátt, þægilegra fyrir mig. Það er til svona forrit fyrir Android, FolderSync, það gerir þér kleift að taka allar myndirnar úr farsímanum þínum, hlaða þeim inn í Dropbox og eyða þeim svo úr símanum. Það eru margar stillingar, ég mæli með því. Myndbönd úr símanum þínum fara líka í þessa möppu; þau eru líka flokkuð eins og allar myndir, eftir árum og mánuðum.

Ég safnaði öllum skriftum sjálfur úr ýmsum leiðbeiningum á netinu, ég fann engar tilbúnar lausnir. Ég veit alls ekki neitt um bash forskriftir, kannski eru einhverjar villur eða eitthvað mætti ​​gera betur, en það mikilvægasta fyrir mig er að þeir vinni vinnuna sína og geri það sem ég þarf.

Forskriftunum var hlaðið upp á GitHub: https://github.com/pelinoleg/bash-scripts

Áður, til að flokka myndir og myndbönd, notaði ég Hazel undir mac os, allt er auðveldara þar, öll verkefni eru búin til sjónrænt, það er engin þörf á að skrifa kóða, en það eru tveir ókostir. Í fyrsta lagi þarf að geyma allar möppur á tölvunni svo allt virki vel og í öðru lagi ef ég skipti allt í einu yfir í Windows eða Linux þá eru engin slík forrit þar. Ég reyndi að leita að öðrum kosti en þeir voru allir án árangurs. Lausn með skriftum á þjóninum er alhliða lausn.

Öll forskriftir eru stilltar til að vera keyrðar einu sinni á dag, venjulega á nóttunni. En ef þú hefur ekki tíma til að bíða og þú þarft einhvern veginn að framkvæma nauðsynlega skriftu núna, þá eru tvær lausnir: tengdu í gegnum SSH við netþjóninn og keyrðu nauðsynlega skriftu, eða farðu á stjórnborðið og keyrðu líka handvirkt nauðsynlega handrit. Allt þetta finnst mér óþægilegt, svo ég fann þriðju lausnina. Það er til forrit fyrir Android sem getur sent ssh skipanir. Ég bjó til nokkrar skipanir, hver hefur sinn hnapp og núna ef ég þarf að raða td myndum sem ég tók af dróna, þá ýti ég bara á einn takka og scriptið keyrir. Forritið heitir SSHing, það eru fleiri svipaðir en fyrir mér er þetta þægilegast.

Geymsla og sjálfvirk flokkun mynda og annarra skráa. Að vinna með skráageymslu byggt á Synology NAS

Ég er líka með nokkrar af mínum eigin síðum, þær eru meira til sýnis, næstum enginn fer þangað, en samt sakar það ekki að taka öryggisafrit. Ég keyri síðurnar mínar á DigitalOcean, þar sem ég setti upp aaPanel spjaldið. Þar er hægt að taka öryggisafrit af öllum skrám og öllum gagnagrunnum en á sama disknum.

Að geyma öryggisafrit á sama diski er ekki málið, svo ég nota líka bash script til að fara þangað og afrita allt á netþjóninn minn, geyma allt í einu skjalasafni með dagsetningunni í nafninu.

Ég vona að minnsta kosti að einhver verði hjálpað af aðferðunum sem ég nota og sem ég deildi með.

Eins og sést á greininni elska ég sjálfvirkni og reyni að gera allt sem hægt er sjálfvirkt, ég lýsti ekki mörgum hlutum frá sjónarhóli sjálfvirkni, þar sem þetta eru nú þegar önnur efni og aðrar greinar.

Heimild: www.habr.com

Bæta við athugasemd