Már régóta szerettem volna írni arról, hogyan tárolom a fájljaimat, hogyan készítek biztonsági mentéseket, de valahogy eddig nem került rá sor. Nemrég itt megjelent egy cikk, ami néhány szempontból hasonlít az enyémhez, de más megközelítéssel.
Évek óta próbálom megtalálni a számomra ideális módszert a fájlok tárolására. Azt hiszem, megtaláltam, de mindig van mit javítani, ha van valami ötletetek arról, hogyan lehetne még jobb, szívesen olvasom.
Kezdem azzal, hogy mondok pár szót magamról; webfejlesztéssel foglalkozom, és a szabadidőmben fényképezek. Ezért nyilvánvaló, hogy nekem tárolnom kell a munkáim és személyes projektjeim, fényképek, videók és egyéb fájlok.
Körülbelül 680 GB fájlom van, a 90%-a fénykép és videó.
A fájlok forgása az én tárolóimban:
Itt egy példaséma arról, hogyan és hol tárolom az összes fájlomat.
Nézzük most részletesebben.
Ahogy látható, a középpontjában a NAS-om áll, nevezetesen a Synology DS214, amely a Synology egyik legegyszerűbb NAS-a, mindazonáltal minden szükséges feladatot ellát.
Dropbox
A munkagépem egy 2015-ös MacBook Pro 13. 512 GB-om van, de természetesen nem férnek el rajta az összes fájl, csak az, ami a jelenlegi pillanatban szükséges. Az összes személyes fájlomat és mappámat a Dropbox-szal szinkronizálom, tudom, hogy ez nem a legmegbízhatóbb, de csak a szinkronizálás funkcióját tölti be. Ezt pedig a lehető legjobban végzi, legalábbis az összes ismert és kevésbé ismert felhőszolgáltatás közül, amit kipróbáltam.
A Synology-nak is van saját felhője, amit saját NAS-omon lehet telepíteni, néhányszor megpróbáltam átszokni a Dropbox-ról a Synology Cloud Station-ra, de mindig problémáim voltak a szinkronizálással, mindig valamilyen hiba merült fel, vagy nem minden fájl szinkronizálódott.
Minden fontos fájlom a Dropbox mappában található, néha mentek valamit az asztalra, hogy ne veszítsek el semmit, ezért a MacDropAny program segítségével szimlinket készítettem a Dropbox mappában.
A Letöltések mappám semmilyen módon nem szinkronizálódik, de ott nincs semmi fontos, csak átmeneti fájlok. Ha fontos dolgot töltök le, átmásolom a megfelelő mappába a Dropboxban.
Kalandjaim a Dropbox-szalValamikor régen, 2013-2014 körül, minden fájlomat csak a Dropboxban tároltam, nem voltak biztonsági mentések. Akkor még nem volt 1 TB-om, tehát nem fizettem érte, körülbelül 25 GB-om volt, amit barátok meghívásával vagy más feladatok elvégzésével szereztem.
Egy szép reggel bekapcsoltam a számítógépemet, és minden fájlom eltűnt, ráadásul kaptam egy levelet a Dropbox-tól, amelyben elnézést kértek, és közölték, hogy a fájljaim az ő hibájukból tűntek el. Adtak egy linket, amellyel vissza tudtam volna állítani a fájljaimat, de természetesen semmi sem állt helyre. Viszont kaptam egy évi 1Tb-os előfizetést, így az ügyfelük lettem, ami furcsán hangzik, de sosem bíztam bennük.
Ahogy korábban írtam, nem tudtam találni számomra megfelelő felhőt, először is, még nem voltak szinkronizálási problémáim, másrészt sok szolgáltatás csak a Dropbox-szal működik.
Konténerizálás
A munkahelyi fájlok a munkahelyi szerveren tárolódnak, a személyes projektek a GitLab-on, itt minden egyszerű.
Time Machine
Emellett készítek egy teljes rendszerbiztonsági mentést, kivéve a Dropbox és a Letöltések mappát, hogy ne foglaljak feleslegesen helyet. A rendszer biztonsági másolatát Time Machine-nel készítem, ami egy remek eszköz, már többször megsegített. Az ugyanazon NAS-on készítem, szerencsére van ilyen funkció. Természetesen külső HDD-re is lehet, de az nem olyan kényelmes. Minden alkalommal csatlakoztatni kell a külső meghajtót és manuálisan elindítani a Time Machine-t. A lustaság miatt gyakran csak néhány hetente végeztem ilyen biztonsági mentéseket. A szerver viszont automatikusan készít másolatot, és észre sem veszem, mikor történik. Otthon dolgozom, így mindig van friss biztonsági mentésem az egész rendszeremről. Naponta többször készül másolat, nem számoltam, hányszor és milyen gyakran.
NAS
Itt történik a varázslat.
A Synology-nak van egy remek eszköze, amelyet Cloud Sync-nek hívnak, gondolom a nevéből egyértelmű, hogy mit csinál.
Ez képes szinkronizálni sok felhőrendszert egymással, pontosabban szinkronizálni a NAS szerver fájljait más felhőkkel. A programról van vélemény az interneten, nem akarok belemenni a részletekbe. Inkább leírom, hogyan használom.
A szerveren van egy mappa, amelyet Dropbox-nak hívnak, ez a Dropbox fiókom másolata, a szinkronizálást a Cloud Sync végzi. Ha a Dropbox-ban bármi történik a fájlokkal, akkor ez a szerveren is megtörténik, mindegy, hogy törlés vagy létrehozás. Szóval klasszikus szinkronizálás.
Yandex.Disk
A következő lépésben ezeket a fájlokat feltöltöm a Yandex.Disk-re, amit házi készítésű biztonsági mentési lemezként használok, tehát a fájlokat oda dobom, de onnan semmit sem törlök, így egyfajta fájlhalmaz keletkezik, de párszor már megsegített.
Google Drive
Ott csak a 'Photos' mappát küldöm, szinkronizálási módban, ezt csak a Google Fotókban való kényelmes megtekintés céljából teszem, és van lehetőség a fotók törlésére, ami mindenhol eltűnik (kivéve az Yandex Drive-ot, nyilvánvalóan). A fotókról lentebb írok, akár külön cikket is lehetne rájuk szentelni.
HyperBackup
De mindez nem túl megbízható, ha véletlenül törlöm a fájlt, az mindenhol eltűnik, és azt lehet mondani, hogy elveszett. Persze vissza lehet állítani az Yandex Drive-ból, de egyrészt a biztonsági másolat egy helyen nem túl megbízható magában, és magával az Yandex Drive-dal sem lehet 100%-ban biztosnak lenni, bár eddig még nem volt vele probléma.
Ezért mindig igyekeztem a fájlokat máshol is tárolni, már egy normális biztonsági mentési rendszerrel.
A Synology-nak van egy eszköze erre, amit HyperBackup-nak hívnak, ez a fájlok biztonsági másolatát készíti vagy más Synology szerverekre, vagy harmadik féltől származó felhőmegoldásokra.
Ezen kívül képes biztonsági másolatot készíteni a NAS-hoz csatlakoztatott külső meghajtókra is, így csináltam ezt nemrégig. De ez sem megbízható, például tűz esetén vége a szervernek és a HDD-nek is.
Synology C2
Itt már szépen átérünk egy másik szolgáltatásra, amit magának a Synology-nak kínál. Van saját felhőszolgáltatásuk a biztonsági mentések tárolására. Kifejezetten a HyperBackup-ra lett optimalizálva, minden nap itt készít biztonsági másolatot, de ez már egy átgondolt biztonsági másolat, vannak fájlverziók, idővonal és még kliensprogramok Windows és Mac OS-hez is.
Ezzel a fájlok tárolásának kérdése végére értünk, remélem, a fájljaim meg lesznek mentve.
Most áttérünk a fájlok rendezésére.
A szokványos fájlokat, könyveket, dokumentumok másolatait és egyéb kevésbé fontos fájlokat, akárcsak mindenki, kézzel rendezek mappákba. Általában nem sok van belőlük, és ritkán nyitom meg őket.
A legnehezebb a fényképek és videók rendezése, abból sok van.
Havonta néhány tucat és néhány száz fényképet készítek. Tükörreflexes fényképezőgéppel, drónnal és néha telefonnal fényképezek. A fényképek lehetnek személyesek és stock fotók is. Néha családi videót is forgatok (nem úgy gondoljátok, csak családi felvételek, főként a lányommal). Ezt is valahogyan tárolni és rendezni kell, hogy ne legyen zűrzavar.
Van egy mappám ugyanabban a Dropbox-ban, 'Sort Images' néven, ott vannak almappák, ahova minden fénykép és videó kerül, onnan veszem ki őket és rendezem, ahova kell.
A rendezés a NAS szerveren történik, ahol bash szkriptek futnak, amelyeket naponta automatikusan elindítanak, és elvégzik a feladatukat. A NAS is felel a futtatásukért, van egy feladat ütemező, amely az összes szkript és más feladat indításáért felel. Be lehet állítani, hogy milyen gyakran és mikor futnak a feladatok, egy egyszerű felületű cron-nal.
Minden mappának megvan a saját szkriptje. Most részletesebben a mappákról:
Drone — ide kerülnek a drónnal készült fotók, amelyeket személyes célokra készítettem. Először az összes fényképet feldolgozom a Lightroomban, majd JPG formátumban exportálom ebbe a mappába. Onnan egy másik mappába, a "Photo"-ba kerülnek a Dropboxban.
Ott található a "Drone" mappa, ahol a fotókat évek és hónapok szerint rendezem. A szkriptek automatikusan létrehozzák a szükséges mappákat, és az általam megadott sablon alapján átnevezik a fotókat, általában a felvétel dátuma és időpontja szerepel a névben, a végére pedig hozzáadok egy véletlenszerű számot, hogy ne legyenek azonos nevű fájlok. Nem emlékszem, miért nem volt megfelelő a másodpercek használata a fájlnevekben ezekhez a célokhoz.
Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone Video — jelenleg nem készítek drónnal videót, sok mindent meg kell még tanulnom, és most nincs időm rá, de már létrehoztam a mappát.
Images Operations — itt belül két mappa van, amikor fájlok kerülnek oda, akkor vagy a maximális oldalakat 2000px-re tömörítik az internetes közzétételhez, vagy a képek elforgatása történik, amire nekem már nincs szükségem, de egyelőre nem töröltem a mappát.
Panoramas — ide kerülnek a panorámák, ahogyan azt könnyen ki lehet találni, külön tárolom őket, mert ez egy specifikus fénykép típus. Általában drónnal készítem őket. Készítek hagyományos panorámákat, de 360 fokos panorámákat és néha gömböket is csinálok, ezek a kis bolygók formájú panorámák, amelyek szintén drónnal készülnek. Ebből a mappából az összes fénykép a Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg mappába kerül. Itt nem végzek havonta rendezést, mert nem sok panorámám van.
Personal Photo — ide kerülnek azok a fényképek, amelyeket tükörreflexes fényképezőgéppel készítek, általában családi képek vagy utazások, egyszóval fotók, amelyeket emlékül és saját magam számára készítek. A nyers fotókat is feldolgozom a Lightroom-ban, majd ide exportálom.
Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Ha pedig valamilyen ünnepségen vagy más rendezvényen készítettem fotókat, amelyeket jobban szeretnék külön tárolni, akkor a 2019-es mappában létrehozom az esemény nevét viselő mappát, és manuálisan másolom oda a fényképeket.
RAW — ide kerülnek a fényképek nyers fájljai. Én mindig RAW formátumban fényképezek, minden fotót JPG-ben tárolok, de néha szeretném megőrizni a RAW fájlokat is, néha pedig másképp szeretnék feldolgozni egy-egy felvételt. Általában ez természet, és csak a legjobb felvételeim kerülnek ide, nem minden képet mentek el.
Stock Fotó — ide töltöm fel a stock fotókat, amelyeket vagy tükörreflexes fényképezőgéppel, vagy drónnal készítek. A rendezés ugyanolyan, mint a többi fénykép esetén, csak egy külön mappába.
A Dropbox gyökérkönyvtárában van egy Camera Uploads mappa, ez az alapértelmezett mappa, ahová a Dropbox mobilalkalmazás minden fényképet és videót feltölt. A feleségem telefonjáról az összes kép így kerül ide. Én is minden engem érintő fotót és videót ide töltök fel, majd innen külön mappákba rendezem őket. De ezt egy másik, számomra kényelmesebb módon csinálom. Van egy Androidra készült alkalmazás, a FolderSync, amely lehetővé teszi, hogy az összes képet a telefonomról feltöltsem a Dropboxra, majd töröljem őket a telefonról. Rengeteg beállítás van benne, ajánlom. Ide kerülnek a telefonos videók is, amelyeket szintén évek és hónapok szerint rendeznek.
Minden scriptet magam gyűjtöttem össze különböző online útmutatók alapján, kész megoldásokat nem találtam. Egyébként nem tudok semmit a bash scriptekről, lehet, hogy vannak hibák, vagy dolgokat jobban is meg lehetett volna csinálni, de a legfontosabb számomra, hogy ezek a scriptek elvégzik a munkájukat és azt, amit én szeretnék.
A scripteket feltöltöttem a GitHubra:
Korábban a fotók, videók rendezésére Hazel-t használtam Mac OS-en, ahol minden egyszerűbb, a feladatokat vizuálisan hozom létre, nem kell kódot írni, de két hátránya van. Először is, minden mappát a számítógépen kell tartani, hogy minden jól működjön, és másodszor, ha esetleg Windowsra vagy Linuxra váltok, ott nincsenek ilyen programok. Próbáltam alternatívákat keresni, de mindegyik haszontalan volt. A scriptek szerverre való megoldása sokkal univerzálisabb megoldás.
Minden script úgy van beállítva, hogy naponta egyszer, általában éjjel fusson. De ha nincs időm várni és valahogy most kell végrehajtanom a szükséges scriptet, két megoldás van: csatlakozni SSH-val a szerverhez és végrehajtani a szükséges scriptet, vagy belépni az admin felületre és ott manuálisan elindítani a kívánt scriptet. Ez nekem kényelmetlennek tűnik, ezért találtam egy harmadik megoldást. Van egy program Androidra, ami képes SSH parancsokat küldeni. Létrehoztam néhány parancsot, mindegyikhez tartozik egy gomb, és most, ha például rendezni kell a drónnal készült fényképeket, csak egy gombot nyomok, és a script életbe lép. A program neve SSHing, van más hasonló is, de számomra ez a legkényelmesebb.
Van néhány saját weboldalam is, ezek inkább csak dísznek valók, szinte senki nem látogatja őket, de a backup készítése nem árt. A weboldalakat a DigitalOcean-n tartom, ahol aaPanel-t telepítettem. Ott lehetőség van az összes fájl és adatbázis biztonsági másolatának elkészítésére, de ugyanazon a lemezen.
Nem helyénvaló a backupot ugyanazon a lemezen tárolni, ezért én is egy bash script segítségével csatlakozom, és minden fájlt átmásolok a saját szerveremre, mindent egy archívumba tömörítve, amelynek a nevében a dátum szerepel.
Remélem, hogy a módszerek, amelyeket használok és amelyekkel megosztottam, segítenek valakinek.
Ahogy a cikkből látható, szeretem az automatizálást és próbálom az összes lehetséges dolgot automatizálni, sok mindent nem írtam le az automatizálás szempontjából, mivel ezek már más témák és más cikkek.
Forrás: habr.com
