Siin kirjutatakse regulaarselt postitusi selle kohta, kuidas hoida ja varundada oma fotosid ning lihtsalt faile. Viimases sellises postituses kirjutasin piisavalt pika kommentaari, mõtlesin veidi ja otsustasin selle siiski postitusesse arendada. Eriti kuna mu meetod varundamise pilve on natuke muutunud, võib see kellelegi kasulik olla.
Kodu server, kus toimub palju allpool kirjeldatut:
Mida tuleb säilitada?
Kõige olulisem ja mahukam minu jaoks on fotod. Harva ka videod, aga väga harva — need võtavad liiga palju ruumi ja aega, seega ma ei armasta neid eriti, teen ainult lühikesi klippe, mis on samas hunnikus, kus ka fotod. Praegu hõlmab minu fotoarhiiv ligikaudu 1,6 terabaiti ja kasvab umbes 200 gigabaiti aastas. Teised olulised asjad on palju vähem mahukad ja nende hoidmise ja varundamise osas on vähem küsimusi, tosin või paar gigabaiti saab riputada hulga tasuta või väga odavate kohtade peale, alates DVD-dest ja lõpetades mälupulkade ning pilvteenustega.
Kuidas see säilitakse ja varundatakse?
Minu kogu fotoarhiiv hõlmab praegu umbes 1,6 terabaiti. Peamine koopiad hoian kahel terabaitisel SSD-l koduses arvutis. Mälukaartidel püüan fotosid mitte hoida kauem, kui vajalik, muidu salvestan need kohe töölauale või sülearvutisse (kui olen teel). Kuigi mälupulga pealt ma fotosid ei kustuta, kui seal on veel ruumi. Liigne koopia ei tee kunagi paha. Sülearvutist minnes salvestan kõik ka tagasi töölauale.
Igal päeval teen koopia fotode kaustast kodusele serverile (tüüpi peegeldus Drivepooli baasil, kus on seadistatud oluliste kaustade dubleerimine). Muide, Drivepooli soovitan ikka — aastaid kasutamist ei ole ühtegi tõrget olnud. Lihtsalt töötab. Ainult ärge vaadake selle vene liidest, ma saatsin arendajatele sobivama tõlke, aga ma ei tea, millal nad selle rakendavad. Praegu on vene keeles see programm basseeni haldamiseks (manage pool).
Muidugi saab koopiaid teha sagedamini, kui päeval on palju tööd tehtud, siis võin sundida ülesande käivitama. Kuigi praegu mõtlen sellele, et käivitada kopeerimine kui failid muutuvad, tahan lõpetada töölaua ööpäevaringselt sissejätmise, lasta serveril rohkem töötada. Programm — GoodSync.
Kuni hiljuti laadisin samalt töölaualt sama GoodSynci abil faile pilve Onedrive. Suur osa minu faile ei ole isiklikud, seega üleslaadisin need nii nagu nad on, ilma krüpteerimiseta. Mis oli isiklik, laadisin eraldi ülesande raames, koos krüpteerimisega.
Onedrive valiti, kuna Office 365 Home Premium tellimus 2000 aastas andis viis (ja nüüdseks juba kuus) terabaiti pilves. Olgu see ka osade kaupa terabaiti. Praegu on tõepoolest see odav variant natuke kallinenud, kuid paar nädalat tagasi oli veel variant 2600-2700 aastas (tuleb otsida jaetootjatelt). Olin seda ette näinud, kui MS eelmisel aastal hindu tõstis ja lõpetas tellimuse müügi oma lehelt, seega aktiveerisin tellimuse viieks aastaks ette, kui need veel müügis olid 1800-2000 kastide ulatuses (kuigi oleksin võinud osta veel paar kasti varuks, aga ma ei julgenud nii kaugele mõelda).
Üleslaadimise kiirus on maksimaalne minu planeeringu jaoks, 4-5 megabaiti/sekundis, öösiti kuni 10. Olin kunagi vaadanud crashplan'i — seal laaditi hästi, kui megabait sekundis.
Eluaegne 5TB 2-3$ eest eBayst on väga ettearvamatu asi. Kuna eluea jooksul võib osutuda väga lühikeseks, praegu on rekord kolm kuud. See ei ole õige asi — varundada kohta, mis võib igal hetkel kokku kukkuda. Olgu see ka odav.
Aga nüüd, kuna otsustasin viia osa ülesandeid töölaualt serverisse, olen Onedrive'i kopeerimise Duplicatile üle viinud. Kuigi see on beetaversioon, olen seda juba mitu kuud kasutanud ja seni on see töötanud üsna stabiilselt. Kuna Duplicati hoiab isegi oma varukoopiad arhivides, mitte laiali, otsustasin kõik üleslaaditavad krüpteerida sisseehitatud vahenditega. Igal juhul tuleb taastamine, kui midagi juhtub, teha samuti Duplicati kaudu. Seega las ta krüpteerib kõik.
Arvestades, et mul on terabaitide kaupa, koosneb varundus pilve mitmest ülesandest. Siin just toimub varundussüsteemi üleslaadimine pilve. 2019 laaditi kiiresti — seal mõne päeva jooksul pool sada fotot, ma ei käinud veel palju, ja 2018 laadib aeglaselt alla. Praegune üleslaadimise kiirus ei ole maksimaalne — päev, kanalid on täis ja kõik selline.
Pilves näeb varunduse kaust välja selliselt — palju zip-arhive, arhivi suurus on seadistatud ülesande loomisel:
Ligikaudu teen välise kettale koopia umbes kord kuus, mille hoian kapis. Ühendan ja käsitsi käivitan ülesande GoodSync'iga. Kuigi, muidugi, saaksin ka kettale ühendamisel automaatse käivitamise seadistada — aga mul ei ole alati vaja varukoopiat teha, kui ketas on ühendatud.
Tegelikult võiks mul olla veel üks eemalolev salvestuskoht — enda ja mitte liiga pilvepõhine. Minu serveril, mis on teenusepakkuja platsil, on mul juba ammu ette valmistatud ketas selleks otstarbeks, aga mul ei ole selleks aega leidnud. Aga kuna olen asunud kõike duplicati alla tõstma, siis arvan, et teen ka selle valmis kohe, kui olen kõik OneDrive'i üles laadinud.
Kuidas see kataloogitakse?
Siin jaguneb küsimus kaheks — failisüsteemi tasand, kus kataloogimine toimub kaustade tasemel, ja loogiline kataloogimine, mis põhineb suuremal hulgal parameetritel, sest kaustade puu on piiratud oma võimalustes.
Jah, ma pildistan RAW formaadis. Sest RAW-failist saab igal ajal luua JPG faili, aga mitte vastupidi. Varem pildistasin RAW + JPG formaadis, et saaksin kiirelt fotod telefonile üle kanda ja internetti postitada (RAW edastamine telefonile oli keeruline). JPG-d kustutasin hiljem, kui laadisin need töötasmasinasse. Aga nüüd olen oma telefoniga rahul piltide kvaliteedi osas (interneti postitamiseks), seega loovutasin kaamerates JPG vormingust täielikult. Jäänud on kas vanad, kui mul ei olnud peegelkaamerat, või telefonist saadud pildid.
Failisüsteemi tasand näeb välja umbes nii: ülemisel tasemel on kaustade allikas. Fotograafide nimed tavaliselt.
Ühel tasemel allpool on teemad. Enamus neist on enam-vähem samad, võivad olla ka isiklikud teemad (näiteks 'Koerad', mõned teemad võivad puududa).
Edasi on aastad. Aasta sees on päevade kaupa kaustad. Kaustas võivad olla eraldi fotosessioonid, kui päeva fotod jagunevad teemade kaupa.
Seega võib failitee välja näha umbes selline: MinuReisid20182018-04-11 BerliinPrantsuse jaamP4110029.ORF
Pildistan kahte kaamerat, tavaliselt vaheldumisi, aga harva võtan mõlemad kaasa — siis tõstan pildid ühisesse kausta. Peamine on, et kellaaeg oleks sünkroniseeritud, vastasel juhul peab hiljem arvutama erinevuse ja parandama kõigi failide salvestamise kuupäeva (Lightroomis on see lihtne, kuigi tüütu ajanumbrite arvutamine).
Telefoniga tehtud fotode jaoks on teisel tasemel eraldi kaust, aga vajadusel võib foto saada ka teema kausta.
Loogiline kataloogimine kaustade peal — Adobe Lightroom. Muidugi on kataloogimiseks ja töötlemiseks palju programme, aga Lightroom sobib mulle, hind on täiesti talutav (ja isegi Photoshop tuleb komplektis), ja viimase paari aasta jooksul on see ka vähem latentsust näidanud. Kuigi, loomulikult, SSD täielikule üleminekule aitas samuti.
Kõik fotod elavad ühes kataloogis. Põhistruktuuris kasutatakse eelmisel punktis välja toodud kaustade struktuuri, mille peale on lisatud EXIF teave, geotag'id, sildid ja värvikoodid. Veel saab näo tuvastamise sisse lülitada, aga mina ei kasuta seda.
Kõikide nende põhjal saab luua 'nutikaid kogusid' — dünaamilisi kogumisi teatud failiparameetrite järgi — alates pildistamisparameetritest kuni kommentaaride tekstini.
Kõik sildid salvestatakse failidesse, redigeerimise ajalugu on XMP-failides RAW-ide kõrval. Lightroomi kataloog varundatakse kord nädalas selle enda vahenditega kindlasse kausta, kust see hiljem laaditakse OneDrive'i. Ja lisaks sellele, iga päev varundatakse töölauda süsteemidisk serverisse Veeam Agent'iga — ja kataloog asub just süsteemidiskil.
Aga miks kõik räägib ainult fotodest? Kas teisi failitüüpe ei ole?
On, miks ei oleks. Varundamismeetodid ei erine (kui ei pea üldse varundama), aga kataloogimise meetodid sõltuvad sisu tüübist.
Peamiselt piisab kaustade tasemel sortimisest, sildid ei ole vajalikud. Ainult filmide ja sarjade jaoks kasutatakse eraldi kataloogijat — Plex Media Server. Samuti on see meediaserver, nagu nimest järeldub. Aga seal ei ole kaua valitud, korralikult sorteerituks on järjest vähem kui veerand filmikogust, ja ülejäänud on kaustas '!to sort'.
Allikas: habr.com
