Fotoğrafların ve diğer dosyaların depolanması ve otomatik olarak sıralanması. Synology NAS tabanlı dosya depolamayla çalışma

Uzun zamandır dosyalarımı nasıl sakladığımı, nasıl yedekleme yaptığımı yazmak istiyordum ama bir türlü elime geçmiyordu. Son zamanlarda, burada benimkine biraz benzeyen, ancak farklı bir yaklaşımla bir makale yayınlandı.
Makalenin kendisi.

Yıllardır dosyaları depolamak için mükemmel yöntemi bulmaya çalışıyorum. Bulduğumu düşünüyorum ama her zaman geliştirilecek bir şeyler vardır, nasıl daha iyi hale getirilebilir diye bir fikriniz varsa zevkle okurum.

Size kendimden birkaç söz söyleyerek başlayacağım, ben bir web geliştiricisiyim ve boş zamanlarımda fotoğraf çekiyorum. Dolayısıyla, iş ve kişisel projeleri, fotoğrafları, videoları ve diğer dosyaları saklamam gerektiği sonucuna vardım.

Yüzde 680'ı fotoğraf ve video olmak üzere yaklaşık 90 GB dosyam var.

Kasalarımdaki bisiklet dosyaları:

Fotoğrafların ve diğer dosyaların depolanması ve otomatik olarak sıralanması. Synology NAS tabanlı dosya depolamayla çalışma

İşte tüm dosyalarımın nasıl ve nerede saklandığına dair yaklaşık bir diyagram.

Şimdi ayrıntıları.

Gördüğünüz gibi, her şeyin kalbi NAS'ım, yani Synology'nin en basit NAS'larından biri olan Synology DS214, ancak ihtiyacım olan her şeyin üstesinden geliyor.

dropbox

Çalışan makinem macbook pro 13, 2015. Orada 512 GB'ım var, ancak tüm dosyalar kendi kendine sığmıyor, şu anda yalnızca ihtiyacım olanı saklıyorum. Tüm kişisel dosya ve klasörlerimi Dropbox ile senkronize ediyorum, bunun çok güvenilir olmadığını biliyorum ama sadece senkronizasyon işlevini yerine getiriyor. Ve en azından benim denediğim kadarıyla bunu en iyi o yapıyor. Ve tüm ünlüleri denedim ve çok bulutlu değil.

Synology'nin de kendi bulutu var, onu NAS'ınızda konuşlandırabilirsiniz, Dropbox'tan Synology Cloud Station'a aktarmayı birkaç kez denedim, ancak her zaman senkronizasyon sorunları, her zaman bazı hatalar oldu veya her şey senkronize edilmedi.

Tüm önemli dosyalar Dropbox klasöründe saklanır, bazen masaüstüne bir şey kaydederim, bir şeyi kaybetmemek için MacDropAny programını kullanarak Dropbox klasörüne bir sembolik bağlantı yaptım.
İndirme klasörü hiçbir şekilde senkronize edilmez, ancak orada önemli bir şey yoktur, yalnızca geçici dosyalar vardır. Önemli bir şey indirirsem, onu Dropbox'ta uygun klasöre kopyalarım.

Dropbox ile maceralarımBir zamanlar, 2013-2014'te bir yerde, tüm dosyaları Dropbox'ta sakladım ve sadece içinde yedek yoktu. O zaman 1 TB'ım yoktu, yani parasını ödemedim, yaklaşık 25 GB'ım vardı, bunu arkadaşlarımı davet ederek veya başka görevler yaparak kazandım.

Güzel bir sabah bilgisayarı açtım ve tüm dosyalarım kayboldu, ayrıca Dropbox'tan özür diledikleri ve dosyalarımın kendi hataları nedeniyle kaybolduğuna dair bir e-posta aldım. Bana dosyalarımı geri yükleyebileceğim bir bağlantı verdiler, ancak hiçbir şey kendi kendine geri yüklenmedi. Bunun için bana bir yıllığına 1 Tb verdiler, ardından kulağa ne kadar tuhaf gelse de onların müşterisi oldum ama onlara asla güvenmedim.

Yukarıda yazdığım gibi, benim için daha uygun bir bulut bulamadım, birincisi henüz senkronizasyon sorunu yoktu ve ikincisi, her türden birçok hizmet yalnızca Dropbox ile çalışıyor.

Git

İş dosyaları çalışan sunucuda, kişisel projeler GitLab'da saklanır, burada her şey basit.

zaman Makinesi

Ayrıca boşuna yer kaplamamak için Dropbox ve İndirilenler klasörü hariç tüm sistemin yedeğini alıyorum. Sistemi mükemmel bir araç olan Time Machine ile yedekliyorum, bana birden çok kez yardımcı oldu. Orada böyle bir işlev olduğu için aynı NAS'ta yapıyorum. Elbette harici bir HDD'de yapabilirsiniz, ancak bu çok uygun değil. Her seferinde harici bir sürücü bağlamanız ve Time Machine'i kendiniz başlatmanız gerekir. Tembellik nedeniyle, genellikle birkaç haftada bir bu tür yedeklemeler yaptım. Sunucuda otomatik olarak bir yedekleme yapıyor, ne zaman yaptığını fark etmiyorum bile. Evden çalışıyorum, bu yüzden her zaman tüm sistemimin yeni bir yedeğini alıyorum. Günde birkaç kez bir kopya yapılır, kaç kez ve ne sıklıkta saymadım.

NAS

Tüm sihrin gerçekleştiği yer burasıdır.

Synology'nin harika bir aracı var, adı Cloud Sync, bence ne yaptığı adından belli.

Birçok bulut sistemini birbiriyle senkronize edebilir, daha doğrusu bir NAS sunucusundaki dosyaları diğer bulutlarla senkronize edebilir. Ağda bu programa genel bir bakış olduğunu düşünüyorum. Ayrıntılara girmeyeceğim. Nasıl kullandığımı tarif etmeyi tercih ederim.

Fotoğrafların ve diğer dosyaların depolanması ve otomatik olarak sıralanması. Synology NAS tabanlı dosya depolamayla çalışma

Sunucuda Dropbox adında bir disk klasörüm var, Dropbox hesabımın bir kopyası, tüm senkronizasyonu Cloud Sync yapıyor. Dropbox'ta dosyalara bir şey olduysa sunucuda da olur, sil/oluştur farketmez. Genel olarak, klasik senkronizasyon.

Yandex diski

Ayrıca tüm bu dosyaları Yandex diskime atıyorum, ev yapımı bir yedekleme diski olarak kullanıyorum yani dosyaları oraya atıyorum ama oradan hiçbir şey silmiyorum, böyle bir dosya dökümü çıkıyor ama yardımcı oldu birkaç defa.

Google Drive

Oraya yalnızca "Fotoğraflar" klasörünü gönderiyorum, ayrıca senkronizasyon modunda, bunu yalnızca fotoğrafların Google Fotoğraflar'da rahat görüntülenmesi için ve oradan fotoğrafları silme yeteneği ile yapıyorum ve her yerde siliniyorlar (Yandex diski hariç) . Aşağıdaki fotoğraf hakkında yazacağım, orada genellikle ayrı bir makale yazabilirsiniz.

hiper yedekleme

Ancak tüm bunlar çok güvenilir değil, bir dosyayı yanlışlıkla silerseniz, o zaman her yerde silinecek ve onu kayıp olarak kabul edebilirsiniz. Elbette bir Yandex diskinden geri yükleyebilirsiniz, ancak ilk olarak, tek bir yerde yedekleme kendi başına çok güvenilir değildir ve Yandex diskinin kendisi, hiç sahip olmamasına rağmen% 100 emin olabileceğiniz bir hizmet değildir. problemler.

Bu nedenle, zaten normal bir yedekleme sistemiyle dosyaları her zaman başka bir yerde depolamaya çalıştım.

Fotoğrafların ve diğer dosyaların depolanması ve otomatik olarak sıralanması. Synology NAS tabanlı dosya depolamayla çalışma

Synology'nin bunun için ayrıca bir aracı vardır, adı HyperBackup'tır, dosyaları diğer Synology sunucularına veya bazı üçüncü taraf bulut çözümlerine yedekler.
Yakın zamana kadar yaptığım gibi, NAS-y'ye bağlı harici sürücülere nasıl yedekleme yapılacağını da biliyor. Ancak bu da güvenilir değildir, örneğin bir yangın çıkarsa, o zaman hem sunucunun hem de HDD'nin sonu gelir.

Synology C2

Burada zaten Synology'nin kendisinden başka bir hizmete sorunsuz bir şekilde yaklaşıyoruz. Yedeklemeleri depolamak için kendi bulutları var. HyperBackup için özel olarak keskinleştirilmiştir, orada her gün bir yedekleme yapar, ancak bu zaten iyi düşünülmüş bir yedeklemedir, dosya sürümleri, bir zaman çizelgesi ve hatta Windows ve mac os için istemciler vardır.

Fotoğrafların ve diğer dosyaların depolanması ve otomatik olarak sıralanması. Synology NAS tabanlı dosya depolamayla çalışma

Hepsi bu kadar, dosya depolama ile umarım dosyalarım güvendedir.

Şimdi dosyaları sıralamaya geçelim.

Normal dosyalar, kitaplar, belge taramaları ve diğer önemsiz dosyalar, diğer her şey gibi, ellerimle klasörlere ayırırım. Genellikle pek çoğu yoktur ve nadiren açarım.

En zor şey fotoğrafları ve videoları sıralamak, bende çok var.

Ayda birkaç düzineden birkaç yüze kadar fotoğraf çekiyorum. DSLR, drone ve bazen telefonumla çekim yapıyorum. Fotoğraflar kişiye özeldir ve stok amaçlıdır. Bazen ev videoları da çekiyorum (düşündüğünüz gibi değil, sadece aile videoları, daha sık kızımla). Ayrıca yulaf lapası olmaması için bir şekilde saklanması ve sıralanması gerekir.

Aynı Dropbox'ta Resimleri Sırala adında bir klasörüm var, tüm fotoğraf ve videoların gittiği alt klasörler var, oradan çekilip gerektiğinde sıralanıyorlar.

Fotoğrafların ve diğer dosyaların depolanması ve otomatik olarak sıralanması. Synology NAS tabanlı dosya depolamayla çalışma

Sıralama NAS sunucusunda gerçekleşir, günde bir kez otomatik olarak çalışan ve işini yapan bash betikleri vardır. NAS, bunların başlatılmasından da sorumludur, tüm komut dosyalarını ve diğer görevleri başlatmaktan sorumlu bir görev zamanlayıcı vardır. Görevlerin ne sıklıkta ve ne zaman çalışacağını, daha kolaysa cron arayüzünü yapılandırabilirsiniz.

Fotoğrafların ve diğer dosyaların depolanması ve otomatik olarak sıralanması. Synology NAS tabanlı dosya depolamayla çalışma

Her klasörün kendi komut dosyası vardır. Şimdi klasörler hakkında daha fazla bilgi:

erkek arı - İşte kişisel amaçlar için çektiğim bir drone'dan fotoğraflar. Önce tüm fotoğrafları lightroom'da işliyorum, ardından JPG'yi bu klasöre aktarıyorum. oradan başka bir Dropbox klasörü olan "Fotoğraf" a gelirler.

Bir "Drone" klasörü var ve orada zaten yıl ve aya göre sıralanmışlar. Komut dosyalarının kendileri gerekli klasörleri oluşturur ve fotoğrafları şablonuma göre yeniden adlandırır, genellikle bu, fotoğrafın çekildiği tarih ve saattir, ayrıca aynı ada sahip dosyaların çıkmaması için sonuna rastgele bir sayı ekliyorum. Dosya adında saniye ayarının neden bu amaçlara uygun olmadığını hatırlamıyorum.

Ağaç şöyle görünüyor: Fotoğraf/Drone/2019/05 - Mayıs/01 - Mayıs - 2019_19.25.53_37.jpg

Fotoğrafların ve diğer dosyaların depolanması ve otomatik olarak sıralanması. Synology NAS tabanlı dosya depolamayla çalışma

Drone Videosu - Henüz bir drone ile video çekmiyorum, orada öğrenecek çok şey var, şimdi buna zaman yok ama zaten bir klasör oluşturdum.

Görüntü İşlemleri - içeride iki klasör var, dosyalar orada karşılaştığında, internette yayınlanmak üzere ya maksimum tarafta 2000 piksele sıkıştırılırlar ya da resimler çevrilir, artık buna ihtiyacım yok, ama şimdiye kadar yapmadım klasörü sildim.

Panoramaları - panoramalar, tahmin etmesi zor olmadığı için buraya gelin, onları ayrı ayrı saklıyorum, çünkü bu belirli bir fotoğraf türü, genellikle onları bir drone ile çekiyorum. Düzenli panoramalar da yapıyorum ama 360 panoramalar ve bazen küreler, küçük gezegenler gibi panoramalar da yapıyorum, drone ile de yapıyorum. Bu klasördeki tüm fotoğraflar ayrıca Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg konumunda yer alır. Burada çok fazla panorama olmadığı için aylara göre sıralamıyorum.

Kişisel fotoğraf - İşte SLR'de çektiğim fotoğraflar, bunlar genellikle aile fotoğrafları veya seyahatler, genel olarak hatıra olarak ve kendim için çekilmiş fotoğraflar. Raw fotoğrafları da lightroom'da işleyip buraya aktarıyorum.

Buradan buraya geliyorlar: Fotoğraf/2019/05 – Mayıs/01 – Mayıs – 2019_19.25.53_37.jpg

Ayrı ayrı saklanması daha iyi olacak bir tür kutlama veya başka bir şey çekersem, o zaman 2019 klasöründe kutlamanın adıyla bir klasör oluşturur ve fotoğrafı ellerimle oraya kopyalarım.

RAW - işte fotoğrafın kaynağı. Her zaman RAW'da çekim yapıyorum, tüm fotoğrafları JPG'de saklıyorum ama bazen RAW dosyalarını da saklamak istiyorum, bazen bir kareyi farklı şekilde işlemek istiyorum. Genellikle bu doğadır ve yalnızca en iyi çekimler oraya gelir, hepsi arka arkaya değil.

Stok fotoğraf - burada, bir DSLR'de veya bir drone'da yaptığım hisse senetleri için fotoğraflar yüklüyorum. Sıralama, yalnızca kendi ayrı klasöründe diğer fotoğraflardakiyle aynıdır.

Dropbox'ın kök dizininde bir Kamera Yüklemeleri klasörü vardır, bu, Dropbox mobil uygulamasının tüm fotoğrafları ve videoları buraya yüklediği varsayılan klasördür. Eşinin telefondaki tüm fotoğrafları bu şekilde çöpe atılıyor. Ben de telefonumdaki tüm fotoğraf ve videolarımı buraya atıyorum ve buradan ayrı bir klasöre sıralıyorum. Ama bunu farklı bir şekilde yapıyorum, benim için daha uygun. Android için böyle bir program var, FolderSync, cep telefonunuzdan tüm fotoğrafları çekmenizi, Dropbox'a yüklemenizi ve ardından telefonunuzdan silmenizi sağlıyor. Birçok ayar var, tavsiye ederim. Telefondaki videolar da bu klasöre girer, bunlar da tüm fotoğraflar gibi yıl ve aya göre sıralanır.

İnternetteki her türlü talimattan tüm komut dosyalarını kendim topladım, hazır çözümler bulamadım. Bash betikleri hakkında hiçbir şey bilmiyorum, belki bazı hatalar olabilir veya bazı şeyler daha iyi yapılabilirdi ama benim için en önemli şey işlerini yapmaları ve ihtiyacım olanı yapmaları.

Github'a yüklenen komut dosyaları: https://github.com/pelinoleg/bash-scripts

Daha önce mac os için Hazel'ı fotoğrafları, videoları sıralamak için kullanıyordum, orada her şey daha kolay, tüm görevler görsel olarak oluşturuluyor, kod yazmaya gerek yok ama iki eksi var. Birincisi, her şeyin iyi çalışması için bilgisayardaki tüm klasörleri tutmanız gerekir ve ikincisi, aniden Windows veya Linux'a geçersem, o zaman orada böyle bir program yoktur. Bir alternatif aramaya çalıştım ama hepsi hiçbir şeyle ilgili değildi. Sunucuda komut dosyaları bulunan bir çözüm daha evrensel bir çözümdür.

Tüm komut dosyaları günde bir kez, genellikle geceleri çalışacak şekilde yapılandırılmıştır. Ancak bekleyecek zaman yoksa ve bir şekilde istenen komut dosyasını şimdi çalıştırmanız gerekiyorsa, iki çözüm vardır: SSH aracılığıyla sunucuya bağlanın ve istenen komut dosyasını çalıştırın veya yönetici paneline gidin ve istenen komut dosyasını manuel olarak çalıştırın. aynı şekilde. Bütün bunlar bana uygun görünmüyor, bu yüzden üçüncü bir çözüm buldum. Ssh komutları gönderebilen bir Android programı var. Birkaç komut oluşturdum, her birinin kendi düğmesi var ve şimdi, örneğin drone'dan çektiğim fotoğrafları sıralamam gerekirse, o zaman sadece bir düğmeye basıyorum ve komut dosyası çalışıyor. Programın adı SSHing, buna benzer başka programlar da var ama benim için en uygunu bu.

Fotoğrafların ve diğer dosyaların depolanması ve otomatik olarak sıralanması. Synology NAS tabanlı dosya depolamayla çalışma

Ayrıca kendi sitelerimden birkaçına sahibim, bunlar daha çok gösteri amaçlı, neredeyse hiç kimse oraya gitmiyor, ancak yine de yedekleme yapmaktan zarar gelmez. Siteleri DigitalOcean üzerinde tutuyorum, aaPanel panelini oraya kurdum. Tüm dosyaları ve tüm veritabanlarını aynı sürücüye yedekleme seçeneği vardır.

Bir yedeği aynı diskte tutmak durum böyle değil, bu yüzden onu bash betiği aracılığıyla da çalıyorum ve her şeyi sunucuma kopyalıyorum, her şeyi başlıktaki tarihle tek bir arşivde arşivliyorum.

Umarım en azından birileri kullandığım ve paylaştığım yöntemlere yardımcı olur.

Makaleden de görebileceğiniz gibi otomasyonu seviyorum ve mümkün olan her şeyi otomatikleştirmeye çalışıyorum, otomasyon açısından pek çok şeyi açıklamadım çünkü bunlar zaten başka konular ve diğer makaleler.

Kaynak: habr.com

Yorum ekle