Storan dan pengisihan automatik foto dan fail lain. Bekerja dengan storan fail berdasarkan NAS Synology

Saya sudah lama ingin menulis tentang cara saya menyimpan fail saya dan cara saya membuat sandaran, tetapi saya tidak pernah melakukannya. Baru-baru ini satu artikel muncul di sini, agak serupa dengan saya tetapi dengan pendekatan yang berbeza.
Artikel itu sendiri.

Saya telah cuba mencari kaedah yang sempurna untuk menyimpan fail selama bertahun-tahun sekarang. Saya rasa saya telah menemuinya, tetapi sentiasa ada sesuatu untuk diperbaiki, jika anda mempunyai sebarang idea tentang cara untuk melakukannya dengan lebih baik, saya akan gembira membacanya.

Biar saya mulakan dengan memberitahu anda beberapa perkataan tentang diri saya. Saya membuat pembangunan web dan mengambil gambar pada masa lapang saya. Oleh itu kesimpulan bahawa saya perlu menyimpan kerja dan projek peribadi, foto, video dan fail lain.

Saya mempunyai kira-kira 680 GB fail, 90 peratus daripadanya adalah foto dan video.

Peredaran fail dalam storan saya:

Storan dan pengisihan automatik foto dan fail lain. Bekerja dengan storan fail berdasarkan NAS Synology

Berikut ialah gambarajah anggaran cara dan tempat semua fail saya disimpan.

Sekarang lebih lagi.

Seperti yang anda lihat, nadi segala-galanya ialah NAS saya, iaitu Synology DS214, salah satu NAS paling mudah daripada Synology, namun, ia mengatasi semua yang saya perlukan.

dropbox

Mesin kerja saya ialah macbook pro 13, 2015. Saya mempunyai 512GB di sana, tetapi sudah tentu tidak semua fail sesuai, saya hanya menyimpan apa yang diperlukan pada masa ini. Saya menyegerakkan semua fail dan folder peribadi saya dengan Dropbox, saya tahu ia tidak begitu dipercayai, tetapi ia hanya melaksanakan fungsi penyegerakan. Dan dia melakukan yang terbaik, sekurang-kurangnya dari apa yang saya cuba. Dan saya mencuba semua awan yang terkenal dan tidak begitu terkenal.

Synology juga mempunyai awannya sendiri, anda boleh menggunakannya pada NAS anda, saya cuba beberapa kali untuk menukar dari Dropbox ke Stesen Awan Synology, tetapi sentiasa ada masalah dengan penyegerakan, sentiasa terdapat beberapa ralat, atau saya tidak menyegerakkan semuanya.

Semua fail penting disimpan dalam folder Dropbox, kadangkala saya menyimpan sesuatu pada desktop saya, supaya tidak kehilangan sesuatu, saya membuat symlink ke folder Dropbox menggunakan program MacDropAny.
Folder Muat Turun tidak menyegerakkan untuk saya sama sekali, tetapi tiada apa-apa yang penting di sana, hanya fail sementara. Jika saya memuat turun sesuatu yang penting, saya menyalinnya ke folder yang sesuai dalam Dropbox.

Pengembaraan saya dengan DropboxSuatu ketika dahulu, di suatu tempat pada 2013-2014, saya menyimpan semua fail saya dalam Dropbox dan hanya di sana, tiada sandaran. Kemudian saya tidak mempunyai 1Tb, iaitu, saya tidak membayarnya, saya mempunyai kira-kira 25Gb, yang saya perolehi dengan menjemput rakan atau tugas lain.

Pada suatu pagi yang cerah, saya menghidupkan komputer dan semua fail saya hilang, saya juga menerima surat daripada Dropbox di mana mereka meminta maaf dan bahawa fail saya hilang kerana kesalahan mereka. Mereka memberi saya pautan di mana saya boleh memulihkan fail saya, tetapi sudah tentu tiada apa yang dipulihkan. Untuk ini mereka memberi saya 1Tb selama setahun, selepas itu saya menjadi pelanggan mereka, tidak kira betapa peliknya, tetapi saya tidak pernah mempercayai mereka.

Seperti yang saya tulis di atas, saya tidak dapat mencari awan yang lebih sesuai untuk saya, pertama, tiada masalah penyegerakan lagi, dan kedua, banyak perkhidmatan berbeza hanya berfungsi dengan Dropbox.

Git

Fail kerja disimpan pada pelayan kerja, projek peribadi disimpan di GitLab, semuanya mudah di sini.

Mesin Masa

Saya juga membuat sandaran keseluruhan sistem, tidak termasuk folder Dropbox dan Muat Turun sudah tentu, supaya tidak mengambil ruang dengan sia-sia. Saya membuat sandaran sistem menggunakan Mesin Masa, alat yang sangat baik yang telah membantu saya lebih daripada sekali. Saya melakukannya pada NAS yang sama, mujurlah ia mempunyai fungsi sedemikian. Anda boleh melakukannya pada HDD luaran, sudah tentu, tetapi ia tidak begitu mudah. Setiap kali anda perlu menyambungkan pemacu luaran dan melancarkan Mesin Masa sendiri. Kerana kemalasan, saya sering membuat sandaran sedemikian setiap beberapa minggu sekali. Dia secara automatik membuat sandaran ke pelayan, saya tidak perasan apabila dia melakukannya. Saya bekerja dari rumah, jadi saya sentiasa mempunyai sandaran baharu bagi keseluruhan sistem saya. Satu salinan dibuat beberapa kali sehari, saya tidak mengira berapa kali dan berapa kerap.

NAS

Di sinilah semua keajaiban berlaku.

Synology mempunyai alat yang sangat baik, ia dipanggil Cloud Sync, saya fikir dari namanya jelas apa yang dilakukannya.

Ia boleh menyegerakkan banyak sistem awan antara satu sama lain, atau lebih tepat lagi, menyegerakkan fail daripada pelayan NAS dengan awan lain. Saya rasa ada semakan program ini dalam talian. Saya tidak akan menjelaskan secara terperinci. Lebih baik saya menerangkan cara saya menggunakannya.

Storan dan pengisihan automatik foto dan fail lain. Bekerja dengan storan fail berdasarkan NAS Synology

Pada pelayan saya mempunyai folder cakera yang dipanggil Dropbox, ia adalah salinan akaun Dropbox saya, Cloud Sync bertanggungjawab untuk menyegerakkan semua ini. Jika sesuatu berlaku pada fail dalam Dropbox, ia akan berlaku pada pelayan, tidak kira sama ada ia dipadamkan atau dibuat. Secara umum, penyegerakan klasik.

Cakera Yandex

Seterusnya, saya membuang semua fail ini ke cakera Yandex saya, saya menggunakannya sebagai cakera sandaran buatan sendiri, iaitu, saya membuang fail ke sana tetapi tidak memadamkan apa-apa dari sana, ternyata ia adalah longgokan fail, tetapi ia membantu beberapa kali.

Google Drive

Di sana saya hanya menghantar folder "Foto", juga dalam mod penyegerakan, saya melakukan ini hanya untuk melihat foto yang mudah dalam Foto Google dan dengan keupayaan untuk memadam foto dari sana dan ia dipadamkan di mana-mana (kecuali cakera Yandex sudah tentu). Saya akan menulis tentang foto di bawah; anda juga boleh menulis artikel berasingan di sana.

HiperBackup

Tetapi semua ini tidak boleh dipercayai; jika anda secara tidak sengaja memadamkan fail, ia akan dipadamkan di mana-mana dan anda boleh menganggapnya hilang. Anda boleh, tentu saja, memulihkan dari cakera Yandex, tetapi pertama sekali, sandaran di satu tempat tidak begitu dipercayai dengan sendirinya, dan cakera Yandex itu sendiri bukanlah perkhidmatan di mana anda boleh yakin 100%, walaupun tidak pernah ada apa-apa. masalah dengannya.

Oleh itu, saya sentiasa cuba menyimpan fail di tempat lain, dengan sistem sandaran biasa.

Storan dan pengisihan automatik foto dan fail lain. Bekerja dengan storan fail berdasarkan NAS Synology

Synology juga mempunyai alat untuk ini, ia dipanggil HyperBackup, ia menyandarkan fail sama ada ke pelayan Synology lain atau beberapa penyelesaian awan daripada pengeluar pihak ketiga.
Ia juga boleh membuat sandaran kepada pemacu luaran yang disambungkan ke NAS, yang saya lakukan sehingga baru-baru ini. Tetapi ini juga tidak boleh dipercayai, sebagai contoh, jika terdapat kebakaran, maka hujung kedua-dua pelayan dan HDD.

Synology C2

Di sini kami secara beransur-ansur mendekati perkhidmatan lain, kali ini dari Synology sendiri. Ia mempunyai awan sendiri untuk menyimpan sandaran. Ia direka khusus untuk HyperBackup, dia membuat sandaran di sana setiap hari, tetapi ini adalah sandaran yang difikirkan dengan baik, terdapat versi fail, garis masa, dan juga pelanggan untuk Windows dan mac os.

Storan dan pengisihan automatik foto dan fail lain. Bekerja dengan storan fail berdasarkan NAS Synology

Itu sahaja untuk simpanan fail, saya harap fail saya selamat.

Sekarang mari kita beralih kepada menyusun fail.

Saya menyusun fail biasa, buku, imbasan dokumen dan fail tidak penting lain ke dalam folder dengan tangan, sama seperti semua yang lain. Selalunya tak banyak dan jarang saya buka.

Perkara yang paling sukar ialah menyusun foto dan video, saya mempunyai banyak daripadanya.

Saya mengambil dari beberapa dozen hingga beberapa ratus gambar sebulan. Saya merakam dengan DSLR, drone dan kadang-kadang pada telefon saya. Foto boleh menjadi peribadi atau untuk stok. Saya juga kadangkala merakam video rumah (bukan seperti yang anda fikirkan, hanya video keluarga, selalunya dengan anak perempuan saya). Ia juga perlu disimpan dan disusun supaya tidak menjadi kucar-kacir.

Saya mempunyai folder dalam Dropbox yang sama yang dipanggil Susun Imej, terdapat subfolder di mana semua foto dan video pergi, dari sana ia diambil dan diisih di mana perlu.

Storan dan pengisihan automatik foto dan fail lain. Bekerja dengan storan fail berdasarkan NAS Synology

Pengisihan berlaku pada pelayan NAS, terdapat skrip bash yang berjalan di sana yang dilancarkan secara automatik sekali sehari dan melakukan tugas mereka. NAS juga bertanggungjawab untuk melancarkannya; terdapat penjadual tugas yang bertanggungjawab untuk melancarkan semua skrip dan tugas lain. Anda boleh mengkonfigurasi kekerapan dan bila tugasan akan dilancarkan, cron dengan antara muka jika lebih mudah.

Storan dan pengisihan automatik foto dan fail lain. Bekerja dengan storan fail berdasarkan NAS Synology

Setiap folder mempunyai skrip sendiri. Sekarang lebih lanjut mengenai folder:

Drone - berikut adalah gambar dari dron yang saya ambil untuk tujuan peribadi. Mula-mula saya memproses semua foto dalam lightroom, kemudian saya mengeksport JPG ke folder ini. Dari sana mereka berakhir dalam folder Dropbox lain, "Foto".

Terdapat folder "Drone" dan di sana ia telah disusun mengikut tahun dan bulan. Skrip sendiri mencipta folder yang diperlukan dan menamakan semula foto itu sendiri mengikut templat saya, biasanya ini adalah tarikh dan masa foto itu diambil, saya juga menambah nombor rawak di hujung supaya fail dengan nama yang sama tidak muncul. Saya tidak ingat mengapa menetapkan detik dalam nama fail tidak sesuai untuk tujuan ini.

Pokoknya kelihatan seperti ini: Foto/Drone/2019/05 β€” Mei/01 β€” Mei β€” 2019_19.25.53_37.jpg

Storan dan pengisihan automatik foto dan fail lain. Bekerja dengan storan fail berdasarkan NAS Synology

Video Dron β€” Saya belum merakam video menggunakan dron lagi, banyak yang perlu dipelajari, saya tidak mempunyai masa untuk itu sekarang, tetapi saya sudah mencipta folder.

Operasi Imej β€” terdapat dua folder di dalamnya, apabila fail ditemui di sana, ia hanya dimampatkan pada sisi maksimum kepada 2000px untuk penerbitan di Internet, atau imej dibalikkan, saya tidak lagi memerlukan ini, tetapi saya belum memadamkan folder itu lagi.

Panorama β€” di sinilah panorama masuk, seperti yang anda rasa, saya menyimpannya secara berasingan kerana ini adalah jenis foto tertentu, saya biasanya mengambilnya dengan dron. Saya juga melakukan panorama biasa, tetapi saya juga melakukan panorama 360 dan kadangkala sfera, panorama seperti ini seperti planet kecil, saya juga melakukannya dengan dron. Daripada folder ini, semua foto juga pergi ke Photo/Panoramas/2019/01 - Mei - 2019_19.25.53_37.jpg. Di sini saya tidak menyusun mengikut bulan kerana tidak banyak panorama.

Foto Peribadi β€” Berikut adalah gambar yang saya ambil dengan DSLR, biasanya ini adalah gambar keluarga atau perjalanan, secara amnya, gambar yang diambil untuk ingatan dan untuk diri saya sendiri. Saya juga memproses foto mentah dalam Lightroom dan kemudian mengeksportnya ke sini.

Dari sini mereka sampai ke sini: Foto/2019/05 β€” Mei/01 β€” Mei β€” 2019_19.25.53_37.jpg

Sekiranya saya memotret beberapa jenis perayaan atau sesuatu yang lain yang lebih baik disimpan secara berasingan, maka dalam folder 2019 saya membuat folder dengan nama perayaan dan menyalin foto di sana dengan tangan.

RAW β€” berikut adalah sumber foto. Saya selalu merakam dalam RAW, saya menyimpan semua foto dalam JPG, tetapi kadang-kadang saya mahu menyimpan fail RAW juga, kadang-kadang saya mahu memproses bingkai secara berbeza. Biasanya ini adalah alam semula jadi dan hanya gambar terbaik yang sampai ke sana, bukan semuanya.

Foto Stok β€” di sini saya memuat naik foto untuk foto stok, yang saya ambil sama ada pada DSLR atau pada dron. Isih adalah sama seperti dalam foto lain, hanya dalam folder berasingannya sendiri.

Dalam direktori akar Dropbox, terdapat folder Muat Naik Kamera, ini ialah folder lalai di mana aplikasi mudah alih Dropbox memuat naik semua foto dan video. Semua gambar isteri dari telefon digugurkan dengan cara ini. Saya juga memuat naik semua foto dan video saya dari telefon saya di sini dan dari sana saya menyusunnya ke dalam folder yang berasingan. Tetapi saya melakukannya dengan cara yang berbeza, lebih mudah untuk saya. Terdapat program sedemikian untuk Android, FolderSync, ia membolehkan anda mengambil semua foto dari telefon mudah alih anda, memuat naiknya ke Dropbox dan kemudian memadamnya dari telefon. Terdapat banyak tetapan, saya mengesyorkannya. Video daripada telefon anda juga masuk ke dalam folder ini; ia juga diisih seperti semua foto, mengikut tahun dan bulan.

Saya mengumpul semua skrip sendiri dari pelbagai arahan di Internet; Saya tidak menemui sebarang penyelesaian siap sedia. Saya tidak tahu apa-apa tentang skrip bash, mungkin terdapat beberapa ralat atau beberapa perkara boleh dilakukan dengan lebih baik, tetapi perkara yang paling penting bagi saya ialah mereka melakukan tugas mereka dan melakukan apa yang saya perlukan.

Skrip telah dimuat naik ke GitHub: https://github.com/pelinoleg/bash-scripts

Sebelum ini, untuk menyusun foto dan video, saya menggunakan Hazel di bawah mac os, semuanya lebih mudah di sana, semua tugas dibuat secara visual, tidak perlu menulis kod, tetapi terdapat dua kelemahan. Pertama, anda perlu menyimpan semua folder pada komputer supaya semuanya berfungsi dengan baik, dan kedua, jika saya tiba-tiba beralih ke Windows atau Linux, tidak ada program sedemikian di sana. Saya cuba mencari alternatif tetapi semuanya tidak berjaya. Penyelesaian dengan skrip pada pelayan adalah penyelesaian yang lebih universal.

Semua skrip dikonfigurasikan untuk dilaksanakan sekali sehari, biasanya pada waktu malam. Tetapi jika anda tidak mempunyai masa untuk menunggu dan perlu melaksanakan skrip yang diperlukan sekarang, terdapat dua penyelesaian: sambung melalui SSH ke pelayan dan laksanakan skrip yang diperlukan, atau pergi ke panel pentadbir dan jalankan skrip yang diperlukan secara manual. Semua ini kelihatan menyusahkan saya, jadi saya menemui penyelesaian ketiga. Terdapat program untuk Android yang boleh menghantar arahan ssh. Saya mencipta beberapa arahan, masing-masing mempunyai butang sendiri, dan sekarang jika saya perlu mengisih, sebagai contoh, foto yang saya ambil dari dron, maka saya hanya menekan satu butang dan skrip berjalan. Program ini dipanggil SSHing, terdapat yang lain yang serupa, tetapi bagi saya ini adalah yang paling mudah.

Storan dan pengisihan automatik foto dan fail lain. Bekerja dengan storan fail berdasarkan NAS Synology

Saya juga mempunyai beberapa laman web saya sendiri, mereka lebih untuk pertunjukan, hampir tiada siapa yang pergi ke sana, tetapi masih tidak ada salahnya untuk membuat sandaran. Saya menjalankan tapak saya di DigitalOcean, tempat saya memasang panel aaPanel. Di sana adalah mungkin untuk membuat salinan sandaran semua fail dan semua pangkalan data, tetapi pada cakera yang sama.

Menyimpan sandaran pada cakera yang sama tidak berlaku, jadi saya juga menggunakan skrip bash untuk pergi ke sana dan menyalin segala-galanya ke pelayan saya, mengarkibkan segala-galanya dalam satu arkib dengan tarikh dalam nama.

Saya berharap sekurang-kurangnya seseorang akan dibantu dengan kaedah yang saya gunakan dan yang saya kongsikan.

Seperti yang dapat dilihat dari artikel itu, saya suka automasi dan cuba mengautomasikan semua yang mungkin, saya tidak menerangkan banyak perkara dari sudut pandangan automasi, kerana ini sudah menjadi topik lain dan artikel lain.

Sumber: www.habr.com

Tambah komen