Từ lâu, tôi đã muốn viết về cách tôi lưu trữ các tập tin của mình và cách tôi tạo bản sao lưu, nhưng tôi chưa bao giờ thực hiện được. Gần đây một bài viết xuất hiện ở đây, có phần giống với bài viết của tôi nhưng với cách tiếp cận khác.
Tôi đã cố gắng tìm ra phương pháp hoàn hảo để lưu trữ tập tin trong nhiều năm nay. Tôi nghĩ là tôi đã tìm thấy nhưng luôn có điều gì đó cần cải thiện, nếu bạn có bất kỳ ý tưởng nào về cách thực hiện tốt hơn, tôi sẽ rất vui khi đọc nó.
Tôi sẽ bắt đầu bằng cách kể cho bạn vài lời về bản thân tôi, tôi phát triển web và chụp ảnh khi rảnh rỗi. Do đó, kết luận rằng tôi cần lưu trữ các dự án công việc và cá nhân, ảnh, video và các tệp khác.
Tôi có khoảng 680 GB tệp, 90 phần trăm trong số đó là ảnh và video.
Lưu hành các tập tin trong kho của tôi:
Đây là sơ đồ gần đúng về cách thức và nơi lưu trữ tất cả các tệp của tôi.
Bây giờ nhiều hơn.
Như bạn có thể thấy, trung tâm của mọi thứ là NAS của tôi, cụ thể là Synology DS214, một trong những NAS đơn giản nhất của Synology, tuy nhiên, nó đáp ứng mọi thứ tôi cần.
Dropbox
Máy làm việc của tôi là macbook pro 13, 2015. Tôi có 512GB ở đó, nhưng tất nhiên không phải tất cả các tệp đều phù hợp, tôi chỉ lưu trữ những gì cần thiết vào lúc này. Tôi đồng bộ hóa tất cả các tệp và thư mục cá nhân của mình với Dropbox, tôi biết rằng nó không đáng tin cậy lắm nhưng nó chỉ thực hiện chức năng đồng bộ hóa. Và anh ấy làm điều đó tốt nhất, ít nhất là từ những gì tôi đã thử. Và tôi đã thử tất cả những đám mây nổi tiếng và không quá nổi tiếng.
Synology cũng có đám mây riêng, bạn có thể triển khai nó trên NAS của mình, tôi đã thử chuyển từ Dropbox sang Synology Cloud Station nhiều lần, nhưng luôn có vấn đề về đồng bộ hóa, luôn có một số lỗi hoặc tôi không đồng bộ hóa mọi thứ.
Tất cả các tệp quan trọng đều được lưu trữ trong thư mục Dropbox, đôi khi tôi lưu thứ gì đó trên màn hình của mình, để không bị mất thứ gì đó, tôi đã tạo một liên kết tượng trưng đến thư mục Dropbox bằng chương trình MacDropAny.
Thư mục Tải xuống của tôi không được đồng bộ hóa theo bất kỳ cách nào, nhưng không có gì quan trọng ở đó, chỉ có các tệp tạm thời. Nếu tôi tải xuống thứ gì đó quan trọng, tôi sẽ sao chép nó vào thư mục thích hợp trong Dropbox.
Cuộc phiêu lưu của tôi với DropboxNgày xửa ngày xưa, đâu đó vào năm 2013-2014, tôi đã lưu trữ tất cả các tệp của mình trong Dropbox và chỉ có ở đó là không có bản sao lưu nào. Sau đó, tôi không có 1Tb, tức là tôi không trả tiền cho nó, tôi có khoảng 25Gb, số tiền này tôi kiếm được bằng cách mời bạn bè hoặc các nhiệm vụ khác.
Một buổi sáng đẹp trời, tôi bật máy tính và tất cả các tập tin của tôi biến mất, tôi cũng nhận được một lá thư từ Dropbox, họ xin lỗi và các tập tin của tôi biến mất là do lỗi của họ. Họ đưa cho tôi một liên kết để tôi có thể khôi phục các tập tin của mình, nhưng tất nhiên là không có gì được khôi phục. Vì điều này, họ đã đưa cho tôi 1Tb trong một năm, sau đó tôi trở thành khách hàng của họ, dù điều đó nghe có vẻ kỳ lạ đến mức nào, nhưng tôi chưa bao giờ tin tưởng họ.
Như tôi đã viết ở trên, tôi không thể tìm thấy đám mây nào phù hợp hơn với mình, thứ nhất, chưa có vấn đề đồng bộ hóa nào và thứ hai, nhiều dịch vụ khác nhau chỉ hoạt động với Dropbox.
đi
Các tệp công việc được lưu trữ trên máy chủ công việc, các dự án cá nhân được lưu trữ trên GitLab, mọi thứ ở đây đều đơn giản.
Time Machine
Tôi cũng tạo một bản sao lưu của toàn bộ hệ thống, tất nhiên ngoại trừ thư mục Dropbox và Tải xuống để không chiếm dung lượng một cách vô ích. Tôi sao lưu hệ thống bằng Time Machine, một công cụ tuyệt vời đã nhiều lần giúp tôi. Tôi làm điều đó trên cùng một NAS, thật may là nó có chức năng như vậy. Tất nhiên, bạn có thể làm điều đó trên ổ cứng gắn ngoài, nhưng nó không thuận tiện bằng. Mỗi khi bạn cần kết nối ổ đĩa ngoài và tự khởi chạy Time Machine. Vì lười biếng nên tôi thường sao lưu như vậy vài tuần một lần. Anh ấy tự động sao lưu vào máy chủ, tôi thậm chí còn không để ý khi nào anh ấy làm việc đó. Tôi làm việc tại nhà nên luôn có bản sao lưu mới cho toàn bộ hệ thống của mình. Một bản sao được sao chép nhiều lần trong ngày, tôi không đếm được bao nhiêu lần và tần suất như thế nào.
NAS
Đây là nơi tất cả các phép thuật xảy ra.
Synology có một công cụ tuyệt vời, nó tên là Cloud Sync, tôi nghĩ ngay từ cái tên, tôi đã hiểu rõ chức năng của nó.
Nó có thể đồng bộ hóa nhiều hệ thống đám mây với nhau hay chính xác hơn là đồng bộ hóa các tập tin từ máy chủ NAS với các đám mây khác. Tôi nghĩ rằng có một đánh giá về chương trình này trực tuyến. Tôi sẽ không đi vào chi tiết. Tốt hơn hết tôi nên mô tả cách tôi sử dụng nó.
Trên máy chủ, tôi có một thư mục đĩa tên là Dropbox, nó là bản sao tài khoản Dropbox của tôi, Cloud Sync chịu trách nhiệm đồng bộ hóa tất cả những thứ này. Nếu có điều gì đó xảy ra với các tập tin trong Dropbox, nó sẽ xảy ra trên máy chủ, bất kể nó bị xóa hay được tạo ra. Nói chung, đồng bộ hóa cổ điển.
Đĩa Yandex
Tiếp theo, tôi ném tất cả các tệp này vào đĩa Yandex của mình, tôi sử dụng nó như một đĩa sao lưu tự chế, nghĩa là tôi ném các tệp vào đó nhưng không xóa bất cứ thứ gì từ đó, hóa ra đó là một bãi chứa các tệp, nhưng nó đã giúp ích một vài lần.
Google Drive
Ở đó, tôi chỉ gửi thư mục “Ảnh”, cũng ở chế độ đồng bộ hóa, tôi chỉ làm điều này để xem ảnh thuận tiện trong Google Photos và với khả năng xóa ảnh từ đó và chúng sẽ bị xóa ở mọi nơi (tất nhiên là ngoại trừ đĩa Yandex). Tôi sẽ viết về bức ảnh bên dưới; bạn thậm chí có thể viết một bài riêng ở đó.
siêu sao lưu
Nhưng tất cả điều này không đáng tin cậy lắm, nếu bạn vô tình xóa một tập tin, nó sẽ bị xóa ở mọi nơi và bạn có thể coi như bị mất. Tất nhiên, bạn có thể khôi phục từ đĩa Yandex, nhưng trước hết, bản sao lưu ở một nơi không đáng tin cậy lắm và bản thân đĩa Yandex không phải là dịch vụ mà bạn có thể tin tưởng 100%, mặc dù chưa bao giờ có bất kỳ dịch vụ nào. vấn đề với nó.
Vì vậy, tôi luôn cố gắng lưu trữ các tập tin ở một nơi khác, bằng hệ thống sao lưu thông thường.
Synology cũng có một công cụ cho việc này, nó được gọi là HyperBackup, nó sao lưu các tệp vào các máy chủ Synology khác hoặc một số giải pháp đám mây từ các nhà sản xuất bên thứ ba.
Nó cũng có thể tạo bản sao lưu vào các ổ đĩa ngoài được kết nối với NAS, đó là điều tôi đã làm cho đến gần đây. Nhưng điều này cũng không đáng tin cậy, ví dụ như nếu xảy ra hỏa hoạn thì cả máy chủ và ổ cứng đều bị tiêu diệt.
Đồng bộ hóa C2
Ở đây chúng tôi dần dần tiếp cận một dịch vụ khác, lần này là từ chính Synology. Nó có những đám mây riêng để lưu trữ các bản sao lưu. Nó được thiết kế đặc biệt cho HyperBackup, anh ấy tạo bản sao lưu ở đó hàng ngày, nhưng đây là một bản sao lưu được cân nhắc kỹ lưỡng, có các phiên bản tệp, dòng thời gian và thậm chí cả ứng dụng khách cho Windows và mac os.
Đó là tất cả để lưu trữ tệp, tôi hy vọng tệp của tôi được an toàn.
Bây giờ hãy chuyển sang sắp xếp các tập tin.
Tôi sắp xếp các tập tin thông thường, sách, bản quét tài liệu và các tập tin không quan trọng khác vào các thư mục bằng tay, giống như mọi thứ khác. Thông thường không có nhiều và tôi hiếm khi mở chúng.
Điều khó nhất là sắp xếp ảnh và video, tôi có rất nhiều.
Tôi chụp từ vài chục đến vài trăm bức ảnh mỗi tháng. Tôi chụp bằng máy ảnh DSLR, máy bay không người lái và đôi khi bằng điện thoại. Hình ảnh có thể là cá nhân hoặc cho chứng khoán. Đôi khi tôi cũng quay video tại nhà (không phải như bạn nghĩ đâu, chỉ là quay video gia đình, thường là với con gái tôi). Nó cũng cần được lưu trữ và sắp xếp bằng cách nào đó để không trở thành một mớ hỗn độn.
Tôi có một thư mục trong cùng Dropbox có tên là Sắp xếp hình ảnh, có các thư mục con chứa tất cả ảnh và video, từ đó chúng được chụp và sắp xếp khi cần.
Việc sắp xếp diễn ra trên máy chủ NAS, có các tập lệnh bash chạy ở đó được tự động khởi chạy mỗi ngày một lần và thực hiện công việc của chúng. NAS cũng chịu trách nhiệm khởi chạy chúng; có một bộ lập lịch tác vụ chịu trách nhiệm khởi chạy tất cả các tập lệnh và các tác vụ khác. Bạn có thể định cấu hình tần suất và thời điểm các tác vụ sẽ được khởi chạy, cron bằng giao diện nếu đơn giản hơn.
Mỗi thư mục có tập lệnh riêng. Bây giờ biết thêm về các thư mục:
Drone - đây là những bức ảnh từ máy bay không người lái mà tôi chụp cho mục đích cá nhân. Đầu tiên tôi xử lý tất cả ảnh trong lightroom, sau đó xuất JPG sang thư mục này. Từ đó, chúng sẽ chuyển đến một thư mục Dropbox khác, "Ảnh".
Có một thư mục “Drone” và ở đó chúng đã được sắp xếp theo năm và tháng. Các script tự tạo các thư mục cần thiết và tự đổi tên ảnh theo mẫu của tôi, thông thường đây là ngày giờ chụp ảnh, tôi cũng thêm số ngẫu nhiên vào cuối để các file có cùng tên không xuất hiện. Tôi không nhớ tại sao việc đặt giây trong tên tệp lại không phù hợp cho những mục đích này.
Cây trông như thế này: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Video Drone — Tôi chưa quay video bằng máy bay không người lái, còn rất nhiều điều phải học, hiện tại tôi không có thời gian cho việc đó, nhưng tôi đã tạo một thư mục rồi.
Hoạt động hình ảnh — có hai thư mục bên trong, khi tìm thấy tệp ở đó, chúng chỉ được nén ở mức tối đa 2000px để xuất bản trên Internet hoặc hình ảnh bị lật, tôi không cần cái này nữa, nhưng tôi vẫn chưa xóa thư mục.
Ảnh toàn cảnh - đây là lúc ảnh toàn cảnh xuất hiện, như bạn có thể đoán, tôi lưu trữ chúng riêng biệt vì đây là một loại ảnh cụ thể, tôi thường chụp chúng bằng máy bay không người lái. Tôi cũng chụp ảnh toàn cảnh thông thường, nhưng tôi cũng chụp ảnh toàn cảnh 360 độ và đôi khi là hình cầu, loại ảnh toàn cảnh này giống như các hành tinh nhỏ, tôi cũng chụp bằng máy bay không người lái. Từ thư mục này, tất cả ảnh cũng được chuyển đến Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg. Ở đây tôi không sắp xếp theo tháng vì không có nhiều ảnh toàn cảnh.
Ảnh cá nhân — Đây là những ảnh mình chụp bằng máy ảnh DSLR, thường là ảnh gia đình hoặc ảnh du lịch, nói chung là ảnh chụp để làm kỷ niệm và cho chính mình. Tôi cũng xử lý ảnh thô trong Lightroom rồi xuất ra đây.
Từ đây họ đến đây: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Nếu tôi chụp ảnh một lễ kỷ niệm nào đó hoặc thứ gì khác mà tốt hơn nên lưu trữ riêng, thì trong thư mục năm 2019, tôi tạo một thư mục có tên của lễ kỷ niệm và sao chép ảnh vào đó theo cách thủ công.
RAW - đây là nguồn ảnh. Tôi luôn chụp ở định dạng RAW, tôi lưu trữ tất cả ảnh ở định dạng JPG, nhưng đôi khi tôi cũng muốn lưu trữ cả tệp RAW, đôi khi tôi muốn xử lý khung hình theo cách khác. Thông thường đây là điều tự nhiên và chỉ có những bức ảnh đẹp nhất mới đạt được điều đó chứ không phải tất cả đều liên tiếp.
Kho lưu trữ hình ảnh - ở đây tôi tải ảnh lên làm ảnh stock mà tôi chụp bằng máy ảnh DSLR hoặc máy bay không người lái. Việc sắp xếp cũng giống như các ảnh khác, chỉ trong thư mục riêng.
Trong thư mục gốc của Dropbox có thư mục Camera Uploads, đây là thư mục mặc định mà ứng dụng di động Dropbox tải lên tất cả ảnh và video. Tất cả hình ảnh của vợ từ điện thoại đều bị loại bỏ theo cách này. Tôi cũng tải tất cả ảnh và video từ điện thoại của mình lên đây và từ đó tôi sắp xếp chúng vào một thư mục riêng. Nhưng tôi làm theo cách khác, thuận tiện hơn cho tôi. Có một chương trình như vậy dành cho Android, FolderSync, nó cho phép bạn chụp tất cả ảnh từ điện thoại di động, tải chúng lên Dropbox và sau đó xóa chúng khỏi điện thoại. Có rất nhiều cài đặt, tôi khuyên bạn nên dùng nó. Video từ điện thoại của bạn cũng được đưa vào thư mục này; chúng cũng được sắp xếp giống như tất cả ảnh, theo năm và tháng.
Tôi đã tự mình thu thập tất cả các tập lệnh từ nhiều hướng dẫn khác nhau trên Internet, tôi không tìm thấy bất kỳ giải pháp làm sẵn nào. Tôi hoàn toàn không biết gì về bash script, có thể có một số lỗi hoặc một số thứ có thể được thực hiện tốt hơn, nhưng điều quan trọng nhất đối với tôi là chúng làm công việc của mình và làm những gì tôi cần.
Các tập lệnh đã được tải lên GitHub:
Trước đây, để sắp xếp ảnh và video, tôi đã sử dụng Hazel trên mac os, mọi thứ ở đó dễ dàng hơn, mọi tác vụ đều được tạo trực quan, không cần viết mã nhưng có hai nhược điểm. Thứ nhất, bạn cần giữ lại tất cả các thư mục trên máy tính để mọi thứ hoạt động tốt, thứ hai, nếu tôi đột ngột chuyển sang Windows hoặc Linux thì không có chương trình nào như vậy ở đó. Tôi đã cố gắng tìm kiếm một giải pháp thay thế nhưng tất cả đều vô ích. Giải pháp có tập lệnh trên máy chủ là giải pháp phổ quát hơn.
Tất cả các tập lệnh được cấu hình để thực thi mỗi ngày một lần, thường là vào ban đêm. Nhưng nếu bạn không có thời gian chờ đợi và cần phải thực thi tập lệnh được yêu cầu bằng cách nào đó ngay bây giờ, thì có hai giải pháp: kết nối qua SSH với máy chủ và thực thi tập lệnh được yêu cầu hoặc đi tới bảng quản trị và cũng chạy thủ công tập lệnh được yêu cầu. kịch bản. Tất cả điều này có vẻ bất tiện đối với tôi, vì vậy tôi đã tìm ra giải pháp thứ ba. Có một chương trình dành cho Android có thể gửi lệnh ssh. Tôi đã tạo một số lệnh, mỗi lệnh có một nút riêng và bây giờ nếu tôi cần sắp xếp, chẳng hạn như ảnh tôi chụp từ máy bay không người lái, thì tôi chỉ cần nhấn một nút và tập lệnh sẽ chạy. Chương trình này được gọi là SSHing, có những chương trình khác tương tự, nhưng đối với tôi đây là chương trình tiện lợi nhất.
Tôi cũng có một số trang web của riêng mình, chúng chỉ để trưng bày nhiều hơn, hầu như không có ai vào đó, nhưng việc sao lưu vẫn không có hại gì. Tôi chạy các trang web của mình trên DigitalOcean, nơi tôi đã cài đặt bảng điều khiển aaPanel. Ở đó có thể tạo bản sao lưu của tất cả các tệp và tất cả cơ sở dữ liệu nhưng trên cùng một đĩa.
Việc lưu trữ một bản sao lưu trên cùng một đĩa không phải là trường hợp như vậy, vì vậy tôi cũng sử dụng tập lệnh bash để đến đó và sao chép mọi thứ vào máy chủ của mình, lưu trữ mọi thứ trong một kho lưu trữ có ngày ghi trong tên.
Tôi hy vọng ít nhất ai đó sẽ được giúp đỡ bằng những phương pháp mà tôi sử dụng và chia sẻ.
Có thể thấy trong bài viết, tôi yêu thích tự động hóa và cố gắng tự động hóa mọi thứ có thể, tôi không mô tả nhiều thứ từ quan điểm tự động hóa, vì đây đã là những chủ đề khác và các bài viết khác.
Nguồn: www.habr.com