फोटो आणि इतर फाइल्सचे स्टोरेज आणि स्वयंचलित क्रमवारी. NAS Synology वर आधारित फाइल स्टोरेजसह कार्य करणे

मी माझ्या फायली कशा संग्रहित करतो आणि मी बॅकअप कसा बनवतो याबद्दल मला खूप दिवसांपासून लिहायचे होते, परंतु मला ते कधीच मिळाले नाही. नुकताच इथे एक लेख आला, जो काहीसा माझ्यासारखाच पण वेगळा दृष्टिकोन आहे.
लेख स्वतः.

मी बर्याच वर्षांपासून फायली संचयित करण्यासाठी योग्य पद्धत शोधण्याचा प्रयत्न करीत आहे. मला वाटते की मला ते सापडले आहे, परंतु सुधारण्यासाठी नेहमीच काहीतरी असते, ते अधिक चांगले कसे करावे याबद्दल आपल्याकडे काही कल्पना असल्यास, मला ते वाचण्यात आनंद होईल.

मी तुम्हाला माझ्याबद्दल काही शब्द सांगून सुरुवात करेन, मी वेब डेव्हलपमेंट करतो आणि माझ्या मोकळ्या वेळेत फोटो काढतो. म्हणून मला कार्य आणि वैयक्तिक प्रकल्प, फोटो, व्हिडिओ आणि इतर फायली संग्रहित करणे आवश्यक आहे असा निष्कर्ष.

माझ्याकडे सुमारे 680 GB फायली आहेत, त्यापैकी 90 टक्के फोटो आणि व्हिडिओ आहेत.

माझ्या स्टोरेजमधील फायलींचे अभिसरण:

माझ्या सर्व फाईल्स कशा आणि कुठे साठवल्या जातात याचा अंदाजे आकृती येथे आहे.

आता अधिक.

जसे तुम्ही बघू शकता, प्रत्येक गोष्टीचे हृदय माझे NAS आहे, म्हणजे Synology DS214, Synology मधील सर्वात सोप्या NAS पैकी एक, तथापि, ते मला आवश्यक असलेल्या सर्व गोष्टींचा सामना करते.

ड्रॉपबॉक्स

माझे वर्क मशीन मॅकबुक प्रो 13, 2015 आहे. माझ्याकडे तेथे 512GB आहे, परंतु अर्थातच सर्व फायली बसत नाहीत, मी फक्त त्या क्षणी आवश्यक असलेल्या गोष्टी संग्रहित करतो. मी माझ्या सर्व वैयक्तिक फायली आणि फोल्डर्स ड्रॉपबॉक्ससह सिंक्रोनाइझ करतो, मला माहित आहे की ते फारसे विश्वासार्ह नाही, परंतु ते फक्त सिंक्रोनाइझेशन कार्य करते. आणि तो हे सर्वोत्कृष्ट करतो, किमान मी जे प्रयत्न केले त्यापासून. आणि मी सर्व प्रसिद्ध आणि इतके प्रसिद्ध ढग वापरून पाहिले.

सिनॉलॉजीचे स्वतःचे क्लाउड देखील आहे, तुम्ही ते तुमच्या NAS वर उपयोजित करू शकता, मी ड्रॉपबॉक्स वरून सिनोलॉजी क्लाउड स्टेशनवर स्विच करण्याचा अनेक वेळा प्रयत्न केला, परंतु सिंक्रोनाइझेशनमध्ये नेहमीच समस्या होत्या, नेहमी काही त्रुटी होत्या किंवा मी सर्वकाही सिंक्रोनाइझ केले नाही.

सर्व महत्वाच्या फाईल्स ड्रॉपबॉक्स फोल्डरमध्ये संग्रहित केल्या जातात, काहीवेळा मी माझ्या डेस्कटॉपवर काहीतरी जतन करतो, काहीतरी गमावू नये म्हणून, मी MacDropAny प्रोग्राम वापरून ड्रॉपबॉक्स फोल्डरवर एक सिमलिंक बनवला.
माझे डाउनलोड फोल्डर कोणत्याही प्रकारे सिंक्रोनाइझ केलेले नाही, परंतु तेथे काहीही महत्त्वाचे नाही, फक्त तात्पुरत्या फाइल्स. मी काही महत्त्वाचे डाउनलोड केल्यास, मी ते ड्रॉपबॉक्समधील योग्य फोल्डरमध्ये कॉपी करतो.

ड्रॉपबॉक्ससह माझे साहसएके काळी, 2013-2014 मध्ये कुठेतरी, मी माझ्या सर्व फाईल्स ड्रॉपबॉक्समध्ये संग्रहित केल्या होत्या आणि फक्त तेथे, कोणतेही बॅकअप नव्हते. मग माझ्याकडे 1Tb नव्हता, म्हणजे, मी त्यासाठी पैसे दिले नाहीत, माझ्याकडे सुमारे 25Gb होते, जे मी मित्रांना आमंत्रित करून किंवा इतर कार्ये करून मिळवले.

एका चांगल्या सकाळी मी संगणक चालू केला आणि माझ्या सर्व फायली गायब झाल्या, मला ड्रॉपबॉक्सकडून एक पत्र देखील प्राप्त झाले जेथे त्यांनी माफी मागितली आणि माझ्या फायली त्यांच्या चुकांमुळे गायब झाल्या. त्यांनी मला एक लिंक दिली जिथे मी माझ्या फायली पुनर्संचयित करू शकेन, परंतु अर्थातच काहीही पुनर्संचयित केले गेले नाही. यासाठी त्यांनी मला एका वर्षासाठी 1Tb दिला, त्यानंतर मी त्यांचा क्लायंट झालो, कितीही विचित्र वाटले तरी मी त्यांच्यावर विश्वास ठेवला नाही.

मी वर लिहिल्याप्रमाणे, मला माझ्यासाठी अधिक योग्य क्लाउड सापडला नाही, प्रथम, अद्याप कोणत्याही सिंक्रोनाइझेशन समस्या नाहीत आणि दुसरे म्हणजे, अनेक भिन्न सेवा फक्त ड्रॉपबॉक्ससह कार्य करतात.

Git

कामाच्या फायली वर्क सर्व्हरवर संग्रहित केल्या जातात, वैयक्तिक प्रकल्प GitLab वर संग्रहित केले जातात, येथे सर्वकाही सोपे आहे.

वेळ मशीन

मी अर्थातच ड्रॉपबॉक्स आणि डाउनलोड फोल्डर वगळून संपूर्ण सिस्टमचा बॅकअप घेतो, जेणेकरून व्यर्थ जागा घेऊ नये. मी टाइम मशीन वापरून सिस्टमचा बॅकअप घेतो, एक उत्कृष्ट साधन ज्याने मला एकापेक्षा जास्त वेळा मदत केली आहे. मी त्याच NAS वर करतो, सुदैवाने त्यात असे कार्य आहे. तुम्ही हे अर्थातच बाह्य HDD वर करू शकता, पण ते तितकेसे सोयीचे नाही. प्रत्येक वेळी आपल्याला बाह्य ड्राइव्ह कनेक्ट करण्याची आणि टाइम मशीन स्वतः लाँच करण्याची आवश्यकता असते. आळशीपणामुळे, मी बर्‍याचदा असे बॅकअप दर काही आठवड्यांनी एकदा घेतले. तो सर्व्हरवर आपोआप बॅकअप घेतो, तो केव्हा करतो हे माझ्या लक्षातही येत नाही. मी घरून काम करतो, त्यामुळे माझ्याकडे नेहमी माझ्या संपूर्ण सिस्टमचा ताजा बॅकअप असतो. एक प्रत दिवसातून अनेक वेळा बनविली जाते, मी किती वेळा आणि किती वेळा मोजले नाही.

NAS

इथेच सगळी जादू घडते.

सिनोलॉजीमध्ये एक उत्कृष्ट साधन आहे, त्याला क्लाउड सिंक म्हणतात, मला वाटते की नावावरून ते काय करते हे स्पष्ट आहे.

हे अनेक क्लाउड सिस्टम एकमेकांशी सिंक्रोनाइझ करू शकते, किंवा अधिक अचूकपणे, एनएएस सर्व्हरवरील फायली इतर क्लाउडसह सिंक्रोनाइझ करू शकतात. मला वाटते की या प्रोग्रामचे ऑनलाइन पुनरावलोकन आहे. मी तपशीलात जाणार नाही. मी ते कसे वापरतो याचे अधिक चांगले वर्णन करेन.

सर्व्हरवर माझ्याकडे ड्रॉपबॉक्स नावाचे डिस्क फोल्डर आहे, ते माझ्या ड्रॉपबॉक्स खात्याची प्रत आहे, हे सर्व सिंक्रोनाइझ करण्यासाठी क्लाउड सिंक जबाबदार आहे. ड्रॉपबॉक्समधील फायलींमध्ये काही घडल्यास, ते सर्व्हरवर होईल, ते हटवले किंवा तयार केले गेले तरी फरक पडत नाही. सर्वसाधारणपणे, क्लासिक सिंक्रोनाइझेशन.

यांडेक्स ड्राइव्ह

पुढे, मी या सर्व फायली माझ्या यांडेक्स डिस्कवर फेकतो, मी ते होममेड बॅकअप डिस्क म्हणून वापरतो, म्हणजे, मी फायली तिथे फेकतो परंतु तिथून काहीही हटवत नाही, फायलींचा इतका डंप असल्याचे दिसून आले, परंतु ते दोन वेळा मदत केली.

Google ड्राइव्ह

तेथे मी फक्त "फोटो" फोल्डर पाठवतो, ते देखील सिंक्रोनाइझेशन मोडमध्ये, मी हे फक्त Google Photos मधील फोटो सोयीस्करपणे पाहण्यासाठी आणि तेथून फोटो हटवण्याच्या क्षमतेसह करतो आणि ते सर्वत्र हटवले जातात (अर्थातच Yandex डिस्क वगळता). मी खाली फोटोबद्दल लिहीन; तुम्ही तिथे स्वतंत्र लेखही लिहू शकता.

हायपरबॅकअप

परंतु हे सर्व फारसे विश्वासार्ह नाही; जर आपण चुकून एखादी फाईल हटवली तर ती सर्वत्र हटविली जाईल आणि आपण ती हरवल्याचे समजू शकता. आपण, अर्थातच, यांडेक्स डिस्कवरून पुनर्संचयित करू शकता, परंतु प्रथम, एका ठिकाणी बॅकअप स्वतःमध्ये फारसा विश्वासार्ह नाही आणि यांडेक्स डिस्क स्वतःच अशी सेवा नाही ज्यामध्ये आपण 100% आत्मविश्वास बाळगू शकता, जरी असे कधीही झाले नाही. त्यात समस्या.

म्हणून, मी नेहमी सामान्य बॅकअप सिस्टमसह फायली इतरत्र कुठेतरी संग्रहित करण्याचा प्रयत्न केला.

सिनॉलॉजीमध्ये यासाठी एक साधन देखील आहे, त्याला हायपरबॅकअप म्हणतात, ते इतर सिनॉलॉजी सर्व्हरवर किंवा तृतीय-पक्ष उत्पादकांकडून काही क्लाउड सोल्यूशन्सवर फायलींचा बॅकअप घेते.
हे NAS शी कनेक्ट केलेल्या बाह्य ड्राइव्हवर बॅकअप देखील बनवू शकते, जे मी अलीकडे केले होते. परंतु हे देखील विश्वसनीय नाही, उदाहरणार्थ, आग लागल्यास, सर्व्हर आणि एचडीडी दोन्हीचा शेवट.

सिनोलॉजी C2

येथे आम्ही हळूहळू दुसर्‍या सेवेकडे जाऊ, यावेळी सिनोलॉजीमधूनच. बॅकअप संचयित करण्यासाठी त्याचे स्वतःचे ढग आहेत. हे विशेषतः हायपरबॅकअपसाठी डिझाइन केलेले आहे, तो दररोज तेथे बॅकअप घेतो, परंतु हा एक विचारपूर्वक बॅकअप आहे, फाइल आवृत्त्या, एक टाइमलाइन आणि विंडोज आणि मॅक ओएससाठी क्लायंट देखील आहेत.

हे सर्व फाइल स्टोरेजसाठी आहे, मला आशा आहे की माझ्या फायली सुरक्षित आहेत.

आता फाईल्स वर्गीकरणाकडे वळू.

मी सामान्य फाइल्स, पुस्तके, दस्तऐवजांचे स्कॅन आणि इतर बिनमहत्त्वाच्या फायली इतर सर्व गोष्टींप्रमाणेच हाताने फोल्डरमध्ये क्रमवारी लावतो. सहसा त्यापैकी बरेच नसतात आणि मी ते क्वचितच उघडतो.

सर्वात कठीण गोष्ट म्हणजे फोटो आणि व्हिडिओ क्रमवारी लावणे, माझ्याकडे बरेच आहेत.

मी महिन्याला अनेक डझन ते शंभर फोटो घेतो. मी डीएसएलआर, ड्रोन आणि कधीकधी माझ्या फोनवर शूट करतो. फोटो वैयक्तिक किंवा स्टॉकसाठी असू शकतात. मी कधीकधी घरगुती व्हिडिओ देखील शूट करतो (तुम्हाला काय वाटेल असे नाही, फक्त कौटुंबिक व्हिडिओ, अनेकदा माझ्या मुलीसोबत). तो कसा तरी संग्रहित आणि क्रमवारी लावणे आवश्यक आहे जेणेकरून ते गोंधळ होणार नाही.

माझ्याकडे त्याच ड्रॉपबॉक्समध्ये सॉर्ट इमेजेस नावाचे एक फोल्डर आहे, तेथे सबफोल्डर्स आहेत जिथे सर्व फोटो आणि व्हिडिओ जातात, तेथून ते घेतले जातात आणि आवश्यक असल्यास क्रमवारी लावले जातात.

एनएएस सर्व्हरवर क्रमवारी लावली जाते, तेथे बॅश स्क्रिप्ट चालतात ज्या दिवसातून एकदा आपोआप लॉन्च होतात आणि त्यांचे कार्य करतात. त्यांना लॉन्च करण्यासाठी NAS देखील जबाबदार आहे; एक टास्क शेड्यूलर आहे जो सर्व स्क्रिप्ट आणि इतर कार्ये लाँच करण्यासाठी जबाबदार आहे. कार्ये किती वेळा आणि केव्हा लॉन्च केली जातील हे तुम्ही कॉन्फिगर करू शकता, जर ते सोपे असेल तर इंटरफेससह क्रॉन करा.

प्रत्येक फोल्डरची स्वतःची स्क्रिप्ट असते. आता फोल्डर्सबद्दल अधिक:

ड्रोन — मी वैयक्तिक हेतूंसाठी घेतलेले ड्रोनचे फोटो येथे आहेत. प्रथम मी लाइटरूममधील सर्व फोटोंवर प्रक्रिया करतो, नंतर या फोल्डरमध्ये JPG निर्यात करतो. तेथून ते "फोटो" या दुसर्‍या ड्रॉपबॉक्स फोल्डरमध्ये संपतात.

तेथे "Drone" फोल्डर आहे आणि तेथे ते आधीच वर्ष आणि महिन्यानुसार क्रमवारी लावलेले आहेत. स्क्रिप्ट स्वतःच आवश्यक फोल्डर तयार करतात आणि माझ्या टेम्पलेटनुसार फोटोंचे स्वतःचे नाव बदलतात, सहसा ही तारीख आणि फोटो काढण्याची वेळ असते, मी शेवटी एक यादृच्छिक क्रमांक देखील जोडतो जेणेकरून समान नावाच्या फायली दिसत नाहीत. या उद्देशांसाठी फाईलच्या नावात सेकंद सेट करणे का योग्य नव्हते हे मला आठवत नाही.

झाड असे दिसते: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg

ड्रोन व्हिडिओ — मी अद्याप ड्रोनने व्हिडिओ शूट करत नाही, शिकण्यासारखे बरेच काही आहे, माझ्याकडे आता त्यासाठी वेळ नाही, परंतु मी आधीच एक फोल्डर तयार केले आहे.

प्रतिमा ऑपरेशन्स - आत दोन फोल्डर आहेत, जेव्हा तेथे फाइल्स आढळतात, तेव्हा ते इंटरनेटवर प्रकाशनासाठी जास्तीत जास्त 2000px पर्यंत संकुचित केले जातात किंवा प्रतिमा फ्लिप केल्या जातात, मला यापुढे याची आवश्यकता नाही, परंतु मी अद्याप फोल्डर हटवलेले नाही.

पॅनोरामा — येथेच पॅनोरामा येतात, जसे तुम्ही अंदाज लावू शकता, मी ते वेगळे संग्रहित करतो कारण हा एक विशिष्ट प्रकारचा फोटो आहे, मी ते सहसा ड्रोनने घेतो. मी नियमित पॅनोरामा देखील करतो, परंतु मी 360 पॅनोरामा आणि कधीकधी गोलाकार देखील करतो, अशा प्रकारचे पॅनोरामा लहान ग्रहांसारखे, मी ड्रोनने देखील करतो. या फोल्डरमधून, सर्व फोटो Photo/Panoramas/2019/01 - मे - 2019_19.25.53_37.jpg वर देखील जातात. येथे मी महिन्यानुसार क्रमवारी लावत नाही कारण इतके पॅनोरामा नाहीत.

वैयक्तिक फोटो — मी DSLR ने घेतलेले फोटो येथे आहेत, सहसा हे कौटुंबिक फोटो किंवा प्रवासाचे असतात, सर्वसाधारणपणे, मेमरी आणि माझ्यासाठी घेतलेले फोटो. मी लाइटरूममध्ये कच्च्या फोटोंवर प्रक्रिया करतो आणि नंतर ते येथे निर्यात करतो.

येथून ते येथे मिळतात: फोटो/2019/05 — मे/01 — मे — 2019_19.25.53_37.jpg

जर मी एखाद्या प्रकारच्या उत्सवाचा किंवा इतर गोष्टींचा फोटो काढला असेल जो स्वतंत्रपणे संग्रहित केला जाईल, तर 2019 फोल्डरमध्ये मी उत्सवाच्या नावासह एक फोल्डर तयार करतो आणि तेथे फोटो स्वतः कॉपी करतो.

रॉ - येथे फोटो स्रोत आहेत. मी नेहमी RAW मध्ये शूट करतो, मी सर्व फोटो JPG मध्ये संग्रहित करतो, परंतु कधीकधी मला RAW फाईल्स देखील संग्रहित करायच्या असतात, कधीकधी मला फ्रेमवर वेगळ्या पद्धतीने प्रक्रिया करायची असते. सहसा हा निसर्ग असतो आणि फक्त सर्वोत्कृष्ट शॉट्स तिथे मिळतात, सर्व सलग नाहीत.

स्टॉक फोटो — येथे मी स्टॉक फोटोंसाठी फोटो अपलोड करतो, जे मी एकतर DSLR वर किंवा ड्रोनवर घेतो. क्रमवारी लावणे इतर फोटोंप्रमाणेच आहे, फक्त त्याच्या स्वतःच्या स्वतंत्र फोल्डरमध्ये.

ड्रॉपबॉक्सच्या रूट डिरेक्टरीमध्ये, कॅमेरा अपलोड फोल्डर आहे, हे डीफॉल्ट फोल्डर आहे ज्यामध्ये ड्रॉपबॉक्स मोबाइल ऍप्लिकेशन सर्व फोटो आणि व्हिडिओ अपलोड करते. फोनवरून बायकोचे सर्व फोटो अशा प्रकारे टाकले जातात. मी माझ्या फोनवरून माझे सर्व फोटो आणि व्हिडिओ येथे अपलोड करतो आणि तेथून मी त्यांना वेगळ्या फोल्डरमध्ये क्रमवारी लावतो. पण मी ते वेगळ्या पद्धतीने करतो, माझ्यासाठी अधिक सोयीस्कर. Android, FolderSync साठी असा एक प्रोग्राम आहे, तो तुम्हाला तुमच्या मोबाइल फोनवरून सर्व फोटो घेण्यास, ड्रॉपबॉक्सवर अपलोड करण्याची आणि नंतर फोनवरून हटवण्याची परवानगी देतो. बर्याच सेटिंग्ज आहेत, मी शिफारस करतो. तुमच्या फोनवरील व्हिडिओ देखील या फोल्डरमध्ये जातात; ते वर्ष आणि महिन्यानुसार सर्व फोटोंप्रमाणे क्रमवारी लावले जातात.

मी इंटरनेटवरील विविध सूचनांमधून स्वतः सर्व स्क्रिप्ट गोळा केल्या; मला कोणतेही तयार उपाय सापडले नाहीत. मला बॅश स्क्रिप्ट्सबद्दल काहीही माहित नाही, कदाचित काही त्रुटी असतील किंवा काही गोष्टी चांगल्या केल्या जाऊ शकतात, परंतु माझ्यासाठी सर्वात महत्वाची गोष्ट म्हणजे ते त्यांचे काम करतात आणि मला आवश्यक ते करतात.

स्क्रिप्ट GitHub वर अपलोड केल्या होत्या: https://github.com/pelinoleg/bash-scripts

पूर्वी, फोटो आणि व्हिडिओ क्रमवारी लावण्यासाठी, मी मॅक ओएस अंतर्गत हेझेल वापरत असे, तेथे सर्व काही सोपे आहे, सर्व कार्ये दृष्यदृष्ट्या तयार केली जातात, कोड लिहिण्याची आवश्यकता नाही, परंतु दोन तोटे आहेत. प्रथम, आपल्याला सर्व फोल्डर संगणकावर ठेवणे आवश्यक आहे जेणेकरून सर्वकाही चांगले कार्य करेल आणि दुसरे म्हणजे, जर मी अचानक विंडोज किंवा लिनक्सवर स्विच केले तर तेथे असे कोणतेही प्रोग्राम नाहीत. मी पर्याय शोधण्याचा प्रयत्न केला पण त्यांचा काही उपयोग झाला नाही. सर्व्हरवरील स्क्रिप्टसह एक समाधान अधिक सार्वत्रिक उपाय आहे.

सर्व स्क्रिप्ट दिवसातून एकदा अंमलात आणण्यासाठी कॉन्फिगर केल्या आहेत, सहसा रात्री. परंतु जर तुमच्याकडे प्रतीक्षा करण्यासाठी वेळ नसेल आणि तुम्हाला आता आवश्यक स्क्रिप्ट कार्यान्वित करायची असेल, तर दोन उपाय आहेत: SSH द्वारे सर्व्हरशी कनेक्ट करा आणि आवश्यक स्क्रिप्ट कार्यान्वित करा, किंवा प्रशासक पॅनेलवर जा आणि आवश्यक ते व्यक्तिचलितपणे चालवा. स्क्रिप्ट हे सर्व मला गैरसोयीचे वाटते, म्हणून मी तिसरा उपाय शोधला. Android साठी एक प्रोग्राम आहे जो ssh कमांड पाठवू शकतो. मी अनेक कमांड्स तयार केल्या, प्रत्येकाचे स्वतःचे बटण आहे आणि आता जर मला क्रमवारी लावायची असेल, उदाहरणार्थ, मी ड्रोनमधून घेतलेले फोटो, तर मी फक्त एक बटण दाबतो आणि स्क्रिप्ट चालते. प्रोग्रामला SSHing म्हणतात, इतर समान आहेत, परंतु माझ्यासाठी हे सर्वात सोयीस्कर आहे.

माझ्या स्वतःच्या अनेक साइट्स देखील आहेत, त्या शोसाठी अधिक आहेत, जवळजवळ कोणीही तिथे जात नाही, परंतु तरीही बॅकअप घेण्यास त्रास होत नाही. मी माझ्या साइट्स DigitalOcean वर चालवतो, जिथे मी aaPanel पॅनेल स्थापित केले आहे. तेथे सर्व फायली आणि सर्व डेटाबेसच्या बॅकअप प्रती बनवणे शक्य आहे, परंतु त्याच डिस्कवर.

त्याच डिस्कवर बॅकअप संचयित करणे ही बाब नाही, म्हणून मी तेथे जाण्यासाठी बॅश स्क्रिप्ट देखील वापरतो आणि सर्व काही माझ्या सर्व्हरवर कॉपी करतो, नावातील तारखेसह सर्वकाही एका संग्रहात संग्रहित करतो.

मला आशा आहे की मी वापरत असलेल्या आणि ज्या मी सामायिक केल्या त्या पद्धतींद्वारे किमान कोणाला तरी मदत होईल.

लेखातून पाहिले जाऊ शकते, मला ऑटोमेशन आवडते आणि जे काही शक्य आहे ते स्वयंचलित करण्याचा प्रयत्न करतो, मी ऑटोमेशनच्या दृष्टिकोनातून बर्‍याच गोष्टींचे वर्णन केले नाही, कारण हे आधीच इतर विषय आणि इतर लेख आहेत.

स्त्रोत: www.habr.com