म्युझरिया - विकेंद्रित संगीत संचयन

एके दिवशी मी स्वत:साठी संगीत निवडण्यासाठी एक अर्ज लिहिण्याचे ठरवले आणि ते घरी/रस्त्यावर/वर्कआउट्स इत्यादी ऐकायचे. आणि जेणेकरून हे सर्व माझ्याकडून कमीतकमी सहभागासह प्रवाहात कार्य करते. मी एक आर्किटेक्चर घेऊन आलो, एक प्रोटोटाइप काढला आणि शेवटी एका "छोट्या समस्या" मध्ये गेलो.

आणि गाण्याच्या फायली स्वतः कुठे मिळवायच्या हे स्पष्ट नाही. यावेळी, व्हीकॉन्टाक्टेने आधीच एपीआय बंद केले होते, मोठ्या म्युझिक पोर्टल्सवर सर्व काही निःशब्द केले गेले होते, गाणी देखील तुकड्यांमध्ये दिली गेली होती जेणेकरून विश्लेषण होऊ नये. बाकी फक्त काही वैयक्तिक फ्लाय-बाय-नाईट साइट्स होत्या ज्यात टन जाहिराती आणि सर्व प्रकारचा कचरा, सर्व प्रकारचे संशयास्पद ग्रॅबर प्रोग्राम आणि इतर "घाणेरडे" पर्याय होते. सर्वसाधारणपणे, एकच खरोखर चांगला उपाय नाही. आपण अर्थातच, काही Yandex संगीत किंवा यासारखे सदस्यत्व खरेदी करू शकता. पण पुन्हा, कुठेही उघडे सार्वजनिक API नाही आणि तुम्हाला प्रोग्रामॅटिकरित्या संगीतात प्रवेश नाही. अनेक मोठ्या कंपन्यांनी अनिवार्यपणे इतरांच्या संगीतावर प्रवेश प्रतिबंधित केला आहे. हे सर्व का घडले? खोलवर खोदल्यावर, हे स्पष्ट झाले की मुख्य समस्या कॉपीराइटची होती. सदस्यत्वच्या स्वरूपातील सध्याचे समाधान अनेक व्यावसायिक संगीत लेखकांना आणि याच कंपन्यांना अनुकूल आहे. त्याच वेळी, गैर-व्यावसायिक आणि अर्ध-व्यावसायिक संगीत देखील सामान्य यादीमध्ये येते. तुम्ही एकतर प्रत्येक गोष्टीसाठी पैसे देता किंवा काहीही ऐकत नाही.

आणि या सगळ्याचं काय करायचं याचा विचार करू लागलो. आम्ही संगीताचे मोफत वितरण कसे आयोजित करू शकतो? मी स्वतः संगीत तयार करत असल्यास आणि त्यातून पैसे कमवायचे असल्यास मी काय करू? माझी गाणी पायरेटेड असतील तर मला ते आवडेल का? तरीही पर्यायी उपाय कोणता?

परिणामी, दोन मुख्य समस्या आहेत ज्यांचे निराकरण करणे आवश्यक आहे:

• सॉफ्टवेअरसह बहुतेक लोकांसाठी सोयीस्कर पद्धती वापरून संगीताच्या विनामूल्य वितरणाची संस्था.
• संगीत निर्मात्यांना पैसे कमावण्यासाठी पर्याय ऑफर करणे

जागतिक विकेंद्रित संगीत संचयन

सुरुवातीला, मी विद्यमान उपाय शोधण्याचा आणि त्यावर आधारित सर्वकाही तयार करण्याचा प्रयत्न केला. काही वेळाने शोध घेतल्यावर मला पहिली आवडली ipfs. मी माझी कल्पना अंमलात आणण्यास सुरुवात केली, परंतु काही काळानंतर मला या उपायामध्ये अनेक गंभीर समस्या आढळल्या:

• IPfs - प्रत्येक गोष्टीसाठी आणि प्रत्येकासाठी स्टोरेज. प्रतिमा आणि संगीत आणि व्हिडिओ आणि आपल्याला पाहिजे असलेल्या सर्व गोष्टी आहेत. सर्वसाधारणपणे, इतका मोठा ग्रह “डस्टबिन”. म्हणून, जेव्हा तुम्ही तुमचा नोड लाँच करता तेव्हा तुम्हाला ताबडतोब मोठा भार प्राप्त होतो. गाडी नुसती वेदनेने कुरवाळत आहे.
• काही प्रकारची अपूर्ण "कचरा" संकलन यंत्रणा. आता ते कसे आहे हे मला माहित नाही, परंतु त्या क्षणी, जर तुम्ही कॉन्फिगरेशनमध्ये लिहिले की तुम्हाला स्टोरेज दहा गीगाबाइट्स डेटापर्यंत मर्यादित करायचे आहे, तर त्याचा काही अर्थ नव्हता. अनेक कॉन्फिगरेशन पॅरामीटर्सकडे दुर्लक्ष करून स्टोरेज वाढले. परिणामी, ipfs ला अनावश्यक कसे रीसेट करायचे हे समजेपर्यंत हार्ड डिस्कचा प्रचंड रिझर्व्ह असणे आवश्यक होते.
• लायब्ररी वापरताना (आता ते कसे आहे हे मला माहित नाही), क्लायंटने कालबाह्यता लागू केली नाही. तुम्ही फाइल प्राप्त करण्यासाठी विनंती पाठवा आणि ती अस्तित्वात नसेल तर तुम्ही फक्त हँग कराल. अर्थात, लोक सर्व प्रकारच्या उपायांसह आले ज्यामुळे समस्येचे अंशतः निराकरण झाले, परंतु ते क्रॅच होते. या गोष्टी चौकटीतून बाहेर आल्या पाहिजेत.

अजूनही अनेक किरकोळ समस्या होत्या, आणि ठसा स्पष्ट होता: हे प्रकल्पासाठी वापरले जाऊ शकत नाही. मी स्टोरेज सुविधा शोधत राहिलो, वेगवेगळे पर्याय शोधत राहिलो, पण मला काही योग्य वाटले नाही.

शेवटी, मी ठरवले की विकेंद्रित स्टोरेज स्वतः लिहिण्याचा प्रयत्न करणे योग्य आहे. जरी ते आंतरग्रही असल्याचे भासवत नसले तरी ते एक विशिष्ट समस्या सोडवेल.

आणि म्हणून ते बाहेर वळले प्रसार करण्यायोग्य, भांडार, मेटास्टोकल, संग्रहालय, museria-जागतिक.

प्रसार करण्यायोग्य - हा मुख्य, सर्वात कमी स्तर आहे जो आपल्याला नेटवर्कमध्ये नोड्स एकत्र करण्यास अनुमती देतो. यात एक अल्गोरिदम आहे, जो मी आतापर्यंत सुमारे 10000 सर्व्हरवर आधारित अंशतः अंमलात आणला आहे. अल्गोरिदमची पूर्ण आवृत्ती अंमलात आणणे अधिक कठीण आहे आणि त्यासाठी काही अतिरिक्त महिने लागतील (कदाचित अधिक).

मी या लेखात पसरण्यायोग्य तपशीलवार वर्णन करणार नाही; एखाद्या दिवशी स्वतंत्र लिहिणे चांगले. येथे मी फक्त काही वैशिष्ट्ये लक्षात घेईन:

• http/https द्वारे कार्य करते.
• तुम्ही एका विशिष्ट कार्यासाठी स्वतंत्र नेटवर्क तयार करू शकता, जे सर्व एकाच नेटवर्कवर असण्यापेक्षा प्रत्येक वैयक्तिक प्रकल्पावरील भार लक्षणीयरीत्या कमी करेल.
• कालबाह्य आणि इतर छोट्या गोष्टींसह एक यंत्रणा सुरुवातीला विचारात घेण्यात आली. आणि हे क्लायंट आणि नोडमधील सर्व पद्धतींसाठी कार्य करते. तुम्ही तुमच्या ऍप्लिकेशनमधून लवचिकपणे सेटिंग्ज व्यवस्थापित करू शकता.
• ग्रंथालय नोडजमध्ये लिहिलेले आहे. स्टॅकच्या कार्यप्रदर्शन समस्या त्याच्या विकेंद्रित स्वरूपाद्वारे ऑफसेट केल्या जातात. नोड्सची संख्या वाढवून भार "पसरला" जाऊ शकतो. त्या बदल्यात, बरेच फायदे आहेत: एक प्रचंड समुदाय, साधेपणा आणि वापरण्यास सुलभता, एक समरूपी क्लायंट, कोणतेही बाह्य अवलंबन इ.

भांडार स्प्रेड करण्यायोग्य वरून वारशाने मिळालेला एक स्तर आहे जो तुम्हाला नेटवर्कवर फाइल्स संचयित करण्यास अनुमती देतो. प्रत्येक फाईलची स्वतःची सामग्रीची हॅश असते, जी नंतर पुनर्प्राप्त करण्यासाठी वापरली जाऊ शकते. फायली ब्लॉकमध्ये विभागल्या जात नाहीत, परंतु संपूर्णपणे संग्रहित केल्या जातात.

मेटास्टोकल - स्प्रेड करण्यायोग्य पासून वारसा मिळालेला एक स्तर, जो तुम्हाला नेटवर्कवर डेटा संचयित करण्याची परवानगी देतो, परंतु फाइल्स नाही. इंटरफेस Nosql डेटाबेस सारखा आहे. तुम्ही, उदाहरणार्थ, स्टोरॅकलमध्ये फाइल जोडू शकता, तिचा हॅश मिळवू शकता आणि एखाद्या गोष्टीच्या लिंकसह मेटास्टोकलवर लिहू शकता.

संग्रहालय - स्टोरेकल आणि मेटास्टोकल पासून वारसा. हा स्तर संगीत संचयित करण्यासाठी थेट जबाबदार आहे. स्टोरेज फक्त mp3 फाइल्स आणि id3 टॅगसह कार्य करते.

गाण्याची “की” म्हणून, त्याचे पूर्ण नाव फॉर्ममध्ये वापरले जाते कलाकार (TPE1) - शीर्षक (TIT2). उदाहरणार्थः

• गंधक - ओझे
• हाय-रेझ - लॉस्ट माय वे (पराक्रम. एमिलियो रोजास, दानी डेविंची)

गाण्याचे शीर्षक कसे तयार केले जातात हे आपण शक्य तितक्या तपशीलवार शोधू शकता. येथे. आपल्याला फंक्शन पाहण्याची आवश्यकता आहे utils.beautifySongTitle().

नोड सेटिंग्जमध्ये परिभाषित केलेल्या सामन्यांची टक्केवारी एक जुळणी मानली जाते. उदाहरणार्थ, 0.85 च्या मूल्याचा अर्थ असा की जर की तुलना फंक्शन (गाण्याची नावे) मध्ये 85% पेक्षा जास्त समानता आढळली, तर ते समान गाणे आहे.

फंक्शनमध्ये समानता निश्चित करण्यासाठी अल्गोरिदम आहे utils.getSongSimilarity().

गाण्याचे कव्हर, नंतर पावतीसाठी, टॅगद्वारे देखील संलग्न केले जाऊ शकते (एपीआयसी). युटिलिटीजमध्ये टॅग प्राप्त करण्यासाठी आणि त्यावर प्रक्रिया करण्यासाठी सर्व आवश्यक पद्धती आहेत.

क्लायंटद्वारे स्टोरेजसह कार्य करण्याचे उदाहरण यामध्ये आढळू शकते मला वाचा.

वरील सर्व स्तर स्वयंपूर्ण आहेत आणि इतर प्रकल्पांसाठी खालचे स्तर म्हणून स्वतंत्रपणे वापरले जाऊ शकतात. उदाहरणार्थ, पुस्तके संग्रहित करण्यासाठी एक स्तर तयार करण्याची कल्पना आधीपासूनच आहे.

museria-जागतिक ग्लोबल म्युझिक नेटवर्कमध्ये तुमचा स्वतःचा नोड लाँच करण्यासाठी आधीच कॉन्फिगर केलेले गिट रेपॉजिटरी आहे. क्लोनिंग npm i && npm प्रारंभ करा आणि तेच मुळात आहे. तुम्ही ते अधिक तपशीलवार कॉन्फिगर करू शकता, डॉकरमध्ये चालवू शकता इ. सविस्तर माहिती येथे उपलब्ध आहे github.

जेव्हा रेपॉजिटरी अद्यतनित केली जाते, तेव्हा तुम्हाला तुमचा नोड अद्यतनित करणे आवश्यक आहे. जर प्रमुख किंवा किरकोळ आवृत्ती क्रमांक बदलला, तर ही क्रिया अनिवार्य आहे, अन्यथा नेटवर्कद्वारे जुन्या नोड्सकडे दुर्लक्ष केले जाईल.

तुम्ही गाण्यांसोबत मॅन्युअली आणि प्रोग्रॅमॅटिक पद्धतीने काम करू शकता. प्रत्येक नोड वेगवेगळ्या कामांसाठी सर्व्हर चालवतो. यासह, जेव्हा तुम्ही डीफॉल्ट एंडपॉइंटला भेट देता, तेव्हा तुम्हाला संगीतासह काम करण्यासाठी इंटरफेस मिळेल. उदाहरणार्थ, आपण येथे जाऊ शकता रूट नोड (लिंक नंतर संबंधित नसेल, इनपुट नोड्स देखील मिळू शकतात तार, किंवा Github वर अद्यतने पहा).

अशा प्रकारे तुम्ही स्टोरेजमध्ये गाणी शोधू आणि अपलोड करू शकता. गाणी अपलोड करणे दोन पद्धतींमध्ये होऊ शकते: सामान्य आणि नियंत्रित. दुसऱ्या मोडचा अर्थ असा आहे की कार्य एखाद्या व्यक्तीद्वारे केले जाते, प्रोग्राम नाही. आणि जोडताना हा बॉक्स चेक केल्यास, तुम्हाला कॅप्चा सोडवावा लागेल. गाणी प्राधान्यक्रमांसह जोडली जाऊ शकतात -1, 0 किंवा 1. प्राधान्य 1 फक्त नियंत्रित मोडमध्ये सेट केले जाऊ शकते. प्राधान्यक्रम आवश्यक आहेत जेणेकरुन तुम्ही विद्यमान गाणे नवीन गाण्याने बदलण्याचा प्रयत्न करता तेव्हा काय करावे हे स्टोरेज अधिक प्रभावीपणे ठरवू शकेल. अग्रक्रम जितका जास्त असेल तितकी तुम्ही अस्तित्वात असलेली फाइल ओव्हरराईट करण्याची शक्यता जास्त असते. हे स्पॅमशी लढण्यास मदत करते आणि डाउनलोड केलेल्या गाण्यांची गुणवत्ता वाढवते.

तुम्ही तुमच्या स्टोरेजमध्ये गाणी जोडणे सुरू केल्यास, इमेज (कव्हर) जोडण्याचा प्रयत्न करा, जरी हे फील्ड आवश्यक नाही. 99% प्रकरणांमध्ये, गाण्याच्या शीर्षकांवर आधारित Google वरील प्रथम प्रतिमा अल्बम कव्हर आहेत.

तांत्रिकदृष्ट्या फायली जोडणे कसे होते, थोडक्यात:

• क्लायंटला विनामूल्य नोडचा पत्ता प्राप्त होतो, जो थोड्या काळासाठी समन्वयक बनेल.
• गाणे जोडण्याचे कार्य ट्रिगर केले जाते (एखाद्या व्यक्तीद्वारे किंवा कोडद्वारे), आणि शेवटच्या बिंदूवर समन्वयक जोडण्याची विनंती केली जाते.
• समन्वयक गणना करतो की किती डुप्लिकेट संग्रहित केले पाहिजेत (कॉन्फिगर करण्यायोग्य पॅरामीटर).
• बचत करण्यासाठी सर्वात योग्य नोड्स शोधले जातात.
• फाइल थेट या नोड्सवर जाते.

तांत्रिकदृष्ट्या फाइल्स कशा प्राप्त होतात:

• क्लायंटला विनामूल्य नोडचा पत्ता प्राप्त होतो, जो थोड्या काळासाठी समन्वयक बनेल.
• गाणे (एखाद्या व्यक्तीद्वारे किंवा कोडद्वारे) प्राप्त करण्याचे कार्य ट्रिगर केले जाते आणि समन्वयकाच्या अंतिम बिंदूवर ते प्राप्त करण्याची विनंती केली जाते.
• संयोजक कॅशेमध्ये दुव्याची उपस्थिती तपासतो. जर तेथे एक असेल आणि ते कार्यरत असेल, तर ते ताबडतोब क्लायंटला परत केले जाते, अन्यथा उपलब्धतेसाठी नोड्स पोल केले जातात.
• एखादी फाईल सापडली तर ती लिंकवरून मिळते.

संगीत निर्मात्यांसाठी पर्याय

अनेक सर्जनशील कार्यांच्या मूल्याचे वस्तुनिष्ठ मूल्यमापन कसे करता येईल या प्रश्नात मला नेहमीच रस आहे? उदाहरणार्थ, एखादी व्यक्ती $10 मध्ये त्याचा संगीत अल्बम का ऑफर करते? एकतर $20 किंवा $100 साठी. अल्गोरिदम कुठे आहे? जेव्हा, उदाहरणार्थ, आम्ही काही भौतिक उत्पादनांबद्दल किंवा अनेक प्रकारच्या सेवांबद्दल बोलत असतो, तेव्हा आम्ही किमान किंमत मोजू शकतो आणि त्यातून पुढे जाऊ शकतो.

ठीक आहे, आम्ही $10 वर पैज लावू. हे खूप प्रभावी आहे का? समजा, मी कुठेतरी अल्बम किंवा तिथले गाणे ऐकले आणि माझे कृतज्ञता व्यक्त करण्याचा निर्णय घेतला. पण माझ्या भावना आणि माझ्या स्वतःच्या क्षमतेनुसार, $3 ही माझी कमाल मर्यादा आहे. मग आपण काय करावे? बहुधा मी काही करणार नाही, बहुतेक लोकांसारखे.

सर्जनशील कार्यासाठी काही प्रकारची निश्चित किंमत सेट करून, तुम्ही स्वतःला मर्यादित ठेवता, मोठ्या संख्येने लोकांना तुम्हाला कमी पैसे पाठवण्यापासून रोखता, जे तुम्ही सेट केलेल्या किमतीत खरेदी करणाऱ्यांपेक्षा एकूण अधिक प्रभावी असू शकतात. मला असे वाटते की सर्जनशीलता हे क्षेत्र आहे जिथे देणग्या प्रथम राज्य केल्या पाहिजेत. हे करण्यासाठी आपल्याला आवश्यक आहे:

• अशा प्रकारे लोकांना उपकार मानण्यास शिकवा. निर्मात्यांनी स्वतः स्पष्टपणे दर्शविले पाहिजे की त्यांना देणग्या मिळवायच्या आहेत, सर्वत्र वेगवेगळ्या पेमेंट पद्धतींच्या लिंक जोडणे इ.
• या प्रक्रिया सुलभ आणि मजबूत करण्यासाठी अधिक यंत्रणा आवश्यक आहेत. उदाहरणार्थ, एखादी जागतिक वेबसाइट तयार करा जिथे तुम्ही कॉपीराइट लिंक्स वापरून सर्जनशीलतेसाठी देणगी देऊ शकता.

  चला दुवा असे काहीतरी आहे असे म्हणूया:

  http://someartistsdonationsite.site/category/artist?external-info

  जर आपण ते संगीतकारांपर्यंत कमी केले तर:

  http://someartistsdonationsite.com/music/miyagi?song=blabla

  कलाकाराने त्याचे टोपणनाव सत्यापित करणे आणि त्यास संलग्न करणे आवश्यक आहे.

  आम्ही म्युझेरिया क्लायंटसाठी अशी लिंक जनरेट करण्यासाठी एक फंक्शन जोडत आहोत आणि रिपॉजिटरी वापरणारे सर्व प्रकल्प त्यांच्या वेबसाइट्स/ॲप्लिकेशन्सवरील गाण्यांच्या पुढे या लिंक्ससह देणगी बटणे ठेवू शकतात. वापरकर्त्यांना खूप लवकर आणि सहज देणगी देण्याची संधी आहे. साहजिकच, हा दृष्टिकोन कोणत्याही प्रकल्पात आणि सर्जनशीलतेच्या श्रेणीमध्ये वापरला जाऊ शकतो, केवळ स्टोरेजद्वारेच नाही.

तुम्हाला म्युझिक स्टोरेज सुविधेची नेमकी गरज का आहे आणि तुम्ही त्यात कसे सहभागी होऊ शकता?

• जर तुम्ही संगीताशी संबंधित प्रकल्पावर काम करत असाल किंवा एखादा प्रकल्प तयार करण्याची योजना आखत असाल, तर सर्व काही हेच आहे. ऑनलाइन गाण्यांचा प्रवाह वाढवून तुम्ही गाणी संग्रहित करण्यासाठी आणि पुनर्प्राप्त करण्यासाठी म्युझरिया वापरू शकता. त्याच वेळी, तुमच्याकडे स्वतःचा एक नोड वाढवण्याची आणि धरून ठेवण्याची क्षमता असल्यास, नेटवर्कच्या विकासासाठी हे सर्वोत्तम योगदान असेल.
• कदाचित तुम्ही दुसरी भूमिका घेण्यास तयार असाल: कोडसह मदत करा, किंवा डेटाबेस भरा आणि नियंत्रित करा, प्रोजेक्टबद्दल माहिती तुमच्या मित्रांना वितरित करा, इ.
• कदाचित तुम्हाला ही कल्पना आवडली असेल आणि आर्थिक मदत करण्यास तयार आहात जेणेकरून ते सर्व जगेल आणि विकसित होईल. जितके नोड्स, तितकी गाणी.
• किंवा तुम्हाला एखादे गाणे कधीतरी शोधून डाउनलोड करावे लागेल. आपण हे अगदी सोप्या पद्धतीने करू शकता, उदाहरणार्थ, माध्यमातून टेलिग्राम बॉट.

प्रकल्प आता अगदी सुरुवातीच्या टप्प्यात आहे. चाचणी नेटवर्क लाँच केले गेले आहे, नोड्स वारंवार रीबूट होऊ शकतात, अद्यतने आवश्यक आहेत, इ. मूल्यमापन कालावधीत कोणतीही गंभीर समस्या नसल्यास, हेच नेटवर्क मुख्य नेटवर्कमध्ये बदलले जाते.

तुम्ही नोडची माहिती बाहेरून पाहू शकता: गाण्यांची संख्या, मोकळी जागा इ., सारख्या लिंकचा वापर करून http://node-address/status किंवा http://node-address/status?pretty

माझे संपर्क:

• @ortex
• [ईमेल संरक्षित]
• इंग्रजीमध्ये टेलिग्राम ग्रुप.
• बरं, या संपूर्ण कल्पनेला जन्म देणारी वेबसाइट.

स्त्रोत: www.habr.com