🥇Museria — detsentraliseeritud muusika salvestus

Olin ühel päeval otsustanud kirjutada rakenduse, et valida muusikat endale ning kuulata seda kodus/väljas/trenni jne. Ja et kõik see toimiks sujuvalt, minimaalse mu osalusega. Mõtlesin välja arhitektuuri, joonistasin prototüübi ja lõpuks kohtusin ühe "väikse probleemiga".

Aga ei ole selge, kust võtta muusikafailid. Sel hetkel oli VKontakte juba sulgenud API, suurtes muusikaportaalides oli samuti kõik vaikne, isegi laulud anti plaate jupikaupa, et neid ei saaks kraapida. Jäänud olid ainult mingid eraldi päeva veebisaidid tohutu reklaami ja igasuguse jamaga, kahtlased grabber programm ja muud "räpased" variantid. Kokkuvõttes ei olnud ühtegi tõeliselt head lahendust. Muidugi, võiks osta tellimuse mingisse Yandex Muusika või sarnasesse teenusesse. Kuid jälle, seal ei ole kuskil avatud avalikku API-d ja sul ei ole juurdepääsu muusikale programmide kaudu. Mitmed suured ettevõtted on põhimõtteliselt piiranud teiste juurdepääsu muusikale. Kuidas see üldse juhtus? Sügavamale kaevates sai selgeks, et peamine probleem on autorikaitse. Praegune lahendus tellimuste näol rahuldab paljusid kommertsautori muusikateoseid ja neid samu ettevõtteid. Samuti langeb kõigi teiste mittekommertsliku ja tingimuslikult kommertsmuusika üldisesse nimekirja. Sa kas maksad kõigi eest või ei kuule üldse midagi.

Ja ma hakkasin mõtlema, mida sellega teha. Kuidas korraldada muusika vabalt levitamist? Mida ma teeksin, kui ma ise teeksin muusikat ja sooviksin sellega raha teenida? Kas mulle meeldiks, kui mu laule hakata levitama salaja? Millised on üldse alternatiivsed lahendused?

Lõpuks kujunesid välja kaks peamist probleemi, mida tuleb lahendada:

Muusika vabalt levitamise korraldamine enamiku inimeste jaoks mugavates vormides, sealhulgas programmiliselt.
Alternatiivide pakkumine muusika loojatele raha teenimiseks

Globaalselt detsentraliseeritud muusikalaos

Alguses proovisin leida juba olemasolevaid lahendusi ja luua kõik selle alusel. Pärast mõningaid otsinguid jäi silma esimene ipfs. Alustasin oma idee elluviimist, kuid mõne aja pärast avastasin selle lahenduse juures mitu kriitilist probleemi:

Ipfs — salvestus kõigile ja kõigest. Siit leiad nii pilte kui muusikat, videoid ja kõike muud. Ühesõnaga, suur planeetaarne „prügikast“. Seetõttu, kui sa käivitad oma sõlme, saad koheselt tohutu koormuse. Masin lihtsalt vaevleb valust.
Mingisugune saamatu prügi kogumise mehhanism. Ma ei tea, kuidas sellega praegu on, aga tookord, kui sa seadetes ütlesid, et tahad salvestust piirata kümne gigabaidiga, ei tähendanud see midagi. Salvestus laienes, jättes paljud konfigureerimisparameetrid tähelepanuta. Lõppude lõpuks tuli sul olla tohutult kõvakettaruumi, kuni ipfs suutis aru saada, kuidas üleliigset mahaviskamist ette võtta.
Raamatukogu kasutamise hetkel (ma ei tea, kuidas praegu on) ei olnud kliendil rakendatud ajapiiranguid. Saatsid faili saamise päringu, ja kui seda ei olnud, lihtsalt rippusid. Loomulikult, inimesed töötasid välja erinevaid kõrvalteid, mis osaliselt lahendasid probleemi, kuid see oli nagu karkudega käimine. Sellised asjad peaksid olema välja töötatud toote osana.

Lisaks oli palju väiksemaid probleeme ning mul jäi selge mulje, et seda ei saa projekti jaoks kasutada. Otsisin edasi salvestuslahendusi, uurisin erinevaid võimalusi, kuid ei leidnud midagi sobivat.

Lõpuks otsustasin, et prooviks ise kirjutada detsentraliseeritud salvestuse. Las see ei pretendeeri planeetidevahelisele rollile, aga lahendab kindla ülesande.

Nii saigi hakkama spreadable, storacle, metastocle, museria, museria-global.

spreadable — see on põhikiht, mis võimaldab sõlmi omavahel võrku ühendada. Sellel on algoritm, mille ma olen osaliselt rakendanud ligikaudu 10000 serveri jaoks. Täielik algoritmi versioon on palju keerulisem ellu viia ja nõuaks veel mõnda täiendavat kuud (võib-olla isegi rohkem).

Ma ei hakka spreadable'i detailselt selle artikli raames kirjeldama, parem kirjutan sellest millalgi eraldi. Siin mainin vaid mõningaid eripära:

Töötatakse läbi http/https.
Võimalik on luua eraldi võrk konkreetse ülesande jaoks, mis vähendab oluliselt koormust iga eraldi projekti peal, võrreldes olukorraga, kui kõik oleksid ühes võrgus.
Algusest peale oli mõeldud mehhanism ajapiirangutega ja teiste väikeste detailidega. Ja see töötab kõigi meetodite jaoks nii kliendil kui ka sõlmel. Sa saad paindlikult hallata parameetreid oma rakendusest.
Raamatukogu on kirjutatud nodejs-is. Stekki jõudlusprobleemide kompenseerimine toimub tänu detsentraliseeritud iseloomule. Koormust saab "laiali jagada" sõlmede arvu suurendamisega. Vastutasuks on palju eeliseid: tohutu kogukond, lihtsus ja mugavustunne, isomorfne klient, väliste sõltuvuste puudumine jne.

storacle — see on kihistumine, mis pärineb spreadable-ilt ja võimaldab salvestada võrku faile. Igal failil on oma hash sisu järgi, mille kaudu saab selle hiljem kätte. Faile ei jaotata blokiks, vaid need salvestatakse tervikuna.

metastocle — kihistumine, mis pärineb spreadable-ilt ja võimaldab võrgus andmete salvestamist, kuid mitte faile. Liides on sarnane nosql andmebaasidega. Saate näiteks lisada faili storacle’i, saada selle hash ja salvestada metastocle’i seosega millelegi.

museria — pärineb storacle-ilt ja metastocle-ilt. See kiht vastutab otseselt muusika salvestamise eest. Ladustamine töötab ainult mp3 failidega ja id3 siltidega.

Laulu "võtmena" kasutatakse selle täisnime kujul Esitaja (TPE1) — Nimi (TIT2). Näiteks:

Brimstone — The Burden
Hi-rez — Lost My Way (feat. Emilio Rojas, Dani Devinci)

Maksimaalselt üksikasjalikult õppida, kuidas laulu nimesid formuleeritakse, saab siit. Tuleb vaadata funktsiooni utils.beautifySongTitle().

Võtmete (laulunimede) sarnasuseks loetakse sõlme seadistustes määratud protsent. Näiteks väärtus 0.85 tähendab, et kui võtmete võrdlemise funktsioon on leidnud sarnase üle 85%, siis on see sama laul.

Sarnasuse määramise algoritm on seal, funktsiooni sees utils.getSongSimilarity().

Laulu kaanepilt, edasise saamiseks kinnitatakse samuti siltide kaudu (APIC). Utiliidid (utils) sisaldavad kõiki vajalikke meetodeid siltide saamiseks ja töötlemiseks.

Näidet töö tegemisest salvestustega kliendi kaudu saab vaadata readme.

Kõik ülaltoodud kihid on iseseisvad ja neid saab kasutada eraldi kui madalamaid kihte teiste projektide jaoks. Näiteks on juba praegu plaanis luua kiht raamatute salvestamiseks.

museria-global — see on juba konfigureeritud git-repo oma sõlme käivitamiseks globaalsetes muusikasüsteemides. Kloonige, npm i && npm start ja põhimõtteliselt ongi kõik. Saab seadistada detailsemalt, käivitada dockeris jne. Üksikasjalik teave on olemas GitHubis.

Kui repotite uuendatakse, tuleb samuti uuendada oma sõlme. Kui versiooni peamine või väike number muutub, on see tegevus kohustuslik, vastasel juhul vanad sõlmed ignoreeritakse võrgu poolt.

Lauludega saab töötada käsitsi ja programmeeritult. Iga sõlm käivitab teenuse erinevate ülesannete jaoks. Sealhulgas, kui külastate vaike lõpp-punkti, saate liidese muusika töötlemiseks. Näiteks saate minna juursõlmele (link võib hiljem muutuda ebaaktiivseks, sisenemis-sõlmed on saadaval ka Telegramis, või saate jälgida uuendusi GitHubis).

Nii saate otsida ja alla laadida laule andmebaasi. Laulude üleslaadimine võib toimuda kahes režiimis: tavaline ja modereeritud. Teine režiim tähendab, et tööd juhib inimene, mitte programm. Ja kui märkite selle ruudu lisamise ajal, peate lahendama captcha. Laulesid saab lisada prioriteetidega -1, 0 või 1. Prioriteeti 1 saab seada ainult modereeritud režiimis. Prioriteedid on vajalikud, et andmebaas saaks efektiivsemalt otsustada, mida teha, kui proovite asendada juba olemasolevat laulu uuega. Mida kõrgem on prioriteet, seda suuremad on tõenäosused, et asendate olemasoleva faili. See aitab võidelda rämpsposti ja tõstab üleslaaditud laulude kvaliteeti.

Kui hakkate laule andmebaasi lisama, püüdke lisada ka pilte (cover), kuigi see väli ei ole kohustuslik. 99% juhtudel on esimeste piltide hulgas Google'is laulunimetuste järgi albumikaaned.

Kuidas toimub failide lisamine tehniliselt, hoides kaks sõna:

Kliendile antakse aadress vaba sõlme, mis mõneks ajaks muutub koordinaatoriks.
Käivitub laulu lisamise funktsioon (inimese või koodi poolt), toimub päring lisamise kohta koordinaatori lõpp-punktile.
Koordinaator arvutab, kui palju koopiaid säilitada (konfigureeritav parameeter).
Otsitakse sobivamaid sõlmi salvestamiseks.
Fail saadetakse otse nendele sõlmedele.

Kuidas toimub failide hankimine tehniliselt:

Kliendile antakse aadress vaba sõlme, mis mõneks ajaks muutub koordinaatoriks.
Käivitub laulu hankimise funktsioon (inimese või koodi poolt), toimub päring hankimise kohta koordinaatori lõpp-punktile.
Koordinaator kontrollib, kas link on vahemälus. Kui see on olemas ja töötab, tagastatakse see koheselt kliendile, vastasel juhul küsitakse sõlmedelt olemasolu kohta.
Faili hankimiseks kasutatakse linki, kui see leitakse.

Alternatiivid muusikategijatele

Mind on alati huvitanud küsimus, kuidas saab objektiivselt hinnata paljude loominguliste teoste väärtust? Miks, näiteks, pakub inimene oma muusikaalbumit 10 dollari eest? Või 20 dollari või 100 dollari eest. Kus on algoritm? Kui me räägime mingist füüsilisest tootest või isegi paljudest teenustest, saame vähemalt arvutada omahinna ja sellest lähtuda.

Okei, oletame, et 10 dollarit on seatud. Kas see on tõeliselt efektiivne? Oletame, et ma kuulasin albumit kuskil või laulu sealt ja otsustasin tänada. Aga minu tunnetuse ja võimaluste järgi on 3 dollarit minu maksimum. Kuidas siis edasi? Tõenäoliselt ei tee ma midagi, nagu ka enamik inimesi.

Seades mingisuguse kindla hinna loomingulise töö eest, piirad sa lihtsalt ennast, ei luba suuremal arvul inimestel saata sulle väiksemaid summasid, mis kokku võivad olla suuremad, kui need, kes ostavad sinu seatud hinnaga. Minu arvates on looming just see valdkond, kus peaksid esmatähtsad olema annetused. Selleks on vajalik:

Inimesi tuleb õpetada tänama just niimoodi. Loome ise peavad selgelt näitama, et nad soovivad saada annetusi, lisama igale poole linke erinevatele makseviisidele jne.
Vaja on rohkem mehhanisme nende protsesside lihtsustamiseks ja tugevdamiseks. Näiteks luua mingi globaalne sait, kuhu saab annetada loomingute eest autorite linkide kaudu.
Oletame, et link on umbes selline:
http://someartistsdonationsite.site/category/artist?external-info
Kui kitsendada muusikutele, siis:
http://someartistsdonationsite.com/music/miyagi?song=blabla
Esitajal on vaja oma hüüdnime verifitseerida ja sellega siduda.
Kliendi muserias lisame sarnase lingi genereerimise funktsiooni ning kõik projektid, mis kasutavad salvestust, saavad oma saitidel/rakendustes paigutada nuppu annetuste jaoks koos nende linkidega laulude kõrval. Kasutajad saavad väga kiiresti ja lihtsalt annetada. Loomulikult saab seda lähenemist rakendada igasugustes projektides ja loomingukategooriates, mitte ainult salvestuse kaudu.

Miks on just sina, muusika salvestus, ja kuidas selles osaleda

Kui töötad muusikaga seotud projekti kallal või plaanid sellist luua, siis on see kõik selleks mõeldud. Sa saad kasutada museriat laulude salvestamiseks ja saamiseks, suurendades laulude voogu võrgus. Kui sul on võimalus üles seada ja hoida vähemalt üks oma node, siis on see parim panus võrgu arendamisse.
Võib-olla oled valmis võtma endale mõne teise rolli: aitama koodi kirjutada, täitma ja modereerima andmebaasi, levitama teavet projekti kohta oma tuttavatele jne.
Võib-olla meeldib sulle idee ja oled valmis aitama rahaliselt, et see kõik elaks ja areneks. Mida rohkem node, seda rohkem laule.
Või võib-olla vajad sa lihtsalt mingil hetkel laulu leidmiseks ja allalaadimiseks. Seda saad teha väga lihtsalt, näiteks läbi Telegrammi boti.

Projekt on hetkel algstaadiumis. Testvõrk on käivitatud, node võivad tihti taaskäivituda, vajada põhikirju jne. Kui kriitilisi probleeme ei esine hindamisperioodi jooksul, muudetakse sama võrku põhivõrguks.

Node'i välise teabe nägemiseks: laulude arv, vaba ruum jne, saad üle vaadata lingil kujul http://node-address/status või http://node-address/status?pretty

Minu kontaktid:

Allikas: habr.com