Мусериа - децентрализовано складиште музике

Једног дана сам одлучио да напишем апликацију да бирам музику за себе и да је слушам код куће/на улици/тренинзима итд. И тако да све ово функционише у току, уз минимално моје учешће. Смислио сам архитектуру, скицирао прототип и на крају наишао на један „мали проблем“.

И није јасно где се могу добити датотеке песама. У то време, ВКонтакте је већ затворио апи, на великим музичким порталима све је такође било пригушено, чак су и песме даване у комадима како се не би рашчланиле. Остали су само неки појединачни сајтови за летење по ноћи са гомилом реклама и свакојаког смећа, свакојаким сумњивим граббер програмима и другим „прљавим“ опцијама. Генерално, ни једно стварно добро решење. Можете, наравно, да купите претплату на неку Иандек музику или слично. Али опет, нигде нема отвореног јавног АПИ-ја и немате програмски приступ музици. Неколико великих компанија је суштински ограничило приступ музици другима. Зашто се ово уопште догодило? Копајући дубље, постало је јасно да су главни проблем ауторска права. Садашње решење у виду претплате одговара многим комерцијалним музичким ауторима и истим овим компанијама. Истовремено, некомерцијална и полукомерцијална музика такође спада у општу листу. Или плаћате за све или не слушате ништа.

И почео сам да размишљам шта да радим са свим овим. Како да организујемо бесплатну дистрибуцију музике? Шта бих радио да сам стварао музику и желео да зарадим од тога? Да ли бих волео да су моје песме пиратске? Које алтернативно решење уопште постоји?

Као резултат тога, постоје два главна проблема која треба решити:

• Организација бесплатне дистрибуције музике користећи методе погодне за већину људи, укључујући софтвер.
• Нуди алтернативе за музичке ствараоце да зараде новац

Глобално децентрализовано складиште музике

У почетку сам покушавао да пронађем постојећа решења и да креирам све на основу тога. После неког времена тражења, прва која ми се допала је ипфс. Почео сам да спроводим своју идеју, али сам након неког времена открио неколико критичних проблема у овом решењу:

• Ипфс - складиште за све и свакога. Ту су слике и музика и видео снимци и све што желите. Генерално, тако велика планетарна „канта за смеће“. Стога, када покренете свој чвор, одмах добијате огромно оптерећење. Ауто се само грчи од болова.
• Нека врста недовршеног механизма за сакупљање "ђубрета". Не знам како је сада, али у том тренутку, ако сте у конфигурацији написали да желите да ограничите складиштење на десет гигабајта података, онда то није ништа значило. Меморија је расла, игноришући многе параметре конфигурације. Као резултат тога, било је неопходно имати огромну резерву хард диска док ипфс не схвати како да ресетује непотребно.
• У време коришћења библиотеке (не знам како је сада), клијент није имао имплементиран тајм-аут. Шаљете захтев да добијете датотеку, а ако не постоји, само спустите. Наравно, људи су смислили разна решења која су делимично решила проблем, али то су биле штаке. Ове ствари би требало да изађу из кутије.

Било је још много мањих проблема, а утисак је био јасан: ово се не може искористити за пројекат. Наставио сам да тражим складиште, истражујући различите опције, али никада нисам нашао ништа прикладно.

На крају сам одлучио да је вредно покушати сам да напишем децентрализовано складиште. Чак и ако се не претвара да је међупланетарна, решиће конкретан проблем.

И тако се испоставило распрострањен, сторацле, метастокула, мусериа, мусериа-глобал.

распрострањен - ово је главни, најнижи слој који вам омогућава да комбинујете чворове у мрежу. Садржи алгоритам, који сам до сада делимично имплементирао на око 10000 сервера. Пуну верзију алгоритма је много теже имплементирати и захтевало би неколико додатних месеци (можда и више).

У овом чланку нећу детаљно описивати ширину; боље је једног дана написати посебан. Овде ћу само приметити неке карактеристике:

• Ради преко хттп/хттпс.
• Можете креирати засебну мрежу за одређени задатак, што ће значајно смањити оптерећење сваког појединачног пројекта него да су сви на истој мрежи.
• У почетку је осмишљен механизам са тајм-аутима и другим ситницама. И ово ради за све методе и у клијенту и у чвору. Можете флексибилно да управљате подешавањима из ваше апликације.
• Библиотека је написана у нодејс. Проблеми са перформансама стека су надокнађени његовом децентрализованом природом. Оптерећење се може „раширити“ повећањем броја чворова. Заузврат, има много предности: огромна заједница, једноставност и лакоћа коришћења, изоморфни клијент, без спољних зависности итд.

сторацле је слој наслеђен од ширине који вам омогућава да складиштите датотеке на мрежи. Свака датотека има свој хеш свог садржаја, који се може користити за касније преузимање. Датотеке нису подељене на блокове, већ се чувају у целини.

метастокула - слој наслеђен од ширине, који вам омогућава да чувате податке на мрежи, али не и датотеке. Интерфејс је сличан Носкл бази података. Можете, на пример, додати датотеку у сторацле, добити њен хеш и записати је у метастоцле са везом до нечега.

мусериа - наслеђено од сторацле и метастоцле. Овај слој је директно одговоран за чување музике. Складиште ради само са мп3 датотекама и ид3 ознакама.

Као „кључ“ песме, њено пуно име се користи у форми Извођач (ТПЕ1) - Наслов (ТИТ2). На пример:

• Бримстоне - Тхе Бурден
• Хи-рез - Лост Ми Ваи (феат. Емилио Ројас, Дани Девинци)

Можете сазнати што је могуће детаљније како се формирају наслови песама. овде. Морате погледати функцију утилс.беаутифиСонгТитле().

Проценат подударања дефинисан у подешавањима чвора сматра се подударањем. На пример, вредност од 0.85 значи да ако је функција поређења кључева (називи песама) пронашла сличност већу од 85%, онда је реч о истој песми.

Алгоритам за одређивање сличности је ту, у функцији утилс.гетСонгСимиларити().

Обрада песме, ради каснијег пријема, такође се може приложити преко ознака (АПИЦ). Услужни програми имају све потребне методе за пријем и обраду ознака.

Пример рада са складиштем преко клијента може се наћи у РЕАДМЕ.

Сви горе наведени слојеви су самостални и могу се користити засебно као нижи слојеви за друге пројекте. На пример, већ постоји идеја да се направи слој за чување књига.

мусериа-глобал је већ конфигурисано гит спремиште за покретање сопственог чвора у глобалној музичкој мрежи. Клонирање нпм и && нпм почети и то је у суштини то. Можете га детаљније конфигурисати, покренути у Доцкер-у итд. Детаљне информације доступне су на гитхуб.

Када се спремиште ажурира, потребно је да ажурирате свој чвор. Ако се број главне или мање верзије промени, онда је ова радња обавезна, иначе ће мрежа игнорисати старе чворове.

Можете радити са песмама ручно и програмски. Сваки чвор покреће сервер за различите задатке. Укључујући, када посетите подразумевану крајњу тачку, добићете интерфејс за рад са музиком. На пример, можете ићи на коренски чвор (веза можда неће бити релевантна касније, улазни чворови се такође могу добити у телеграм, или потражите ажурирања на Гитхуб-у).

На овај начин можете претраживати и отпремати песме у складиште. Отпремање песама може да се одвија у два режима: нормалном и модерираном. Други начин значи да посао обавља особа, а не програм. А ако означите ово поље приликом додавања, мораћете да решите цаптцха. Песме се могу додати са приоритетима -1, 0 или 1. Приоритет 1 се може подесити само у модерираном режиму. Приоритети су потребни како би складиште могао ефикасније да одлучи шта да ради када покушате да замените постојећу песму новом. Што је приоритет већи, већа је вероватноћа да ћете преписати постојећу датотеку. Ово помаже у борби против нежељене поште и повећава квалитет преузетих песама.

Ако почнете да додајете песме у складиште, покушајте да приложите слике (корица), иако ово поље није обавезно. У 99% случајева прве слике на Гуглу на основу наслова песама су омоти албума.

Укратко, како долази до техничког додавања датотека:

• Клијент добија адресу бесплатног чвора, који ће неко време постати координатор.
• Покреће се функција додавања песме (од стране особе или кода) и поставља се захтев за додавање координатора крајњој тачки.
• Координатор израчунава колико дупликата треба да буде сачувано (подесиви параметар).
• Траже се најпогоднији чворови за чување.
• Датотека директно иде на ове чворове.

Како се датотеке технички примају:

• Клијент добија адресу бесплатног чвора, који ће неко време постати координатор.
• Покреће се функција пријема песме (од стране особе или кода) и поставља се захтев за пријем на крајњој тачки координатора.
• Координатор проверава присуство везе у кешу. Ако постоји и ради, одмах се враћа клијенту, у супротном се чворови прозивају за доступност.
• Датотека се прима са везе, ако је пронађена.

Алтернативе за музичке ствараоце

Одувек ме је занимало питање како објективно проценити вредност многих стваралачких дела? Зашто, на пример, особа нуди свој музички албум за 10 долара? Или за 20 или 100 долара. Где је алгоритам? Када је, на пример, реч о неком физичком производу, или чак о многим врстама услуга, онда можемо бар да израчунамо цену и од тога полазимо.

У реду, рецимо да се кладимо на 10 долара. Да ли је ово веома ефикасно? Рецимо да сам негде одслушао албум или песму одатле и одлучио да се захвалим. Али према мојим осећањима и сопственим могућностима, 3 долара је мој плафон. Па шта да радимо? Највероватније нећу ништа учинити, као већина људи.

Одређивањем неке врсте фиксне цене за креативни рад, једноставно се ограничавате, спречавајући већи број људи да вам пошаље мање новца, што укупно може бити импресивније од оних који ће куповати по цени коју одредите. Чини ми се да је управо креативност област у којој би донације требало да превладају. Да бисте то урадили потребно вам је:

• Научите људе да захваљују на овај начин. Сами креатори морају јасно да покажу да желе да примају донације, да свуда додају линкове ка различитим начинима плаћања итд.
• Потребно је више механизама за поједностављење и јачање ових процеса. На пример, направите неку врсту глобалне веб странице на којој можете донирати за креативност користећи линкове за ауторска права.

  Рецимо да је веза отприлике овако:

  http://someartistsdonationsite.site/category/artist?external-info

  Ако то сузимо на музичаре, онда:

  http://someartistsdonationsite.com/music/miyagi?song=blabla

  Извођач треба да потврди свој надимак и приложи га.

  Додајемо функцију за генерисање такве везе клијенту мусериа, а сви пројекти који користе спремиште могу да поставе дугмад за донације са овим линковима поред песама на својим веб страницама/апликацијама. Корисници имају прилику да врло брзо и лако дају донацију. Наравно, овај приступ се може користити у било ком пројекту и категорији креативности, а не само кроз складиштење.

Зашто вам је тачно потребан простор за складиштење музике и како можете да учествујете у њему?

• Ако радите на пројекту који се односи на музику, или планирате да га креирате, онда је све за то било намењено. Можете да користите мусериа за чување и преузимање песама, повећавајући проток песама на мрежи. Ако у исто време имате могућност да подигнете и задржите бар један сопствени чвор, онда ће ово бити најбољи допринос развоју мреже.
• Можда сте спремни да преузмете неку другу улогу: помогнете са кодом, или попуните и модерирате базу података, дистрибуирате информације о пројекту својим пријатељима итд.
• Можда вам се идеја допала и спремни сте да финансијски помогнете да све то заживи и развије. Што више чворова, то је више песама.
• Или само треба да пронађете и преузмете песму у неком тренутку. То можете учинити врло једноставно, на пример, кроз телеграм бот.

Пројекат је сада у самој почетној фази. Покренута је тестна мрежа, чворови се могу често поново покретати, захтевати ажурирања итд. Ако током периода евалуације нема критичних проблема, ова иста мрежа се трансформише у главну.

Можете видети информације о чвору споља: број песама, слободан простор, итд., користећи везу као што је http://node-address/status или http://node-address/status?pretty

Моји контакти:

• @ортек
• [емаил заштићен]
• Телеграм група на енглеском.
• Па, веб локација која је родила целу ову идеју.

Извор: ввв.хабр.цом