Музерија - децентрализирано складирање музика

Еден ден решив да напишам апликација за да си одберам музика и да ја слушам дома/на улица/тренинг итн. И сето тоа да функционира во тек, со минимално мое учество. Дојдов до архитектура, скицирав прототип и на крајот наидов на еден „мал проблем“.

И не е јасно каде да се добијат самите датотеки со песни. Во тоа време, VKontakte веќе го затвори api, на големите музички портали сè беше исклучено, дури и песните беа дадени на парчиња за да не се анализираат. Останаа само некои поединечни сајтови кои летаат до ноќ со тон реклами и секакви ѓубре, секакви сомнителни програми за грабнување и други „валкани“ опции. Во принцип, ниту едно навистина добро решение. Се разбира, можете да купите претплата за некоја музика на Yandex или слично. Но, повторно, никаде нема отворено јавно API и немате пристап до музика програмски. Неколку големи компании во суштина го ограничија пристапот на другите до музика. Зошто воопшто се случи ова? Копајќи подлабоко, стана јасно дека главниот проблем се авторските права. Сегашното решение во форма на претплати им одговара на многу комерцијални музички автори и на истите тие компании. Во исто време, некомерцијалната и полукомерцијалната музика исто така спаѓа во генералната листа. Или плаќаш за се или не слушаш ништо.

И почнав да размислувам што да правам со сето ова. Како можеме да организираме бесплатна дистрибуција на музика? Што би направил ако сам создавам музика и сакам да заработам пари од неа? Дали би сакал моите песни да бидат пиратски? Какво алтернативно решение воопшто постои?

Како резултат на тоа, постојат два главни проблеми што треба да се решат:

• Организација на бесплатна дистрибуција на музика користејќи методи погодни за повеќето луѓе, вклучително и софтвер.
• Нуди алтернативи за креаторите на музика да заработат пари

Глобално децентрализирано складирање музика

Првично, се обидов да најдам постоечки решенија и да создадам сè врз основа на ова. По некое време пребарување, првото што ми се допадна беше ipfs. Почнав да ја спроведувам мојата идеја, но по некое време открив неколку критични проблеми во ова решение:

• Ipfs - складирање за сè и секого. Има слики и музика и видеа и се што сакате. Во принцип, толку голема планетарна „ѓубриште“. Затоа, кога ќе го стартувате вашиот јазол, веднаш добивате огромен товар. Автомобилот само се витка од болка.
• Некој вид недовршен механизам за собирање „ѓубре“. Не знам како е сега, но во тој момент, ако сте напишале во конфигурацијата дека сакате да го ограничите складирањето на десет гигабајти податоци, тогаш тоа не значеше ништо. Складирањето се зголеми, игнорирајќи многу параметри за конфигурација. Како резултат на тоа, беше неопходно да се има огромна резерва на хард диск додека ipfs не сфати како да го ресетира непотребното.
• Во времето на користење на библиотеката (не знам како е сега), клиентот немаше имплементирани тајмаути. Испраќате барање да примите датотека, а ако не постои, тогаш само обесувате. Се разбира, луѓето смислија секакви решенија кои делумно го решија проблемот, но тоа беа патерици. Овие работи треба да излезат од кутијата.

Сè уште имаше многу помали проблеми, а впечатокот беше јасен: ова не може да се искористи за проектот. Продолжив да барам складиште, истражувајќи различни опции, но никогаш не најдов ништо соодветно.

На крајот, решив дека вреди да се обидам сам да напишам децентрализирано складирање. Дури и ако не се преправа дека е меѓупланетарен, ќе реши одредена задача.

И така испадна може да се шири, магацин, метастокул, музерија, музерија-глобална.

може да се шири - ова е главниот, најнискиот слој кој ви овозможува да комбинирате јазли во мрежа. Содржи алгоритам, кој досега го имплементирав делумно врз основа на околу 10000 сервери. Целосната верзија на алгоритмот е многу потешка за имплементација и ќе бара неколку дополнителни месеци (можеби и повеќе).

Во оваа статија нема детално да го опишам ширењето; подобро е некогаш да напишете посебно. Овде само ќе забележам некои карактеристики:

• Работи преку http/https.
• Можете да креирате посебна мрежа за одредена задача, што значително ќе го намали оптоварувањето на секој поединечен проект отколку ако сите тие беа на иста мрежа.
• Првично беше обмислен механизам со тајмаути и други ситници. И ова работи за сите методи и во клиентот и во јазолот. Можете флексибилно да управувате со поставките од вашата апликација.
• Библиотеката е напишана во nodejs. Проблемите со перформансите на магацинот се неутрализирани со неговата децентрализирана природа. Товарот може да се „рашири“ со зголемување на бројот на јазли. За возврат, има многу предности: огромна заедница, едноставност и леснотија на користење, изоморфен клиент, без надворешни зависности итн.

магацин е слој наследен од ширење што ви овозможува да складирате датотеки на мрежата. Секоја датотека има свој хаш на нејзината содржина, што може да се користи за да се врати подоцна. Датотеките не се поделени на блокови, туку се складираат целосно.

метастокул - слој наследен од ширење, кој ви овозможува да складирате податоци на мрежата, но не и датотеки. Интерфејсот е сличен на базата на податоци Nosql. Можете, на пример, да додадете датотека во storacle, да го добиете нејзиниот хаш и да ја напишете во metastocle со врска до нешто.

музерија - наследен од storacle и metastocle. Овој слој е директно одговорен за складирање музика. Складирањето работи само со mp3 датотеки и id3 ознаки.

Како „клуч“ на песната, нејзиното целосно име се користи во формата Уметник (TPE1) - Наслов (TIT2). На пример:

• Сулфур - товарот
• Hi-rez - Lost My Way (feat. Emilio Rojas, Dani Devinci)

Можете да дознаете колку што е можно подетално како се формираат насловите на песните. тука. Треба да ја погледнете функцијата utils.beautifySongTitle().

Процентот на совпаѓања дефинирани во поставките за јазол се смета за совпаѓање. На пример, вредноста од 0.85 значи дека ако функцијата за споредба на копчињата (имињата на песните) најде сличност од повеќе од 85%, тогаш тоа е истата песна.

Алгоритмот за одредување сличност е таму, во функцијата utils.getSongSimilarity().

Обвивката на песната, за подоцна прием, може да се прикачи и преку ознаки (APIC). Комуналните услуги ги имаат сите потребни методи за примање и обработка на ознаки.

Пример за работа со складирање преку клиент може да се најде во Прочитај ме.

Сите горенаведени слоеви се самостојни и може да се користат посебно како пониски слоеви за други проекти. На пример, веќе постои идеја да се направи слој за чување книги.

музерија-глобална е веќе конфигуриран git складиште за лансирање на свој јазол во глобалната музичка мрежа. Клонирање npm i && npm започнете и тоа е во основа. Можете да го конфигурирате подетално, да го стартувате во Docker итн. Детални информации се достапни на github.

Кога складиштето се ажурира, треба да го ажурирате вашиот јазол. Ако бројот на главната или помалата верзија се промени, тогаш ова дејство е задолжително, инаку старите јазли ќе бидат игнорирани од мрежата.

Можете да работите со песни рачно и програмски. Секој јазол работи на сервер за различни задачи. Вклучувајќи, кога ќе ја посетите стандардната крајна точка, ќе добиете интерфејс за работа со музика. На пример, можете да отидете на коренскиот јазол (врската може да не е релевантна подоцна, може да се добијат и влезни јазли телеграма, или побарајте ажурирања на Github).

На овој начин можете да пребарувате и прикачувате песни во складиштето. Поставувањето песни може да се одвива во два режима: нормално и умерено. Вториот режим значи дека работата ја врши личност, а не програма. И ако го штиклирате ова поле при додавање, ќе треба да ја решите captcha. Може да се додадат песни со приоритети -1, 0 или 1. Приоритетот 1 може да се постави само во модериран режим. Потребни се приоритети за складирањето да може поефективно да одлучи што да прави кога ќе се обидете да замените постоечка песна со нова. Колку е поголем приоритетот, толку е поголема веројатноста да презапишете постоечка датотека. Ова помага во борбата против спам и го зголемува квалитетот на преземените песни.

Ако почнете да додавате песни во складиштето, обидете се да прикачите слики (обвивка), иако ова поле не е потребно. Во 99% од случаите, првите слики на Google врз основа на насловите на песните се корици на албуми.

Како се случува технички додавање датотеки, накратко:

• Клиентот добива адреса на бесплатен јазол, кој ќе стане координатор некое време.
• Функцијата за додавање песна се активира (од лице или код), и се бара да се додаде координатор на крајната точка.
• Координаторот пресметува колку дупликати треба да се складираат (параметар што може да се конфигурира).
• Се пребаруваат најсоодветните јазли за зачувување.
• Датотеката директно оди во овие јазли.

Како технички се примаат датотеките:

• Клиентот добива адреса на бесплатен јазол, кој ќе стане координатор некое време.
• Функцијата за примање песна (од личност или код) се активира и се бара да се добие на крајната точка на координаторот.
• Координаторот проверува за присуство на врската во кешот. Ако има и работи, веднаш се враќа на клиентот, во спротивно јазлите се анкетираат за достапност.
• Датотеката се добива од врската, доколку се најде.

Алтернативи за создавачи на музика

Отсекогаш ме интересирало прашањето како може објективно да се оцени вредноста на многу креативни дела? Зошто, на пример, некој го нуди својот музички албум за 10 долари? Или за 20 или 100 долари. Каде е алгоритмот? Кога, на пример, зборуваме за некој физички производ, па дури и за многу видови услуги, тогаш можеме барем да го пресметаме трошокот и да продолжиме од тоа.

Добро, да речеме дека се обложивме 10 долари. Дали е ова многу ефикасно? Да речеме, слушав албум некаде или песна од таму и решив да се заблагодарам. Но, според моите чувства и сопствените можности, 3 долари се мојот плафон. Па што треба да правиме? Најверојатно едноставно нема да направам ништо, како и повеќето луѓе.

Со поставување на некаква фиксна цена за креативна работа, вие едноставно се ограничувате, спречувајќи поголем број луѓе да ви испраќаат помалку пари, што вкупно може да биде поимпресивно од оние кои ќе купат по цената што вие ја одредивте. Ми се чини дека креативноста е токму областа каде што прво треба да владеат донациите. За да го направите ова ви треба:

• Научете ги луѓето да се заблагодаруваат на овој начин. Самите креатори мора јасно да покажат дека би сакале да примаат донации, да додаваат врски до различни начини на плаќање насекаде, итн.
• Потребни се повеќе механизми за поедноставување и зајакнување на овие процеси. На пример, креирајте некој вид на глобална веб-локација каде што можете да донирате за креативност користејќи линкови за авторски права.

  Да речеме дека врската е нешто вака:

  http://someartistsdonationsite.site/category/artist?external-info

  Ако го сведеме на музичарите, тогаш:

  http://someartistsdonationsite.com/music/miyagi?song=blabla

  Изведувачот треба да го потврди својот прекар и да го прикачи на него.

  Додаваме функција за генерирање на таква врска до клиентот museria, а сите проекти што го користат складиштето можат да поставуваат копчиња за донации со овие врски до песните на нивните веб-локации/апликации. Корисниците имаат можност многу брзо и лесно да направат донација. Секако, овој пристап може да се користи во секој проект и категорија на креативност, не само преку складирање.

Зошто точно ви треба простор за складирање музика и како можете да учествувате во него?

• Ако работите на проект поврзан со музика или планирате да создадете, тогаш сè беше наменето за ова. Можете да користите музерија за складирање и преземање песни, зголемувајќи го протокот на песни онлајн. Ако, во исто време, имате можност да подигнете и држите барем еден сопствен јазол, тогаш ова ќе биде најдобриот придонес за развојот на мрежата.
• Можеби сте подготвени да преземете некоја друга улога: да помогнете со кодот, или да ја пополните и модерирате базата на податоци, да дистрибуирате информации за проектот до вашите пријатели итн.
• Можеби ви се допадна идејата и сте подготвени финансиски да помогнете за сето тоа да живее и да се развива. Колку повеќе јазли, толку повеќе песни.
• Или само треба да најдете и преземете песна во одреден момент. Можете да го направите ова многу едноставно, на пример, преку телеграма бот.

Проектот сега е во почетна фаза. Лансирана е тест мрежа, јазлите може често да се рестартираат, да бараат ажурирања итн. Доколку нема критични проблеми во периодот на евалуација, истата мрежа се трансформира во главна.

Можете да ги видите информациите за јазолот однадвор: бројот на песни, слободен простор итн., користејќи врска како http://node-address/status или http://node-address/status?pretty

Мои контакти:

• @ortex
• [заштитена по е-пошта]
• Телеграма група на англиски јазик.
• Па, веб-страницата која ја роди целата оваа идеја.

Извор: www.habr.com