מוסריה - אחסון מוזיקה מבוזר

יום אחד החלטתי לכתוב אפליקציה לבחור לעצמי מוזיקה ולהאזין לה בבית/ברחוב/אימונים וכו'. וכדי שכל זה יעבוד בזרימה, עם מינימום השתתפות ממני. המצאתי ארכיטקטורה, שרטטתי אב טיפוס, ובסופו של דבר נתקלתי ב"בעיה קטנה" אחת.

ולא ברור היכן ניתן להשיג את קבצי השירים עצמם. בשלב זה, VKontakte כבר סגרה את ה-API, בפורטלי מוזיקה גדולים הכל גם מושתק, אפילו שירים ניתנו בחלקים כדי לא לנתח. כל מה שנותר היו כמה אתרים בודדים עם המון פרסומות וכל מיני זבל, כל מיני תוכניות חטיפה מפוקפקות ועוד אפשרויות "מלוכלכות". באופן כללי, אין פתרון אחד ממש טוב. אתה יכול, כמובן, לקנות מנוי למוזיקה של Yandex או משהו דומה. אבל שוב, אין API ציבורי פתוח בשום מקום ואין לך גישה למוזיקה באופן תוכניתי. כמה חברות גדולות הגבילו למעשה את הגישה של אחרים למוזיקה. למה זה קרה בכלל? בחפירה עמוקה יותר, התברר שהבעיה העיקרית היא זכויות יוצרים. הפתרון הנוכחי בצורת מנויים מתאים להרבה מחברי מוזיקה מסחריים ולאותן חברות. במקביל, גם מוזיקה לא מסחרית וחצי מסחרית נכנסת לרשימה הכללית. או שאתה משלם על הכל או שאתה לא מקשיב לכלום.

והתחלתי לחשוב מה לעשות עם כל זה. כיצד נוכל לארגן את ההפצה החינמית של מוזיקה? מה הייתי עושה אם הייתי יוצר מוזיקה בעצמי ורוצה להרוויח ממנה כסף? האם הייתי אוהב אם השירים שלי היו פיראטיים? איזה פתרון חלופי יש בכלל?

כתוצאה מכך, ישנן שתי בעיות עיקריות שצריך לפתור:

• ארגון הפצה חינם של מוזיקה בשיטות הנוחות לרוב האנשים, כולל תוכנה.
• מציע חלופות ליוצרי מוזיקה להרוויח כסף

אחסון מוזיקה מבוזר גלובלי

בתחילה ניסיתי למצוא פתרונות קיימים וליצור הכל על סמך זה. לאחר זמן מה של חיפוש, הראשון שאהבתי היה ipfs. התחלתי ליישם את הרעיון שלי, אבל לאחר זמן מה גיליתי כמה בעיות קריטיות בפתרון הזה:

• IPFs - אחסון לכל דבר וכולם. יש תמונות ומוזיקה וסרטונים וכל מה שאתה רוצה. באופן כללי, "פח אשפה" פלנטרי כזה גדול. לכן, כשאתה מפעיל את הצומת שלך, אתה מקבל מיד עומס עצום. המכונית פשוט מתפתלת מכאבים.
• סוג של מנגנון איסוף "זבל" לא גמור. אני לא יודע איך זה עכשיו, אבל באותו רגע, אם כתבת בתצורה שאתה רוצה להגביל את האחסון לעשרה גיגה-בייט של נתונים, אז זה לא אומר כלום. האחסון גדל, תוך התעלמות מפרמטרים רבים של תצורה. כתוצאה מכך, היה צורך להחזיק במאגר עצום של דיסק קשיח עד ש-ipfs יבינו כיצד לאפס את המיותר.
• בזמן השימוש בספרייה (אני לא יודע איך זה עכשיו), ללקוח לא הוטמעו פסקי זמן. אתה שולח בקשה לקבל קובץ, ואם הוא לא קיים, אתה פשוט נתקע. כמובן, אנשים הגיעו עם כל מיני דרכים לעקיפת הבעיה שפתרו חלקית את הבעיה, אבל אלה היו קביים. הדברים האלה צריכים לצאת מהקופסה.

עדיין היו הרבה בעיות קטנות, והרושם היה ברור: זה לא יכול לשמש עבור הפרויקט. המשכתי לחפש מתקן אחסון, בדקתי אפשרויות שונות, אך מעולם לא מצאתי משהו מתאים.

בסופו של דבר החלטתי שכדאי לנסות לכתוב אחסון מבוזר בעצמי. גם אם זה לא מתיימר להיות בין-פלנטרי, זה יפתור בעיה ספציפית.

וכך יצא ניתן למריחה, מחסן, גרורה, מוסריה, מוסריה-גלובל.

ניתן למריחה - זוהי השכבה הראשית והנמוכה ביותר המאפשרת לך לשלב צמתים לרשת. הוא מכיל אלגוריתם, שיישמתי עד כה על בסיס חלקי על 10000 שרתים. הגרסה המלאה של האלגוריתם היא הרבה יותר קשה ליישום והיא תדרוש מספר חודשים נוספים (אולי יותר).

לא אתאר בפירוט שניתן להפיץ במאמר זה; עדיף לכתוב אחד נפרד מתישהו. כאן רק אציין כמה תכונות:

• עובד דרך http/https.
• אתה יכול ליצור רשת נפרדת עבור משימה ספציפית, שתפחית משמעותית את העומס על כל פרויקט בנפרד מאשר אם כולם היו באותה רשת.
• מנגנון עם פסקי זמן ודברים קטנים אחרים נבחנה בתחילה. וזה עובד עבור כל השיטות הן בלקוח והן בצומת. אתה יכול לנהל את ההגדרות בצורה גמישה מתוך האפליקציה שלך.
• הספרייה כתובה ב-nodejs. בעיות הביצועים של המחסנית מקוזזות על ידי האופי המבוזר שלה. ניתן "לפזר" את העומס על ידי הגדלת מספר הצמתים. בתמורה, ישנם יתרונות רבים: קהילה ענקית, פשטות וקלות שימוש, לקוח איזומורפי, ללא תלות חיצונית וכו'.

מחסן היא שכבה שעברה בירושה מ-spreadable המאפשרת לך לאחסן קבצים ברשת. לכל קובץ יש גיבוב משלו של התוכן שלו, שניתן להשתמש בו כדי לאחזר אותו מאוחר יותר. קבצים אינם מחולקים לבלוקים, אלא מאוחסנים במלואם.

גרורה - שכבה שעברה בירושה מ-spreadable, המאפשרת לאחסן נתונים ברשת, אך לא קבצים. הממשק דומה למסד נתונים של Nosql. אתה יכול, למשל, להוסיף קובץ ל-storacle, לקבל את ה-hash שלו ולכתוב אותו ל-metastocle עם קישור למשהו.

מוסריה - בירושה מ-storacle ו-metastocle. שכבה זו אחראית ישירות לאחסון מוזיקה. האחסון עובד רק עם קבצי mp3 ותגיות id3.

בתור "מפתח" לשיר, נעשה שימוש בשמו המלא בטופס אמן (TPE1) - שם (TIT2). לדוגמא:

• גפרית - הנטל
• Hi-rez - Lost My Way (עם אמיליו רוחאס, דני דווינצ'י)

אתה יכול לברר בפירוט רב ככל האפשר כיצד נוצרות כותרות שירים. כאן. אתה צריך להסתכל על הפונקציה utils.beautifySongTitle().

אחוז ההתאמות שהוגדר בהגדרות הצומת נחשב להתאמה. לדוגמה, ערך של 0.85 אומר שאם פונקציית השוואת המפתח (שמות השירים) מצאה דמיון של יותר מ-85%, אז זה אותו שיר.

האלגוריתם לקביעת הדמיון נמצא שם, בפונקציה utils.getSongSimilarity().

קאבר לשיר, לקבלת מאוחר יותר, ניתן לצרף גם באמצעות תגיות (APIC). לכלי עזר יש את כל השיטות הדרושות לקבלת תגים ולעיבודם.

דוגמה לעבודה עם אחסון דרך לקוח ניתן למצוא ב readme.

כל השכבות הנ"ל הן עצמאיות וניתן להשתמש בהן בנפרד כשכבות תחתונות עבור פרויקטים אחרים. למשל, יש כבר רעיון לעשות שכבה לאחסון ספרים.

מוסריה-גלובל הוא מאגר git שהוגדר כבר עבור השקת צומת משלך ברשת המוזיקה העולמית. שיבוט npm i && npm להתחיל וזהו בעצם. אתה יכול להגדיר אותו בפירוט רב יותר, להפעיל אותו ב-Docker וכו'. מידע מפורט זמין ב github.

כאשר המאגר מתעדכן, עליך לעדכן את הצומת שלך. אם מספר הגרסה הראשית או הקטנה משתנה, פעולה זו היא חובה, אחרת הרשת תתעלם מהצמתים הישנים.

ניתן לעבוד עם שירים באופן ידני ותכנותי. כל צומת מפעיל שרת עבור משימות שונות. כולל, כאשר תבקרו בנקודת הקצה המוגדרת כברירת מחדל, תקבלו ממשק לעבודה עם מוזיקה. לדוגמה, אתה יכול ללכת ל צומת שורש (ייתכן שהקישור לא יהיה רלוונטי מאוחר יותר, ניתן להשיג צמתי קלט גם ב מִברָק, או חפש עדכונים ב-Github).

כך תוכלו לחפש ולהעלות שירים לאחסון. העלאת שירים יכולה להתבצע בשני מצבים: רגיל ומתווך. המצב השני אומר שהעבודה מתבצעת על ידי אדם, לא על ידי תוכנית. ואם תסמן את התיבה הזו בעת ההוספה, תצטרך לפתור את ה-captcha. ניתן להוסיף שירים עם עדיפויות -1, 0 או 1. ניתן להגדיר עדיפות 1 רק במצב מתון. יש צורך בסדרי עדיפויות כדי שהאחסון יוכל להחליט בצורה יעילה יותר מה לעשות כשאתה מנסה להחליף שיר קיים בשיר חדש. ככל שהעדיפות גבוהה יותר, כך גדל הסיכוי שתדרוס קובץ קיים. זה עוזר להילחם בספאם ומגביר את איכות השירים שהורדת.

אם אתה מתחיל להוסיף שירים לאחסון שלך, נסה לצרף תמונות (כריכה), למרות ששדה זה אינו חובה. ב-99% מהמקרים, התמונות הראשונות בגוגל המבוססות על כותרות השיר הן עטיפות אלבומים.

כיצד טכנית הוספת קבצים מתרחשת, בקצרה:

• הלקוח מקבל כתובת של צומת חינם, שיהפוך לרכז לזמן מה.
• הפונקציה של הוספת שיר מופעלת (על ידי אדם או קוד), ומוגשת בקשה להוסיף רכז לנקודת הקצה.
• הרכז מחשב כמה כפילויות יש לאחסן (פרמטר ניתן להגדרה).
• מחפשים את הצמתים המתאימים ביותר לשמירה.
• הקובץ עובר ישירות לצמתים אלה.

כיצד טכנית הקבצים מתקבלים:

• הלקוח מקבל כתובת של צומת חינם, שיהפוך לרכז לזמן מה.
• הפונקציה של קבלת שיר (על ידי אדם או קוד) מופעלת, ומבקשת לקבל אותו בנקודת הקצה של הרכז.
• הרכז בודק את נוכחות הקישור במטמון. אם יש אחד וזה עובד, הוא מוחזר מיד ללקוח, אחרת הצמתים נבדקים לזמינות.
• הקובץ מתקבל מהקישור, אם נמצא כזה.

חלופות ליוצרי מוזיקה

תמיד התעניינתי בשאלה כיצד ניתן להעריך באופן אובייקטיבי את הערך של יצירות יצירתיות רבות? למה, למשל, אדם מציע את אלבום המוזיקה שלו ב-10$? או ב-20 דולר או 100 דולר. איפה האלגוריתם? כאשר, למשל, אנחנו מדברים על מוצר פיזי כלשהו, ​​או אפילו סוגים רבים של שירותים, אז אנחנו יכולים לפחות לחשב את העלות ולהתקדם מזה.

אוקיי, נניח שהימרנו על 10$. האם זה מאוד יעיל? נניח שהאזנתי לאלבום איפשהו או לשיר משם והחלטתי להביע את תודתי. אבל לפי הרגשות שלי והיכולות שלי, 3$ זה התקרה שלי. אז מה אנחנו צריכים לעשות? סביר להניח שאני פשוט לא אעשה כלום, כמו רוב האנשים.

על ידי קביעת איזשהו מחיר קבוע לעבודה יצירתית, אתה פשוט מגביל את עצמך, ומונע ממספר גדול יותר של אנשים לשלוח לך פחות כסף, שבסך הכל יכול להיות מרשים יותר מאלה שיקנו במחיר שאתה קובע. נראה לי שיצירתיות היא בדיוק התחום שבו התרומות צריכות לשלוט קודם כל. כדי לעשות זאת אתה צריך:

• למד אנשים להודות בדרך זו. על היוצרים עצמם להראות בבירור שהם רוצים לקבל תרומות, להוסיף קישורים לשיטות תשלום שונות בכל מקום וכו'.
• דרושים מנגנונים נוספים כדי לפשט ולחזק תהליכים אלו. לדוגמה, צור אתר גלובלי כלשהו שבו תוכל לתרום ליצירתיות באמצעות קישורי זכויות יוצרים.

  נניח שהקישור הוא בערך כך:

  http://someartistsdonationsite.site/category/artist?external-info

  אם נצמצם את זה למוזיקאים, אז:

  http://someartistsdonationsite.com/music/miyagi?song=blabla

  המבצע צריך לאמת את הכינוי שלו ולצרף אליו.

  אנו מוסיפים פונקציה להפקת קישור כזה ללקוח museria, וכל הפרויקטים המשתמשים במאגר יכולים למקם כפתורי תרומה עם קישורים אלו ליד השירים באתרים/אפליקציות שלהם. למשתמשים יש הזדמנות לתרום במהירות ובקלות רבה. באופן טבעי, ניתן להשתמש בגישה זו בכל פרויקט וקטגוריה של יצירתיות, לא רק באמצעות אחסון.

למה בדיוק צריך מתקן לאחסון מוזיקה, ואיך אפשר להשתתף בו?

• אם אתם עובדים על פרויקט הקשור למוזיקה, או מתכננים ליצור אחד, אז לזה נועד הכל. אתה יכול להשתמש במוסריה כדי לאחסן ולאחזר שירים, ולהגביר את זרימת השירים באינטרנט. אם, במקביל, יש לך את היכולת לגייס ולהחזיק לפחות צומת אחד משלך, אז זו תהיה התרומה הטובה ביותר לפיתוח הרשת.
• אולי אתה מוכן לקחת על עצמך תפקיד אחר: לעזור בקוד, או למלא ולנהל את מסד הנתונים, להפיץ מידע על הפרויקט לחברים שלך וכו'.
• אולי אהבתם את הרעיון ואתם מוכנים לעזור כלכלית כדי שהכל יחיה ויתפתח. ככל שיותר צמתים, יותר שירים.
• או שאתה פשוט צריך למצוא ולהוריד שיר בשלב מסוים. אתה יכול לעשות את זה מאוד פשוט, למשל, דרך בוט טלגרם.

הפרויקט נמצא כעת ממש בתחילתו. רשת בדיקה הושקה, צמתים עשויים לאתחל לעתים קרובות, לדרוש עדכונים וכו'. אם אין בעיות קריטיות במהלך תקופת ההערכה, אותה רשת הופכת למרכזית.

ניתן לצפות במידע על הצומת מבחוץ: מספר השירים, מקום פנוי וכו', באמצעות קישור כמו http://node-address/status או http://node-address/status?pretty

אנשי הקשר שלי:

• @ortex
• [מוגן בדוא"ל]
• קבוצת טלגרם באנגלית.
• ובכן, האתר שהוליד את כל הרעיון הזה.

מקור: www.habr.com