የተረጋጋ ስርጭት ማሽን መማሪያ ስርዓት ለሙዚቃ ውህደት ተስማሚ

የሪፍዩሽን ፕሮጀክት በምስል ፋንታ ሙዚቃን ለማፍለቅ የተስተካከለ የማሽን መማሪያ ስርዓት ረጋ ያለ ስርጭትን በማዘጋጀት ላይ ነው። ሙዚቃ በተፈጥሮ ቋንቋ ከጽሁፍ መግለጫ ወይም በታቀደ አብነት ላይ በመመስረት ሊዋሃድ ይችላል። የሙዚቃ ውህደቱ ክፍሎች ፒቶርች ማዕቀፍን በመጠቀም በፓይዘን የተፃፉ ሲሆን በ MIT ፍቃድ ይገኛሉ። የበይነገጽ ማሰሪያው በTyScript ውስጥ የተተገበረ ሲሆን በ MIT ፈቃድም ይሰራጫል። የሰለጠኑ ሞዴሎች ለንግድ አገልግሎት በሚፈቀድ የCreative ML OpenRAIL-M ፍቃድ የተሰጣቸው ናቸው።

ኘሮጀክቱ ትኩረት የሚስብ ሲሆን ሙዚቃን ለማፍለቅ የ"ጽሑፍ-ወደ-ምስል" እና "ምስል-ወደ-ምስል" ሞዴሎችን መጠቀሙን ቀጥሏል, ነገር ግን ስፔክትሮግራሞችን እንደ ምስሎች ይጠቀማል. በሌላ አገላለጽ፣ ክላሲክ ስታብል ዲፍዩሽን የሰለጠነው በፎቶግራፎች እና በስዕሎች ላይ ሳይሆን በጊዜ ሂደት የድምፅ ሞገድ ድግግሞሽ እና ስፋት ላይ ለውጦችን በሚያንፀባርቁ የስፔክትሮግራም ምስሎች ላይ ነው። በዚህ መሠረት, በውጤቱ ላይ ስፔክትሮግራም ይፈጠራል, ከዚያም ወደ ኦዲዮ ውክልና ይቀየራል.

ዘዴው በStable Diffusion ውስጥ ካለው የምስል ማሻሻያ ጋር ተመሳሳይ የሆኑ የኦዲዮ ቅንብሮችን ለማሻሻል እና ሙዚቃን ከናሙና ለማቀናጀት ጥቅም ላይ ሊውል ይችላል። ለምሳሌ ትውልዱ ስፔክትሮግራሞችን በማጣቀሻ ስታይል በመምሰል፣ የተለያዩ ዘይቤዎችን በማጣመር፣ ከአንዱ ዘይቤ ወደሌላ ለስላሳ ሽግግር ማድረግ ወይም በነባሩ ድምጽ ላይ ለውጦችን በማድረግ እንደ የግለሰብ መሳሪያዎች መጠን መጨመር፣ ሪትም መቀየር እና መተካት የመሳሰሉ ችግሮችን መፍታት ይችላል። መሳሪያዎች. ናሙናዎች እንዲሁ እርስ በርስ የሚቀራረቡ እና በጊዜ ሂደት ትንሽ የሚለያዩ ተከታታይ ምንባቦችን ያቀፈ ረጅም ጊዜ የሚጫወቱ ጥንቅሮችን ለመፍጠር ያገለግላሉ። በተናጥል የተፈጠሩ ምንባቦች የአምሳያው ውስጣዊ መመዘኛዎችን በመጠቀም ወደ ቀጣይ ዥረት ይጣመራሉ።

መስኮት ያለው ፎሪየር ትራንስፎርሜሽን ከድምጽ ስፔክቶግራም ለመፍጠር ይጠቅማል። ከስፔክትሮግራም ድምጽን በሚፈጥሩበት ጊዜ የግሪፊን-ሊም ግምታዊ ስልተ-ቀመር ጥቅም ላይ የዋለውን መልሶ ለመገንባት ደረጃውን በመወሰን ላይ ችግር ይፈጠራል (በስፔክትሮግራም ላይ ድግግሞሽ እና ስፋት ብቻ ይገኛሉ)።

ምንጭ: opennet.ru