ລະ​ບົບ​ການ​ຮຽນ​ຮູ້​ການ​ແຜ່​ກະ​ຈາຍ​ທີ່​ຫມັ້ນ​ຄົງ​ປັບ​ແຕ່ງ​ສໍາ​ລັບ​ການ​ສັງ​ເຄາະ​ດົນ​ຕີ​

ໂຄງ​ການ Riffusion ແມ່ນ​ການ​ພັດ​ທະ​ນາ​ສະ​ບັບ​ຂອງ​ລະ​ບົບ​ການ​ຮຽນ​ຮູ້​ເຄື່ອງ​ຈັກ Stable Diffusion​, ການ​ປັບ​ຕົວ​ເພື່ອ​ສ້າງ​ດົນ​ຕີ​ແທນ​ທີ່​ຈະ​ເປັນ​ຮູບ​ພາບ​. ດົນຕີສາມາດຖືກສັງເຄາະຈາກຄໍາອະທິບາຍຂໍ້ຄວາມໃນພາສາທໍາມະຊາດຫຼືອີງໃສ່ແມ່ແບບທີ່ສະເຫນີ. ອົງປະກອບການສັງເຄາະດົນຕີແມ່ນຂຽນໃນ Python ໂດຍໃຊ້ກອບ PyTorch ແລະສາມາດໃຊ້ໄດ້ພາຍໃຕ້ໃບອະນຸຍາດ MIT. ການຜູກມັດການໂຕ້ຕອບແມ່ນປະຕິບັດໃນ TypeScript ແລະຍັງຖືກແຈກຢາຍພາຍໃຕ້ໃບອະນຸຍາດ MIT. ຮູບແບບທີ່ໄດ້ຮັບການຝຶກອົບຮົມແມ່ນໄດ້ຮັບອະນຸຍາດພາຍໃຕ້ໃບອະນຸຍາດ Creative ML OpenRAIL-M ທີ່ໄດ້ຮັບອະນຸຍາດສໍາລັບການນໍາໃຊ້ທາງການຄ້າ.

ໂຄງການແມ່ນຫນ້າສົນໃຈທີ່ມັນສືບຕໍ່ໃຊ້ຕົວແບບ "ຂໍ້ຄວາມເປັນຮູບພາບ" ແລະ "ຮູບພາບຕໍ່ຮູບພາບ" ເພື່ອສ້າງດົນຕີ, ແຕ່ໃຊ້ spectrograms ເປັນຮູບພາບ. ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ການແຜ່ກະຈາຍແບບຄົງທີ່ແບບຄລາສສິກແມ່ນການຝຶກອົບຮົມບໍ່ແມ່ນກ່ຽວກັບຮູບພາບແລະຮູບພາບ, ແຕ່ຢູ່ໃນຮູບພາບຂອງ spectrograms ທີ່ສະທ້ອນເຖິງການປ່ຽນແປງໃນຄວາມຖີ່ແລະຄວາມກວ້າງຂອງຄື້ນສຽງໃນໄລຍະເວລາ. ຕາມ​ນັ້ນ​ແລ້ວ, spectrogram ຍັງ​ຖືກ​ສ້າງ​ຕັ້ງ​ຂຶ້ນ​ຢູ່​ທີ່​ຜົນ​ຜະ​ລິດ, ເຊິ່ງ​ຖືກ​ປ່ຽນ​ເປັນ​ຕົວ​ແທນ​ສຽງ.

ວິທີການຍັງສາມາດຖືກນໍາໃຊ້ເພື່ອດັດແປງອົງປະກອບສຽງທີ່ມີຢູ່ແລະສັງເຄາະດົນຕີຈາກຕົວຢ່າງ, ຄ້າຍຄືກັບການດັດແກ້ຮູບພາບໃນ Stable Diffusion. ສໍາລັບຕົວຢ່າງ, ການຜະລິດສາມາດຕົວຢ່າງ spectrograms ທີ່ມີຮູບແບບການອ້າງອິງ, ສົມທົບຮູບແບບທີ່ແຕກຕ່າງກັນ, ເຮັດໃຫ້ການຫັນປ່ຽນກ້ຽງຈາກແບບຫນຶ່ງໄປອີກ, ຫຼືປ່ຽນແປງເປັນສຽງທີ່ມີຢູ່ແລ້ວເພື່ອແກ້ໄຂບັນຫາເຊັ່ນ: ການເພີ່ມປະລິມານຂອງເຄື່ອງມືສ່ວນບຸກຄົນ, ການປ່ຽນຈັງຫວະ, ແລະການປ່ຽນແປງ. ເຄື່ອງມື. ຕົວຢ່າງຍັງຖືກໃຊ້ເພື່ອສ້າງການຫຼິ້ນດົນນານ, ປະກອບດ້ວຍຊຸດຂອງ passages ໃກ້ຊິດທີ່ມີການປ່ຽນແປງເລັກນ້ອຍໃນໄລຍະເວລາ. passages ທີ່ຜະລິດແຍກຕ່າງຫາກໄດ້ຖືກລວມເຂົ້າກັນເປັນສາຍນ້ໍາຢ່າງຕໍ່ເນື່ອງໂດຍໃຊ້ interpolation ຂອງຕົວກໍານົດການພາຍໃນຂອງຕົວແບບ.

ການຫັນປ່ຽນ Fourier ທີ່ມີປ່ອງຢ້ຽມຖືກນໍາໃຊ້ເພື່ອສ້າງ spectrogram ຈາກສຽງ. ເມື່ອສ້າງສຽງຈາກ spectrogram, ບັນຫາທີ່ເກີດຂື້ນກັບການກໍານົດໄລຍະ (ພຽງແຕ່ຄວາມຖີ່ແລະຄວາມກວ້າງໃຫຍ່ທີ່ມີຢູ່ໃນ spectrogram), ສໍາລັບການກໍ່ສ້າງຄືນໃຫມ່ທີ່ລະບົບປະມານ Griffin-Lim ຖືກນໍາໃຊ້.

ແຫຼ່ງຂໍ້ມູນ: opennet.ru