ລະ​ບົບ​ສັງ​ເຄາະ​ວິ​ດີ​ໂອ​ການ​ແຜ່​ກະ​ຈາຍ​ທີ່​ຫມັ້ນ​ຄົງ​ໄດ້​ນໍາ​ສະ​ເຫນີ​

Stability AI ໄດ້ເຜີຍແຜ່ຮູບແບບການຮຽນຮູ້ເຄື່ອງຈັກທີ່ເອີ້ນວ່າ Stable Video Diffusion ທີ່ສາມາດສ້າງວິດີໂອສັ້ນຈາກຮູບພາບ. ຮູບແບບຂະຫຍາຍຄວາມສາມາດຂອງໂຄງການ Stable Diffusion, ກ່ອນຫນ້ານີ້ຈໍາກັດການສັງເຄາະຮູບພາບ static. ລະຫັດສໍາລັບການຝຶກອົບຮົມເຄືອຂ່າຍ neural ແລະເຄື່ອງມືສ້າງຮູບພາບແມ່ນຂຽນໃນ Python ໂດຍໃຊ້ກອບ PyTorch ແລະຈັດພີມມາພາຍໃຕ້ໃບອະນຸຍາດ MIT. ຮູບແບບທີ່ໄດ້ຮັບການຝຶກອົບຮົມແລ້ວແມ່ນເປີດພາຍໃຕ້ໃບອະນຸຍາດ Creative ML OpenRAIL-M ທີ່ໄດ້ຮັບອະນຸຍາດ, ອະນຸຍາດໃຫ້ນໍາໃຊ້ເພື່ອຈຸດປະສົງທາງການຄ້າ.

ມີສອງທາງເລືອກແບບຈໍາລອງທີ່ມີຢູ່ສໍາລັບການດາວໂຫຼດ: SVD (Stable Video Diffusion) ສໍາລັບການສ້າງ 14 ເຟຣມທີ່ມີຄວາມລະອຽດ 576x1024 ໂດຍອີງໃສ່ຮູບພາບຄົງທີ່ແລະ SVD-XT ສໍາລັບການສ້າງ 25 ເຟຣມ. ມັນເປັນໄປໄດ້ທີ່ຈະສ້າງວິດີໂອໂດຍບໍ່ມີການເຄື່ອນໄຫວຫຼືດ້ວຍການຫມຸນກ້ອງຖ່າຍຮູບຊ້າຫຼາຍ, ໃຊ້ເວລາບໍ່ເກີນ 4 ວິນາທີ. ການຄວບຄຸມແບບຈໍາລອງໂດຍກົງໂດຍອີງໃສ່ຄໍາອະທິບາຍຂໍ້ຄວາມພາສາທໍາມະຊາດຍັງບໍ່ທັນໄດ້ຮັບການສະຫນັບສະຫນູນ, ແຕ່ທໍາອິດທ່ານສາມາດກະກຽມຮູບພາບຕົ້ນສະບັບໂດຍໃຊ້ຕົວແບບ Stable Diffusion 2.1 ເກົ່າແລະຫຼັງຈາກນັ້ນປ່ຽນເປັນວິດີໂອໂດຍໃຊ້ຮູບແບບ SVD.

ຄຸນນະພາບວິດີໂອຍັງບໍ່ທັນໃຫ້ຄວາມສົມຈິງຂອງຮູບຖ່າຍ ແລະຮັບປະກັນການສະແດງຜົນທີ່ຖືກຕ້ອງຂອງໃບໜ້າ ແລະຄົນ. ໃນແງ່ຂອງການປະຕິບັດ, ຮູບແບບເປີດທີ່ສະເຫນີແມ່ນຢູ່ຂ້າງຫນ້າຂອງ analogues ທີ່ເປັນເຈົ້າຂອງຈາກ Runway ແລະ Pika Labs. ຮູບແບບດັ່ງກ່າວສາມາດດັດແປງໄດ້ງ່າຍເພື່ອແກ້ໄຂບັນຫາຕ່າງໆ, ຕົວຢ່າງ, ມັນສາມາດຖືກນໍາໃຊ້ເພື່ອສ້າງຕົວເລກສາມມິຕິ.

ນອກຈາກນັ້ນ, ພວກເຮົາສາມາດສັງເກດເຫັນການພິມເຜີຍແຜ່ຂອງຊຸດເຄື່ອງມືການຮຽນຮູ້ເຄື່ອງຈັກ Video-LLaVA, ເຊິ່ງຊ່ວຍໃຫ້ທ່ານສາມາດສ້າງການສະແດງພາບແບບປະສົມປະສານຂອງວັດຖຸ, ສ້າງຕັ້ງຂຶ້ນໂດຍອີງໃສ່ການນໍາໃຊ້ການຖ່າຍຮູບພ້ອມໆກັນແລະການບັນທຶກວິດີໂອຂອງວັດຖຸໃນລະຫວ່າງການຝຶກອົບຮົມ. ຕົວຢ່າງເຊັ່ນ, ລະບົບສາມາດຖືກນໍາໃຊ້ເພື່ອຮັບຮູ້ການປະກົດຕົວຂອງວັດຖຸດຽວກັນໃນຮູບພາບແລະວິດີໂອ. ລະຫັດຖືກຂຽນໄວ້ໃນ Python ແລະແຈກຢາຍພາຍໃຕ້ໃບອະນຸຍາດ Apache 2.0.

ແຫຼ່ງຂໍ້ມູນ: opennet.ru