Stable Diffusion 2.0 ລະບົບການສັງເຄາະຮູບພາບແນະນໍາ

Stability AI ໄດ້ຈັດພີມມາສະບັບທີສອງຂອງ Stable Diffusion machine learning system, ເຊິ່ງສາມາດສັງເຄາະແລະດັດແປງຮູບພາບໂດຍອີງໃສ່ແມ່ແບບແນະນໍາຫຼືຄໍາອະທິບາຍຂໍ້ຄວາມພາສາທໍາມະຊາດ. ລະຫັດຂອງເຄື່ອງມືສໍາລັບການຝຶກອົບຮົມເຄືອຂ່າຍ neural ແລະການສ້າງຮູບພາບແມ່ນຂຽນໃນ Python ໂດຍໃຊ້ກອບ PyTorch ແລະຈັດພີມມາພາຍໃຕ້ໃບອະນຸຍາດ MIT. ຮູບແບບທີ່ໄດ້ຮັບການຝຶກອົບຮົມແລ້ວແມ່ນເປີດພາຍໃຕ້ໃບອະນຸຍາດ Creative ML OpenRAIL-M, ເຊິ່ງອະນຸຍາດໃຫ້ນໍາໃຊ້ທາງການຄ້າ. ນອກຈາກນັ້ນ, ເຄື່ອງສ້າງຮູບພາບອອນໄລນ໌ແບບສາທິດສາມາດໃຊ້ໄດ້.

ການປັບປຸງທີ່ສໍາຄັນໃນສະບັບໃຫມ່ຂອງ Stable Diffusion:

• ຮູບແບບໃຫມ່ສໍາລັບການສັງເຄາະຮູບພາບໂດຍອີງໃສ່ຄໍາອະທິບາຍຂໍ້ຄວາມ — SD2.0-v — ໄດ້ຖືກສ້າງຂື້ນ, ເຊິ່ງສະຫນັບສະຫນູນການສ້າງຮູບພາບທີ່ມີຄວາມລະອຽດ 768 × 768. ຮູບ​ແບບ​ໃຫມ່​ໄດ້​ຮັບ​ການ​ຝຶກ​ອົບ​ຮົມ​ໂດຍ​ນໍາ​ໃຊ້​ການ​ເກັບ​ກໍາ LAION-5B ຂອງ 5.85 ຕື້​ຮູບ​ພາບ​ທີ່​ມີ​ຄໍາ​ອະ​ທິ​ບາຍ​ຂໍ້​ຄວາມ​. ຮູບແບບດັ່ງກ່າວໃຊ້ຊຸດຕົວກໍານົດການດຽວກັນກັບຕົວແບບ Stable Diffusion 1.5, ແຕ່ມີຄວາມແຕກຕ່າງກັນໂດຍການປ່ຽນໄປໃຊ້ຕົວເຂົ້າລະຫັດ OpenCLIP-ViT/H ທີ່ແຕກຕ່າງກັນໂດຍພື້ນຖານ, ເຊິ່ງເຮັດໃຫ້ມັນສາມາດປັບປຸງຄຸນນະພາບຂອງຮູບພາບຜົນໄດ້ຮັບຢ່າງຫຼວງຫຼາຍ.
• ຮຸ່ນ SD2.0-base ແບບງ່າຍດາຍໄດ້ຖືກກະກຽມ, ຝຶກອົບຮົມກ່ຽວກັບຮູບພາບ 256×256 ໂດຍໃຊ້ຮູບແບບການຄາດເດົາສຽງລົບກວນແບບຄລາສສິກ ແລະຮອງຮັບການສ້າງຮູບພາບທີ່ມີຄວາມລະອຽດ 512×512.
• ຄວາມເປັນໄປໄດ້ຂອງການນໍາໃຊ້ເທກໂນໂລຍີຂອງ supersampling (Super Resolution) ໄດ້ຖືກສະຫນອງໃຫ້ເພື່ອເພີ່ມຄວາມລະອຽດຂອງຮູບພາບຕົ້ນສະບັບໂດຍບໍ່ມີການຫຼຸດຜ່ອນຄຸນນະພາບ, ການນໍາໃຊ້ algorithms ສໍາລັບການປັບຂະຫນາດແລະການກໍ່ສ້າງຄືນໃຫມ່ຂອງລາຍລະອຽດ. ຮູບແບບການປະມວນຜົນຮູບພາບທີ່ສະໜອງໃຫ້ (SD20-upscaler) ຮອງຮັບການຂະຫຍາຍຂະໜາດ 2048x, ເຊິ່ງສາມາດສ້າງຮູບພາບທີ່ມີຄວາມລະອຽດ 2048×XNUMX.
• ຮູບແບບ SD2.0-depth2img ຖືກສະເໜີ, ເຊິ່ງຄຳນຶງເຖິງຄວາມເລິກ ແລະການຈັດລຽງຂອງວັດຖຸ. ລະບົບ MiDaS ຖືກນໍາໃຊ້ສໍາລັບການປະເມີນຄວາມເລິກ monocular. ຮູບແບບອະນຸຍາດໃຫ້ທ່ານສາມາດສັງເຄາະຮູບພາບໃຫມ່ໂດຍໃຊ້ຮູບພາບອື່ນເປັນແມ່ແບບ, ເຊິ່ງສາມາດແຕກຕ່າງຈາກຕົ້ນສະບັບຫຼາຍ, ແຕ່ຮັກສາອົງປະກອບແລະຄວາມເລິກໂດຍລວມ. ຕົວຢ່າງ, ທ່ານສາມາດໃຊ້ທ່າຂອງບຸກຄົນໃນຮູບເພື່ອສ້າງຕົວລະຄອນອື່ນໃນທ່າດຽວກັນ.
• ຮູບແບບການດັດແກ້ຮູບພາບໄດ້ຖືກປັບປຸງ - SD 2.0-inpainting, ເຊິ່ງຊ່ວຍໃຫ້ທ່ານສາມາດປ່ຽນແລະປ່ຽນສ່ວນຕ່າງໆຂອງຮູບພາບໂດຍໃຊ້ການກະຕຸ້ນຂໍ້ຄວາມ.
• ແບບຈໍາລອງໄດ້ຖືກປັບປຸງໃຫ້ເຫມາະສົມສໍາລັບການນໍາໃຊ້ໃນລະບົບທໍາມະດາທີ່ມີ GPU ດຽວ.

ແຫຼ່ງຂໍ້ມູນ: opennet.ru