Cyflwynwyd System Synthesis Delwedd Tryledu Sefydlog 2.0

Mae Stability AI wedi cyhoeddi ail rifyn y system dysgu peirianyddol Stable Diffusion, sy'n gallu syntheseiddio ac addasu delweddau yn seiliedig ar batrwm a awgrymir neu ddisgrifiad testun iaith naturiol. Mae'r cod offer ar gyfer hyfforddiant rhwydwaith niwral a chynhyrchu delweddau wedi'i ysgrifennu yn Python gan ddefnyddio fframwaith PyTorch a'i gyhoeddi o dan drwydded MIT. Mae modelau sydd eisoes wedi’u hyfforddi ar agor o dan drwydded ganiataol Creative ML OpenRAIL-M, sy’n caniatáu defnydd masnachol. Yn ogystal, mae generadur delwedd demo ar-lein ar gael.

Gwelliannau allweddol yn y rhifyn newydd o Stable Diffusion:

• Mae model newydd ar gyfer synthesis delweddau yn seiliedig ar ddisgrifiad testun - SD2.0-v - wedi'i greu, sy'n cefnogi cynhyrchu delweddau gyda chydraniad o 768 × 768. Hyfforddwyd y model newydd gan ddefnyddio casgliad LAION-5B o 5.85 biliwn o ddelweddau gyda disgrifiadau testun. Mae'r model yn defnyddio'r un set o baramedrau â'r model Stable Diffusion 1.5, ond mae'n wahanol yn ôl y newid i ddefnyddio amgodiwr OpenCLIP-ViT/H sylfaenol wahanol, a wnaeth hi'n bosibl gwella ansawdd y delweddau canlyniadol yn sylweddol.
• Mae fersiwn symlach o SD2.0-base wedi'i pharatoi, wedi'i hyfforddi ar ddelweddau 256 × 256 gan ddefnyddio'r model rhagfynegi sŵn clasurol a chynhyrchu delweddau ategol gyda datrysiad o 512 × 512.
• Darperir y posibilrwydd o ddefnyddio technoleg supersampling (Super Resolution) i gynyddu cydraniad y ddelwedd wreiddiol heb leihau'r ansawdd, gan ddefnyddio algorithmau ar gyfer graddio gofodol ac ail-greu manylion. Mae'r model prosesu delweddau a ddarperir (SD20-upscaler) yn cefnogi uwchraddio 2048x, a all gynhyrchu delweddau gyda phenderfyniad o 2048 × XNUMX.
• Cynigir model SD2.0-depth2img, sy'n ystyried dyfnder a threfniant gofodol gwrthrychau. Defnyddir y system MiDaS ar gyfer amcangyfrif dyfnder monociwlaidd. Mae'r model yn caniatáu ichi syntheseiddio delweddau newydd gan ddefnyddio delwedd arall fel templed, a all fod yn wahanol iawn i'r gwreiddiol, ond gan gadw'r cyfansoddiad a'r dyfnder cyffredinol. Er enghraifft, gallwch ddefnyddio ystum person mewn llun i ffurfio cymeriad arall yn yr un ystum.
• Mae'r model ar gyfer addasu delweddau wedi'i ddiweddaru - SD 2.0-inpainting, sy'n eich galluogi i ddisodli a newid rhannau o ddelwedd gan ddefnyddio awgrymiadau testun.
• Mae modelau wedi'u hoptimeiddio i'w defnyddio ar systemau confensiynol gydag un GPU.

Ffynhonnell: opennet.ru