Systemau dysgu peiriannau ar gyfer syntheseiddio delweddau a lleihau sŵn mewn lluniau nos

Mae Stability AI wedi cyhoeddi modelau parod ar gyfer y system dysgu peirianyddol Stable Diffusion, sy'n gallu syntheseiddio ac addasu delweddau yn seiliedig ar ddisgrifiad testun mewn iaith naturiol. Mae modelau wedi'u trwyddedu o dan drwydded caniataol Creative ML OpenRAIL-M at ddefnydd masnachol. I hyfforddi'r system, defnyddiwyd clwstwr o 4000 NVIDIA A100 Ezra-1 GPUs a chasgliad LAION-5B, gan gynnwys 5.85 biliwn o ddelweddau gyda disgrifiadau testun. Yn flaenorol, roedd y cod ar gyfer offer ar gyfer hyfforddi rhwydwaith niwral a chynhyrchu delweddau yn ffynhonnell agored o dan drwydded MIT.

Mae argaeledd model parod a gofynion system eithaf cymedrol sy'n caniatáu i rywun ddechrau arbrofion ar gyfrifiadur personol gyda GPUs safonol wedi arwain at ymddangosiad nifer o brosiectau cysylltiedig:

• gwrthdroad testunol (cod) - ychwanegiad sy'n eich galluogi i syntheseiddio delweddau gyda chymeriad, gwrthrych neu arddull penodol. Yn y Trylediad Sefydlog gwreiddiol, mae'r gwrthrychau yn y delweddau wedi'u syntheseiddio yn hap ac yn afreolus. Mae'r ychwanegiad arfaethedig yn eich galluogi i ychwanegu eich gwrthrychau gweledol eich hun, eu clymu i allweddeiriau a'u defnyddio mewn synthesis.

  Er enghraifft, mewn Trylediad Sefydlog rheolaidd gallwch ofyn i'r system gynhyrchu delwedd gyda “cath mewn cwch”. Yn ogystal, gallwch chi egluro nodweddion y gath a'r cwch, ond mae'n anrhagweladwy pa gath a chwch fydd yn cael eu syntheseiddio. Mae gwrthdroad testunol yn caniatáu ichi hyfforddi'r system ar ddelwedd o'ch cath neu gwch a syntheseiddio'r ddelwedd â chath neu gwch penodol. Mewn ffordd debyg, gall hefyd ddisodli elfennau delwedd gyda gwrthrychau penodol, gosod enghraifft o arddull weledol ar gyfer synthesis, a nodi cysyniadau (er enghraifft, o'r amrywiaeth gyfan o feddygon, gallwch ddefnyddio detholiad mwy cywir ac o ansawdd uchel yn yr arddull a ddymunir).

  

• animeiddiad sefydlog-trylediad - creu delweddau animeiddiedig (symudol) yn seiliedig ar ryngosodiad rhwng lluniau a gynhyrchir yn Stable Diffusion.
• stable_diffusion.openvino (cod) - porthladd o Stable Diffusion, sy'n defnyddio'r CPU yn unig ar gyfer cyfrifiadau, sy'n caniatáu arbrofi ar systemau heb GPUs pwerus. Angen prosesydd a gefnogir yn llyfrgell OpenVINO. Yn swyddogol, mae OpenVINO yn darparu ategion ar gyfer proseswyr Intel gydag estyniadau AVX2, AVX-512, AVX512_BF16 a SSE, yn ogystal ag ar gyfer byrddau Raspberry Pi 4 Model B, Apple Mac mini a NVIDIA Jetson Nano. Yn answyddogol, mae'n bosibl defnyddio OpenVINO ar broseswyr AMD Ryzen.
• Mae sdamd yn borthladd ar gyfer GPUs AMD.
• Gweithrediad cychwynnol o synthesis fideo.
• stabl-trylediad-gui, stabl-trylediad-ui, Collage Artbreeder, gwasgaredig-y-gweddill - rhyngwynebau graffigol ar gyfer cynhyrchu delweddau gan ddefnyddio Stable Trylediad.
• beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - rhyngwynebau gwe ar gyfer synthesis delwedd gan ddefnyddio Stable Diffusion.
• Ategion ar gyfer integreiddio Trylediad Sefydlog gyda GIMP, Figma, Blender a Photoshop.

Yn ogystal, gallwn nodi bod Google wedi cyhoeddi cod system dysgu peirianyddol RawNeRF (RAW Neural Radiance Fields), sy'n caniatáu, yn seiliedig ar ddata o sawl delwedd RAW, wella ansawdd delweddau swnllyd iawn a gymerir yn y tywyllwch ac yn y tywyllwch. goleuo gwael. Yn ogystal â dileu sŵn, mae'r offer a ddatblygwyd gan y prosiect yn ei gwneud hi'n bosibl cynyddu manylion, dileu llacharedd, syntheseiddio HDR a newid y goleuo cyffredinol mewn ffotograffau, yn ogystal ag ail-greu lleoliad tri dimensiwn gwrthrychau gan ddefnyddio sawl ffotograff o wahanol onglau, newid y safbwynt, trin ffocws a chynhyrchu lluniau symudol.

Ffynhonnell: opennet.ru