ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²Π»Π΅Π½Π° новая открытая систСма синтСза ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ Stable Diffusion

ΠžΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ Π½Π°Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ, связанныС с систСмой машинного обучСния Stable Diffusion, ΡΠΈΠ½Ρ‚Π΅Π·ΠΈΡ€ΡƒΡŽΡ‰Π΅ΠΉ изобраТСния Π½Π° основС тСкстового описания Π½Π° СстСствСнном языкС. ΠŸΡ€ΠΎΠ΅ΠΊΡ‚ развиваСтся совмСстными усилиями исслСдоватСлями ΠΈΠ· ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΉ Stability AI ΠΈ Runway, сообщСств Eleuther AI ΠΈ LAION, Π° Ρ‚Π°ΠΊΠΆΠ΅ Π³Ρ€ΡƒΠΏΠΏΡ‹ CompVis lab (лаборатория исслСдований Π² области машинного зрСния ΠΈ машинного обучСния ΠΏΡ€ΠΈ ΠœΡŽΠ½Ρ…Π΅Π½ΡΠΊΠΎΠΌ унивСрситСтС). По возмоТностям ΠΈ ΡƒΡ€ΠΎΠ²Π½ΡŽ качСства Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π° Stable Diffusion Π½Π°ΠΏΠΎΠΌΠΈΠ½Π°Π΅Ρ‚ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ DALL-E 2, Π½ΠΎ развиваСтся ΠΊΠ°ΠΊ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΉ ΠΈ общСдоступный. РСализация Stable Diffusion написана Π½Π° языкС Python ΠΈ распространяСтся ΠΏΠΎΠ΄ Π»ΠΈΡ†Π΅Π½Π·ΠΈΠ΅ΠΉ MIT.

Π“ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π² настоящий ΠΌΠΎΠΌΠ΅Π½Ρ‚ ΠΏΡ€Π΅Π΄ΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ΡΡ ΠΏΠΎ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠΌΡƒ запросу ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ учрСТдСниям ΠΈ нСзависимым исслСдоватСлям, Π½ΠΎ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΈ ΠΎΠ±Π΅Ρ‰Π°ΡŽΡ‚ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΈΡ… для всСх ΠΆΠ΅Π»Π°ΡŽΡ‰ΠΈΡ… послС Π·Π°Π²Π΅Ρ€ΡˆΠ΅Π½ΠΈΡ тСстирования ΠΈ готовности ΠΏΠ΅Ρ€Π²ΠΎΠ³ΠΎ Ρ€Π΅Π»ΠΈΠ·Π°. Для обучСния систСмы использовался кластСр ΠΈΠ· 4000 GPU NVIDIA A100 Ezra-1 ΠΈ коллСкция LAION-5B, Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‰Π°Ρ 5.85 ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄ΠΎΠ² ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ с тСкстовыми описаниями. ΠšΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Ρ‹ для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ изобраТСния ΠΎΡ‚ΠΌΠ΅Ρ‡Π°ΡŽΡ‚ΡΡ ΠΊΠ°ΠΊ достаточно лСгковСсныС для Ρ€Π°Π±ΠΎΡ‚Ρ‹ Π½Π° ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΡ… систСмах, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, для синтСза ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ с Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ΠΌ 512×512 достаточно наличия Π² систСмС GPU с 10GB видСопамяти.

ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²Π»Π΅Π½Π° новая открытая систСма синтСза ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ Stable Diffusion
ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²Π»Π΅Π½Π° новая открытая систСма синтСза ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ Stable Diffusion
ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²Π»Π΅Π½Π° новая открытая систСма синтСза ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ Stable Diffusion

ΠšΡ€ΠΎΠΌΠ΅ синтСза ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ ΠΏΠΎ тСкстовому описанию прСдлагаСтся Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ для ΠΌΠΎΠ΄ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΠΈ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΌΠΎΠΆΠ΅Ρ‚ с использованиСм ΡƒΡ‚ΠΎΡ‡Π½ΡΡŽΡ‰ΠΈΡ… тСкстовых подсказок Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½Ρ‹ ΠΏΠΎ схСматичным наброскам, Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ ΠΈΠ·ΠΌΠ΅Π½ΡΡ‚ΡŒ изобраТСния ΠΈΠ»ΠΈ Π²ΠΎΡΡΡ‚Π°Π½Π°Π²Π»ΠΈΠ²Π°Ρ‚ΡŒ ΡƒΡ‚Ρ€Π°Ρ‡Π΅Π½Π½Ρ‹Π΅ Π΄Π΅Ρ‚Π°Π»ΠΈ ΠΏΡ€ΠΈ ΡƒΠ²Π΅Π»ΠΈΡ‡Π΅Π½ΠΈΠΈ ΠΌΠ°ΡΡˆΡ‚Π°Π±Π°. Π’ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ Ρ‚Π°ΠΊΠΆΠ΅ находится Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ Stable Diffusion для рСдактирования Π²ΠΈΠ΄Π΅ΠΎ Π½Π° основС тСкстовых ΠΊΠΎΠΌΠ°Π½Π΄ Π½Π° СстСствСнном языкС.

ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²Π»Π΅Π½Π° новая открытая систСма синтСза ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ Stable Diffusion
ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²Π»Π΅Π½Π° новая открытая систСма синтСза ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ Stable Diffusion


Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: opennet.ru