સ્થિર પ્રસાર 2.0 ઇમેજ સિન્થેસિસ સિસ્ટમ રજૂ કરવામાં આવી

સ્ટેબિલિટી AI એ સ્ટેબલ ડિફ્યુઝન મશીન લર્નિંગ સિસ્ટમની બીજી આવૃત્તિ પ્રકાશિત કરી છે, જે સૂચિત નમૂના અથવા કુદરતી ભાષાના ટેક્સ્ટ વર્ણનના આધારે છબીઓને સંશ્લેષણ અને સંશોધિત કરવામાં સક્ષમ છે. ન્યુરલ નેટવર્ક તાલીમ અને ઇમેજ જનરેશન માટેના સાધનોનો કોડ PyTorch ફ્રેમવર્કનો ઉપયોગ કરીને Python માં લખાયેલ છે અને MIT લાયસન્સ હેઠળ પ્રકાશિત થયેલ છે. ક્રિએટિવ ML OpenRAIL-M અનુમતિશીલ લાયસન્સ હેઠળ પહેલેથી જ પ્રશિક્ષિત મોડલ્સ ખુલ્લા છે, જે વ્યાવસાયિક ઉપયોગની મંજૂરી આપે છે. વધુમાં, ડેમો ઓનલાઈન ઈમેજ જનરેટર ઉપલબ્ધ છે.

સ્થિર પ્રસારની નવી આવૃત્તિમાં મુખ્ય સુધારાઓ:

• ટેક્સ્ટ વર્ણન પર આધારિત ઈમેજ સિન્થેસિસ માટેનું નવું મોડલ — SD2.0-v — બનાવવામાં આવ્યું છે, જે 768×768ના રિઝોલ્યુશન સાથે ઈમેજોના જનરેશનને સપોર્ટ કરે છે. નવા મોડલને ટેક્સ્ટ વર્ણનો સાથે 5 બિલિયન છબીઓના LAION-5.85B સંગ્રહનો ઉપયોગ કરીને તાલીમ આપવામાં આવી હતી. મોડલ સ્ટેબલ ડિફ્યુઝન 1.5 મોડલ જેવા જ પરિમાણોના સેટનો ઉપયોગ કરે છે, પરંતુ મૂળભૂત રીતે અલગ OpenCLIP-ViT/H એન્કોડરનો ઉપયોગ કરવા માટેના સંક્રમણ દ્વારા અલગ પડે છે, જેણે પરિણામી ઈમેજોની ગુણવત્તામાં નોંધપાત્ર સુધારો કરવાનું શક્ય બનાવ્યું હતું.
• એક સરળ SD2.0-બેઝ વર્ઝન તૈયાર કરવામાં આવ્યું છે, જે 256×256 ઈમેજો પર ક્લાસિકલ નોઈઝ પ્રિડિક્શન મોડલનો ઉપયોગ કરીને પ્રશિક્ષિત છે અને 512×512ના રિઝોલ્યુશન સાથે ઈમેજ જનરેશનને સપોર્ટ કરે છે.
• અવકાશી સ્કેલિંગ અને વિગતોના પુનઃનિર્માણ માટે અલ્ગોરિધમનો ઉપયોગ કરીને ગુણવત્તામાં ઘટાડો કર્યા વિના મૂળ છબીના રિઝોલ્યુશનને વધારવા માટે સુપરસેમ્પલિંગ (સુપર રિઝોલ્યુશન) ની તકનીકનો ઉપયોગ કરવાની સંભાવના પ્રદાન કરવામાં આવે છે. પ્રદાન કરેલ ઇમેજ પ્રોસેસિંગ મોડલ (SD20-upscaler) 2048x અપસ્કેલિંગને સપોર્ટ કરે છે, જે 2048×XNUMXના રિઝોલ્યુશન સાથે ઈમેજો જનરેટ કરી શકે છે.
• SD2.0-depth2img મોડેલ પ્રસ્તાવિત છે, જે વસ્તુઓની ઊંડાઈ અને અવકાશી ગોઠવણીને ધ્યાનમાં લે છે. MiDaS સિસ્ટમનો ઉપયોગ મોનોક્યુલર ઊંડાણના અંદાજ માટે થાય છે. મોડેલ તમને ટેમ્પલેટ તરીકે બીજી છબીનો ઉપયોગ કરીને નવી છબીઓને સંશ્લેષણ કરવાની મંજૂરી આપે છે, જે મૂળથી ધરમૂળથી અલગ હોઈ શકે છે, પરંતુ એકંદર રચના અને ઊંડાઈ જાળવી રાખે છે. ઉદાહરણ તરીકે, તમે ફોટામાં વ્યક્તિના પોઝનો ઉપયોગ કરીને તે જ પોઝમાં અન્ય પાત્ર બનાવવા માટે કરી શકો છો.
• ઇમેજમાં ફેરફાર કરવા માટેનું મોડલ અપડેટ કરવામાં આવ્યું છે - SD 2.0-inpainting, જે તમને ટેક્સ્ટ પ્રોમ્પ્ટનો ઉપયોગ કરીને ઇમેજના ભાગો બદલવા અને બદલવાની મંજૂરી આપે છે.
• એક GPU સાથે પરંપરાગત સિસ્ટમો પર ઉપયોગ કરવા માટે મોડલ્સ ઑપ્ટિમાઇઝ કરવામાં આવ્યા છે.

સોર્સ: opennet.ru