ટેક્સ્ટ વર્ણનના આધારે ઇમેજ સિન્થેસિસ માટે મશીન લર્નિંગ સિસ્ટમનો અમલ

OpenAI દ્વારા પ્રસ્તાવિત મશીન લર્નિંગ સિસ્ટમ DALL-E 2 નું ખુલ્લું અમલીકરણ પ્રકાશિત કરવામાં આવ્યું છે અને તે તમને પ્રાકૃતિક ભાષામાં ટેક્સ્ટ વર્ણનના આધારે વાસ્તવિક છબીઓ અને પેઇન્ટિંગ્સનું સંશ્લેષણ કરવાની મંજૂરી આપે છે, તેમજ છબીઓને સંપાદિત કરવા માટે કુદરતી ભાષામાં આદેશો લાગુ કરવા દે છે ( ઉદાહરણ તરીકે, ઇમેજમાં ઑબ્જેક્ટ ઉમેરો, કાઢી નાખો અથવા ખસેડો). OpenAI ના મૂળ DALL-E 2 મોડલ પ્રકાશિત થયા નથી, પરંતુ પદ્ધતિની વિગતો આપતો પેપર ઉપલબ્ધ છે. હાલના વર્ણનના આધારે, સ્વતંત્ર સંશોધકોએ Pytorch ફ્રેમવર્કનો ઉપયોગ કરીને Python માં લખાયેલ વૈકલ્પિક અમલીકરણ તૈયાર કર્યું છે અને MIT લાયસન્સ હેઠળ વિતરિત કર્યું છે.

DALL-E ની પ્રથમ પેઢીના અગાઉ પ્રકાશિત થયેલા અમલીકરણની તુલનામાં, નવું સંસ્કરણ વર્ણન સાથે છબીનો વધુ સચોટ મેળ પૂરો પાડે છે, વધુ ફોટોરિયલિઝમ માટે પરવાનગી આપે છે અને ઉચ્ચ રીઝોલ્યુશનમાં છબીઓ બનાવવાનું શક્ય બનાવે છે. સિસ્ટમને મોડેલને તાલીમ આપવા માટે મોટા સંસાધનોની જરૂર છે; ઉદાહરણ તરીકે, DALL-E 2 ના મૂળ સંસ્કરણને તાલીમ આપવા માટે GPU પર 100-200 હજાર કલાકની કમ્પ્યુટિંગની જરૂર છે, એટલે કે. 2 NVIDIA Tesla V4 GPU સાથે લગભગ 256-100 અઠવાડિયાની ગણતરી.

તે જ લેખકે એક વિસ્તૃત સંસ્કરણ - DALLE2 વિડિઓ વિકસાવવાનું પણ શરૂ કર્યું, જેનો હેતુ ટેક્સ્ટ વર્ણનમાંથી વિડિઓને સંશ્લેષણ કરવાનો છે. અલગથી, અમે Sberbank દ્વારા વિકસિત ru-dalle પ્રોજેક્ટની નોંધ લઈ શકીએ છીએ, જેમાં પ્રથમ પેઢીના DALL-E ના ખુલ્લા અમલીકરણ સાથે, રશિયનમાં વર્ણનોને ઓળખવા માટે અનુકૂળ છે.

સોર્સ: opennet.ru