હાઇપરસ્ટાઇલ - ઇમેજ એડિટિંગ માટે સ્ટાઇલગન મશીન લર્નિંગ સિસ્ટમનું અનુકૂલન

તેલ અવીવ યુનિવર્સિટીના સંશોધકોની એક ટીમે હાયપરસ્ટાઇલનું અનાવરણ કર્યું છે, જે NVIDIA ની StyleGAN2 મશીન લર્નિંગ સિસ્ટમનું ઊંધી સંસ્કરણ છે જે વાસ્તવિક જીવનની છબીઓને સંપાદિત કરતી વખતે ગુમ થયેલા ભાગોને ફરીથી બનાવવા માટે ફરીથી ડિઝાઇન કરવામાં આવી છે. કોડ PyTorch ફ્રેમવર્કનો ઉપયોગ કરીને Python માં લખવામાં આવે છે અને MIT લાયસન્સ હેઠળ વિતરિત કરવામાં આવે છે.

જો StyleGAN તમને ઉંમર, લિંગ, વાળની ​​લંબાઈ, સ્મિતની પેટર્ન, નાકનો આકાર, ત્વચાનો રંગ, ચશ્મા અને ફોટો એંગલ જેવા પરિમાણો સેટ કરીને લોકોના વાસ્તવિક દેખાતા નવા ચહેરાઓને સંશ્લેષણ કરવાની મંજૂરી આપે છે, તો HyperStyle વર્તમાનમાં સમાન પરિમાણો બદલવાનું શક્ય બનાવે છે. ફોટા તેમની લાક્ષણિક લાક્ષણિકતાઓ બદલ્યા વિના અને મૂળ ચહેરાની ઓળખાણ જાળવી રાખ્યા વિના. ઉદાહરણ તરીકે, હાઇપરસ્ટાઇલનો ઉપયોગ કરીને, તમે ફોટામાં વ્યક્તિની ઉંમરમાં ફેરફારનું અનુકરણ કરી શકો છો, હેરસ્ટાઇલ બદલી શકો છો, ચશ્મા ઉમેરી શકો છો, દાઢી અથવા મૂછો ઉમેરી શકો છો, છબીને કાર્ટૂન પાત્ર અથવા હાથથી દોરેલા ચિત્ર જેવી બનાવી શકો છો, ઉદાસી અથવા ખુશખુશાલ ચહેરાના હાવભાવ. આ કિસ્સામાં, સિસ્ટમને ફક્ત લોકોના ચહેરા બદલવા માટે જ નહીં, પણ કોઈપણ ઑબ્જેક્ટ્સ માટે પણ તાલીમ આપી શકાય છે, ઉદાહરણ તરીકે, કારની છબીઓ સંપાદિત કરવા માટે.

સૂચિત પદ્ધતિનો હેતુ સંપાદન કરતી વખતે છબીના ગુમ થયેલ ભાગોના પુનર્નિર્માણ સાથે સમસ્યાને હલ કરવાનો છે. અગાઉની પદ્ધતિઓમાં, પુનઃનિર્માણ અને સંપાદનક્ષમતા વચ્ચેના સમાધાનને ઇમેજ જનરેટરને ફાઇન-ટ્યુનિંગ દ્વારા હલ કરવામાં આવ્યું હતું, જેથી શરૂઆતમાં ગુમ થયેલા સંપાદનયોગ્ય વિસ્તારોને ફરીથી બનાવતી વખતે લક્ષ્ય ઇમેજના ભાગોને બદલી શકાય. આવા અભિગમોનો ગેરલાભ એ દરેક છબી માટે ન્યુરલ નેટવર્કની લાંબા ગાળાની લક્ષિત તાલીમની જરૂરિયાત છે.

StyleGAN અલ્ગોરિધમ પર આધારિત પદ્ધતિ, એક લાક્ષણિક મોડેલનો ઉપયોગ કરવાનું શક્ય બનાવે છે, જે અગાઉ ઈમેજોના સામાન્ય સંગ્રહ પર પ્રશિક્ષિત છે, દરેક ઈમેજ માટે મોડેલની વ્યક્તિગત તાલીમની જરૂર હોય તેવા અલ્ગોરિધમ્સ સાથે તુલનાત્મક આત્મવિશ્વાસના સ્તર સાથે અસલ ઈમેજની લાક્ષણિકતા ધરાવતા તત્વો પેદા કરવા માટે શક્ય બનાવે છે. . નવી પદ્ધતિના ફાયદાઓમાં, વાસ્તવિક સમયની નજીકના પ્રદર્શન સાથે છબીઓને સંશોધિત કરવાની શક્યતા પણ નોંધવામાં આવી છે.

Flickr-Faces-HQ (FFHQ, માનવ ચહેરાઓની 70k ઉચ્ચ-ગુણવત્તાવાળી PNG છબીઓ), સ્ટેનફોર્ડ કાર્સ (કારની 16k છબીઓ) અને AFHQ (ફોટો)ના સંગ્રહના આધારે માનવ, કાર અને પ્રાણીઓના ચહેરાઓ માટે પૂર્વ-પ્રશિક્ષિત મોડલ તૈયાર કરવામાં આવ્યા છે. પ્રાણીઓની). આ ઉપરાંત, તેમના મોડલ્સને તાલીમ આપવા માટે સાધનો, તેમજ તેમની સાથે ઉપયોગ કરવા માટે યોગ્ય સામાન્ય એન્કોડર્સ અને જનરેટરના તૈયાર પ્રશિક્ષિત મોડલ્સ પ્રદાન કરવામાં આવે છે. ઉદાહરણ તરીકે, જનરેટર Toonify-શૈલીની છબીઓ બનાવવા, Pixar અક્ષરો બનાવવા, સ્કેચ કરવા અને ડિઝની રાજકુમારીઓની જેમ સ્ટાઇલ કરવા માટે પણ ઉપલબ્ધ છે.

સોર્સ: opennet.ru