Mae tîm o ymchwilwyr o Brifysgol Tel Aviv wedi datgelu HyperStyle, fersiwn gwrthdro o system dysgu peirianyddol StyleGAN2 NVIDIA sydd wedi'i hailgynllunio i ail-greu rhannau coll wrth olygu delweddau bywyd go iawn. Mae'r cod wedi'i ysgrifennu yn Python gan ddefnyddio fframwaith PyTorch a'i ddosbarthu o dan drwydded MIT.
Os yw StyleGAN yn caniatáu ichi syntheseiddio wynebau newydd sy'n edrych yn realistig o bobl trwy osod paramedrau megis oedran, rhyw, hyd gwallt, patrwm gwên, siâp trwyn, lliw croen, sbectol ac ongl llun, yna mae HyperStyle yn ei gwneud hi'n bosibl newid paramedrau tebyg yn y presennol ffotograffau heb newid eu nodweddion nodweddiadol a chadw'r gallu i adnabod yr wyneb gwreiddiol. Er enghraifft, gan ddefnyddio HyperStyle, gallwch chi efelychu newid yn oedran person mewn llun, newid steil gwallt, ychwanegu sbectol, barf neu fwstas, gwneud i ddelwedd edrych fel cymeriad cartŵn neu lun wedi'i dynnu â llaw, gwneud a mynegiant trist neu siriol. Yn yr achos hwn, gellir hyfforddi'r system nid yn unig i newid wynebau pobl, ond hefyd ar gyfer unrhyw wrthrychau, er enghraifft, ar gyfer golygu delweddau o geir.
Mae'r dull arfaethedig wedi'i anelu at ddatrys y broblem gydag ail-greu rhannau coll y ddelwedd wrth olygu. Yn y dulliau blaenorol, datryswyd y cyfaddawd rhwng ail-greu a golygadwyedd trwy fireinio'r generadur delwedd i amnewid rhannau o'r ddelwedd darged wrth ail-greu mannau y gellid eu golygu i ddechrau. Anfantais dulliau o'r fath yw'r angen am hyfforddiant targedig hirdymor i'r rhwydwaith niwral ar gyfer pob delwedd.
Mae'r dull sy'n seiliedig ar algorithm StyleGAN yn ei gwneud hi'n bosibl defnyddio model nodweddiadol, a hyfforddwyd yn flaenorol ar gasgliadau cyffredin o ddelweddau, i gynhyrchu elfennau sy'n nodweddiadol o'r ddelwedd wreiddiol gyda lefel o hyder sy'n debyg i algorithmau sy'n gofyn am hyfforddiant unigol o'r model ar gyfer pob delwedd. . Ymhlith manteision y dull newydd, nodir hefyd y posibilrwydd o addasu delweddau gyda pherfformiad sy'n agos at amser real.
Mae'r modelau sydd wedi'u hyfforddi ymlaen llaw yn cael eu paratoi ar gyfer wynebau dynol, ceir ac anifeiliaid yn seiliedig ar gasgliadau Flickr-Faces-HQ (FFHQ, 70k o ddelweddau PNG o ansawdd uchel o wynebau dynol), Stanford Cars (delweddau 16k o geir) ac AFHQ (lluniau o anifeiliaid). Yn ogystal, darperir offer ar gyfer hyfforddi eu modelau, yn ogystal â modelau hyfforddedig parod o amgodyddion a generaduron nodweddiadol sy'n addas i'w defnyddio gyda nhw. Er enghraifft, mae generaduron ar gael ar gyfer creu delweddau arddull Toonify, cymeriadau Pixar, braslunio, a hyd yn oed eu steilio fel tywysogesau Disney.
Ffynhonnell: opennet.ru