Тель-Авив университетинин изилдөөчүлөр тобу HyperStyle, NVIDIAнын StyleGAN2 машина үйрөнүү тутумунун инверттелген версиясын көрсөтүштү, ал чыныгы сүрөттөрдү түзөтүүдө жетишпеген бөлүктөрдү кайра жаратуу үчүн кайра иштелип чыккан. Код PyTorch алкагын колдонуу менен Python тилинде жазылган жана MIT лицензиясы боюнча таратылат.
Эгерде StyleGAN адамдардын жашы, жынысы, чачынын узундугу, жылмаюу мүнөзү, мурундун формасы, терисинин түсү, көз айнек жана сүрөт бурчу сыяктуу параметрлерди көрсөтүү менен реалдуу көрүнгөн жаңы жүздөрдү синтездөөгө мүмкүндүк берсе, HyperStyle буга чейин окшош параметрлерди өзгөртүүгө мүмкүндүк берет. оригиналдуу жүзүн таанууну сактап, алардын мүнөздүү белгилерин өзгөртпөстөн сүрөттөр. Мисалы, HyperStyle менен сиз сүрөттөгү адамдын жашынын өзгөрүшүн имитациялай аласыз, чач жасалгасын өзгөртө аласыз, көз айнек, сакал же мурут кошсоңуз, образга мультфильмдин каарманынын көрүнүшүн же колго тартылган сүрөттү бере аласыз, кайгылуу же кубанычтуу мимика. Мындан тышкары, системаны адамдардын жүзүн өзгөртүүгө гана эмес, ошондой эле ар кандай объекттерге, мисалы, унаалардын сүрөттөрүн оңдоого үйрөтсө болот.
Сунушталган ыкма монтаждоодо сүрөттүн жетишпей калган бөлүктөрүн калыбына келтирүү маселесин чечүүгө багытталган. Мурда сунушталган методдордо, кайра куруу жана түзөтүү мүмкүндүгүнүн ортосундагы келишпестик алгач жок кылынган түзөтүлүүчү аймактарды кайра түзүүдө максаттуу сүрөттөлүштүн бөлүктөрүн алмаштыруу үчүн сүрөт генераторун жакшылап жөндөө аркылуу чечилди. Мындай ыкмалардын кемчилиги ар бир сүрөттөлүш үчүн нейрон тармагын узак мөөнөттүү максаттуу окутуунун зарылдыгы болуп саналат.
StyleGAN алгоритмине негизделген ыкма сүрөттөрдүн жалпы коллекцияларында алдын ала даярдалган стандарттык моделди колдонууга, ар бир модел үчүн моделди жеке окутууну талап кылган алгоритмдер менен салыштырылуучу ишенимдүүлүк деңгээли менен оригиналдуу сүрөттөлүшкө мүнөздүү элементтерди түзүүгө мүмкүндүк берет. сүрөт. Жаңы ыкманын дагы бир артыкчылыгы - реалдуу убакытка жакын аткаруу менен сүрөттөрдү өзгөртүү мүмкүнчүлүгү.
Даяр үйрөтүлгөн моделдер Flickr-Faces-HQ (FFHQ, адамдардын беттеринин 70 миң жогорку сапаттагы PNG сүрөттөрү), Stanford Cars (16 миң унаа сүрөтү) жана коллекцияларынын негизинде адамдардын, унаалардын жана жаныбарлардын жүзү үчүн даярдалган. AFHQ (жаныбарлардын сүрөттөрү). Кошумчалай кетсек, моделдериңизди үйрөтүү үчүн инструменттер, ошондой эле алар менен колдонууга ылайыктуу стандарттык коддогучтар жана генераторлордун даяр үйрөтүлгөн моделдери берилген. Мисалы, генераторлор Toonify стилиндеги сүрөттөрдү, Pixar каармандарын түзүү, эскиздерди түзүү жана ал тургай Дисней мультфильмдериндеги принцессаларды стилдөө үчүн жеткиликтүү.
Source: opennet.ru