Тель-Авивын их сургуулийн судлаачдын баг NVIDIA-ийн StyleGAN2 машин сургалтын системийн урвуу хувилбар болох HyperStyle-ийг нээлээ. Энэ нь бодит амьдрал дээрх зургуудыг засварлахад дутуу хэсгүүдийг дахин бүтээхээр шинэчлэгдсэн юм. Код нь PyTorch хүрээг ашиглан Python хэл дээр бичигдсэн бөгөөд MIT лицензийн дагуу тараагддаг.
Хэрэв StyleGAN нь нас, хүйс, үсний урт, инээмсэглэл, хамрын хэлбэр, арьсны өнгө, нүдний шил, зургийн өнцөг зэрэг параметрүүдийг тохируулснаар хүмүүсийн бодит харагдах шинэ царайг нэгтгэх боломжийг олгодог бол HyperStyle нь одоо байгаа ижил төстэй параметрүүдийг өөрчлөх боломжийг олгоно. гэрэл зургийн онцлог шинж чанарыг өөрчлөхгүйгээр, анхны царайг таних чадварыг хадгалах. Жишээлбэл, HyperStyle-ийн тусламжтайгаар та зурган дээрх хүний насны өөрчлөлтийг дуурайж, үсний засалтыг өөрчлөх, нүдний шил, сахал, сахал нэмэх, зургийг хүүхэлдэйн киноны баатар эсвэл гараар зурсан зураг шиг болгох, гунигтай эсвэл хөгжилтэй илэрхийлэл. Энэ тохиолдолд уг системийг зөвхөн хүмүүсийн царайг өөрчлөхөөс гадна аливаа объектод, тухайлбал, машины зургийг засварлахад сургаж болно.
Санал болгож буй арга нь засварлахдаа зургийн дутуу хэсгүүдийг сэргээх асуудлыг шийдвэрлэхэд чиглэгддэг. Өмнөх аргуудын хувьд засварлах, засварлах боломжийн хоорондох эвдрэлийг анхлан орхигдсон засварлах боломжтой хэсгийг дахин үүсгэх үед зорилтот зургийн хэсгүүдийг орлуулахын тулд дүрс үүсгэгчийг нарийн тааруулах замаар шийдсэн. Ийм аргын сул тал бол зураг бүрийн хувьд мэдрэлийн сүлжээг урт хугацааны зорилтот сургалтанд хамруулах хэрэгцээ юм.
StyleGAN алгоритм дээр суурилсан арга нь нийтлэг зургийн цуглуулга дээр урьд өмнө бэлтгэгдсэн ердийн загварыг ашиглах боломжийг олгодог бөгөөд энэ нь зураг бүрийн загварт бие даасан сургалт шаарддаг алгоритмуудтай харьцуулахуйц найдвартай байдлын түвшинд анхны зургийн онцлог шинж чанартай элементүүдийг үүсгэх боломжийг олгодог. . Шинэ аргын давуу талуудын дунд бодит цаг хугацаатай ойролцоо гүйцэтгэлтэй зургийг өөрчлөх боломжийг бас тэмдэглэв.
Урьдчилан бэлтгэгдсэн загваруудыг Flickr-Faces-HQ (FFHQ, 70 хүний царайны PNG зураг), Stanford Cars (машины 16к зураг) болон AFHQ (зураг) цуглуулгад үндэслэн хүн, машин, амьтны нүүрэнд зориулан бэлтгэсэн болно. амьтдын). Нэмж дурдахад тэдгээрийн загваруудыг сургах багаж хэрэгсэл, түүнчлэн тэдгээрийг ашиглахад тохиромжтой ердийн кодлогч, генераторын бэлэн бэлтгэгдсэн загварууд байдаг. Жишээлбэл, генераторууд нь Toonify маягийн зураг, Pixar-ийн дүрүүдийг бүтээх, зураг зурах, тэр ч байтугай Диснейн гүнжүүд шиг загварчлах боломжтой.
Эх сурвалж: opennet.ru