{"id":101605,"date":"2021-10-12T16:22:58","date_gmt":"2021-10-12T14:23:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/nvidia-otkryla-kod-stylegan3-sistemy-mashinnogo-obucheniya-dlya-sinteza-licz"},"modified":"2021-10-12T16:22:58","modified_gmt":"2021-10-12T14:23:00","slug":"nvidia-otkryla-kod-stylegan3-sistemy-mashinnogo-obucheniya-dlya-sinteza-licz","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/nvidia-otkryla-kod-stylegan3-sistemy-mashinnogo-obucheniya-dlya-sinteza-licz","title":{"rendered":"NVIDIA otworzy\u0142a kod StyleGAN3, systemu uczenia maszynowego do syntezy twarzy","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Firma NVIDIA opublikowa\u0142a \u017ar\u00f3d\u0142a StyleGAN3, systemu uczenia maszynowego opartego na generatywnej sieci antagonizuj\u0105cej (GAN), kt\u00f3ry ma na celu syntez\u0119 realistycznych obraz\u00f3w ludzkich twarzy. Kod napisany jest w j\u0119zyku Python z wykorzystaniem frameworka PyTorch i jest rozpowszechniany na licencji NVIDIA Source Code License, kt\u00f3ra nak\u0142ada ograniczenia na u\u017cycie w celach komercyjnych. <\/p>\n

Do pobrania dost\u0119pne s\u0105 r\u00f3wnie\u017c gotowe modele wytr\u00e9nowane na zbiorze Flickr-Faces-HQ (FFHQ), kt\u00f3ry zawiera 70 tysi\u0119cy wysokiej jako\u015bci (1024×1024) obraz\u00f3w PNG twarzy ludzi. Ponadto dost\u0119pne s\u0105 modele opracowane na podstawie zbior\u00f3w AFHQv2 (zdj\u0119cia zwierz\u0119cych mordek) oraz Metfaces (obrazy twarzy ludzi z portret\u00f3w klasycznej malarstwa). Podczas opracowywania nacisk k\u0142adziony jest na twarze, ale system mo\u017ce zosta\u0107 wytr\u00e9nowany do generowania dowolnych obiekt\u00f3w, na przyk\u0142ad krajobraz\u00f3w i samochod\u00f3w. Dodatkowo udost\u0119pniane s\u0105 narz\u0119dzia do samodzielnego wytr\u00e9nowania sieci neuronowej na w\u0142asnych zbiorach obraz\u00f3w. Do pracy potrzebna jest jedna lub wi\u0119cej kart graficznych NVIDIA (zalecane GPU Tesla V100 lub A100), co najmniej 12 GB RAM, PyTorch 1.9 i zestaw narz\u0119dzi CUDA 11.1+. Opracowywany jest specjalny detektor do okre\u015blenia sztuczno\u015bci uzyskanych twarzy. <\/p>\n

System pozwala na syntez\u0119 obrazu nowej twarzy na podstawie interpolacji cech kilku twarzy, \u0142\u0105cz\u0105c charakterystyczne dla nich cechy oraz dostosowuj\u0105c ko\u0144cowy obraz do po\u017c\u0105danego wieku, p\u0142ci, d\u0142ugo\u015bci w\u0142os\u00f3w, charakteru u\u015bmiechu, kszta\u0142tu nosa, koloru sk\u00f3ry, okular\u00f3w, k\u0105ta fotografii. Generator traktuje obraz jako zbi\u00f3r styl\u00f3w, automatycznie oddzielaj\u0105c charakterystyczne detale (pieg\u00f3w, w\u0142os\u00f3w, okular\u00f3w) od og\u00f3lnych, wysokopoziomowych atrybut\u00f3w (poza, p\u0142e\u0107, zmiany zwi\u0105zane z wiekiem) i pozwala na ich kombinowanie w dowolny spos\u00f3b z okre\u015bleniem dominuj\u0105cych w\u0142a\u015bciwo\u015bci poprzez wsp\u00f3\u0142czynniki wagowe. W rezultacie generowane s\u0105 obrazy, kt\u00f3re s\u0105 wizualnie nieodr\u00f3\u017cnialne od prawdziwych zdj\u0119\u0107.

\"NVIDIA<\/center> <\/p>\n

Pierwsza wersja technologii StyleGAN zosta\u0142a opublikowana w 2019 roku, a w 2020 roku zaproponowano ulepszon\u0105 edycj\u0119 StyleGAN2, kt\u00f3ra pozwala na popraw\u0119 jako\u015bci obraz\u00f3w i eliminuje niekt\u00f3re artefakty. System pozosta\u0142 statyczny, tzn. nie umo\u017cliwia\u0142 realistycznej animacji i ruchu twarzy. Podczas opracowywania StyleGAN3 g\u0142\u00f3wnym celem by\u0142o dostosowanie technologii do jej zastosowania w animacji i wideo. <\/p>\n

W StyleGAN3 zastosowano przeprojektowan\u0105 architektur\u0119 generowania obraz\u00f3w, pozbawion\u0105 aliasingu, oraz zaproponowano nowe scenariusze szkolenia sieci neuronowej. W sk\u0142ad wchodz\u0105 nowe narz\u0119dzia do interaktywnej wizualizacji (visualizer.py), analizy (avg_spectra.py) oraz generowania wideo (gen_video.py). W realizacji tak\u017ce zmniejszono zu\u017cycie pami\u0119ci i przyspieszono proces szkolenia.

\"NVIDIA<\/center> <\/p>\n

Kluczow\u0105 cech\u0105 architektury StyleGAN3 sta\u0142 si\u0119 przej\u015bciem do interpretacji wszystkich sygna\u0142\u00f3w w sieci neuronowej w postaci proces\u00f3w ci\u0105g\u0142ych, co umo\u017cliwi\u0142o manipulacj\u0119 wzgl\u0119dnymi pozycjami przy formowaniu detali, kt\u00f3re nie s\u0105 zwi\u0105zane z absolutnymi wsp\u00f3\u0142rz\u0119dnymi poszczeg\u00f3lnych pikseli na obrazie, lecz przywi\u0105zane do powierzchni przedstawianych obiekt\u00f3w. W StyleGAN i StyleGAN2 przywi\u0105zanie do pikseli podczas generacji prowadzi\u0142o do problem\u00f3w z dynamiczn\u0105 wizualizacj\u0105; na przyk\u0142ad podczas ruchu obrazu obserwowano niesp\u00f3jno\u015b\u0107 drobnych detali, takich jak zmarszczki i w\u0142oski, kt\u00f3re porusza\u0142y si\u0119 jako osobne od reszty twarzy. W StyleGAN3 te problemy zosta\u0142y rozwi\u0105zane, a technologia sta\u0142a si\u0119 ca\u0142kowicie odpowiednia do tworzenia wideo.