HyperStyle - 이미지 편집을 위한 StyleGAN 기계 학습 시스템의 적용

Tel Aviv University의 연구진은 실제 이미지를 편집할 때 누락된 부분을 재현하도록 재설계된 NVIDIA StyleGAN2 머신 러닝 시스템의 반전 버전인 HyperStyle을 선보였습니다. 코드는 PyTorch 프레임워크를 사용하여 Python으로 작성되었으며 MIT 라이선스에 따라 배포됩니다.

StyleGAN을 사용하면 나이, 성별, 머리 길이, 웃는 캐릭터, 코 모양, 피부색, 안경, 사진 각도 등의 매개변수를 지정하여 사실적으로 보이는 새로운 사람의 얼굴을 합성할 수 있다면 HyperStyle을 사용하면 기존의 유사한 매개변수를 변경할 수 있습니다. 원래 얼굴의 인식을 유지하면서 특징적인 특징을 변경하지 않고 사진을 찍습니다. 예를 들어 HyperStyle을 사용하면 사진 속 사람의 나이 변화를 시뮬레이션하고, 헤어스타일을 변경하고, 안경, 턱수염 또는 콧수염을 추가하고, 이미지에 만화 캐릭터나 손으로 그린 ​​그림과 같은 모양을 부여하고, 슬프거나 쾌활한 표정. 또한 시스템은 사람의 얼굴을 바꾸는 것뿐만 아니라 자동차 이미지를 편집하는 등 모든 개체에 대해서도 훈련할 수 있습니다.

제안하는 방법은 편집 시 이미지의 누락된 부분을 재구성하는 문제를 해결하는 것을 목표로 합니다. 이전에 제안된 방법에서는 초기에 누락된 편집 가능 영역을 다시 생성할 때 대상 이미지의 일부를 대체하도록 이미지 생성기를 미세 조정하여 재구성과 편집 가능성 사이의 균형을 해결했습니다. 이러한 접근 방식의 단점은 각 이미지에 대한 신경망의 장기적인 목표 교육이 필요하다는 것입니다.

StyleGAN 알고리즘을 기반으로 하는 방법을 사용하면 공통 이미지 컬렉션에 대해 사전 훈련된 표준 모델을 사용하여 각각에 대해 모델의 개별 교육이 필요한 알고리즘과 비교할 수 있는 신뢰성 수준으로 원본 이미지의 특징적인 요소를 생성할 수 있습니다. 영상. 새로운 방법의 또 다른 장점은 실시간에 가까운 성능으로 이미지를 수정할 수 있다는 것입니다.

Flickr-Faces-HQ(FFHQ, 사람 얼굴의 고품질 PNG 이미지 70개), Stanford Cars(자동차 이미지 16개) 및 컬렉션을 기반으로 사람, 자동차 및 동물의 얼굴에 대해 기성 학습 모델이 준비되어 있습니다. AFHQ(동물 사진). 또한 모델 교육을 위한 도구는 물론, 해당 모델과 함께 사용하기에 적합한 표준 인코더 및 생성기의 사전 제작된 교육 모델도 제공됩니다. 예를 들어 생성기를 사용하면 Toonify 스타일 이미지, Pixar 캐릭터 생성, 스케치 생성, 심지어 디즈니 만화의 공주 스타일 지정에도 사용할 수 있습니다.

출처 : opennet.ru