Tel Aviv Üniversitesi'nden bir araştırmacı ekibi, gerçek görüntüleri düzenlerken eksik parçaları yeniden oluşturmak üzere yeniden tasarlanan, NVIDIA'nın StyleGAN2 makine öğrenimi sisteminin tersine çevrilmiş bir versiyonu olan HyperStyle'ı sundu. Kod, PyTorch çerçevesi kullanılarak Python'da yazılmıştır ve MIT lisansı altında dağıtılmaktadır.
StyleGAN, yaş, cinsiyet, saç uzunluğu, gülümseme karakteri, burun şekli, ten rengi, gözlük ve fotoğraf açısı gibi parametreleri belirterek, insanların gerçekçi görünen yeni yüzlerini sentezlemenize olanak tanıyorsa, HyperStyle, mevcut yüzlerdeki benzer parametreleri değiştirmenize olanak sağlar. orijinal yüzün tanınmasını korurken, karakteristik özelliklerini değiştirmeden fotoğraflar. Örneğin, HyperStyle'ı kullanarak bir fotoğraftaki kişinin yaşında bir değişikliği simüle edebilir, saç stilini değiştirebilir, gözlük, sakal veya bıyık ekleyebilir, görüntüye bir çizgi film karakteri veya elle çizilmiş bir tablo görünümü verebilir, üzgün ya da neşeli bir yüz ifadesi. Üstelik sistem yalnızca insanların yüzlerini değiştirmek için değil, aynı zamanda örneğin araba resimlerini düzenlemek gibi herhangi bir nesne için de eğitilebiliyor.
Önerilen yöntem, düzenleme sırasında görüntünün eksik kısımlarının yeniden oluşturulması sorununu çözmeyi amaçlamaktadır. Daha önce önerilen yöntemlerde, yeniden yapılandırma ve düzenlenebilirlik arasındaki denge, başlangıçta eksik olan düzenlenebilir bölgeleri yeniden oluştururken hedef görüntünün parçalarını değiştirmek üzere görüntü oluşturucunun ince ayarının yapılmasıyla çözüldü. Bu tür yaklaşımların dezavantajı, her görüntü için sinir ağının uzun vadeli hedefli eğitimine duyulan ihtiyaçtır.
StyleGAN algoritmasını temel alan yöntem, her biri için modelin ayrı ayrı eğitilmesini gerektiren algoritmalarla karşılaştırılabilir bir güvenilirlik düzeyiyle orijinal görüntünün karakteristik öğelerini oluşturmak için ortak görüntü koleksiyonları üzerinde önceden eğitilmiş standart bir modelin kullanılmasını mümkün kılar. görüntü. Yeni yöntemin bir diğer avantajı da görüntüleri gerçek zamana yakın performansla değiştirebilme yeteneğidir.
Flickr-Faces-HQ (FFHQ, insan yüzlerinin 70 bin yüksek kaliteli PNG görseli), Stanford Cars (16 bin araba görseli) ve Stanford Cars (XNUMX bin araba görseli) koleksiyonlarına dayalı olarak insan, araba ve hayvan yüzleri için hazır eğitimli modeller hazırlanmaktadır. AFHQ (hayvan fotoğrafları). Ek olarak, modellerinizi eğitmeye yönelik araçların yanı sıra, bunlarla kullanıma uygun standart kodlayıcıların ve jeneratörlerin hazır eğitimli modelleri de sağlanmaktadır. Örneğin, Toonify tarzı görüntüler, Pixar karakterleri oluşturmak, eskizler oluşturmak ve hatta Disney çizgi filmlerinden prensesleri stilize etmek için jeneratörler mevcuttur.
Kaynak: opennet.ru