テルアビブ大学の研究者チームは、NVIDIA の StyleGAN2 機械学習システムの逆バージョンである HyperStyle を発表しました。これは、実際の画像を編集するときに欠落している部分を再作成するように再設計されています。 コードは PyTorch フレームワークを使用して Python で記述され、MIT ライセンスの下で配布されます。
StyleGAN で、年齢、性別、髪の長さ、笑顔のキャラクター、鼻の形、肌の色、メガネ、写真の角度などのパラメータを指定して、人物の新しい顔をリアルに合成できる場合、HyperStyle を使用すると、既存の顔の同様のパラメータを変更できるようになります。元の顔の認識を維持しながら、特徴を変えることなく写真を撮影します。 たとえば、HyperStyle を使用すると、写真内の人物の年齢の変化をシミュレートしたり、髪型を変更したり、眼鏡、あごひげ、口ひげを追加したり、画像に漫画のキャラクターや手描きの絵のような外観を与えたり、悲しい表情や陽気な表情。 さらに、このシステムは、人の顔を変更するだけでなく、車の画像を編集するなど、あらゆるオブジェクトを変更するように訓練することもできます。
提案手法は、編集時に画像の欠落部分を再構成する問題を解決することを目的としています。 以前に提案された方法では、最初に欠落している編集可能領域を再作成する際に、ターゲット画像の一部を置き換えるよう画像ジェネレータを微調整することで、再構成と編集可能性の間のトレードオフを解決していました。 このようなアプローチの欠点は、画像ごとにニューラル ネットワークの長期にわたる対象を絞ったトレーニングが必要なことです。
StyleGAN アルゴリズムに基づく方法では、共通の画像コレクションで事前トレーニングされた標準モデルを使用して、それぞれのモデルの個別のトレーニングを必要とするアルゴリズムに匹敵する信頼性レベルで元の画像に特徴的な要素を生成することができます。画像。 新しい方法のもう XNUMX つの利点は、リアルタイムに近いパフォーマンスで画像を変更できることです。
Flickr-Faces-HQ (FFHQ、人の顔の 70 枚の高品質 PNG 画像)、Stanford Cars (16 枚の車の画像) のコレクションに基づいて、人、車、動物の顔用の既製の訓練済みモデルが用意されています。 AFHQ (動物の写真)。 さらに、モデルをトレーニングするためのツールや、それらとの使用に適した標準エンコーダーおよびジェネレーターの既製のトレーニング済みモデルも提供されます。 たとえば、ジェネレーターは、Toonify スタイルの画像、ピクサー キャラクターの作成、スケッチの生成、さらにはディズニー アニメのプリンセスのスタイル化にも使用できます。
出所： オープンネット.ru