NVIDIA はディープラーニングの分野で積極的に実験を行っており、その研究結果は非常に興味深いものになることがあります。 同社は GDC 2019 で、深層学習モデルを使用して単純な描画の写真のようにリアルなバージョンを作成するインテリジェントな描画アプリケーションである GauGAN の作成を発表しました。 このアプリの名前は、フランスのポスト印象派の芸術家ポール・ゴーギャンと、このソフトウェアが絵画をリアルに模倣する画像を作成する敵対的生成ネットワーク (GAN) の使用にちなんでいます。
GauGANはどのように機能しますか? 同社の説明によると、このアプリはユーザーのスケッチ（NVIDIAでは「セグメンテーションマップ」と呼んでいる）の詳細を塗りつぶす「スマートブラシ」のようなものであるという。 基本的に、ユーザーまたはアーティストは、最終的に見たいものの計画を立て、各セグメントにラベルを付けて、それがどうあるべきかを示すだけです。 その後、GauGAN が引き継ぎ、詳細を追加して図面をより現実的にします。
何百万もの芸術的な画像でトレーニングされたディープ ラーニング モデルは、印象的な (ただし必ずしも完璧ではない) 結果を風景に反映します。 池を描くと、木や岩などの近くの要素が水に反映されます。 セグメントのラベルを「草」から「雪」に変更するだけで、画像全体が冬に変わり、葉の茂った木々が裸になります。 私たちが話していることを理解するには、以下のビデオをご覧ください。
また、GauGAN は他の多数の画像に基づいた広範な知識を使用して最終作品を作成しますが、アプリケーションが完全に新しい結果画像を生成するため、後者は依然としてオリジナルとみなされます。
NVIDIA の新しいスマート グラフィック エディターは、自然の風景や風景だけに限定されず、建物、道路、さらには人物を追加することもできます。 GauGAN では、ユーザーがフィルタを適用して、希望のスタイルに合わせて結果をスタイリングすることもできます。 このようなフィルターは、とりわけ、特定のアーティスト (Van Gon など) のスタイルを模倣したり、シーンの照明を調整して昼から夜まで画像を変更したりできます。
GauGAN が日常の消費者向けにリリースされるかどうかは不明ですが、遅かれ早かれ一般のユーザーがこのような非常に便利なツールを入手し、建築やイラストからゲーム開発に至るまで、さまざまな分野での作業を簡素化する可能性は十分にあると思います。
ただし、興味のある人は、NVIDIA AI Playground リソースで、いくつかの機械学習機能に慣れることができます。 たとえば、そこにある Artistic Style Transfer のデモでは、あらゆる写真を有名アーティストのスタイルで処理できます。
NVIDIA による他の同様の実験には、AI によって生成された視覚効果を従来のラスター化パイプラインとどのように組み合わせることができるかを示す研究が含まれます。 その結果、ゲーム、映画、仮想現実で使用できるハイブリッド グラフィック システムが誕生しました。 もう XNUMX つの同様の例は、雪に覆われた道路を夏の道路に変えるアルゴリズムです。これは、より効率的な自動操縦トレーニングのために企業の専門家によって開発されました。
出所： 3dnews.ru