Nvidia ニューラル ネットワークがシンプルなスケッチを美しい風景に変える

Nvidia ニューラル ネットワークがシンプルなスケッチを美しい風景に変える
喫煙者の滝と健康者の滝

私たちは皆、フクロウの描き方を知っています。 最初に楕円形を描く必要があり、次に別の円を描くと、豪華なフクロウがわかります。 もちろん、これは冗談であり、非常に古いものですが、Nvidia のエンジニアはこの空想を現実にしようとしました。

新しい開発GauGAN と呼ばれるこのツールは、非常に単純なスケッチ (円、線、その他すべて) から豪華な風景を作成します。 もちろん、この開発は最新のテクノロジー、つまり敵対的生成ニューラル ネットワークに基づいています。

GauGAN を使用すると、楽しみだけでなく仕事にもカラフルな仮想世界を作成できます。 したがって、建築家、ランドスケープ デザイナー、ゲーム開発者は皆、役に立つ何かを学ぶことができます。 人工知能は、人間が何を望んでいるのかを即座に「理解し」、元のアイデアを膨大な量の詳細で補完します。

「GauGAN を利用すると、高品質の画像を追加して最初のスケッチを補完できるため、デザイン開発に関するブレインストーミングがはるかに簡単になります」と GauGAN 開発者の一人は述べています。

このツールのユーザーは、元のアイデアを変更したり、風景やその他の画像を変更したり、空、砂、海などを追加したりできます。 あなたの心が望むすべてを、ほんの数秒で追加できます。

ニューラル ネットワークは、数百万枚の画像のデータベースを使用してトレーニングされました。 このおかげで、システムは人が何を望んでいるのか、そしてその望みをどのように達成するのかを理解することができます。 さらに、ニューラル ネットワークは細部を忘れません。 したがって、池とその隣にいくつかの木を概略的に描くと、風景が復活した後、近くのすべてのオブジェクトが池の水の鏡に反映されます。

目に見える表面を草、雪、水、砂で覆うことができるものをシステムに指示できます。 これらすべては一瞬で変化し、雪が砂になり、アーティストは雪の荒野の代わりに砂漠の風景を手に入れることができます。

「これは、木をどこに置くか、太陽はどこ、空はどこにあるのかを記した塗り絵のようなものです。 次に、最初のタスクの後、ニューラル ネットワークが画像をアニメーション化し、必要な詳細とテクスチャを追加し、反射を描画します。 これはすべて実際の画像に基づいています」と開発者の XNUMX 人は言います。


このシステムには現実世界の「理解」が欠けていますが、素晴らしい風景を作り出します。 これは、ここではジェネレーターとディスクリミネーターという XNUMX つのニューラル ネットワークが使用されているためです。 ジェネレーターは画像を作成し、それをディスクリミネーターに表示します。 彼は、これまでに見た何百万もの画像に基づいて、最も現実的な選択肢を選択します。

そのため、ジェネレーターは反射があるべき場所を「知っている」のです。 このツールは非常に柔軟であり、多数の設定が装備されていることは注目に値します。 したがって、これを使用すると、特定のアーティストのスタイルに合わせてペイントしたり、日の出や日没をすばやく追加して遊んだりすることができます。

開発者らは、このシステムは単に画像をどこかから取得し、それらを加算して結果を取得するだけではないと主張しています。 いいえ、受信したすべての「画像」が生成されます。 つまり、ニューラル ネットワークは、本物のアーティストのように (またはそれ以上に) 「創作」します。

今のところ、このプログラムは無料で利用できませんが、間もなく職場でテストできるようになる予定です。 これは、現在カリフォルニアで開催されている GPU Technology Conference 2019 で行うことができます。 展示会を訪れることができた幸運な方は、すでに GauGAN を試すことができます。

ニューラル ネットワークは、創造的なプロセスに参加するように長い間教えられてきました。 たとえば、昨年、そのうちのいくつかは、 3Dモデルを作成できる。 さらに、DeepMind の開発者は、図面、写真、スケッチから XNUMX 次元の空間とオブジェクトを復元するためにニューラル ネットワークをトレーニングしました。 単純な図形を再作成するには、ニューラル ネットワークに XNUMX つの画像が必要ですが、より複雑なオブジェクトを作成するには、「トレーニング」に XNUMX つの画像が必要です。

GauGAN に関しては、このツールは明らかに商業用途にふさわしいものとなるでしょう。ビジネスや科学の多くの分野でそのようなサービスが必要とされています。

出所: habr.com

コメントを追加します