NVIDIA カンパニー 機械学習システムのソースコード (GauGAN)、ラフスケッチやプロジェクトに関連した風景をベースにリアルな風景を合成できます。 。 システムは 2019 月の GTC XNUMX カンファレンスでコードが公開されたのは昨日のことです。 開発状況 独自のライセンスに基づいて (クリエイティブ・コモンズ表示-非営利-継承 4.0)、非営利使用のみが許可されます。 コードはフレームワークを使用して Python で書かれています .
スケッチは、シーン上のおおよそのオブジェクトの配置を決定するセグメント化されたマップの形式で作成されます。 生成されたオブジェクトの性質は、カラーマークを使用して指定されます。 たとえば、青の塗りつぶしは空に、青は水に、濃い緑は木々に、薄緑は草に、薄茶色は岩に、濃い茶色は山に、灰色は雪に、茶色の線は道路に、そして青の塗りつぶしは道路に変化します。川にラインを入れるさらに、参照画像の選択に基づいて、全体の構図のスタイルと時刻が決定されます。 仮想世界を作成するための提案されたツールは、建築家や都市計画者からゲーム開発者やランドスケープデザイナーまで、幅広い専門家にとって役立ちます。
オブジェクトは敵対的生成ニューラル ネットワーク () は、数百万の写真で事前トレーニングされたモデルから詳細を借用して、概略的なセグメント化されたマップに基づいてリアルな画像を作成します。 以前に開発された画像合成システムとは異なり、提案された方法は、機械学習に基づく変換が続く適応空間変換の使用に基づいています。 セマンティック マークアップの代わりにセグメント化されたマップを処理すると、完全一致の結果が得られ、スタイルを制御できます。
リアリズムを実現するために、ジェネレーターとディスクリミネーターという XNUMX つのニューラル ネットワークが互いに競合します。 ジェネレーターは実際の写真の要素を混合して画像を生成し、ディスクリミネーターは実際の画像からの逸脱の可能性を特定します。 その結果、フィードバックが形成され、これに基づいてジェネレータは、ディスクリミネータが実際のサンプルと区別できなくなるまで、ますます優れたサンプルを作成し始めます。
出所： オープンネット.ru