NVIDIA experimentiert aktiv im Bereich Deep Learning und die Ergebnisse seiner Arbeit sind manchmal recht interessant. Das Unternehmen kündigte auf der GDC 2019 die Entwicklung von GauGAN an, einer intelligenten Zeichenanwendung, die ein Deep-Learning-Modell verwendet, um fotorealistische Versionen einfacher Zeichnungen zu erstellen. Der Name der App bezieht sich auf den französischen postimpressionistischen Künstler Paul Gauguin und auf die Verwendung generativer gegnerischer Netzwerke (GANs) durch die Software, um Bilder zu erstellen, die Gemälde realistisch imitieren.
Wie funktioniert GauGAN? Laut der Erklärung des Unternehmens ist die App wie ein „intelligenter Pinsel“, der die Details der Skizze eines Benutzers ausfüllt (NVIDIA nennt es eine „Segmentierungskarte“). Im Wesentlichen legt der Benutzer oder Künstler lediglich einen Plan fest, was er am Ende sehen möchte, und beschriftet jedes Segment und gibt an, wie es aussehen soll. GauGAN übernimmt dann die Arbeit, füllt zusätzliche Details aus und macht die Zeichnungen realistischer.
Das Deep-Learning-Modell basiert auf Millionen von künstlerischen Bildern und bevölkert dann die Landschaft mit beeindruckenden (aber nicht immer perfekten) Ergebnissen. Wenn Sie einen Teich zeichnen, spiegeln sich Elemente in der Nähe wie Bäume und Felsen im Wasser. Es reicht aus, die Segmentbezeichnung von „Gras“ in „Schnee“ zu ändern, und das gesamte Bild wird sich in ein Winterbild verwandeln und die Laubbäume werden kahl. Um zu verstehen, wovon wir sprechen, können Sie sich das Video unten ansehen.
Es ist auch erwähnenswert, dass GauGAN zwar umfangreiches Wissen auf der Grundlage einer Vielzahl anderer Bilder verwendet, um die endgültigen Werke zu erstellen, letztere jedoch immer noch als originell gelten, da die Anwendung völlig neue resultierende Bilder generiert.
Der neue intelligente Grafikeditor von NVIDIA beschränkt sich nicht nur auf natürliche Szenen oder Landschaften – die App kann Gebäude, Straßen und sogar Menschen hinzufügen. GauGAN ermöglicht Benutzern auch die Anwendung von Filtern, um das Ergebnis an den gewünschten Stil anzupassen. Solche Filter können unter anderem den Stil eines bestimmten Künstlers (z. B. Van Gon) imitieren oder die Beleuchtung einer Szene anpassen und so Bilder von Tag zu Nacht verändern.
Es ist unklar, ob GauGAN jemals für den täglichen Gebrauch durch Verbraucher freigegeben wird, aber ich denke, dass normale Benutzer früher oder später einige sehr nützliche Tools wie dieses erhalten werden, die die Arbeit in verschiedenen Bereichen vereinfachen: von Architektur und Illustration bis hin zur Spieleentwicklung.
Auf der NVIDIA AI Playground-Ressource können sich Interessierte jedoch mit einigen maschinellen Lernfunktionen vertraut machen. Beispielsweise können Sie in der dortigen Artistic Style Transfer-Demonstration jedes Foto im Stil berühmter Künstler bearbeiten.
Zu den weiteren ähnlichen Experimenten von NVIDIA gehört eine Studie, die zeigt, wie KI-generierte visuelle Effekte mit einer herkömmlichen Rasterisierungspipeline kombiniert werden können. Das Ergebnis ist ein hybrides Grafiksystem, das in Spielen, Filmen und virtueller Realität eingesetzt werden könnte. Ein weiteres ähnliches Beispiel ist ein Algorithmus zur Umwandlung schneebedeckter Straßen in Sommerstraßen, der von Unternehmensspezialisten für ein effizienteres Autopilot-Training entwickelt wurde.
Source: 3dnews.ru