NVIDIA aktywnie eksperymentuje w dziedzinie głębokiego uczenia się, a wyniki jej prac są czasami całkiem interesujące. Firma ogłosiła na targach GDC 2019 powstanie GauGAN, inteligentnej aplikacji do rysowania, która wykorzystuje model głębokiego uczenia się do tworzenia fotorealistycznych wersji prostych rysunków. Nazwa aplikacji nawiązuje do francuskiego postimpresjonistycznego artysty Paula Gauguina i wykorzystania przez oprogramowanie generatywnych sieci kontradyktoryjnych (GAN) do tworzenia obrazów realistycznie imitujących obrazy.
Jak działa GauGAN? Według wyjaśnień firmy aplikacja przypomina „inteligentny pędzel”, który wypełnia szczegóły szkicu użytkownika (NVIDIA nazywa to „mapą segmentacji”). Zasadniczo użytkownik lub artysta po prostu ustala plan tego, co chce ostatecznie zobaczyć, i oznacza każdy segment, wskazując, jaki powinien być. Następnie GauGAN przejmuje kontrolę, uzupełniając dodatkowe szczegóły i czyniąc rysunki bardziej realistycznymi.
Wyszkolony na milionach obrazów artystycznych, model głębokiego uczenia się następnie wypełnia krajobraz imponującymi (ale nie zawsze doskonałymi) wynikami. Jeśli narysujesz staw, pobliskie elementy, takie jak drzewa i skały, będą odbijane w wodzie. Wystarczy zmienić etykietę segmentu z „trawa” na „śnieg”, a cały obraz zmieni się na zimowy, a drzewa liściaste staną się nagie. Aby zrozumieć o czym mówimy, możesz obejrzeć poniższy film.
Warto również zauważyć, że chociaż GauGAN wykorzystuje rozległą wiedzę opartą na wielu innych obrazach do tworzenia ostatecznych prac, te ostatnie nadal są uważane za oryginalne, ponieważ aplikacja generuje zupełnie nowe obrazy wynikowe.
Nowy inteligentny edytor grafiki NVIDIA nie ogranicza się tylko do naturalnych scen i krajobrazów — aplikacja może dodawać budynki, drogi, a nawet ludzi. GauGAN umożliwia także użytkownikom stosowanie filtrów, stylizując wynik zgodnie z pożądanym stylem. Takie filtry mogą między innymi imitować styl konkretnego artysty (na przykład Van Gona) lub dostosowywać oświetlenie sceny, zmieniając obrazy z dziennego na nocne.
Nie jest jasne, czy GauGAN zostanie kiedykolwiek udostępniony do codziennego użytku konsumenckiego, ale myślę, że prędzej czy później zwykli użytkownicy mogą otrzymać takie przydatne narzędzia, jak to, upraszczające pracę w różnych obszarach: od architektury i ilustracji po tworzenie gier.
Jednakże w zasobach NVIDIA AI Playground zainteresowani mogą zapoznać się z niektórymi możliwościami uczenia maszynowego. Na przykład w prezentowanej tam demonstracji Artistic Style Transfer możesz przetworzyć dowolne zdjęcie w stylu znanych artystów.
Inne podobne eksperymenty przeprowadzone przez firmę NVIDIA obejmują badanie pokazujące, w jaki sposób efekty wizualne generowane przez sztuczną inteligencję można łączyć z tradycyjnym potokiem rasteryzacji. Rezultatem jest hybrydowy system graficzny, który można wykorzystać w grach, filmach i rzeczywistości wirtualnej. Innym podobnym przykładem jest algorytm zamiany zaśnieżonych ulic w letnie, opracowany przez specjalistów firmy w celu efektywniejszego szkolenia autopilota.
Źródło: 3dnews.ru