NVIDIA 도구는 AI를 사용하여 간단한 스케치를 그림으로 바꿔줍니다.

NVIDIA는 딥 러닝 분야에서 적극적으로 실험하고 있으며, 그 작업 결과는 때때로 꽤 흥미로울 수 있습니다. 이 회사는 GDC 2019에서 딥 러닝 모델을 사용하여 간단한 도면의 사실적인 버전을 만드는 지능형 도면 애플리케이션인 GauGAN의 개발을 발표했습니다. 이 앱의 이름은 프랑스 후기 인상파 예술가 폴 고갱(Paul Gauguin)과 이 소프트웨어가 그림을 현실적으로 모방하는 이미지를 생성하기 위해 생성적 적대 네트워크(GAN)를 사용하는 것을 의미합니다.

GauGAN은 어떻게 작동하나요? 회사 설명에 따르면 이 앱은 사용자 스케치의 세부 사항을 채워주는 '스마트 브러시'와 같다(NVIDIA는 이를 '분할 맵'이라고 부른다). 기본적으로 사용자나 아티스트는 최종적으로 보고 싶은 것에 대한 계획을 설정하고 각 세그먼트에 라벨을 지정하여 그것이 무엇이어야 하는지 나타냅니다. 그런 다음 GauGAN이 대신하여 추가 세부 정보를 채우고 도면을 더욱 현실감있게 만듭니다.

수백만 개의 예술적 이미지를 학습한 딥 러닝 모델은 인상적인(항상 완벽하지는 않은) 결과로 풍경을 채웁니다. 연못을 그리면 근처의 나무나 바위 등이 물에 반사됩니다. 세그먼트 레이블을 "풀"에서 "눈"으로 변경하면 충분하며 전체 이미지가 겨울 이미지로 바뀌고 잎이 많은 나무가 맨손으로 변합니다. 우리가 말하는 내용을 이해하려면 아래 비디오를 시청하십시오.

GauGAN이 최종 작품을 만들기 위해 수많은 다른 이미지를 기반으로 한 광범위한 지식을 사용하더라도 애플리케이션이 완전히 새로운 결과 이미지를 생성하기 때문에 후자는 여전히 독창적인 것으로 간주된다는 점도 주목할 가치가 있습니다.

NVIDIA의 새로운 스마트 그래픽 편집기는 단지 자연 장면이나 풍경에만 국한되지 않습니다. 앱은 건물, 도로, 심지어 사람까지 추가할 수 있습니다. GauGAN을 사용하면 사용자가 필터를 적용하여 원하는 스타일에 맞게 결과를 스타일링할 수도 있습니다. 이러한 필터는 특히 특정 아티스트(예: Van Gon)의 스타일을 모방하거나 장면의 조명을 조정하여 이미지를 낮에서 밤으로 변경할 수 있습니다.

GauGAN이 일상적인 소비자 사용을 위해 출시될지는 불분명하지만, 조만간 일반 사용자가 아키텍처, 일러스트레이션에서 게임 개발에 이르기까지 다양한 영역에서 작업을 단순화하는 이와 같은 매우 유용한 도구를 얻게 될 것이라고 생각합니다.

그러나 관심 있는 사람들은 NVIDIA AI Playground 리소스에서 일부 머신 러닝 기능을 익힐 수 있습니다. 예를 들어, 그곳에 있는 예술적 스타일 전송 시연에서는 유명한 예술가의 스타일로 사진을 처리할 수 있습니다.

NVIDIA의 다른 유사한 실험에는 AI 생성 시각 효과를 기존 래스터화 파이프라인과 결합하는 방법을 보여주는 연구가 포함됩니다. 그 결과 게임, 영화, 가상 현실에 사용할 수 있는 하이브리드 그래픽 시스템이 탄생했습니다. 또 다른 유사한 예는 보다 효율적인 자동 조종 훈련을 위해 회사 전문가가 개발한 눈 덮인 거리를 여름 거리로 바꾸는 알고리즘입니다.

출처 : 3dnews.ru