NVIDIA는 스케치에서 풍경을 합성하는 기계 학습 시스템용 코드를 공개합니다.

엔비디아 컴퍼니 опубликовала 머신러닝 시스템 소스 코드 스페이드 (GauGAN), 대략적인 스케치와 프로젝트와 관련된 스케치를 기반으로 현실적인 풍경을 합성할 수 있습니다. 훈련된 모델. 시스템은 시연 지난 2019월 GTC XNUMX 컨퍼런스에서 코드가 어제 공개됐는데요. 개발 열다 독점 라이센스에 따라 CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), 비상업적 사용만 허용됩니다. 코드는 프레임워크를 사용하여 Python으로 작성되었습니다. 파이 토치.

스케치는 장면에서 대략적인 물체의 위치를 ​​결정하는 분할된 지도 형태로 작성됩니다. 생성된 객체의 성격은 색상 표시를 사용하여 지정됩니다. 예를 들어, 파란색 채우기는 하늘로, 파란색은 물로, 짙은 녹색은 나무로, 밝은 녹색은 풀로, 밝은 갈색은 바위로, 짙은 갈색은 산으로, 회색은 눈으로, 갈색 선은 도로로, 파란색 채우기는 파란색으로 변합니다. 강으로 가는 줄 또한 선택한 참조 이미지에 따라 전체적인 구성 스타일과 시간대가 결정됩니다. 가상 세계를 만들기 위해 제안된 도구는 건축가, 도시 계획자부터 게임 개발자, 조경 디자이너에 이르기까지 광범위한 전문가에게 유용할 수 있습니다.

객체는 생성적 적대 신경망에 의해 합성됩니다(GAN)는 수백만 장의 사진을 대상으로 사전 훈련된 모델의 세부 정보를 빌려 도식적으로 분할된 지도를 기반으로 사실적인 이미지를 생성합니다. 기존에 개발된 영상 합성 시스템과 달리 제안하는 방법은 적응형 공간 변환을 사용하고 기계 학습을 기반으로 변환하는 방식을 기반으로 합니다. 의미적 마크업 대신 분할된 지도를 처리하면 정확한 일치 결과를 얻고 스타일을 제어할 수 있습니다.

현실성을 달성하기 위해 생성자와 판별자라는 두 개의 신경망이 서로 경쟁합니다. 생성기는 실제 사진의 혼합 요소를 기반으로 이미지를 생성하고, 판별기는 실제 이미지와 편차가 있을 수 있는지 식별합니다. 결과적으로 피드백이 형성되며, 이를 기반으로 생성자는 판별자가 실제 샘플과 구별을 중단할 때까지 점점 더 나은 샘플을 구성하기 시작합니다.

출처 : opennet.ru