Stable Diffusion 2.0 이미지 합성 시스템 도입

Stability AI는 제안된 패턴 또는 자연어 텍스트 설명을 기반으로 이미지를 합성하고 수정할 수 있는 Stable Diffusion 기계 학습 시스템의 두 번째 버전을 게시했습니다. 신경망 훈련 및 이미지 생성을 위한 도구 코드는 PyTorch 프레임워크를 사용하여 Python으로 작성되고 MIT 라이선스로 게시됩니다. 이미 학습된 모델은 Creative ML OpenRAIL-M 허용 라이선스에 따라 공개되며 상업적 사용이 가능합니다. 또한 데모 온라인 이미지 생성기를 사용할 수 있습니다.

Stable Diffusion 새 버전의 주요 개선 사항:

• 2.0×768 해상도의 이미지 생성을 지원하는 텍스트 설명 기반 이미지 합성을 위한 새로운 모델인 SD768-v가 생성되었습니다. 새 모델은 텍스트 설명이 있는 5억 5.85천만 개의 이미지로 구성된 LAION-1.5B 컬렉션을 사용하여 훈련되었습니다. 이 모델은 Stable Diffusion XNUMX 모델과 동일한 매개변수 세트를 사용하지만 근본적으로 다른 OpenCLIP-ViT/H 인코더를 사용하도록 전환하여 결과 이미지의 품질을 크게 향상시킬 수 있다는 점이 다릅니다.
• 단순화된 SD2.0 기반 버전이 준비되었으며, 고전적인 노이즈 예측 모델을 사용하고 256×256 해상도의 이미지 생성을 지원하는 512×512 이미지에 대해 훈련되었습니다.
• 공간 스케일링 및 세부 사항 재구성을 위한 알고리즘을 사용하여 품질을 저하시키지 않으면서 원본 이미지의 해상도를 높이기 위해 슈퍼샘플링(초해상도) 기술을 사용할 가능성이 제공됩니다. 제공되는 이미지 처리 모델(SD20-upscaler)은 2048배 업스케일링을 지원하여 2048×XNUMX 해상도의 이미지를 생성할 수 있습니다.
• 개체의 깊이와 공간적 배열을 고려한 SD2.0-depth2img 모델이 제안됩니다. MiDaS 시스템은 단안 깊이 추정에 사용됩니다. 이 모델을 사용하면 다른 이미지를 템플릿으로 사용하여 새 이미지를 합성할 수 있습니다. 이 이미지는 원본과 근본적으로 다를 수 있지만 전체 구성과 깊이는 유지됩니다. 예를 들어, 사진에 있는 사람의 포즈를 사용하여 같은 포즈의 다른 캐릭터를 형성할 수 있습니다.
• 이미지 수정을 위한 모델이 업데이트되었습니다 - SD 2.0-인페인팅으로 텍스트 프롬프트를 사용하여 이미지의 일부를 교체하고 변경할 수 있습니다.
• 모델은 하나의 GPU가 있는 기존 시스템에서 사용하도록 최적화되었습니다.

출처 : opennet.ru