야간 사진의 이미지 합성 및 노이즈 감소를 위한 머신러닝 시스템

Stability AI는 자연어로 된 텍스트 설명을 기반으로 이미지를 합성하고 수정할 수 있는 Stable Diffusion 기계 학습 시스템을 위한 기성 모델을 발표했습니다. 모델은 상업적 용도로 허용되는 Creative ML OpenRAIL-M 라이선스에 따라 라이선스가 부여됩니다. 시스템을 훈련시키기 위해 4000개의 NVIDIA A100 Ezra-1 GPU 클러스터와 텍스트 설명이 포함된 5억 5.85천만 개의 이미지를 포함한 LAION-XNUMXB 컬렉션이 사용되었습니다. 이전에는 신경망 훈련 및 이미지 생성 도구에 대한 코드가 MIT 라이선스에 따라 오픈 소스로 제공되었습니다.

기성 모델의 가용성과 표준 GPU가 있는 PC에서 실험을 시작할 수 있는 상당히 적당한 시스템 요구 사항으로 인해 여러 관련 프로젝트가 등장하게 되었습니다.

• 텍스트 반전(코드) - 주어진 문자, 개체 또는 스타일로 이미지를 합성할 수 있는 추가 기능입니다. 원본 Stable Diffusion에서는 합성된 이미지의 개체가 무작위이며 제어할 수 없습니다. 제안된 추가 기능을 사용하면 자신만의 시각적 개체를 추가하고 이를 키워드에 바인딩하고 합성에 사용할 수 있습니다.

  예를 들어 일반 Stable Diffusion에서는 "보트 안의 고양이"가 포함된 이미지를 생성하도록 시스템에 요청할 수 있습니다. 추가적으로 고양이와 배의 특징을 명확하게 밝힐 수는 있지만, 어떤 고양이와 배가 합성될지는 예측할 수 없습니다. 텍스트 반전을 사용하면 고양이나 보트 이미지로 시스템을 훈련하고 해당 이미지를 특정 고양이나 보트와 합성할 수 있습니다. 비슷한 방식으로 이미지 요소를 특정 개체로 대체하고, 합성을 위한 시각적 스타일의 예를 설정하고, 개념을 지정할 수도 있습니다(예: 다양한 의사 중에서 보다 정확하고 고품질의 선택을 사용할 수 있음) 원하는 스타일로).

  

• stable-diffusion-animation - Stable Diffusion에서 생성된 그림 간의 보간을 기반으로 애니메이션(움직이는) 이미지를 생성합니다.
• stable_diffusion.openvino(코드) - 계산에 CPU만 사용하는 Stable Diffusion의 포트로, 강력한 GPU가 없는 시스템에서 실험이 가능합니다. OpenVINO 라이브러리에서 지원되는 프로세서가 필요합니다. 공식적으로 OpenVINO는 AVX2, AVX-512, AVX512_BF16 및 SSE 확장 기능을 갖춘 Intel 프로세서는 물론 Raspberry Pi 4 Model B, Apple Mac mini 및 NVIDIA Jetson Nano 보드용 플러그인을 제공합니다. 비공식적으로 AMD Ryzen 프로세서에서 OpenVINO를 사용하는 것이 가능합니다.
• sdamd는 AMD GPU용 포트입니다.
• 비디오 합성의 초기 구현.
• stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - Stable Diffusion을 사용하여 이미지를 생성하기 위한 그래픽 인터페이스입니다.
• beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - Stable Diffusion을 사용한 이미지 합성을 위한 웹 인터페이스입니다.
• Stable Diffusion을 GIMP, Figma, Blender 및 Photoshop과 통합하기 위한 플러그인입니다.

또한 여러 RAW 이미지의 데이터를 기반으로 어둡고 어두운 곳에서 촬영한 노이즈가 심한 이미지의 품질을 향상시킬 수 있는 RawNeRF(RAW Neural Radiance Fields) 기계 학습 시스템 코드가 Google에 의해 공개된 것을 확인할 수 있습니다. 조명 불량. 노이즈 제거 외에도 프로젝트에서 개발된 도구를 사용하면 디테일을 높이고 눈부심을 제거하고 HDR을 합성하고 사진의 전체 조명을 변경할 수 있을 뿐만 아니라 다양한 각도에서 여러 장의 사진을 사용하여 물체의 XNUMX차원 위치를 재현할 수 있습니다. 관점을 전환하고, 초점을 조작하고, 동영상을 생성하세요.

출처 : opennet.ru