텍스트 설명 기반의 이미지 합성을 위한 머신러닝 시스템 구현

OpenAI가 제안한 머신러닝 시스템 DALL-E 2의 개방형 구현이 공개되어 자연어로 된 텍스트 설명을 기반으로 사실적인 이미지와 그림을 합성할 수 있을 뿐만 아니라 자연어로 명령을 적용하여 이미지를 편집할 수 있습니다. 예를 들어 이미지의 개체를 추가, 삭제 또는 이동합니다. OpenAI의 원래 DALL-E 2 모델은 게시되지 않았지만 방법을 자세히 설명하는 논문이 제공됩니다. 기존 설명을 기반으로 독립적인 연구자들은 Pytorch 프레임워크를 사용하여 Python으로 작성되고 MIT 라이선스에 따라 배포되는 대체 구현을 준비했습니다.

이전에 게시된 2세대 DALL-E 구현과 비교하여 새 버전은 이미지와 설명이 더 정확하게 일치하고 더욱 사실적이며 더 높은 해상도로 이미지를 생성할 수 있습니다. 시스템은 모델을 교육하는 데 많은 리소스가 필요합니다. 예를 들어 DALL-E 100의 원래 버전을 교육하려면 GPU에서 200~2시간의 컴퓨팅이 필요합니다. 4개의 NVIDIA Tesla V256 GPU를 사용하여 계산하는 데 약 100~XNUMX주가 소요됩니다.

같은 저자는 텍스트 설명에서 비디오를 합성하는 것을 목표로 하는 확장 버전인 DALLE2 Video도 개발하기 시작했습니다. 이와 별도로 러시아어 설명을 인식하도록 조정된 XNUMX세대 DALL-E의 공개 구현을 통해 Sberbank에서 개발한 ru-dalle 프로젝트에 주목할 수 있습니다.

출처 : opennet.ru