Stability AI heeft kant-en-klare modellen gepubliceerd voor het Stable Diffusion machine learning-systeem, dat afbeeldingen kan synthetiseren en aanpassen op basis van een tekstbeschrijving in natuurlijke taal. Modellen zijn gelicentieerd onder een toegestane Creative ML OpenRAIL-M-licentie voor commercieel gebruik. Om het systeem te trainen werd gebruik gemaakt van een cluster van 4000 NVIDIA A100 Ezra-1 GPU's en een LAION-5B-collectie, inclusief 5.85 miljard afbeeldingen met tekstbeschrijvingen. Voorheen was de code voor tools voor het trainen van een neuraal netwerk en het genereren van afbeeldingen open source onder de MIT-licentie.
De beschikbaarheid van een kant-en-klaar model en vrij bescheiden systeemvereisten waarmee je experimenten kunt starten op een pc met standaard GPU's hebben geleid tot de opkomst van een aantal gerelateerde projecten:
- textual-inversion (code) - een add-on waarmee u afbeeldingen met een bepaald karakter, object of stijl kunt synthetiseren. In de originele Stable Diffusion zijn de objecten in de gesynthetiseerde beelden willekeurig en oncontroleerbaar. Met de voorgestelde add-on kunt u uw eigen visuele objecten toevoegen, aan trefwoorden koppelen en in synthese gebruiken.
Bij reguliere Stable Diffusion kun je het systeem bijvoorbeeld vragen een beeld te genereren met een ‘kat in een boot’. Bovendien kun je de kenmerken van de kat en de boot verduidelijken, maar het is onvoorspelbaar welke kat en boot zullen worden gesynthetiseerd. Met tekstuele inversie kunt u het systeem trainen op een afbeelding van uw kat of boot en de afbeelding synthetiseren met een specifieke kat of boot. Op een vergelijkbare manier kan het ook beeldelementen vervangen door bepaalde objecten, een voorbeeld stellen van een visuele stijl voor synthese en concepten specificeren (van de hele verscheidenheid aan artsen kunt u bijvoorbeeld een nauwkeurigere en hoogwaardigere selectie gebruiken in de gewenste stijl).
- stable-diffusion-animation - creatie van geanimeerde (bewegende) beelden op basis van interpolatie tussen afbeeldingen gegenereerd in Stable Diffusion.
- stable_diffusion.openvino (code) - een port van Stable Diffusion, die alleen de CPU gebruikt voor berekeningen, waardoor experimenteren op systemen zonder krachtige GPU's mogelijk is. Vereist een processor die wordt ondersteund in de OpenVINO-bibliotheek. Officieel biedt OpenVINO plug-ins voor Intel-processors met AVX2, AVX-512, AVX512_BF16 en SSE-extensies, evenals voor Raspberry Pi 4 Model B, Apple Mac mini en NVIDIA Jetson Nano-kaarten. Officieus is het mogelijk om OpenVINO te gebruiken op AMD Ryzen-processors.
- sdamd is een poort voor AMD GPU's.
- Een eerste implementatie van videosynthese.
- stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - grafische interfaces voor het genereren van afbeeldingen met behulp van Stable Diffusion.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - webinterfaces voor beeldsynthese met behulp van Stable Diffusion.
- Plug-ins voor het integreren van Stable Diffusion met GIMP, Figma, Blender en Photoshop.
Daarnaast kunnen we noteren dat Google de code heeft gepubliceerd van het machine learning-systeem RawNeRF (RAW Neural Radiance Fields), waarmee, op basis van gegevens van verschillende RAW-beelden, de kwaliteit kan worden verbeterd van beelden met veel ruis die in het donker zijn gemaakt. slechte verlichting. Naast het elimineren van ruis maken de door het project ontwikkelde tools het mogelijk om details te vergroten, verblinding te elimineren, HDR te synthetiseren en de algehele verlichting in foto's te veranderen, en om de driedimensionale positie van objecten opnieuw te creëren met behulp van verschillende foto's vanuit verschillende hoeken. verschuif het gezichtspunt, manipuleer de focus en genereer bewegende beelden.
Bron: opennet.ru