Stabilitéit AI huet fäerdege Modeller fir de Stable Diffusion Maschinn Léiersystem verëffentlecht, fäeg Biller ze synthetiséieren an z'änneren op Basis vun enger Textbeschreiwung an der natierlecher Sprooch. Modeller sinn ënner enger permissive Creative ML OpenRAIL-M Lizenz fir kommerziell Notzung lizenzéiert. Fir de System ze trainéieren, gouf e Cluster vu 4000 NVIDIA A100 Ezra-1 GPUs an eng LAION-5B Sammlung, dorënner 5.85 Milliarde Biller mat Textbeschreiwungen, benotzt. Virdrun war de Code fir Tools fir en neuralt Netzwierk ze trainéieren a Biller ze generéieren war Open-Source ënner der MIT Lizenz.
D'Disponibilitéit vun engem fäerdege Modell an zimmlech bescheiden System Ufuerderungen, déi et erlaben Experimenter op engem PC mat Standard GPUs unzefänken hunn zu der Entstoe vun enger Rei vu verwandte Projete gefouert:
- textual-inversion (Code) - en Add-on deen Iech erlaabt Biller mat engem bestëmmte Charakter, Objet oder Stil ze synthetiséieren. An der ursprénglecher Stable Diffusion sinn d'Objeten an de synthetiséierte Biller zoufälleg an onkontrolléierbar. De proposéierten Add-on erlaabt Iech Är eege visuell Objekter derbäi ze ginn, se un Schlësselwieder ze binden an se an der Synthese ze benotzen.
Zum Beispill, a regelméisseg Stable Diffusion kënnt Dir de System froen fir e Bild mat enger "Kat an engem Boot" ze generéieren. Zousätzlech kënnt Dir d'Charakteristike vun der Kaz an dem Boot klären, awer et ass onberechenbar wéi eng Kaz a Boot synthetiséiert ginn. Textuell Inversioun erlaabt Iech de System op e Bild vun Ärer Kaz oder Boot ze trainéieren an d'Bild mat enger spezifescher Kaz oder Boot ze synthetiséieren. Op eng ähnlech Manéier kann et och Bildelementer mat bestëmmten Objeten ersetzen, e Beispill vun engem visuellen Stil fir d'Synthese setzen, a Konzepter spezifizéieren (zum Beispill aus der ganzer Varietéit vun Dokteren kënnt Dir eng méi genee a qualitativ héichwäerteg Auswiel benotzen am gewënschten Stil).
- stable-diffusion-animation - Kreatioun vun animéierten (bewegt) Biller baséiert op Interpolatioun tëscht Biller generéiert an Stable Diffusion.
- stable_diffusion.openvino (Code) - engem Hafen vun stabil Diffusioun, déi benotzt nëmmen d'CPU fir Berechnungen, déi Experimenter op Systemer ouni mächteg GPUs erlaabt. Verlaangt e Prozessor an der OpenVINO Bibliothéik ënnerstëtzt. Offiziell bitt OpenVINO Plugins fir Intel Prozessoren mat AVX2, AVX-512, AVX512_BF16 an SSE Extensiounen, souwéi fir Raspberry Pi 4 Model B, Apple Mac mini an NVIDIA Jetson Nano Boards. Inoffiziell ass et méiglech OpenVINO op AMD Ryzen Prozessoren ze benotzen.
- sdamd ass e Port fir AMD GPUs.
- Eng initial Implementatioun vu Videosynthese.
- stabil-Diffusion-gui, stabil-Diffusion-ui, Artbreeder Collage, diffuse-de-Rescht - grafesch Schnëttplazen fir Biller mat Stable Diffusion ze generéieren.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - Webinterfaces fir Bildsynthese mat Stable Diffusion.
- Plugins fir Stable Diffusion mat GIMP, Figma, Blender a Photoshop z'integréieren.
Zousätzlech kënne mir d'Publikatioun vu Google vum Code vum RawNeRF (RAW Neural Radiance Fields) Maschinnléieresystem notéieren, wat et erlaabt, baséiert op Daten aus verschiddene RAW Biller, d'Qualitéit vun héich lauter Biller ze verbesseren, déi am Däischteren an am schlecht Beliichtung. Zousätzlech fir de Geräischer ze eliminéieren, maachen d'Tools, déi vum Projet entwéckelt goufen, et méiglech Detailer ze vergréisseren, Glanz ze eliminéieren, HDR ze synthetiséieren an d'Gesamtbeliichtung an de Fotoen z'änneren, souwéi d'dreidimensional Positioun vun Objeten mat verschiddene Fotoen aus verschiddene Winkelen nei ze kreéieren, verännert de Standpunkt, manipuléiert de Fokus a generéiert bewegt Biller.
Source: opennet.ru