მანქანური სწავლების სისტემები გამოსახულების სინთეზისთვის და ხმაურის შემცირებისთვის ღამის ფოტოებში

Stability AI-მ გამოაქვეყნა მზა მოდელები Stable Diffusion მანქანათმცოდნეობის სისტემისთვის, რომელსაც შეუძლია ბუნებრივ ენაზე ტექსტის აღწერილობის საფუძველზე სურათების სინთეზირება და შეცვლა. მოდელები ლიცენზირებულია ნებადართული Creative ML OpenRAIL-M ლიცენზიით კომერციული გამოყენებისთვის. სისტემის მომზადებისთვის გამოყენებული იქნა 4000 NVIDIA A100 Ezra-1 GPU-ს კლასტერი და LAION-5B კოლექცია, მათ შორის 5.85 მილიარდი სურათი ტექსტური აღწერილობით. ადრე, ინსტრუმენტების კოდი ნერვული ქსელის მომზადებისა და გამოსახულების გენერირებისთვის იყო ღია წყარო MIT ლიცენზიით.

მზა მოდელის ხელმისაწვდომობამ და საკმაოდ მოკრძალებულმა სისტემურმა მოთხოვნებმა, რაც საშუალებას იძლევა კომპიუტერზე ექსპერიმენტების დაწყება სტანდარტული GPU-ებით, გამოიწვია მრავალი დაკავშირებული პროექტის გაჩენა:

• ტექსტური ინვერსია (კოდი) - დანამატი, რომელიც საშუალებას გაძლევთ სინთეზიროთ სურათები მოცემული სიმბოლოთი, ობიექტით ან სტილით. ორიგინალურ სტაბილურ დიფუზიაში, სინთეზირებულ სურათებში ობიექტები შემთხვევითი და უკონტროლოა. შემოთავაზებული დანამატი საშუალებას გაძლევთ დაამატოთ თქვენი საკუთარი ვიზუალური ობიექტები, დააკავშიროთ ისინი საკვანძო სიტყვებთან და გამოიყენოთ ისინი სინთეზში.

  მაგალითად, ჩვეულებრივ სტაბილურ დიფუზიაში შეგიძლიათ სთხოვოთ სისტემას შექმნას გამოსახულება „კატა ნავში“. გარდა ამისა, შეგიძლიათ დააზუსტოთ კატისა და ნავის მახასიათებლები, მაგრამ არაპროგნოზირებადია, რომელი კატა და ნავი იქნება სინთეზირებული. ტექსტური ინვერსია საშუალებას გაძლევთ ავარჯიშოთ სისტემა თქვენი კატის ან ნავის სურათზე და მოახდინოთ გამოსახულების სინთეზირება კონკრეტულ კატასთან ან ნავთან. ანალოგიურად, მას ასევე შეუძლია შეცვალოს გამოსახულების ელემენტები გარკვეული ობიექტებით, შექმნას ვიზუალური სტილის მაგალითი სინთეზისთვის და დააკონკრეტოს კონცეფციები (მაგალითად, ექიმების მთელი მრავალფეროვნებიდან, შეგიძლიათ გამოიყენოთ უფრო ზუსტი და მაღალი ხარისხის შერჩევა სასურველ სტილში).

  

• stable-diffusion-animation - ანიმაციური (მოძრავი) სურათების შექმნა, რომელიც დაფუძნებულია სტაბილურ დიფუზიაში წარმოქმნილ სურათებს შორის ინტერპოლაციის საფუძველზე.
• stable_diffusion.openvino (კოდი) - Stable Diffusion-ის პორტი, რომელიც იყენებს მხოლოდ CPU-ს გამოთვლებისთვის, რაც იძლევა ექსპერიმენტების საშუალებას სისტემებზე ძლიერი GPU-ების გარეშე. საჭიროებს პროცესორს, რომელიც მხარდაჭერილია OpenVINO ბიბლიოთეკაში. ოფიციალურად, OpenVINO უზრუნველყოფს ინტელის პროცესორების დანამატებს AVX2, AVX-512, AVX512_BF16 და SSE გაფართოებებით, ასევე Raspberry Pi 4 Model B, Apple Mac mini და NVIDIA Jetson Nano დაფებისთვის. არაოფიციალურად, შესაძლებელია OpenVINO-ს გამოყენება AMD Ryzen პროცესორებზე.
• sdamd არის პორტი AMD GPU-სთვის.
• ვიდეო სინთეზის საწყისი განხორციელება.
• stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - გრაფიკული ინტერფეისები სურათების გენერირებისთვის Stable Diffusion-ის გამოყენებით.
• beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - ვებ ინტერფეისები გამოსახულების სინთეზისთვის სტაბილური დიფუზიის გამოყენებით.
• Plugins სტაბილური დიფუზიის ინტეგრირებისთვის GIMP, Figma, Blender და Photoshop-თან.

გარდა ამისა, ჩვენ შეგვიძლია აღვნიშნოთ Google-ის მიერ RawNeRF (RAW Neural Radiance Fields) მანქანური სწავლების სისტემის კოდის გამოქვეყნება, რომელიც საშუალებას იძლევა, რამდენიმე RAW სურათის მონაცემებზე დაყრდნობით, გააუმჯობესოს სიბნელეში და სიბნელეში გადაღებული მაღალი ხმაურიანი სურათების ხარისხი. ცუდი განათება. ხმაურის აღმოფხვრის გარდა, პროექტის მიერ შემუშავებული ინსტრუმენტები შესაძლებელს ხდის დეტალების გაზრდას, მბზინავობის აღმოფხვრას, HDR-ის სინთეზს და ფოტოებში მთლიანი განათების შეცვლას, აგრეთვე ობიექტების სამგანზომილებიანი პოზიციის ხელახლა შექმნას რამდენიმე ფოტოს გამოყენებით სხვადასხვა კუთხიდან. ხედვის გადატანა, ფოკუსის მანიპულირება და მოძრავი სურათების გენერირება.

წყარო: opennet.ru