Գիշերային լուսանկարներում պատկերների սինթեզի և աղմուկի նվազեցման մեքենայական ուսուցման համակարգեր

Stability AI-ն հրապարակել է Stable Diffusion մեքենայական ուսուցման համակարգի պատրաստի մոդելներ, որոնք կարող են սինթեզել և փոփոխել պատկերները բնական լեզվով տեքստային նկարագրության հիման վրա: Մոդելները լիցենզավորված են թույլատրելի Creative ML OpenRAIL-M լիցենզիայով առևտրային օգտագործման համար: Համակարգը վարժեցնելու համար օգտագործվել է 4000 NVIDIA A100 Ezra-1 GPU-ի կլաստեր և LAION-5B հավաքածու, ներառյալ 5.85 միլիարդ պատկեր՝ տեքստային նկարագրություններով: Նախկինում նեյրոնային ցանցի վերապատրաստման և պատկերներ ստեղծելու գործիքների կոդը բաց կոդով էր MIT լիցենզիայի ներքո:

Պատրաստի մոդելի առկայությունը և բավականին համեստ համակարգի պահանջները, որոնք թույլ են տալիս փորձարկումներ սկսել ԱՀ-ում ստանդարտ GPU-ներով, հանգեցրել են մի շարք հարակից նախագծերի առաջացմանը.

• textual-inversion (կոդ) - հավելում, որը թույլ է տալիս սինթեզել պատկերները տվյալ կերպարի, օբյեկտի կամ ոճի հետ: Բնօրինակ Stable Diffusion-ում սինթեզված պատկերների առարկաները պատահական են և անվերահսկելի: Առաջարկվող հավելումը թույլ է տալիս ավելացնել ձեր սեփական տեսողական օբյեկտները, դրանք կապել հիմնաբառերի հետ և օգտագործել դրանք սինթեզում:

  Օրինակ, սովորական Stable Diffusion-ում դուք կարող եք խնդրել համակարգին ստեղծել «կատվի նավակի մեջ» պատկեր: Բացի այդ, դուք կարող եք պարզաբանել կատվի և նավակի բնութագրերը, բայց անկանխատեսելի է, թե որ կատուն և նավը կսինթեզվեն: Տեքստային ինվերսիան թույլ է տալիս համակարգը վարժեցնել ձեր կատվի կամ նավակի պատկերով և սինթեզել պատկերը կոնկրետ կատվի կամ նավակի հետ: Նմանապես, այն կարող է նաև փոխարինել պատկերի տարրերը որոշակի առարկաներով, սինթեզի համար տեսողական ոճի օրինակ դնել և հասկացություններ սահմանել (օրինակ, բժիշկների ամբողջ բազմազանությունից կարող եք օգտագործել ավելի ճշգրիտ և որակյալ ընտրություն ցանկալի ոճով):

  

• stable-diffusion-animation - անիմացիոն (շարժվող) պատկերների ստեղծում՝ հիմնված Stable Diffusion-ում ստեղծված նկարների միջև ինտերպոլացիայի վրա:
• stable_diffusion.openvino (կոդ) - Stable Diffusion-ի մի նավահանգիստ, որն օգտագործում է միայն պրոցեսորը հաշվարկների համար, որը թույլ է տալիս փորձարկումներ կատարել հզոր GPU-ների համակարգերի վրա: Պահանջվում է OpenVINO գրադարանում աջակցվող պրոցեսոր: Պաշտոնապես OpenVINO-ն տրամադրում է պլագիններ Intel պրոցեսորների համար AVX2, AVX-512, AVX512_BF16 և SSE ընդլայնումներով, ինչպես նաև Raspberry Pi 4 Model B, Apple Mac mini և NVIDIA Jetson Nano տախտակների համար: Ոչ պաշտոնապես հնարավոր է OpenVINO-ն օգտագործել AMD Ryzen պրոցեսորների վրա։
• sdamd-ը պորտ է AMD GPU-ների համար:
• Տեսանյութերի սինթեզի նախնական իրականացում:
• stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - գրաֆիկական միջերեսներ Stable Diffusion-ի միջոցով պատկերներ ստեղծելու համար:
• beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - վեբ ինտերֆեյսներ պատկերների սինթեզի համար՝ օգտագործելով Stable Diffusion:
• Փլագիններ՝ Stable Diffusion-ը GIMP-ի, Figma-ի, Blender-ի և Photoshop-ի հետ ինտեգրելու համար:

Բացի այդ, մենք կարող ենք նշել Google-ի կողմից RawNeRF (RAW Neural Radiance Fields) մեքենայական ուսուցման համակարգի կոդի հրապարակումը, որը թույլ է տալիս, հիմնվելով մի քանի RAW պատկերների տվյալների վրա, բարելավել մթության և միջավայրում արված բարձր աղմկոտ պատկերների որակը: վատ լուսավորություն. Բացի աղմուկը վերացնելուց, նախագծի մշակած գործիքները հնարավորություն են տալիս մեծացնել դետալները, վերացնել փայլը, սինթեզել HDR և փոխել լուսանկարների ընդհանուր լուսավորությունը, ինչպես նաև վերստեղծել օբյեկտների եռաչափ դիրքը՝ օգտագործելով մի քանի լուսանկարներ տարբեր անկյուններից: փոխել տեսակետը, մանիպուլյացիայի ենթարկել ֆոկուսը և ստեղծել շարժվող նկարներ:

Source: opennet.ru