රාත්‍රී ඡායාරූපවල රූප සංස්ලේෂණය සහ ශබ්දය අඩු කිරීම සඳහා යන්ත්‍ර ඉගෙනුම් පද්ධති

Stability AI විසින් ස්වභාවික භාෂා පෙළ විස්තර මත පදනම්ව රූප සංස්ලේෂණය කර වෙනස් කළ හැකි එහි Stable Diffusion යන්ත්‍ර ඉගෙනුම් පද්ධතිය සඳහා සූදානම් කළ ආකෘති ප්‍රකාශයට පත් කර ඇත. මෙම ආකෘති Creative ML OpenRAIL-M අවසර බලපත්‍රය යටතේ විවෘත මූලාශ්‍ර කර ඇති අතර, වාණිජමය භාවිතයට ඉඩ සලසයි. NVIDIA A100 Ezra-1 GPU 4000 ක පොකුරක් සහ පෙළ විස්තර සහිත රූප බිලියන 5.85 ක් අඩංගු LAION-5B දත්ත කට්ටලය භාවිතයෙන් පද්ධතිය පුහුණු කරන ලදී. ස්නායු ජාලය පුහුණු කිරීම සහ රූප ජනනය කිරීම සඳහා වූ මෙවලම් මීට පෙර MIT බලපත්‍රයක් යටතේ විවෘත මූලාශ්‍ර කර ඇත.

සම්මත GPU සහිත පරිගණකයක අත්හදා බැලීම් කිරීමට ඉඩ සලසන, සූදානම් කළ ආකෘතියක් සහ සාපේක්ෂව මධ්‍යස්ථ පද්ධති අවශ්‍යතා තිබීම, අදාළ ව්‍යාපෘති ගණනාවක් මතුවීමට හේතු වී තිබේ:

• පෙළ-ප්‍රතිලෝම (කේතය) යනු ලබා දී ඇති චරිතයක්, වස්තුවක් හෝ ශෛලියක් සමඟ රූප සංස්ලේෂණය කිරීමට ඔබට ඉඩ සලසන ඇඩෝනයකි. මුල් ස්ථායී විසරණයේදී, සංස්ලේෂණය කරන ලද රූපවල ඇති වස්තූන් අහඹු සහ පාලනයකින් තොරව වේ. මෙම ඇඩෝනය ඔබට ඔබේම දෘශ්‍ය වස්තු එකතු කිරීමට, ඒවා මූල පදවලට සම්බන්ධ කිරීමට සහ සංස්ලේෂණයේදී ඒවා භාවිතා කිරීමට ඉඩ සලසයි.

  උදාහරණයක් ලෙස, සම්මත ස්ථායී විසරණයේදී, ඔබට පද්ධතියෙන් "බෝට්ටුවක බළලෙකුගේ" රූපයක් ජනනය කරන ලෙස ඉල්ලා සිටිය හැක. ඔබට බළලාගේ සහ බෝට්ටුවේ ලක්ෂණ තවදුරටත් සඳහන් කළ හැකිය, නමුත් සංස්ලේෂණය කරනු ලබන නිශ්චිත බළලා සහ බෝට්ටුව අනපේක්ෂිත ය. පෙළ ප්‍රතිලෝමය මඟින් ඔබේම බළලාගේ හෝ බෝට්ටුවේ රූපයක් මත පද්ධතිය පුහුණු කිරීමට සහ පසුව නිශ්චිත බළලාගේ හෝ බෝට්ටුවේ රූපයක් සංස්ලේෂණය කිරීමට ඔබට ඉඩ සලසයි. ඒ හා සමානව, එයට රූප මූලද්‍රව්‍ය නිශ්චිත වස්තූන් සමඟ ප්‍රතිස්ථාපනය කිරීමට, සංස්ලේෂණය සඳහා දෘශ්‍ය ශෛලියක උදාහරණයක් නියම කිරීමට සහ සංකල්ප පිරිපහදු කිරීමට හැකිය (නිදසුනක් ලෙස, විවිධ වෛද්‍යවරුන්ගෙන්, ඔබට අවශ්‍ය ශෛලියෙන් වඩාත් නිවැරදි සහ උසස් තත්ත්වයේ සාම්පලයක් තෝරා ගත හැකිය).

  
• ස්ථායී-විසරණ-සජීවිකරණය — ස්ථායී විසරණයෙන් ජනනය වන රූප අතර අන්තර් පොලනය මත පදනම්ව සජීවිකරණ (චලනය වන) රූප නිර්මාණය කිරීම.
• stable_diffusion.openvino (කේතය) යනු ස්ථායී විසරණයේ තොටක් වන අතර එය ගණනය කිරීම සඳහා CPU පමණක් භාවිතා කරයි, බලවත් GPU නොමැති පද්ධතිවල අත්හදා බැලීම් සඳහා ඉඩ සලසයි. OpenVINO පුස්තකාලයෙන් සහාය දක්වන සකසනයක් අවශ්‍ය වේ. නිල වශයෙන්, OpenVINO විසින් AVX2, AVX-512, AVX512_BF16, සහ SSE දිගු සමඟ Intel සකසනයන් සඳහා ප්ලගීන මෙන්ම Raspberry Pi 4 Model B, Apple Mac mini සහ NVIDIA Jetson Nano පුවරු සඳහා ප්ලගීන සපයයි. නිල නොවන ලෙස, OpenVINO AMD Ryzen සකසනයන් මතද භාවිතා කළ හැක.
• sdamd යනු AMD GPU සඳහා වන port එකකි.
• වීඩියෝ සංස්ලේෂණයේ මූලික ක්‍රියාත්මක කිරීම.
• stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest — Stable Diffusion භාවිතයෙන් රූප ජනනය කිරීම සඳහා චිත්‍රක අතුරුමුහුණත්.
• beta.dreamstudio.ai, Hugging Face Spaces, hlky ස්ථාවර විසරණය WebUI — ස්ථාවර විසරණය භාවිතයෙන් රූප සංස්ලේෂණය සඳහා වෙබ් අතුරුමුහුණත්.
• GIMP, Figma, Blender සහ Photoshop සමඟ ස්ථායී විසරණය ඒකාබද්ධ කිරීම සඳහා ප්ලගීන.

මීට අමතරව, ගූගල් එහි RawNeRF (RAW Neural Radiance Fields) යන්ත්‍ර ඉගෙනුම් පද්ධතිය සඳහා කේතය ප්‍රකාශයට පත් කර ඇති අතර, එය අඳුරු සහ අඩු ආලෝක තත්ත්වයන් යටතේ ගන්නා ලද අධික ඝෝෂාකාරී ඡායාරූපවල ගුණාත්මකභාවය වැඩි දියුණු කිරීම සඳහා බහු RAW රූප වලින් දත්ත භාවිතා කරයි. ශබ්දය අඩු කිරීමට අමතරව, ව්‍යාපෘතියේ මෙවලම් මඟින් පරිශීලකයින්ට විස්තර වැඩි දියුණු කිරීමට, දිලිසීම ඉවත් කිරීමට, HDR සංස්ලේෂණය කිරීමට සහ ඡායාරූපවල සමස්ත ආලෝකය වෙනස් කිරීමට හැකියාව ලැබේ. වස්තූන්ගේ ත්‍රිමාණ පිහිටීම ප්‍රතිනිර්මාණය කිරීමට, දෘෂ්ටිකෝණය මාරු කිරීමට, අවධානය හැසිරවීමට සහ චලනය වන රූප ජනනය කිරීමට ඔවුන්ට විවිධ කෝණවලින් බහු ඡායාරූප භාවිතා කළ හැකිය.

මූලාශ්රය: opennet.ru