రాత్రి ఫోటోలలో ఇమేజ్ సింథసిస్ మరియు నాయిస్ తగ్గింపు కోసం మెషిన్ లెర్నింగ్ సిస్టమ్స్

స్టెబిలిటీ AI స్థిరమైన డిఫ్యూజన్ మెషిన్ లెర్నింగ్ సిస్టమ్ కోసం రెడీమేడ్ మోడల్‌లను ప్రచురించింది, సహజ భాషలో వచన వివరణ ఆధారంగా చిత్రాలను సంశ్లేషణ చేయడం మరియు సవరించడం. వాణిజ్య ఉపయోగం కోసం అనుమతించబడిన క్రియేటివ్ ML OpenRAIL-M లైసెన్స్ కింద మోడల్‌లు లైసెన్స్ పొందాయి. సిస్టమ్‌కు శిక్షణ ఇవ్వడానికి, 4000 NVIDIA A100 Ezra-1 GPUల క్లస్టర్ మరియు టెక్స్ట్ వివరణలతో కూడిన 5 బిలియన్ చిత్రాలతో సహా LAION-5.85B సేకరణ ఉపయోగించబడింది. మునుపు, న్యూరల్ నెట్‌వర్క్‌కు శిక్షణ ఇవ్వడానికి మరియు చిత్రాలను రూపొందించడానికి సాధనాల కోడ్ MIT లైసెన్స్ క్రింద ఓపెన్ సోర్స్ చేయబడింది.

ఒక రెడీమేడ్ మోడల్ లభ్యత మరియు ప్రామాణిక GPUలతో PCలో ప్రయోగాలను ప్రారంభించడానికి అనుమతించే చాలా నిరాడంబరమైన సిస్టమ్ అవసరాలు అనేక సంబంధిత ప్రాజెక్ట్‌ల ఆవిర్భావానికి దారితీశాయి:

• వచన-విలోమం (కోడ్) - ఇచ్చిన అక్షరం, వస్తువు లేదా శైలితో చిత్రాలను సంశ్లేషణ చేయడానికి మిమ్మల్ని అనుమతించే యాడ్-ఆన్. అసలు స్థిరమైన వ్యాప్తిలో, సంశ్లేషణ చేయబడిన చిత్రాలలోని వస్తువులు యాదృచ్ఛికంగా మరియు నియంత్రించలేనివిగా ఉంటాయి. ప్రతిపాదిత యాడ్-ఆన్ మీ స్వంత విజువల్ ఆబ్జెక్ట్‌లను జోడించడానికి, వాటిని కీలకపదాలకు బంధించడానికి మరియు వాటిని సంశ్లేషణలో ఉపయోగించడానికి మిమ్మల్ని అనుమతిస్తుంది.

  ఉదాహరణకు, రెగ్యులర్ స్టేబుల్ డిఫ్యూజన్‌లో మీరు "బోట్‌లో పిల్లి"తో చిత్రాన్ని రూపొందించమని సిస్టమ్‌ని అడగవచ్చు. అదనంగా, మీరు పిల్లి మరియు పడవ యొక్క లక్షణాలను స్పష్టం చేయవచ్చు, కానీ ఏ పిల్లి మరియు పడవ సంశ్లేషణ చేయబడుతుందో ఊహించలేము. మీ పిల్లి లేదా పడవ యొక్క చిత్రంపై సిస్టమ్‌కు శిక్షణ ఇవ్వడానికి మరియు నిర్దిష్ట పిల్లి లేదా పడవతో చిత్రాన్ని సంశ్లేషణ చేయడానికి టెక్స్ట్యువల్-ఇన్వర్షన్ మిమ్మల్ని అనుమతిస్తుంది. అదే విధంగా, ఇది నిర్దిష్ట వస్తువులతో ఇమేజ్ ఎలిమెంట్‌లను భర్తీ చేయవచ్చు, సంశ్లేషణ కోసం దృశ్యమాన శైలికి ఉదాహరణగా సెట్ చేయవచ్చు మరియు భావనలను పేర్కొనవచ్చు (ఉదాహరణకు, మొత్తం రకాల వైద్యుల నుండి, మీరు మరింత ఖచ్చితమైన మరియు అధిక-నాణ్యత ఎంపికను ఉపయోగించవచ్చు. కావలసిన శైలిలో).

  

• స్థిర-వ్యాప్తి-యానిమేషన్ - స్థిరమైన వ్యాప్తిలో రూపొందించబడిన చిత్రాల మధ్య ఇంటర్‌పోలేషన్ ఆధారంగా యానిమేటెడ్ (కదిలే) చిత్రాల సృష్టి.
• stable_diffusion.openvino (కోడ్) - గణనల కోసం CPUని మాత్రమే ఉపయోగించే స్థిరమైన విస్తరణ యొక్క పోర్ట్, ఇది శక్తివంతమైన GPUలు లేని సిస్టమ్‌లపై ప్రయోగాన్ని అనుమతిస్తుంది. OpenVINO లైబ్రరీలో మద్దతు ఉన్న ప్రాసెసర్ అవసరం. అధికారికంగా, OpenVINO AVX2, AVX-512, AVX512_BF16 మరియు SSE ఎక్స్‌టెన్షన్‌లతో ఇంటెల్ ప్రాసెసర్‌ల కోసం ప్లగిన్‌లను అందిస్తుంది, అలాగే రాస్ప్‌బెర్రీ పై 4 మోడల్ B, Apple Mac మినీ మరియు NVIDIA జెట్సన్ నానో బోర్డుల కోసం. అనధికారికంగా, AMD రైజెన్ ప్రాసెసర్‌లలో OpenVINOని ఉపయోగించడం సాధ్యమవుతుంది.
• sdamd అనేది AMD GPUల కోసం ఒక పోర్ట్.
• వీడియో సంశ్లేషణ యొక్క ప్రారంభ అమలు.
• stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - స్థిరమైన వ్యాప్తిని ఉపయోగించి చిత్రాలను రూపొందించడానికి గ్రాఫికల్ ఇంటర్‌ఫేస్‌లు.
• beta.dreamstudio.ai, హగ్గింగ్ ఫేస్ స్పేసెస్, hlky స్టేబుల్ డిఫ్యూజన్ WebUI - స్టేబుల్ డిఫ్యూజన్ ఉపయోగించి ఇమేజ్ సింథసిస్ కోసం వెబ్ ఇంటర్‌ఫేస్‌లు.
• GIMP, Figma, Blender మరియు Photoshopతో స్థిరమైన వ్యాప్తిని సమగ్రపరచడానికి ప్లగిన్లు.

అదనంగా, మేము Google ద్వారా RawNeRF (RAW న్యూరల్ రేడియన్స్ ఫీల్డ్స్) మెషిన్ లెర్నింగ్ సిస్టమ్ యొక్క కోడ్ యొక్క ప్రచురణను గమనించవచ్చు, ఇది అనేక RAW చిత్రాల నుండి డేటా ఆధారంగా, చీకటిలో మరియు లోపల తీసిన అత్యంత ధ్వనించే చిత్రాల నాణ్యతను మెరుగుపరచడానికి అనుమతిస్తుంది. పేద లైటింగ్. శబ్దాన్ని తొలగించడంతోపాటు, ప్రాజెక్ట్ ద్వారా అభివృద్ధి చేయబడిన సాధనాలు వివరాలను పెంచడం, కాంతిని తొలగించడం, HDRని సంశ్లేషణ చేయడం మరియు ఛాయాచిత్రాలలో మొత్తం లైటింగ్‌ను మార్చడం, అలాగే వివిధ కోణాల నుండి అనేక ఛాయాచిత్రాలను ఉపయోగించి వస్తువుల యొక్క త్రిమితీయ స్థానాన్ని పునఃసృష్టి చేయడం సాధ్యపడుతుంది. దృక్కోణాన్ని మార్చండి, దృష్టిని మార్చండి మరియు కదిలే చిత్రాలను రూపొందించండి.

మూలం: opennet.ru