స్టెబిలిటీ AI చిత్రాల నుండి చిన్న వీడియోలను రూపొందించగల స్టేబుల్ వీడియో డిఫ్యూజన్ అనే మెషీన్ లెర్నింగ్ మోడల్ను ప్రచురించింది. మోడల్ స్టేబుల్ డిఫ్యూజన్ ప్రాజెక్ట్ యొక్క సామర్థ్యాలను విస్తరిస్తుంది, గతంలో స్టాటిక్ ఇమేజ్ల సంశ్లేషణకు పరిమితం చేయబడింది. న్యూరల్ నెట్వర్క్ శిక్షణ మరియు ఇమేజ్ జనరేషన్ టూల్స్ కోసం కోడ్ పైటోర్చ్ ఫ్రేమ్వర్క్ని ఉపయోగించి పైథాన్లో వ్రాయబడింది మరియు MIT లైసెన్స్ క్రింద ప్రచురించబడింది. ఇప్పటికే శిక్షణ పొందిన మోడల్లు అనుమతి పొందిన క్రియేటివ్ ML OpenRAIL-M లైసెన్స్ క్రింద తెరవబడి ఉన్నాయి, ఇది వాణిజ్యపరమైన ఉపయోగం కోసం అనుమతిస్తుంది.
డౌన్లోడ్ కోసం రెండు మోడల్ ఎంపికలు అందుబాటులో ఉన్నాయి: ఇచ్చిన స్టాటిక్ ఇమేజ్ ఆధారంగా 14x576 రిజల్యూషన్తో 1024 ఫ్రేమ్లను రూపొందించడానికి SVD (స్టేబుల్ వీడియో డిఫ్యూజన్) మరియు 25 ఫ్రేమ్లను రూపొందించడానికి SVD-XT. కదలిక లేకుండా లేదా చాలా నెమ్మదిగా కెమెరా భ్రమణంతో వీడియోను రూపొందించడం సాధ్యమవుతుంది, ఇది 4 సెకన్ల కంటే ఎక్కువ ఉండదు. సహజ భాష టెక్స్ట్ వివరణ ఆధారంగా డైరెక్ట్ మోడల్ నియంత్రణకు ఇంకా మద్దతు లేదు, కానీ మీరు మొదట పాత స్థిరమైన వ్యాప్తి 2.1 మోడల్ని ఉపయోగించి అసలు చిత్రాన్ని సిద్ధం చేసి, ఆపై SVD మోడల్ని ఉపయోగించి వీడియోగా మార్చవచ్చు.
వీడియో నాణ్యత ఇంకా ఆదర్శవంతమైన ఫోటోరియలిజాన్ని అందించలేదు మరియు ముఖాలు మరియు వ్యక్తుల యొక్క సరైన రెండరింగ్కు హామీ ఇవ్వబడింది. పనితీరు పరంగా, ప్రతిపాదిత ఓపెన్ మోడల్ రన్వే మరియు పికా ల్యాబ్ల నుండి యాజమాన్య అనలాగ్ల కంటే ముందుంది. వివిధ సమస్యలను పరిష్కరించడానికి మోడల్ సులభంగా స్వీకరించబడుతుంది, ఉదాహరణకు, ఇది త్రిమితీయ బొమ్మలను రూపొందించడానికి ఉపయోగించవచ్చు.
అదనంగా, మేము వీడియో-LLaVA మెషీన్ లెర్నింగ్ టూల్కిట్ యొక్క ప్రచురణను గమనించవచ్చు, ఇది శిక్షణ సమయంలో వస్తువుల యొక్క ఏకకాల ఛాయాచిత్రాలు మరియు వీడియో రికార్డింగ్ల ఉపయోగం ఆధారంగా ఏర్పడిన వస్తువు యొక్క ఏకీకృత దృశ్యమాన ప్రాతినిధ్యాన్ని సృష్టించడానికి మిమ్మల్ని అనుమతిస్తుంది. ఉదాహరణకు, ఇమేజ్లు మరియు వీడియోలలో ఒకే వస్తువుల ఉనికిని గుర్తించడానికి సిస్టమ్ను ఉపయోగించవచ్చు. కోడ్ పైథాన్లో వ్రాయబడింది మరియు Apache 2.0 లైసెన్స్ క్రింద పంపిణీ చేయబడింది.
మూలం: opennet.ru
