ប្រព័ន្ធ​សំយោគ​វីដេអូ Diffusion មាន​ស្ថេរភាព​ត្រូវបាន​ណែនាំ

Stability AI បានបោះពុម្ភគំរូម៉ាស៊ីនរៀនហៅថា Stable Video Diffusion ដែលអាចបង្កើតវីដេអូខ្លីៗពីរូបភាព។ គំរូពង្រីកសមត្ថភាពនៃគម្រោង Stable Diffusion ដែលពីមុនបានកំណត់ចំពោះការសំយោគរូបភាពឋិតិវន្ត។ កូដសម្រាប់ការបណ្តុះបណ្តាលបណ្តាញសរសៃប្រសាទ និងឧបករណ៍បង្កើតរូបភាពត្រូវបានសរសេរនៅក្នុង Python ដោយប្រើក្របខ័ណ្ឌ PyTorch និងបោះពុម្ពក្រោមអាជ្ញាប័ណ្ណ MIT ។ ម៉ូដែលដែលបានបណ្តុះបណ្តាលរួចហើយគឺបើកនៅក្រោមអាជ្ញាប័ណ្ណ Creative ML OpenRAIL-M ដែលមានការអនុញ្ញាត ដែលអនុញ្ញាតឱ្យប្រើប្រាស់ពាណិជ្ជកម្ម។

មានជម្រើសគំរូពីរដែលអាចទាញយកបាន៖ SVD (Stable Video Diffusion) សម្រាប់បង្កើតស៊ុមចំនួន 14 ជាមួយនឹងកម្រិតភាពច្បាស់ 576x1024 ដោយផ្អែកលើរូបភាពឋិតិវន្តដែលបានផ្តល់ឱ្យ និង SVD-XT សម្រាប់បង្កើត 25 ស៊ុម។ វាអាចធ្វើទៅបានដើម្បីបង្កើតវីដេអូដោយគ្មានចលនា ឬជាមួយនឹងការបង្វិលកាមេរ៉ាយឺតខ្លាំង ដោយមានរយៈពេលមិនលើសពី 4 វិនាទី។ ការគ្រប់គ្រងគំរូផ្ទាល់ដោយផ្អែកលើការពិពណ៌នាអត្ថបទភាសាធម្មជាតិមិនទាន់ត្រូវបានគាំទ្រនៅឡើយទេ ប៉ុន្តែដំបូងអ្នកអាចរៀបចំរូបភាពដើមដោយប្រើគំរូ Stable Diffusion 2.1 ចាស់ហើយបន្ទាប់មកបម្លែងវាទៅជាវីដេអូដោយប្រើគំរូ SVD ។

គុណភាព​វីដេអូ​មិន​ទាន់​ផ្តល់​នូវ​ភាព​ពិត​ប្រាកដ​នៃ​ការ​ថត​រូប​នៅ​ឡើយ​ទេ និង​ធានា​ការ​បង្ហាញ​មុខ និង​មនុស្ស​បាន​ត្រឹមត្រូវ។ នៅក្នុងលក្ខខណ្ឌនៃការអនុវត្ត គំរូបើកចំហដែលបានស្នើឡើងគឺនាំមុខ analogues ដែលមានកម្មសិទ្ធិពី Runway និង Pika Labs ។ គំរូអាចប្រែប្រួលបានយ៉ាងងាយស្រួលដើម្បីដោះស្រាយបញ្ហាផ្សេងៗ ឧទាហរណ៍វាអាចត្រូវបានប្រើដើម្បីបង្កើតជាតួលេខបីវិមាត្រ។

លើសពីនេះ យើងអាចកត់សម្គាល់ការបោះពុម្ភប្រអប់ឧបករណ៍រៀនម៉ាស៊ីន Video-LLaVA ដែលអនុញ្ញាតឱ្យអ្នកបង្កើតការតំណាងដែលមើលឃើញរួមនៃវត្ថុមួយ ដែលបង្កើតឡើងដោយផ្អែកលើការប្រើប្រាស់រូបថតក្នុងពេលដំណាលគ្នា និងការថតវីដេអូនៃវត្ថុក្នុងពេលហ្វឹកហាត់។ ជាឧទាហរណ៍ ប្រព័ន្ធអាចត្រូវបានប្រើដើម្បីសម្គាល់វត្តមានរបស់វត្ថុដូចគ្នានៅក្នុងរូបភាព និងវីដេអូ។ កូដនេះត្រូវបានសរសេរនៅក្នុង Python និងចែកចាយក្រោមអាជ្ញាប័ណ្ណ Apache 2.0 ។

ប្រភព: opennet.ru