កូដសម្រាប់ប្រព័ន្ធទទួលស្គាល់ និងបកប្រែការនិយាយរបស់ Whisper ត្រូវបានបើក

គម្រោង OpenAI ដែលអភិវឌ្ឍគម្រោងសាធារណៈក្នុងវិស័យបញ្ញាសិប្បនិមិត្តបានបោះពុម្ពផ្សាយអំពីការអភិវឌ្ឍន៍ទាក់ទងនឹងប្រព័ន្ធទទួលស្គាល់ការនិយាយរបស់ Whisper ។ វាត្រូវបានអះអាងថាសម្រាប់ការនិយាយជាភាសាអង់គ្លេសប្រព័ន្ធផ្តល់នូវកម្រិតនៃភាពជឿជាក់និងភាពត្រឹមត្រូវនៃការទទួលស្គាល់ដោយស្វ័យប្រវត្តិនៅជិតការទទួលស្គាល់របស់មនុស្ស។ កូដសម្រាប់ការអនុវត្តឯកសារយោងដោយផ្អែកលើក្របខ័ណ្ឌ PyTorch និងសំណុំនៃគំរូដែលបានបណ្តុះបណ្តាលរួចហើយ ដែលត្រៀមរួចជាស្រេចសម្រាប់ការប្រើប្រាស់ត្រូវបានបើក។ លេខកូដត្រូវបានបើកនៅក្រោមអាជ្ញាប័ណ្ណ MIT ។

ដើម្បីបណ្តុះបណ្តាលគំរូ ទិន្នន័យនិយាយចំនួន 680 ពាន់ម៉ោងត្រូវបានប្រើប្រាស់ ដែលប្រមូលបានពីបណ្តុំជាច្រើនដែលគ្របដណ្តប់លើភាសា និងមុខវិជ្ជាផ្សេងៗគ្នា។ ប្រហែល 1/3 នៃទិន្នន័យសុន្ទរកថាដែលពាក់ព័ន្ធនឹងការបណ្តុះបណ្តាលគឺជាភាសាផ្សេងក្រៅពីភាសាអង់គ្លេស។ ប្រព័ន្ធដែលបានស្នើឡើងអាចគ្រប់គ្រងស្ថានការណ៍បានយ៉ាងត្រឹមត្រូវ ដូចជាការបញ្ចេញសំឡេងដែលសង្កត់សំឡេង សំឡេងរំខានក្នុងផ្ទៃខាងក្រោយ និងការប្រើប្រាស់ភាសាបច្ចេកទេស។ បន្ថែមពីលើការចម្លងការនិយាយទៅជាអត្ថបទ ប្រព័ន្ធក៏អាចបកប្រែការនិយាយពីភាសាណាមួយទៅជាភាសាអង់គ្លេស និងរកឃើញរូបរាងនៃការនិយាយនៅក្នុងស្ទ្រីមអូឌីយ៉ូផងដែរ។

គំរូត្រូវបានបង្កើតឡើងជាតំណាងពីរ៖ គំរូសម្រាប់ភាសាអង់គ្លេស និងគំរូពហុភាសា ដែលគាំទ្រភាសារុស្ស៊ី អ៊ុយក្រែន និងបេឡារុស្សផងដែរ។ នៅក្នុងវេនតំណាងនីមួយៗត្រូវបានបែងចែកជា 5 ជម្រើសដែលខុសគ្នានៅក្នុងទំហំនិងចំនួនប៉ារ៉ាម៉ែត្រដែលគ្របដណ្តប់នៅក្នុងគំរូ។ ទំហំកាន់តែធំ ភាពត្រឹមត្រូវ និងគុណភាពនៃការទទួលស្គាល់កាន់តែច្រើន ប៉ុន្តែតម្រូវការសម្រាប់ទំហំអង្គចងចាំវីដេអូ GPU កាន់តែខ្ពស់ និងដំណើរការកាន់តែទាប។ ជាឧទាហរណ៍ ជម្រើសអប្បបរមារួមមាន 39 លានប៉ារ៉ាម៉ែត្រ និងទាមទារអង្គចងចាំវីដេអូ 1 GB ហើយអតិបរមារួមមាន 1550 លានប៉ារ៉ាម៉ែត្រ ហើយត្រូវការអង្គចងចាំវីដេអូ 10 GB ។ ជម្រើសអប្បបរមាគឺ 32 ដងលឿនជាងអតិបរមា។

ប្រព័ន្ធនេះប្រើប្រាស់ស្ថាបត្យកម្មបណ្តាញសរសៃប្រសាទ Transformer ដែលរួមបញ្ចូលឧបករណ៍បំប្លែង និងឌិកូដដែលមានអន្តរកម្មគ្នាទៅវិញទៅមក។ អូឌីយ៉ូត្រូវបានបំបែកទៅជាកំណាត់រយៈពេល 30 វិនាទី ដែលត្រូវបានបំប្លែងទៅជា log-Mel spectrogram ហើយត្រូវបានបញ្ជូនទៅឧបករណ៍បំប្លែង។ លទ្ធផលនៃកម្មវិធីបំប្លែងកូដត្រូវបានផ្ញើទៅឧបករណ៍ឌិកូដ ដែលព្យាករណ៍ពីតំណាងអត្ថបទ លាយជាមួយសញ្ញាសម្ងាត់ពិសេស ដែលអនុញ្ញាតឱ្យក្នុងគំរូទូទៅមួយ ដើម្បីដោះស្រាយបញ្ហាដូចជាការរកឃើញភាសា គណនេយ្យសម្រាប់កាលប្បវត្តិនៃការបញ្ចេញសំឡេងនៃឃ្លា ការចម្លងការនិយាយនៅក្នុង ភាសាផ្សេងគ្នា និងការបកប្រែជាភាសាអង់គ្លេស។

ប្រភព: opennet.ru