FlexGen គឺជាម៉ាស៊ីនសម្រាប់ដំណើរការ AI bots ដូច ChatGPT នៅលើប្រព័ន្ធ GPU តែមួយ

ក្រុមអ្នកស្រាវជ្រាវមកពីសាកលវិទ្យាល័យ Stanford សាកលវិទ្យាល័យកាលីហ្វ័រញ៉ានៅ Berkeley, ETH Zurich, សាលាបញ្ចប់ការសិក្សាផ្នែកសេដ្ឋកិច្ច, សាកលវិទ្យាល័យ Carnegie Mellon ក៏ដូចជា Yandex និង Meta បានបោះពុម្ពកូដប្រភពនៃម៉ាស៊ីនសម្រាប់ដំណើរការគំរូភាសាធំនៅលើធនធាន។ - ប្រព័ន្ធកំណត់។ ឧទាហរណ៍ ម៉ាស៊ីនផ្តល់នូវសមត្ថភាពក្នុងការបង្កើតមុខងារដែលនឹកឃើញដល់ ChatGPT និង Copilot ដោយដំណើរការគំរូ OPT-175B ដែលបានបណ្តុះបណ្តាលជាមុន គ្របដណ្តប់ 175 ពាន់លានប៉ារ៉ាម៉ែត្រ នៅលើកុំព្យូទ័រធម្មតាដែលមានកាតក្រាហ្វិកហ្គេម NVIDIA RTX3090 បំពាក់ដោយអង្គចងចាំវីដេអូ 24GB ។ កូដត្រូវបានសរសេរក្នុង Python ប្រើក្របខ័ណ្ឌ PyTorch និងត្រូវបានចែកចាយក្រោមអាជ្ញាប័ណ្ណ Apache 2.0 ។

វារួមបញ្ចូលស្គ្រីបឧទាហរណ៍សម្រាប់បង្កើត bots ដែលអនុញ្ញាតឱ្យអ្នកទាញយកគំរូភាសាដែលមានជាសាធារណៈមួយ ហើយចាប់ផ្តើមទំនាក់ទំនងភ្លាមៗ (ឧទាហរណ៍ ដោយដំណើរការពាក្យបញ្ជា “python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0”) ។ ជាមូលដ្ឋាន វាត្រូវបានស្នើឱ្យប្រើគំរូភាសាធំមួយដែលត្រូវបានបោះពុម្ពដោយ Facebook ដែលត្រូវបានបណ្តុះបណ្តាលលើបណ្តុំនៃ BookCorpus (10 ពាន់សៀវភៅ), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, etc.), Pushshift ។ io (ផ្អែកលើទិន្នន័យ Reddit) និង CCNewsV2 (បណ្ណសារព័ត៌មាន)។ ម៉ូដែលនេះគ្របដណ្តប់ប្រហែល 180 ពាន់លានថូខឹន (ទិន្នន័យ 800 GB) ។ ប្រតិបត្តិការចង្កោមរយៈពេល 33 ថ្ងៃជាមួយនឹង 992 NVIDIA A100 80GB GPUs ត្រូវបានចំណាយលើការបណ្តុះបណ្តាលម៉ូដែលនេះ។

នៅពេលដំណើរការម៉ូដែល OPT-175B នៅលើប្រព័ន្ធដែលមាន NVIDIA T4 GPU តែមួយ (16GB) ម៉ាស៊ីន FlexGen បានបង្ហាញពីដំណើរការលឿនជាងដំណោះស្រាយដែលបានផ្តល់ជូនពីមុន 100 ដង ដែលធ្វើឱ្យការប្រើប្រាស់ម៉ូដែលភាសាធំៗមានតម្លៃសមរម្យ និងអនុញ្ញាតឱ្យពួកគេដំណើរការលើ ប្រព័ន្ធដោយគ្មានឧបករណ៍បង្កើនល្បឿនជាក់លាក់។ ក្នុងពេលជាមួយគ្នានេះ FlexGen អាចធ្វើមាត្រដ្ឋានដើម្បីធ្វើការគណនាស្របគ្នាជាមួយ GPUs ច្រើន។ ដើម្បីកាត់បន្ថយទំហំនៃគំរូ គ្រោងការណ៍បង្ហាប់ប៉ារ៉ាម៉ែត្រដែលមានកម្មសិទ្ធិ និងយន្តការឃ្លាំងសម្ងាត់គំរូត្រូវបានប្រើប្រាស់បន្ថែម។

បច្ចុប្បន្ន FlexGen គាំទ្រតែគំរូភាសា OPT ប៉ុណ្ណោះ ប៉ុន្តែនៅពេលអនាគត អ្នកអភិវឌ្ឍន៍ក៏សន្យាថានឹងបន្ថែមការគាំទ្រសម្រាប់ BLOOM (176 ពាន់លានប៉ារ៉ាម៉ែត្រ គាំទ្រ 46 ភាសា និង 13 ភាសាសរសេរកម្មវិធី) CodeGen (អាចបង្កើតកូដក្នុង 22 ភាសាសរសេរកម្មវិធី) និង ម៉ូដែល GLM ។ ឧទាហរណ៍នៃការសន្ទនាជាមួយ bot ផ្អែកលើ FlexGen និងគំរូ OPT-30B៖

មនុស្ស៖ តើភ្នំដែលខ្ពស់ជាងគេនៅលើពិភពលោកមានឈ្មោះអ្វី?

ជំនួយការ៖ អេវឺរេស។

មនុស្ស៖ ខ្ញុំកំពុងរៀបចំដំណើរកម្សាន្តសម្រាប់ខួបរបស់យើង។ តើយើងអាចធ្វើអ្វីបានខ្លះ?

ជំនួយការ៖ មានរឿងមួយចំនួនដែលអ្នកអាចធ្វើសម្រាប់ខួបរបស់អ្នក។ ដំបូងអ្នកអាចលេងកាត។ ទីពីរ អ្នកអាចដើរលេងបាន។ ទីបីអ្នកអាចទៅសារមន្ទីរ។

ប្រភព: opennet.ru