GitHub បានបើកការវិវឌ្ឍន៍ក្នុងការប្រើប្រាស់ការរៀនម៉ាស៊ីនសម្រាប់ការស្វែងរក និងវិភាគកូដ

GitHub ណែនាំ គម្រោង CodeSearchNetដែលបានរៀបចំគំរូសិក្សាម៉ាស៊ីន និងសំណុំទិន្នន័យចាំបាច់សម្រាប់ការញែក ចាត់ថ្នាក់ និងវិភាគកូដជាភាសាសរសេរកម្មវិធីផ្សេងៗ។ CodeSearchNet ស្រដៀងនឹង អ៊ីនធឺណេតរួម​បញ្ចូល​ទាំង​បណ្តុំ​ដ៏​ធំ​នៃ​អត្ថបទ​កូដ​ជាមួយ​នឹង​ចំណារ​ពន្យល់​ដែល​ធ្វើ​ជា​ផ្លូវ​ការ​នូវ​អ្វី​ដែល​កូដ​ធ្វើ។ សមាសធាតុសម្រាប់គំរូបណ្តុះបណ្តាល និងឧទាហរណ៍នៃការប្រើប្រាស់ CodeSearchNet ត្រូវបានសរសេរនៅក្នុង Python ដោយប្រើក្របខ័ណ្ឌ Tensorflow និង ចែកចាយ​ដោយ ក្រោមអាជ្ញាប័ណ្ណ MIT ។

នៅពេលបង្កើត CodeSearchNet បច្ចេកវិទ្យាញែកអត្ថបទភាសាធម្មជាតិត្រូវបានប្រើប្រាស់ ដែលអនុញ្ញាតឱ្យប្រព័ន្ធរៀនរបស់ម៉ាស៊ីនគិតគូរមិនត្រឹមតែលក្ខណៈវាក្យសម្ព័ន្ធប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងអត្ថន័យនៃសកម្មភាពដែលបានអនុវត្តដោយកូដផងដែរ។ ប្រព័ន្ធ GitHub បានអនុវត្ត នៅក្នុងការពិសោធន៍លើការរៀបចំការស្វែងរកកូដ semantic ដោយប្រើសំណួរនៅលើ ភាសាធម្មជាតិ (ឧទាហរណ៍ នៅពេលស្នើសុំ "តម្រៀបបញ្ជីខ្សែអក្សរ" កូដជាមួយការអនុវត្តក្បួនដោះស្រាយដែលត្រូវគ្នាត្រូវបានបង្ហាញ) ។

សំណុំទិន្នន័យដែលបានស្នើឡើង រួមមានតំណភ្ជាប់មតិយោបល់ជាង 2 លាន ដែលត្រូវបានរៀបចំដោយផ្អែកលើអត្ថបទប្រភពនៃបណ្ណាល័យបើកចំហដែលមានស្រាប់។ កូដគ្របដណ្តប់អត្ថបទប្រភពពេញលេញនៃមុខងារ ឬវិធីសាស្រ្តនីមួយៗ ហើយមតិយោបល់ពិពណ៌នាអំពីសកម្មភាពដែលអនុវត្តដោយមុខងារ (ឯកសារលម្អិតត្រូវបានផ្តល់ជូន)។ បច្ចុប្បន្ន សំណុំទិន្នន័យត្រូវបានរៀបចំសម្រាប់ Python, JavaScript, Ruby, Go, Java និង PHP ។ ឧទាហរណ៍ត្រូវបានផ្តល់ជូននៃការប្រើប្រាស់សំណុំទិន្នន័យដែលបានស្នើឡើងសម្រាប់ការបណ្តុះបណ្តាលប្រភេទផ្សេងៗនៃបណ្តាញសរសៃប្រសាទ រួមទាំង Neural-Bag-Of-Words, RNN, ការយកចិត្តទុកដាក់លើខ្លួនឯង (BERT) និង 1D-CNN+ កូនកាត់យកចិត្តទុកដាក់លើខ្លួនឯង.

ដើម្បីបង្កើតយន្តការស្វែងរកភាសាធម្មជាតិ សំណុំនៃ CodeSearchNet Challenge ត្រូវបានរៀបចំបន្ថែម រួមទាំង
99 ធម្មតា។ សំណួរដែលមានចំណារពន្យល់អំពីអ្នកជំនាញប្រហែល 4 ពាន់ដែលពិពណ៌នាអំពីការចងកូដដែលទំនងបំផុតនៅក្នុងសំណុំទិន្នន័យ CodeSearchNet Corpus ដែលគ្របដណ្តប់ប្រហែល 6 លានវិធីសាស្រ្ត និងមុខងារ (កំណត់ទំហំ ប្រហែល 20 GB) ។ CodeSearchNet Challenge អាចបម្រើជាគោលសម្រាប់វាយតម្លៃប្រសិទ្ធភាពនៃវិធីសាស្រ្តមួយចំនួនសម្រាប់ការស្វែងរកកូដភាសាធម្មជាតិ។ ការប្រើប្រាស់ឧបករណ៍ KubeFlow រៀបចំ
ឧទាហរណ៍ ម៉ាស៊ីនស្វែងរកកូដ។

ប្រភព: opennet.ru