OpenAI បង្រៀន AI ការងារជាក្រុមនៅក្នុងហ្គេមលាក់និងស្វែងរក

ហ្គេមលាក់ និងស្វែងរកបុរាណដ៏ល្អ អាចជាការសាកល្បងដ៏អស្ចារ្យមួយសម្រាប់ bots បញ្ញាសិប្បនិម្មិត (AI) ដើម្បីបង្ហាញពីរបៀបដែលពួកគេធ្វើការសម្រេចចិត្ត និងធ្វើអន្តរកម្មគ្នាទៅវិញទៅមក និងវត្ថុផ្សេងៗនៅជុំវិញពួកគេ។

នៅក្នុងរបស់គាត់។ អត្ថបទថ្មី។ដែលត្រូវបានបោះពុម្ពផ្សាយដោយអ្នកស្រាវជ្រាវមកពី OpenAI ដែលជាអង្គការស្រាវជ្រាវបញ្ញាសិប្បនិមិត្តមិនរកប្រាក់ចំណេញដែលបានក្លាយជាមនុស្សល្បីល្បាញ ជ័យជំនះលើជើងឯកពិភពលោក នៅក្នុងហ្គេមកុំព្យូទ័រ Dota 2 អ្នកវិទ្យាសាស្ត្រពិពណ៌នាអំពីរបៀបដែលភ្នាក់ងារដែលគ្រប់គ្រងដោយបញ្ញាសិប្បនិមិត្តត្រូវបានបណ្តុះបណ្តាលឱ្យមានភាពស្មុគ្រស្មាញក្នុងការស្វែងរក និងលាក់ខ្លួនពីគ្នាទៅវិញទៅមកនៅក្នុងបរិយាកាសនិម្មិត។ លទ្ធផលនៃការសិក្សាបានបង្ហាញថាក្រុមដែលមាន bots ពីររៀនកាន់តែមានប្រសិទ្ធភាព និងលឿនជាងភ្នាក់ងារតែមួយដែលគ្មានសម្ព័ន្ធមិត្ត។

អ្នកវិទ្យាសាស្ត្រ​បាន​ប្រើ​វិធីសាស្ត្រ​ដែល​ទទួលបាន​កិត្តិនាម​យូរ​មកហើយ​ ការរៀនម៉ាស៊ីនជាមួយនឹងការពង្រឹងដែលក្នុងនោះបញ្ញាសិប្បនិមិត្តត្រូវបានដាក់ក្នុងបរិយាកាសដែលមិនស្គាល់វា ខណៈពេលដែលមានវិធីជាក់លាក់នៃការប្រាស្រ័យទាក់ទងជាមួយវា ក៏ដូចជាប្រព័ន្ធនៃរង្វាន់ និងការផាកពិន័យសម្រាប់លទ្ធផលមួយ ឬមួយផ្សេងទៀតនៃសកម្មភាពរបស់វា។ វិធីសាស្ត្រនេះមានប្រសិទ្ធភាពណាស់ ដោយសារតែសមត្ថភាពរបស់ AI ដើម្បីអនុវត្តសកម្មភាពផ្សេងៗនៅក្នុងបរិយាកាសនិម្មិតក្នុងល្បឿនដ៏ធំសម្បើម លឿនជាងមនុស្សអាចស្រមៃរាប់លានដង។ នេះអនុញ្ញាតឱ្យមានការសាកល្បង និងកំហុសដើម្បីស្វែងរកយុទ្ធសាស្ត្រដ៏មានប្រសិទ្ធភាពបំផុតសម្រាប់ការដោះស្រាយបញ្ហាដែលបានផ្តល់ឱ្យ។ ប៉ុន្តែវិធីសាស្រ្តនេះក៏មានដែនកំណត់មួយចំនួនផងដែរ ឧទាហរណ៍ ការបង្កើតបរិយាកាស និងដំណើរការវគ្គបណ្តុះបណ្តាលជាច្រើនទាមទារធនធានកុំព្យូទ័រដ៏ធំ ហើយដំណើរការខ្លួនវាទាមទារប្រព័ន្ធត្រឹមត្រូវសម្រាប់ការប្រៀបធៀបលទ្ធផលនៃសកម្មភាព AI ជាមួយនឹងគោលដៅរបស់វា។ លើសពីនេះទៀតជំនាញដែលទទួលបានដោយភ្នាក់ងារតាមរបៀបនេះត្រូវបានកំណត់ចំពោះភារកិច្ចដែលបានពិពណ៌នាហើយនៅពេលដែល AI រៀនដើម្បីទប់ទល់នឹងវានឹងមិនមានភាពប្រសើរឡើងទៀតទេ។

ដើម្បីបណ្តុះបណ្តាល AI ឱ្យលេងលាក់ខ្លួន និងស្វែងរក អ្នកវិទ្យាសាស្ត្របានប្រើវិធីសាស្រ្តមួយហៅថា "ការរុករកដោយមិនបានដឹកនាំ" ដែលជាកន្លែងភ្នាក់ងារមានសេរីភាពពេញលេញក្នុងការអភិវឌ្ឍការយល់ដឹងរបស់ពួកគេអំពីពិភពហ្គេម និងបង្កើតយុទ្ធសាស្រ្តឈ្នះៗ។ នេះគឺស្រដៀងគ្នាទៅនឹងវិធីសាស្រ្តសិក្សាពហុភ្នាក់ងារដែលអ្នកស្រាវជ្រាវនៅ DeepMind បានប្រើនៅពេលដែលប្រព័ន្ធបញ្ញាសិប្បនិម្មិតច្រើន។ ត្រូវ​បាន​ហ្វឹកហ្វឺន​ដើម្បី​លេង​មុខងារ​ថត​ទង់ជាតិ​នៅ​ក្នុង​សង្វៀន Quake III. ដូចនៅក្នុងករណីនេះ ភ្នាក់ងារ AI មិនត្រូវបានបណ្តុះបណ្តាលពីមុននៅក្នុងច្បាប់នៃហ្គេមនោះទេ ប៉ុន្តែយូរ ៗ ទៅពួកគេបានរៀនយុទ្ធសាស្រ្តជាមូលដ្ឋាន ហើយថែមទាំងអាចធ្វើអោយអ្នកស្រាវជ្រាវភ្ញាក់ផ្អើលជាមួយនឹងដំណោះស្រាយដែលមិនសំខាន់។

នៅក្នុងល្បែងលាក់ និងស្វែងរក ភ្នាក់ងារជាច្រើនដែលការងាររបស់ពួកគេត្រូវលាក់ គឺតម្រូវឱ្យជៀសវាងការមើលឃើញរបស់គូប្រជែងរបស់ពួកគេ បន្ទាប់ពីចាប់ផ្តើមបន្តិច ខណៈពេលដែលក្រុមភ្នាក់ងារស្វែងរកត្រូវបាន immobilized ។ លើសពីនេះទៅទៀត "បន្ទាត់នៃការមើលឃើញ" នៅក្នុងបរិបទនេះគឺជាកោណ 135 ដឺក្រេនៅពីមុខ bot បុគ្គល។ ភ្នាក់ងារមិនអាចផ្សងព្រេងឆ្ងាយពេកនៅខាងក្រៅកន្លែងលេងនោះទេ ហើយត្រូវបានបង្ខំឱ្យរុករកបន្ទប់ដែលបង្កើតដោយចៃដន្យ ជាមួយនឹងលទ្ធភាពប្រើប្រាស់វត្ថុខាងក្រៅមួយចំនួន (ប្រអប់ ជញ្ជាំងដែលអាចចល័តបាន ផ្លូវជម្រាលពិសេស) ដែលរាយប៉ាយនៅជុំវិញដែលអាចប្រើបានទាំងដើម្បីបង្កើតគម្រប និងដើម្បីជ្រៀតចូលទៅក្នុងពួកវា។ .

តាមរយៈដំណើរការសិក្សាដ៏វែងមួយ ភ្នាក់ងារ AI បានសិក្សាពីយុទ្ធសាស្ត្រប្លែកៗចំនួនប្រាំមួយ ដែលនីមួយៗជួយពួកគេឱ្យឈានទៅដំណាក់កាលបន្ទាប់នៃហ្គេម។ ដំបូងឡើយ ក្រុមអ្នកស្វែងរក និងអ្នកលាក់ខ្លួនគ្រាន់តែរត់ចេញ ហើយដេញគ្នាទៅវិញទៅមក ប៉ុន្តែបន្ទាប់ពីការប្រកួតប្រហែល 25 លានដង ក្រុមអ្នកលាក់ខ្លួនបានរៀនបិទផ្លូវជាមួយប្រអប់ និងបង្កើតជម្រកចេញពីពួកគេ។ បន្ទាប់ពីការប្រកួត 75 លានផ្សេងទៀត ក្រុមបានរកឃើញវិធីដើម្បីប្រើផ្លូវឡើងដើម្បីចូលទៅក្នុងកន្លែងលាក់ខ្លួនទាំងនេះ។ បន្ទាប់ពី 10 លានជុំទៀត អ្នកលាក់កំបាំងបានរៀនអូសផ្លូវទៅគែមនៃកន្លែងលេង ហើយចាក់សោវានៅនឹងកន្លែងដើម្បីការពារគូប្រជែងពីការប្រើប្រាស់វា។

បន្ទាប់ពីការប្រកួតចំនួន 388 លាន អ្នកស្វែងរកបានរៀនប្រើផ្លូវដែលរារាំងដើម្បីឡើងលើរទេះដែលនាំយកមកឱ្យពួកគេ ហើយបន្ទាប់មកផ្លាស់ទីដោយផ្ទាល់ទៅលើពួកគេ ទម្លាយកន្លែងលាក់ខ្លួនរបស់សត្រូវដែលបង្កើតចេញពីជញ្ជាំងចល័ត។ ហើយចុងក្រោយបន្ទាប់ពីការប្រកួតចំនួន 458 លាន ក្រុមលាក់ខ្លួនបានសន្និដ្ឋានថាពួកគេត្រូវការរារាំងវត្ថុទាំងអស់ហើយបន្ទាប់មកសាងសង់ជំរកដែលជាក់ស្តែងនាំទៅដល់ការទទួលជ័យជម្នះចុងក្រោយរបស់ពួកគេ។

អ្វីដែលគួរអោយចាប់អារម្មណ៍នោះគឺថា បន្ទាប់ពីការប្រកួតចំនួន 22 លាន ភ្នាក់ងារបានរៀនសម្របសម្រួលសកម្មភាពរបស់ពួកគេ ហើយប្រសិទ្ធភាពនៃការសហការរបស់ពួកគេបានកើនឡើងនៅពេលអនាគត ឧទាហរណ៍ ម្នាក់ៗបាននាំយកប្រអប់ ឬជញ្ជាំងផ្ទាល់ខ្លួនរបស់ពួកគេដើម្បីបង្កើតជំរក ហើយជ្រើសរើសចំណែកនៃវត្ថុរបស់ពួកគេទៅ រារាំងដើម្បីធ្វើឱ្យហ្គេមកាន់តែពិបាកដល់គូប្រជែង។

អ្នកវិទ្យាសាស្ត្រក៏បានកត់សម្គាល់ផងដែរនូវចំណុចសំខាន់មួយដែលទាក់ទងទៅនឹងឥទ្ធិពលនៃចំនួនវត្ថុបណ្តុះបណ្តាល (ចំនួនទិន្នន័យដែលបានឆ្លងកាត់បណ្តាញសរសៃប្រសាទ - "ទំហំបាច់") លើល្បឿនសិក្សា។ គំរូលំនាំដើមតម្រូវឱ្យមានការប្រកួតចំនួន 132,3 លានប្រកួតក្នុងរយៈពេល 34 ម៉ោងនៃការហ្វឹកហ្វឺនដើម្បីឈានទៅដល់ចំណុចដែលក្រុមលាក់ខ្លួនបានរៀនទប់ស្កាត់ផ្លូវចំណោត ខណៈដែលទិន្នន័យកាន់តែច្រើនបណ្តាលឱ្យមានការថយចុះគួរឱ្យកត់សម្គាល់នៃពេលវេលាហ្វឹកហាត់។ ឧទាហរណ៍ ការបង្កើនចំនួនប៉ារ៉ាម៉ែត្រ (ផ្នែកនៃទិន្នន័យដែលទទួលបានក្នុងអំឡុងពេលដំណើរការបណ្តុះបណ្តាលទាំងមូល) ពី 0,5 លានទៅ 5,8 លានបានបង្កើនប្រសិទ្ធភាពគំរូ 2,2 ដង និងបង្កើនទំហំនៃទិន្នន័យបញ្ចូលពី 64 KB ទៅ 128 KB កាត់បន្ថយការបណ្តុះបណ្តាល។ ពេលវេលាស្ទើរតែមួយដងកន្លះ។

នៅចុងបញ្ចប់នៃការងាររបស់ពួកគេ អ្នកស្រាវជ្រាវបានសម្រេចចិត្តសាកល្បងថាតើការហ្វឹកហ្វឺនក្នុងហ្គេមអាចជួយភ្នាក់ងារទប់ទល់នឹងកិច្ចការស្រដៀងគ្នានៅខាងក្រៅហ្គេមបានកម្រិតណា។ សរុបមកមានការធ្វើតេស្តចំនួនប្រាំ៖ ការយល់ដឹងអំពីចំនួនវត្ថុ (យល់ថាវត្ថុមួយនៅតែបន្តកើតមាន ទោះបីជាវានៅក្រៅការមើលឃើញ និងមិនបានប្រើប្រាស់ក៏ដោយ)។ "ចាក់សោហើយត្រលប់មកវិញ" - សមត្ថភាពក្នុងការចងចាំទីតាំងដើមរបស់មនុស្សម្នាក់ហើយត្រលប់ទៅវាវិញបន្ទាប់ពីបញ្ចប់កិច្ចការបន្ថែមមួយចំនួន។ "ការទប់ស្កាត់តាមលំដាប់លំដោយ" - ប្រអប់ចំនួន 4 ត្រូវបានដាក់ដោយចៃដន្យនៅក្នុងបន្ទប់ចំនួន XNUMX ដោយគ្មានទ្វារ ប៉ុន្តែជាមួយនឹងផ្លូវឡើងដើម្បីចូលទៅខាងក្នុង ភ្នាក់ងារត្រូវការស្វែងរក និងរារាំងពួកគេទាំងអស់គ្នា។ ការដាក់ប្រអប់នៅលើគេហទំព័រដែលបានកំណត់ទុកជាមុន; បង្កើតជំរកជុំវិញវត្ថុក្នុងទម្រង់ជាស៊ីឡាំង។

ជាលទ្ធផល ក្នុងកិច្ចការបីក្នុងចំណោមកិច្ចការទាំងប្រាំ រូបយន្តដែលបានទទួលការបណ្តុះបណ្តាលបឋមនៅក្នុងហ្គេមបានរៀនលឿនជាងមុន និងបង្ហាញលទ្ធផលប្រសើរជាង AI ដែលត្រូវបានបណ្តុះបណ្តាលដើម្បីដោះស្រាយបញ្ហាតាំងពីដំបូង។ ពួកគេអនុវត្តបានប្រសើរជាងមុនបន្តិចក្នុងការបញ្ចប់កិច្ចការ ហើយត្រឡប់ទៅទីតាំងចាប់ផ្តើមវិញ ដោយរារាំងប្រអប់ជាបន្តបន្ទាប់នៅក្នុងបន្ទប់បិទជិត និងដាក់ប្រអប់នៅកន្លែងដែលបានផ្តល់ឱ្យ ប៉ុន្តែបានអនុវត្តខ្សោយជាងបន្តិចក្នុងការទទួលស្គាល់ចំនួនវត្ថុ និងបង្កើតគម្របជុំវិញវត្ថុផ្សេងទៀត។

អ្នកស្រាវជ្រាវវាយតម្លៃលទ្ធផលចម្រុះទៅនឹងរបៀបដែល AI រៀន និងចងចាំជំនាញជាក់លាក់។ "យើងគិតថាការងារដែលការបណ្តុះបណ្តាលមុនក្នុងហ្គេមអនុវត្តបានល្អបំផុតពាក់ព័ន្ធនឹងការប្រើប្រាស់ជំនាញដែលបានរៀនពីមុនមកតាមរបៀបដែលធ្លាប់ស្គាល់ ខណៈពេលដែលការបំពេញការងារដែលនៅសល់បានល្អជាង AI ដែលត្រូវបានបណ្តុះបណ្តាលតាំងពីដំបូងនឹងតម្រូវឱ្យប្រើវាក្នុងវិធីផ្សេងគ្នា ដែលច្រើន កាន់តែពិបាក” សរសេរសហអ្នកនិពន្ធនៃការងារនេះ។ "លទ្ធផលនេះបង្ហាញពីតម្រូវការក្នុងការអភិវឌ្ឍវិធីសាស្រ្តសម្រាប់ការប្រើប្រាស់ឡើងវិញប្រកបដោយប្រសិទ្ធភាពនូវជំនាញដែលទទួលបានតាមរយៈការបណ្តុះបណ្តាលនៅពេលផ្ទេរពួកគេពីបរិយាកាសមួយទៅបរិយាកាសមួយទៀត។"

ការងារដែលបានធ្វើគឺពិតជាគួរអោយចាប់អារម្មណ៍ ចាប់តាំងពីការរំពឹងទុកនៃការប្រើប្រាស់វិធីសាស្រ្តបង្រៀននេះគឺហួសពីដែនកំណត់នៃហ្គេមណាមួយ។ អ្នកស្រាវជ្រាវនិយាយថាការងាររបស់ពួកគេគឺជាជំហានដ៏សំខាន់មួយឆ្ពោះទៅរកការបង្កើត AI ជាមួយនឹងអាកប្បកិរិយា "ផ្អែកលើរូបវិទ្យា" និង "ដូចមនុស្ស" ដែលអាចធ្វើរោគវិនិច្ឆ័យជំងឺ ទស្សន៍ទាយរចនាសម្ព័ន្ធនៃម៉ូលេគុលប្រូតេអ៊ីនស្មុគស្មាញ និងវិភាគការស្កេន CT ។

នៅក្នុងវីដេអូខាងក្រោម អ្នកអាចមើលឃើញយ៉ាងច្បាស់ពីរបៀបដែលដំណើរការសិក្សាទាំងមូលបានកើតឡើង របៀបដែល AI រៀនធ្វើការជាក្រុម ហើយយុទ្ធសាស្ត្ររបស់វាកាន់តែមានល្បិចកល និងស្មុគស្មាញ។

ប្រភព: 3dnews.ru