ធ្វើការជាមួយបណ្តាញសរសៃប្រសាទ៖ បញ្ជីត្រួតពិនិត្យសម្រាប់ការបំបាត់កំហុស

កូដនៃផលិតផលសូហ្វវែររៀនម៉ាស៊ីន ច្រើនតែស្មុគស្មាញ និងច្របូកច្របល់។ ការរកឃើញ និងលុបបំបាត់កំហុសនៅក្នុងវាគឺជាកិច្ចការដែលពឹងផ្អែកលើធនធាន។ សូម្បីតែសាមញ្ញបំផុត។ បណ្តាញសរសៃប្រសាទ feedforward ទាមទារវិធីសាស្រ្តដ៏ធ្ងន់ធ្ងរចំពោះស្ថាបត្យកម្មបណ្តាញ ការចាប់ផ្តើមទម្ងន់ និងការបង្កើនប្រសិទ្ធភាពបណ្តាញ។ កំហុសតូចមួយអាចនាំឱ្យមានបញ្ហាមិនល្អ។

អត្ថបទនេះគឺអំពីក្បួនដោះស្រាយសម្រាប់បំបាត់កំហុសបណ្តាញសរសៃប្រសាទរបស់អ្នក។

Skillbox ណែនាំ៖ វគ្គសិក្សាជាក់ស្តែង អ្នកអភិវឌ្ឍន៍ Python ពីដំបូង.

យើងរំលឹក៖ សម្រាប់អ្នកអានទាំងអស់នៃ "Habr" - ការបញ្ចុះតម្លៃ 10 rubles នៅពេលចុះឈ្មោះក្នុងវគ្គសិក្សា Skillbox ណាមួយដោយប្រើលេខកូដផ្សព្វផ្សាយ "Habr" ។

ក្បួនដោះស្រាយមានប្រាំដំណាក់កាល៖

• ការចាប់ផ្តើមងាយស្រួល;
• ការបញ្ជាក់ពីការបាត់បង់;
• ពិនិត្យមើលលទ្ធផលមធ្យមនិងការតភ្ជាប់;
• ការធ្វើរោគវិនិច្ឆ័យប៉ារ៉ាម៉ែត្រ;
• ការគ្រប់គ្រងការងារ។

ប្រសិនបើមានអ្វីមួយហាក់ដូចជាគួរឱ្យចាប់អារម្មណ៍សម្រាប់អ្នកជាងអ្វីផ្សេងទៀត អ្នកអាចរំលងទៅផ្នែកទាំងនេះភ្លាមៗ។

ការចាប់ផ្តើមងាយស្រួល

បណ្តាញសរសៃប្រសាទដែលមានស្ថាបត្យកម្មស្មុគ្រស្មាញ ការធ្វើឱ្យទៀងទាត់ និងកម្មវិធីកំណត់អត្រាការរៀនសូត្រគឺពិបាកក្នុងការបំបាត់កំហុសជាងបណ្តាញធម្មតា។ យើងកំពុងមានល្បិចតិចតួចនៅទីនេះ ចាប់តាំងពីចំណុចខ្លួនវាគឺទាក់ទងដោយប្រយោលទៅនឹងការបំបាត់កំហុស ប៉ុន្តែនេះនៅតែជាការណែនាំដ៏សំខាន់។

ការចាប់ផ្តើមដ៏សាមញ្ញមួយគឺបង្កើតគំរូសាមញ្ញមួយ ហើយបណ្តុះបណ្តាលវានៅលើសំណុំទិន្នន័យមួយ (ចំណុច)។

ដំបូងយើងបង្កើតគំរូសាមញ្ញ

ដើម្បីចាប់ផ្តើមយ៉ាងឆាប់រហ័ស យើងបង្កើតបណ្តាញតូចមួយដែលមានស្រទាប់លាក់តែមួយ ហើយពិនិត្យមើលថាអ្វីៗដំណើរការបានត្រឹមត្រូវ។ បន្ទាប់មកយើងធ្វើឱ្យគំរូស្មុគស្មាញបន្តិចម្តង ៗ ដោយពិនិត្យមើលទិដ្ឋភាពថ្មីនីមួយៗនៃរចនាសម្ព័ន្ធរបស់វា (ស្រទាប់បន្ថែមប៉ារ៉ាម៉ែត្រ។ ល។ ) ហើយបន្តទៅមុខទៀត។

យើងបណ្តុះបណ្តាលគំរូនៅលើសំណុំទិន្នន័យតែមួយ (ចំណុច)

ក្នុងនាមជាការត្រួតពិនិត្យអនាម័យរហ័សសម្រាប់គម្រោងរបស់អ្នក អ្នកអាចប្រើចំណុចទិន្នន័យបណ្ដុះបណ្ដាលមួយ ឬពីរ ដើម្បីបញ្ជាក់ថាតើប្រព័ន្ធដំណើរការបានត្រឹមត្រូវ។ បណ្តាញសរសៃប្រសាទត្រូវតែបង្ហាញភាពត្រឹមត្រូវ 100% ក្នុងការបណ្តុះបណ្តាល និងការធ្វើតេស្ត។ ប្រសិនបើនេះមិនមែនជាករណីទេនោះ ម៉ូដែលតូចពេក ឬអ្នកមានកំហុសរួចហើយ។

ទោះបីជាអ្វីៗទាំងអស់ល្អក៏ដោយ សូមរៀបចំគំរូសម្រាប់សម័យកាលមួយ ឬច្រើនមុនពេលបន្ត។

ការវាយតម្លៃការបាត់បង់

ការប៉ាន់ប្រមាណការបាត់បង់គឺជាវិធីចម្បងដើម្បីកែលម្អដំណើរការរបស់ម៉ូដែល។ អ្នកត្រូវធានាថាការបាត់បង់គឺសមស្របនឹងបញ្ហា ហើយមុខងារបាត់បង់ត្រូវបានវាយតម្លៃលើមាត្រដ្ឋានត្រឹមត្រូវ។ ប្រសិនបើអ្នកប្រើប្រភេទការបាត់បង់ច្រើនជាងមួយ ត្រូវប្រាកដថាពួកវាទាំងអស់មានលំដាប់ដូចគ្នា ហើយធ្វើមាត្រដ្ឋានឱ្យបានត្រឹមត្រូវ។

វាមានសារៈសំខាន់ណាស់ក្នុងការយកចិត្តទុកដាក់ចំពោះការបាត់បង់ដំបូង។ ពិនិត្យមើលថាតើលទ្ធផលពិតប្រាកដជិតដល់កម្រិតណាដែលរំពឹងទុក ប្រសិនបើគំរូចាប់ផ្តើមដោយការស្មានដោយចៃដន្យ។ IN ការងាររបស់ Andrey Karpathy ណែនាំដូចខាងក្រោម:៖ “ត្រូវប្រាកដថាអ្នកទទួលបានលទ្ធផលដែលអ្នករំពឹងទុក នៅពេលអ្នកចាប់ផ្តើមជាមួយនឹងប៉ារ៉ាម៉ែត្រមួយចំនួនតូច។ វាជាការល្អប្រសើរជាងមុនដើម្បីពិនិត្យមើលការបាត់បង់ទិន្នន័យភ្លាមៗ (ជាមួយនឹងកម្រិតនៃភាពទៀងទាត់កំណត់ទៅសូន្យ)។ ឧទាហរណ៍ សម្រាប់ CIFAR-10 ជាមួយនឹង Softmax classifier យើងរំពឹងថាការខាតបង់ដំបូងគឺ 2.302 ដោយសារតែប្រូបាប៊ីលីតេនៃការសាយភាយដែលរំពឹងទុកគឺ 0,1 សម្រាប់ថ្នាក់នីមួយៗ (ចាប់តាំងពីមាន 10 classes) ហើយការបាត់បង់ Softmax គឺជាលទ្ធភាពអវិជ្ជមាននៃ class ត្រឹមត្រូវ។ ដូច − ln (0.1) = 2.302 ។

សម្រាប់ឧទាហរណ៍គោលពីរ ការគណនាស្រដៀងគ្នានេះត្រូវបានធ្វើឡើងយ៉ាងសាមញ្ញសម្រាប់ថ្នាក់នីមួយៗ។ ឧទាហរណ៍នៅទីនេះគឺទិន្នន័យ៖ 20% 0's និង 80% 1's ។ ការខាតបង់ដំបូងដែលរំពឹងទុកនឹងមានរហូតដល់ –0,2ln (0,5) –0,8ln (0,5) = 0,693147។ ប្រសិនបើលទ្ធផលគឺធំជាង 1 វាអាចបង្ហាញថាទម្ងន់បណ្តាញសរសៃប្រសាទមិនមានតុល្យភាពត្រឹមត្រូវ ឬទិន្នន័យមិនត្រូវបានធ្វើឱ្យមានលក្ខណៈធម្មតា។

ពិនិត្យលទ្ធផលកម្រិតមធ្យម និងការតភ្ជាប់

ដើម្បីបំបាត់កំហុសបណ្តាញសរសៃប្រសាទ វាចាំបាច់ក្នុងការស្វែងយល់ពីសក្ដានុពលនៃដំណើរការនៅក្នុងបណ្តាញ និងតួនាទីនៃស្រទាប់មធ្យមនីមួយៗ នៅពេលដែលពួកគេត្រូវបានតភ្ជាប់។ នេះគឺជាកំហុសទូទៅដែលអ្នកអាចជួបប្រទះ៖

• កន្សោមមិនត្រឹមត្រូវសម្រាប់ការធ្វើបច្ចុប្បន្នភាពកម្រិត;
• ការធ្វើឱ្យទាន់សម័យទម្ងន់មិនត្រូវបានអនុវត្ត;
• ជម្រាលផ្ទុះ។

ប្រសិនបើតម្លៃជម្រាលគឺសូន្យ នេះមានន័យថាអត្រាសិក្សានៅក្នុងកម្មវិធីបង្កើនប្រសិទ្ធភាពយឺតពេក ឬថាអ្នកកំពុងជួបប្រទះកន្សោមមិនត្រឹមត្រូវសម្រាប់ការធ្វើបច្ចុប្បន្នភាពជម្រាល។

លើសពីនេះទៀត វាចាំបាច់ក្នុងការតាមដានតម្លៃនៃមុខងារធ្វើឱ្យសកម្ម ទម្ងន់ និងបច្ចុប្បន្នភាពនៃស្រទាប់នីមួយៗ។ ឧទាហរណ៍ ទំហំនៃការធ្វើបច្ចុប្បន្នភាពប៉ារ៉ាម៉ែត្រ (ទម្ងន់ និងលំអៀង) គួរតែមាន 1-e3.

មានបាតុភូតមួយហៅថា "Dying ReLU" ឬ "បញ្ហាជម្រាលបាត់"នៅពេលដែលណឺរ៉ូន ReLU នឹងបញ្ចេញសូន្យបន្ទាប់ពីបានដឹងពីតម្លៃលំអៀងអវិជ្ជមានដ៏ធំមួយសម្រាប់ទម្ងន់របស់វា។ ណឺរ៉ូនទាំងនេះមិនត្រូវបានបាញ់ម្តងទៀតនៅចំណុចណាមួយនៅក្នុងទិន្នន័យនោះទេ។

អ្នក​អាច​ប្រើ​ការ​ពិនិត្យ​ជម្រាល​ដើម្បី​កំណត់​អត្តសញ្ញាណ​កំហុស​ទាំងនេះ​ដោយ​ការ​ប៉ាន់ស្មាន​ជម្រាល​ដោយ​ប្រើ​វិធី​លេខ។ ប្រសិនបើវានៅជិតជម្រាលដែលបានគណនា នោះការផ្សព្វផ្សាយខាងក្រោយត្រូវបានអនុវត្តយ៉ាងត្រឹមត្រូវ។ ដើម្បីបង្កើតការត្រួតពិនិត្យជម្រាល សូមពិនិត្យមើលធនធានដ៏អស្ចារ្យទាំងនេះពី CS231 នៅទីនេះ и នៅទីនេះនិងជាមួយ មេរៀន Andrew Nga លើប្រធានបទនេះ។

Faizan Sheikh បង្ហាញពីវិធីសាស្រ្តសំខាន់ៗចំនួនបីសម្រាប់ការមើលឃើញបណ្តាញសរសៃប្រសាទ៖

• បឋមគឺជាវិធីសាស្រ្តសាមញ្ញដែលបង្ហាញយើងពីរចនាសម្ព័ន្ធទូទៅនៃគំរូដែលបានបណ្តុះបណ្តាល។ ទាំងនេះរួមបញ្ចូលលទ្ធផលនៃរូបរាង ឬតម្រងនៃស្រទាប់នីមួយៗនៃបណ្តាញសរសៃប្រសាទ និងប៉ារ៉ាម៉ែត្រនៅក្នុងស្រទាប់នីមួយៗ។
• ការធ្វើឱ្យសកម្មផ្អែកលើ។ នៅក្នុងពួកវា យើងឌិគ្រីបសកម្មភាពនៃណឺរ៉ូនបុគ្គល ឬក្រុមណឺរ៉ូន ដើម្បីយល់ពីមុខងាររបស់វា។
• ផ្អែកលើជម្រាល។ វិធីសាស្រ្តទាំងនេះមានទំនោរក្នុងការរៀបចំជម្រាលដែលត្រូវបានបង្កើតឡើងពីការឆ្លងកាត់ទៅមុខ និងថយក្រោយនៃការបណ្តុះបណ្តាលគំរូ (រួមទាំងផែនទីភាពប្រៃ និងផែនទីធ្វើឱ្យសកម្មថ្នាក់)។

មានឧបករណ៍មានប្រយោជន៍ជាច្រើនសម្រាប់ការមើលឃើញការធ្វើឱ្យសកម្ម និងការភ្ជាប់នៃស្រទាប់នីមួយៗ ឧ. ConX и ថេនស៊ឺរ.

ការធ្វើរោគវិនិច្ឆ័យប៉ារ៉ាម៉ែត្រ

បណ្តាញសរសៃប្រសាទមានប៉ារ៉ាម៉ែត្រជាច្រើនដែលមានអន្តរកម្មគ្នាទៅវិញទៅមកដែលធ្វើអោយស្មុគស្មាញដល់ការបង្កើនប្រសិទ្ធភាព។ តាមពិតទៅ ផ្នែកនេះគឺជាកម្មវត្ថុនៃការស្រាវជ្រាវសកម្មដោយអ្នកឯកទេស ដូច្នេះការផ្ដល់យោបល់ខាងក្រោមគួរតែត្រូវបានចាត់ទុកថាគ្រាន់តែជាដំបូន្មានប៉ុណ្ណោះ ចំណុចចាប់ផ្តើមពីអ្វីដែលត្រូវបង្កើត។

ទំហំកញ្ចប់ (ទំហំបាច់) - ប្រសិនបើអ្នកចង់ឱ្យទំហំបណ្តុំមានទំហំធំល្មម ដើម្បីទទួលបានការប៉ាន់ប្រមាណកំហុសឆ្គងដែលមានភាពត្រឹមត្រូវ ប៉ុន្តែមានទំហំតូចល្មមសម្រាប់តំណពូជ stochastic gradient (SGD) ដើម្បីធ្វើឱ្យបណ្តាញរបស់អ្នកមានភាពទៀងទាត់។ ទំហំបណ្តុំតូចៗនឹងនាំទៅរកការបង្រួបបង្រួមយ៉ាងឆាប់រហ័សដោយសារតែសំលេងរំខានក្នុងអំឡុងពេលដំណើរការបណ្តុះបណ្តាល និងជាបន្តបន្ទាប់ដល់ការលំបាកក្នុងការបង្កើនប្រសិទ្ធភាព។ នេះត្រូវបានពិពណ៌នាលម្អិតបន្ថែមទៀត នៅទីនេះ.

អត្រាសិក្សា - កម្រិតទាបពេកនឹងនាំទៅរកការបង្រួបបង្រួមយឺត ឬហានិភ័យនៃការជាប់គាំងនៅក្នុងអប្បបរមាក្នុងស្រុក។ ក្នុងពេលជាមួយគ្នានេះ អត្រាសិក្សាខ្ពស់នឹងបង្កឱ្យមានភាពខុសគ្នានៃការបង្កើនប្រសិទ្ធភាព ពីព្រោះអ្នកប្រថុយនឹងការលោតចូលផ្នែកជ្រៅ ប៉ុន្តែតូចចង្អៀតនៃមុខងារបាត់បង់។ សាកល្បងប្រើកាលវិភាគល្បឿន ដើម្បីកាត់បន្ថយវា ខណៈពេលហ្វឹកហាត់បណ្តាញសរសៃប្រសាទ។ ធ្វើបច្ចុប្បន្នភាពជាមួយ CS231n មានផ្នែកធំមួយដែលឧទ្ទិសដល់បញ្ហានេះ.

ការច្រឹបជម្រាល  - កាត់ជម្រាលប៉ារ៉ាម៉ែត្រកំឡុងពេលបន្តពូជនៅតម្លៃអតិបរមា ឬបទដ្ឋានរឹម។ មានប្រយោជន៍សម្រាប់ការដោះស្រាយបញ្ហាជម្រាលដែលផ្ទុះណាមួយដែលអ្នកអាចជួបប្រទះនៅក្នុងចំណុចទីបី។

ការធ្វើឱ្យមានលក្ខណៈធម្មតា។ - ប្រើដើម្បីធ្វើឱ្យទិន្នន័យបញ្ចូលនៃស្រទាប់នីមួយៗមានលក្ខណៈធម្មតា ដែលដោះស្រាយបញ្ហានៃការផ្លាស់ប្តូរ covariate ខាងក្នុង។ ប្រសិនបើអ្នកកំពុងប្រើ Dropout និង Batch Norma ជាមួយគ្នា។ ពិនិត្យមើលអត្ថបទនេះ.

Stochastic gradient descent (SGD) - មានប្រភេទ SGD ជាច្រើនប្រភេទដែលប្រើសន្ទុះ អត្រាការរៀនប្រែប្រួល និងវិធីសាស្ត្រ Nesterov ។ ទោះយ៉ាងណាក៏ដោយ គ្មាននរណាម្នាក់ក្នុងចំណោមពួកគេ មានអត្ថប្រយោជន៍ច្បាស់លាស់ ទាក់ទងនឹងប្រសិទ្ធភាពនៃការសិក្សា និងការធ្វើឱ្យទូទៅ (ព័ត៌មានលម្អិតនៅទីនេះ).

ភាពទៀងទាត់ - មានសារៈសំខាន់ណាស់សម្រាប់ការកសាងគំរូទូទៅ ព្រោះវាបន្ថែមការពិន័យសម្រាប់ភាពស្មុគស្មាញនៃគំរូ ឬតម្លៃប៉ារ៉ាម៉ែត្រខ្លាំង។ នេះគឺជាវិធីមួយដើម្បីកាត់បន្ថយភាពខុសប្លែកគ្នានៃគំរូដោយមិនបង្កើនភាពលំអៀងរបស់វា។ ច្រើនទៀត ព័ត៌មានលម្អិត - នៅទីនេះ.

ដើម្បីវាយតម្លៃអ្វីៗគ្រប់យ៉ាងដោយខ្លួនឯង អ្នកត្រូវបិទការធ្វើឱ្យទៀងទាត់ និងពិនិត្យមើលជម្រាលការបាត់បង់ទិន្នន័យដោយខ្លួនឯង។

ការទម្លាក់ចេញ គឺជាវិធីសាស្រ្តមួយផ្សេងទៀតក្នុងការសម្រួលបណ្តាញរបស់អ្នក ដើម្បីការពារការកកស្ទះ។ ក្នុងអំឡុងពេលហ្វឹកហាត់ ការបោះបង់ចោលត្រូវបានអនុវត្តដោយរក្សាសកម្មភាពរបស់ណឺរ៉ូនជាមួយនឹងប្រូបាប៊ីលីតេជាក់លាក់ p (ប៉ារ៉ាម៉ែត្រខ្ពស់) ឬកំណត់វាទៅជាសូន្យនៅក្នុងករណីផ្ទុយ។ ជាលទ្ធផល បណ្តាញត្រូវតែប្រើសំណុំរងនៃប៉ារ៉ាម៉ែត្រផ្សេងគ្នាសម្រាប់បណ្តុំបណ្តុះបណ្តាលនីមួយៗ ដែលកាត់បន្ថយការផ្លាស់ប្តូរនៅក្នុងប៉ារ៉ាម៉ែត្រជាក់លាក់ដែលក្លាយជាលេចធ្លោ។

សំខាន់៖ ប្រសិនបើអ្នកប្រើទាំងការបោះបង់ និងការធ្វើឱ្យធម្មតាជាបាច់ សូមប្រយ័ត្នចំពោះលំដាប់នៃប្រតិបត្តិការទាំងនេះ ឬសូម្បីតែប្រើពួកវាជាមួយគ្នា។ ទាំងអស់នេះនៅតែត្រូវបានពិភាក្សាយ៉ាងសកម្ម និងបំពេញបន្ថែម។ នេះគឺជាការពិភាក្សាសំខាន់ពីរលើប្រធានបទនេះ។ នៅលើ Stackoverflow и អាកស៊ីវ.

ការគ្រប់គ្រងការងារ

វានិយាយអំពីការកត់ត្រាលំហូរការងារ និងការពិសោធន៍។ ប្រសិនបើអ្នកមិនចងក្រងឯកសារអ្វីទេ អ្នកអាចភ្លេច ឧទាហរណ៍ អត្រារៀន ឬទម្ងន់ថ្នាក់ត្រូវប្រើ។ សូមអរគុណចំពោះការគ្រប់គ្រង អ្នកអាចមើល និងផលិតឡើងវិញនូវការពិសោធន៍ពីមុនបានយ៉ាងងាយស្រួល។ នេះអនុញ្ញាតឱ្យអ្នកកាត់បន្ថយចំនួននៃការសាកល្បងស្ទួន។

ទោះជាយ៉ាងណាក៏ដោយ ឯកសារដោយដៃអាចក្លាយជាកិច្ចការដ៏លំបាកមួយក្នុងករណីមានបរិមាណការងារច្រើន។ នេះគឺជាកន្លែងដែលឧបករណ៍ដូចជា Comet.ml ចូលមកដើម្បីជួយអ្នកក្នុងការកត់ត្រាដោយស្វ័យប្រវត្តិនូវសំណុំទិន្នន័យ ការផ្លាស់ប្តូរកូដ ប្រវត្តិពិសោធន៍ និងគំរូផលិតកម្ម រួមទាំងព័ត៌មានសំខាន់ៗអំពីម៉ូដែលរបស់អ្នក (ប៉ារ៉ាម៉ែត្រខ្ពស់ រង្វាស់គំរូ និងព័ត៌មានបរិស្ថាន)។

បណ្តាញសរសៃប្រសាទអាចមានភាពរសើបខ្លាំងចំពោះការផ្លាស់ប្តូរតូចៗ ហើយវានឹងនាំទៅរកការធ្លាក់ចុះនៃការអនុវត្តគំរូ។ ការតាមដាន និងចងក្រងឯកសារការងាររបស់អ្នក គឺជាជំហានដំបូងដែលអ្នកអាចធ្វើ ដើម្បីធ្វើស្តង់ដារបរិស្ថាន និងការធ្វើគំរូរបស់អ្នក។

ខ្ញុំសង្ឃឹមថាការបង្ហោះនេះអាចជាចំណុចចាប់ផ្តើមសម្រាប់អ្នកដើម្បីចាប់ផ្តើមបំបាត់កំហុសបណ្តាញសរសៃប្រសាទរបស់អ្នក។

Skillbox ណែនាំ៖

• វគ្គសិក្សាជាក់ស្តែងរយៈពេលពីរឆ្នាំ "ខ្ញុំជាអ្នកបង្កើតគេហទំព័រ PRO".
• វគ្គសិក្សាតាមអ៊ីនធឺណិត "អ្នកអភិវឌ្ឍន៍ C# ពី 0".
• វគ្គសិក្សាជាក់ស្តែងឆ្នាំ "អ្នកអភិវឌ្ឍន៍ PHP ពី 0 ដល់ PRO".

ប្រភព: www.habr.com