យើងស្វែងរកភាពមិនប្រក្រតី និងព្យាករណ៍ពីការបរាជ័យដោយប្រើបណ្តាញសរសៃប្រសាទ

ការអភិវឌ្ឍន៍ឧស្សាហកម្មនៃប្រព័ន្ធសូហ្វវែរតម្រូវឱ្យមានការយកចិត្តទុកដាក់យ៉ាងខ្លាំងចំពោះការអត់ឱនចំពោះកំហុសនៃផលិតផលចុងក្រោយ ក៏ដូចជាការឆ្លើយតបយ៉ាងឆាប់រហ័សចំពោះការបរាជ័យ និងការបរាជ័យប្រសិនបើវាកើតឡើង។ ជាការពិតណាស់ ការត្រួតពិនិត្យអាចជួយឆ្លើយតបទៅនឹងការបរាជ័យ និងការបរាជ័យកាន់តែមានប្រសិទ្ធភាព និងឆាប់រហ័ស ប៉ុន្តែមិនគ្រប់គ្រាន់នោះទេ។ ទីមួយ វាជាការលំបាកខ្លាំងណាស់ក្នុងការតាមដានចំនួនម៉ាស៊ីនមេដ៏ច្រើន - មនុស្សមួយចំនួនធំត្រូវការជាចាំបាច់។ ទីពីរ អ្នក​ត្រូវ​មាន​ការ​យល់​ដឹង​ឱ្យ​បាន​ច្បាស់​អំពី​របៀប​ដែល​កម្មវិធី​ដំណើរការ​ដើម្បី​ទស្សន៍ទាយ​ស្ថានភាព​របស់វា។ ដូច្នេះហើយ យើង​ត្រូវ​ការ​មនុស្ស​ជា​ច្រើន​ដែល​មាន​ការ​យល់​ដឹង​ច្បាស់​អំពី​ប្រព័ន្ធ​ដែល​យើង​កំពុង​បង្កើត ដំណើរការ និង​លក្ខណៈ​ពិសេស​របស់​ពួកគេ។ ឧបមាថា ទោះបីជាអ្នករកឃើញមនុស្សមានឆន្ទៈគ្រប់គ្រាន់ដើម្បីធ្វើកិច្ចការនេះក៏ដោយ វានៅតែត្រូវការពេលវេលាច្រើនដើម្បីបណ្តុះបណ្តាលពួកគេ។

អ្វី​ដែល​ត្រូវធ្វើ? នេះគឺជាកន្លែងដែលបញ្ញាសិប្បនិម្មិតមកជួយរបស់យើង។ អត្ថបទនឹងនិយាយអំពី ការថែទាំព្យាករណ៍ (ការថែទាំការព្យាករណ៍) ។ វិធីសាស្រ្តនេះកំពុងទទួលបានប្រជាប្រិយភាពយ៉ាងសកម្ម។ អត្ថបទមួយចំនួនធំត្រូវបានសរសេរ រួមទាំងនៅលើ Habre ។ ក្រុមហ៊ុនធំៗប្រើប្រាស់វិធីសាស្រ្តនេះយ៉ាងពេញលេញ ដើម្បីរក្សាដំណើរការនៃម៉ាស៊ីនមេរបស់ពួកគេ។ បន្ទាប់ពីសិក្សាអត្ថបទមួយចំនួនធំ យើងបានសម្រេចចិត្តសាកល្បងវិធីសាស្រ្តនេះ។ តើវាមកពីអ្វី?

សេចក្តីណែនាំ

ប្រព័ន្ធសូហ្វវែរដែលបានអភិវឌ្ឍឆាប់ឬក្រោយមកដំណើរការ។ វាមានសារៈសំខាន់សម្រាប់អ្នកប្រើប្រាស់ដែលប្រព័ន្ធដំណើរការដោយគ្មានការបរាជ័យ។ ប្រសិនបើមានការសង្គ្រោះបន្ទាន់កើតឡើង វាគួរតែត្រូវបានដោះស្រាយជាមួយនឹងការពន្យារពេលតិចតួចបំផុត។

ដើម្បីសម្រួលផ្នែកបច្ចេកទេសនៃប្រព័ន្ធសូហ្វវែរ ជាពិសេសប្រសិនបើមានម៉ាស៊ីនមេច្រើន កម្មវិធីត្រួតពិនិត្យជាធម្មតាត្រូវបានប្រើដែលយកម៉ែត្រពីប្រព័ន្ធសូហ្វវែរដែលកំពុងដំណើរការ ធ្វើឱ្យវាអាចវិនិច្ឆ័យស្ថានភាពរបស់វា និងជួយកំណត់ថាតើអ្វីដែលបណ្តាលឱ្យបរាជ័យពិតប្រាកដ។ ដំណើរការនេះត្រូវបានគេហៅថាការត្រួតពិនិត្យប្រព័ន្ធកម្មវិធី។

រូបភាពទី 1. ចំណុចប្រទាក់ត្រួតពិនិត្យ Grafana

ម៉ែត្រគឺជាសូចនាករផ្សេងៗនៃប្រព័ន្ធសូហ្វវែរ បរិយាកាសប្រតិបត្តិរបស់វា ឬកុំព្យូទ័រដែលប្រព័ន្ធនេះកំពុងដំណើរការជាមួយនឹងត្រាពេលវេលានៃពេលដែលម៉ែត្រត្រូវបានទទួល។ នៅក្នុងការវិភាគឋិតិវន្ត រង្វាស់ទាំងនេះត្រូវបានគេហៅថាស៊េរីពេលវេលា។ ដើម្បីតាមដានស្ថានភាពនៃប្រព័ន្ធសូហ្វវែរ រង្វាស់ត្រូវបានបង្ហាញជាទម្រង់ក្រាហ្វ៖ ពេលវេលាស្ថិតនៅលើអ័ក្ស X ហើយតម្លៃស្ថិតនៅតាមអ័ក្ស Y (រូបភាពទី 1)។ រង្វាស់រាប់ពាន់ម៉ែត្រអាចត្រូវបានយកចេញពីប្រព័ន្ធកម្មវិធីដែលកំពុងដំណើរការ (ពីថ្នាំងនីមួយៗ)។ ពួកវាបង្កើតជាចន្លោះនៃម៉ែត្រ (ស៊េរីពេលវេលាពហុវិមាត្រ)។

ដោយសារការវាស់វែងមួយចំនួនធំត្រូវបានប្រមូលសម្រាប់ប្រព័ន្ធសូហ្វវែរដ៏ស្មុគស្មាញ ការត្រួតពិនិត្យដោយដៃក្លាយជាកិច្ចការដ៏លំបាកមួយ។ ដើម្បីកាត់បន្ថយបរិមាណទិន្នន័យដែលបានវិភាគដោយអ្នកគ្រប់គ្រង ឧបករណ៍ត្រួតពិនិត្យមានឧបករណ៍ដើម្បីកំណត់អត្តសញ្ញាណបញ្ហាដែលអាចកើតមានដោយស្វ័យប្រវត្តិ។ ឧទាហរណ៍ អ្នក​អាច​កំណត់​រចនាសម្ព័ន្ធ​កេះ​ដើម្បី​បាញ់​នៅ​ពេល​ទំហំ​ថាស​ទំនេរ​ធ្លាក់​ក្រោម​កម្រិត​ដែល​បាន​បញ្ជាក់។ អ្នកក៏អាចធ្វើរោគវិនិច្ឆ័យដោយស្វ័យប្រវត្តិនូវការបិទម៉ាស៊ីនមេ ឬការយឺតយ៉ាវក្នុងល្បឿនសេវាកម្ម។ នៅក្នុងការអនុវត្ត ឧបករណ៍ត្រួតពិនិត្យដំណើរការបានល្អក្នុងការរកឃើញការបរាជ័យដែលបានកើតឡើងរួចហើយ ឬកំណត់រោគសញ្ញាសាមញ្ញនៃការបរាជ័យនាពេលអនាគត ប៉ុន្តែជាទូទៅ ការទស្សន៍ទាយពីការបរាជ័យដែលអាចកើតមាននៅតែជាចំណុចពិបាកមួយក្នុងការបំបែកពួកគេ។ ការទស្សន៍ទាយតាមរយៈការវិភាគដោយដៃនៃម៉ែត្រទាមទារឱ្យមានការចូលរួមពីអ្នកឯកទេសដែលមានសមត្ថភាព។ វាមានផលិតភាពទាប។ ការបរាជ័យដែលអាចកើតមានភាគច្រើនអាចនឹងមិនមាននរណាកត់សម្គាល់។

ថ្មីៗនេះ អ្វី​ដែល​ហៅ​ថា​ការ​ថែទាំ​ប្រព័ន្ធ​កម្មវិធី​ដែល​បាន​ព្យាករណ៍​បាន​ក្លាយ​ជា​ការ​ពេញ​និយម​កាន់​តែ​ខ្លាំង​ឡើង​ក្នុង​ចំណោម​ក្រុមហ៊ុន​អភិវឌ្ឍន៍​កម្មវិធី IT ធំៗ។ ខ្លឹមសារនៃវិធីសាស្រ្តនេះគឺដើម្បីស្វែងរកបញ្ហាដែលនាំទៅដល់ការរិចរិលប្រព័ន្ធក្នុងដំណាក់កាលដំបូង មុនពេលវាបរាជ័យដោយប្រើបញ្ញាសិប្បនិម្មិត។ វិធីសាស្រ្តនេះមិនរាប់បញ្ចូលទាំងស្រុងនូវការត្រួតពិនិត្យប្រព័ន្ធដោយដៃនោះទេ។ វាជាជំនួយដល់ដំណើរការត្រួតពិនិត្យទាំងមូល។

ឧបករណ៍សំខាន់សម្រាប់អនុវត្តការថែទាំការព្យាករណ៍គឺជាភារកិច្ចនៃការស្វែងរកភាពមិនប្រក្រតីនៅក្នុងស៊េរីពេលវេលាចាប់តាំងពី នៅពេលដែលភាពមិនប្រក្រតីកើតឡើង នៅក្នុងទិន្នន័យមានប្រូបាបខ្ពស់ដែលបន្ទាប់ពីពេលខ្លះ វានឹងមានការបរាជ័យឬបរាជ័យ. ភាពមិនប្រក្រតីគឺជាគម្លាតជាក់លាក់មួយនៅក្នុងដំណើរការនៃប្រព័ន្ធកម្មវិធី ដូចជាការកំណត់អត្តសញ្ញាណការរិចរិលក្នុងល្បឿនប្រតិបត្តិនៃសំណើប្រភេទមួយ ឬការថយចុះនៃចំនួនមធ្យមនៃសំណើដែលបានផ្តល់សេវានៅកម្រិតថេរនៃវគ្គអតិថិជន។

ភារកិច្ចស្វែងរកភាពមិនប្រក្រតីសម្រាប់ប្រព័ន្ធសូហ្វវែរមានលក្ខណៈជាក់លាក់របស់វា។ តាមទ្រឹស្តី សម្រាប់ប្រព័ន្ធសូហ្វវែរនីមួយៗ ចាំបាច់ត្រូវបង្កើត ឬកែលម្អវិធីសាស្ត្រដែលមានស្រាប់ ចាប់តាំងពីការស្វែងរកភាពមិនប្រក្រតីគឺពឹងផ្អែកខ្លាំងលើទិន្នន័យដែលវាត្រូវបានអនុវត្ត ហើយទិន្នន័យនៃប្រព័ន្ធសូហ្វវែរប្រែប្រួលយ៉ាងខ្លាំងអាស្រ័យលើឧបករណ៍សម្រាប់អនុវត្តប្រព័ន្ធ។ ចុះទៅកុំព្យូទ័រដែលវាកំពុងដំណើរការ។

វិធីសាស្រ្តក្នុងការស្វែងរកភាពមិនប្រក្រតីនៅពេលទស្សន៍ទាយការបរាជ័យនៃប្រព័ន្ធសូហ្វវែរ

ជាដំបូងវាមានតម្លៃនិយាយថាគំនិតនៃការទស្សន៍ទាយការបរាជ័យត្រូវបានបំផុសគំនិតដោយអត្ថបទ "ការរៀនម៉ាស៊ីនក្នុងការត្រួតពិនិត្យ IT". ដើម្បីសាកល្បងប្រសិទ្ធភាពនៃវិធីសាស្រ្តជាមួយនឹងការស្វែងរកដោយស្វ័យប្រវត្តិសម្រាប់ភាពមិនប្រក្រតី ប្រព័ន្ធកម្មវិធី Web-Consolidation ត្រូវបានជ្រើសរើស ដែលជាគម្រោងមួយក្នុងចំណោមគម្រោងរបស់ក្រុមហ៊ុន NPO Krista ។ ពីមុនការត្រួតពិនិត្យដោយដៃត្រូវបានអនុវត្តសម្រាប់វាដោយផ្អែកលើម៉ែត្រដែលទទួលបាន។ ដោយសារប្រព័ន្ធនេះមានភាពស្មុគ្រស្មាញ ការវាស់វែងមួយចំនួនធំត្រូវបានគេយកសម្រាប់វា៖ សូចនាករ JVM (ការផ្ទុកអ្នកប្រមូលសំរាម) សូចនាករនៃប្រព័ន្ធប្រតិបត្តិការដែលកូដត្រូវបានប្រតិបត្តិ (អង្គចងចាំនិម្មិត % OS ផ្ទុកស៊ីភីយូ) សូចនាករបណ្តាញ (បន្ទុកបណ្តាញ។ ) ម៉ាស៊ីនមេខ្លួនឯង (ការផ្ទុកស៊ីភីយូ អង្គចងចាំ) រង្វាស់ wildfly និងម៉ែត្រផ្ទាល់របស់កម្មវិធីសម្រាប់ប្រព័ន្ធរងសំខាន់ៗទាំងអស់។

ម៉ែត្រទាំងអស់ត្រូវបានយកចេញពីប្រព័ន្ធដោយប្រើក្រាហ្វិច។ ដំបូង មូលដ្ឋានទិន្នន័យខ្សឹបខ្សៀវត្រូវបានប្រើជាដំណោះស្រាយស្ដង់ដារសម្រាប់ grafana ប៉ុន្តែនៅពេលដែលមូលដ្ឋានអតិថិជនកើនឡើង ក្រាហ្វិចមិនអាចដោះស្រាយបានទៀតទេ ដោយបានអស់សមត្ថភាពនៃប្រព័ន្ធរងរបស់ឌីស៊ី។ បន្ទាប់ពីនេះវាត្រូវបានគេសម្រេចចិត្តស្វែងរកដំណោះស្រាយដែលមានប្រសិទ្ធភាពជាង។ ការជ្រើសរើសត្រូវបានធ្វើឡើងនៅក្នុងការពេញចិត្ត ក្រាហ្វិច + ផ្ទះចុចដែលធ្វើឱ្យវាអាចធ្វើទៅបានដើម្បីកាត់បន្ថយការផ្ទុកនៅលើប្រព័ន្ធរងឌីសដោយលំដាប់នៃរ៉ិចទ័រ និងកាត់បន្ថយទំហំថាសដែលបានកាន់កាប់ពីប្រាំទៅប្រាំមួយដង។ ខាងក្រោមនេះគឺជាដ្យាក្រាមនៃយន្តការសម្រាប់ការប្រមូលម៉ែត្រដោយប្រើក្រាហ្វិច + ផ្ទះចុច (រូបភាពទី 2) ។

រូបភាពទី 2. គ្រោងការណ៍សម្រាប់ការប្រមូលម៉ែត្រ

ដ្យាក្រាមត្រូវបានយកចេញពីឯកសារផ្ទៃក្នុង។ វាបង្ហាញពីទំនាក់ទំនងរវាង grafana (UI ត្រួតពិនិត្យដែលយើងប្រើ) និង graphite ។ ការដកម៉ែត្រចេញពីកម្មវិធីគឺធ្វើឡើងដោយកម្មវិធីដាច់ដោយឡែក - jmxtrans. គាត់ដាក់ពួកវានៅក្នុងក្រាហ្វិច។
ប្រព័ន្ធ Web Consolidation មានលក្ខណៈពិសេសមួយចំនួនដែលបង្កើតបញ្ហាសម្រាប់ការទស្សន៍ទាយការបរាជ័យ៖

1. និន្នាការផ្លាស់ប្តូរជាញឹកញាប់។ កំណែផ្សេងៗមានសម្រាប់ប្រព័ន្ធសូហ្វវែរនេះ។ ពួកគេម្នាក់ៗនាំមកនូវការផ្លាស់ប្តូរទៅផ្នែកកម្មវិធីនៃប្រព័ន្ធ។ ដូច្នោះហើយ តាមវិធីនេះ អ្នកអភិវឌ្ឍន៍មានឥទ្ធិពលដោយផ្ទាល់លើរង្វាស់នៃប្រព័ន្ធដែលបានផ្តល់ឱ្យ ហើយអាចបណ្តាលឱ្យមានការផ្លាស់ប្តូរនិន្នាការ។
2. លក្ខណៈនៃការអនុវត្ត ក៏ដូចជាគោលបំណងដែលអតិថិជនប្រើប្រាស់ប្រព័ន្ធនេះ ជារឿយៗបណ្តាលឱ្យមានភាពមិនប្រក្រតី ដោយគ្មានការរិចរិលពីមុនមក។
3. ភាគរយនៃភាពមិនប្រក្រតីទាក់ទងទៅនឹងសំណុំទិន្នន័យទាំងមូលគឺតូច (< 5%) ។
4. វាអាចមានចន្លោះប្រហោងក្នុងការទទួលសូចនាករពីប្រព័ន្ធ។ ក្នុងរយៈពេលខ្លីមួយចំនួន ប្រព័ន្ធត្រួតពិនិត្យបរាជ័យក្នុងការទទួលបានម៉ែត្រ។ ឧទាហរណ៍ ប្រសិនបើម៉ាស៊ីនមេផ្ទុកលើសទម្ងន់។ នេះមានសារៈសំខាន់សម្រាប់ការបណ្តុះបណ្តាលបណ្តាញសរសៃប្រសាទ។ មានតម្រូវការក្នុងការបំពេញចន្លោះប្រហោងសំយោគ;
5. ករណី​ដែល​មាន​ភាព​ខុស​ប្រក្រតី​ច្រើន​តែ​ពាក់ព័ន្ធ​សម្រាប់​តែ​កាលបរិច្ឆេទ/ខែ/ពេលវេលា​ជាក់លាក់​មួយ​ប៉ុណ្ណោះ (តាម​រដូវ)។ ប្រព័ន្ធនេះមានបទប្បញ្ញត្តិច្បាស់លាស់សម្រាប់ការប្រើប្រាស់របស់វាដោយអ្នកប្រើប្រាស់។ ដូច្នោះ​ហើយ​ម៉ែត្រ​គឺ​ពាក់ព័ន្ធ​តែ​ក្នុង​ពេល​ជាក់លាក់​មួយ​ប៉ុណ្ណោះ។ ប្រព័ន្ធនេះមិនអាចប្រើបានឥតឈប់ឈរទេ ប៉ុន្តែមានតែក្នុងខែខ្លះប៉ុណ្ណោះ៖ ជ្រើសរើសអាស្រ័យលើឆ្នាំ។ ស្ថានភាពកើតឡើងនៅពេលដែលអាកប្បកិរិយាដូចគ្នានៃម៉ែត្រនៅក្នុងករណីមួយអាចនាំឱ្យមានការបរាជ័យនៃប្រព័ន្ធសូហ្វវែរ ប៉ុន្តែមិនមែននៅក្នុងករណីមួយផ្សេងទៀតនោះទេ។
   ដើម្បីចាប់ផ្តើមជាមួយ វិធីសាស្រ្តសម្រាប់រកមើលភាពមិនប្រក្រតីក្នុងការត្រួតពិនិត្យទិន្នន័យនៃប្រព័ន្ធសូហ្វវែរត្រូវបានវិភាគ។ នៅក្នុងអត្ថបទលើប្រធានបទនេះ នៅពេលដែលភាគរយនៃភាពមិនប្រក្រតីគឺតូចទាក់ទងទៅនឹងសំណុំទិន្នន័យដែលនៅសល់ វាត្រូវបានស្នើឡើងជាញឹកញាប់បំផុតដើម្បីប្រើបណ្តាញសរសៃប្រសាទ។

តក្កវិជ្ជាមូលដ្ឋានសម្រាប់ការស្វែងរកភាពមិនប្រក្រតីដោយប្រើទិន្នន័យបណ្តាញសរសៃប្រសាទត្រូវបានបង្ហាញក្នុងរូបភាពទី 3៖

រូបភាពទី 3. ការស្វែងរកភាពមិនប្រក្រតីដោយប្រើបណ្តាញសរសៃប្រសាទ

ដោយផ្អែកលើលទ្ធផលនៃការព្យាករណ៍ឬការស្ដារឡើងវិញនៃបង្អួចនៃលំហូរបច្ចុប្បន្ននៃម៉ែត្រគម្លាតពីដែលទទួលបានពីប្រព័ន្ធកម្មវិធីដែលកំពុងដំណើរការត្រូវបានគណនា។ ប្រសិនបើមានភាពខុសគ្នាធំរវាងម៉ែត្រដែលទទួលបានពីប្រព័ន្ធសូហ្វវែរ និងបណ្តាញសរសៃប្រសាទ នោះយើងអាចសន្និដ្ឋានបានថាផ្នែកទិន្នន័យបច្ចុប្បន្នមានភាពមិនប្រក្រតី។ ស៊េរីនៃបញ្ហាខាងក្រោមកើតឡើងសម្រាប់ការប្រើប្រាស់បណ្តាញសរសៃប្រសាទ៖

1. ដើម្បីដំណើរការបានត្រឹមត្រូវនៅក្នុងរបៀបស្ទ្រីម ទិន្នន័យសម្រាប់ការបណ្តុះបណ្តាលគំរូបណ្តាញសរសៃប្រសាទត្រូវតែរួមបញ្ចូលតែទិន្នន័យ "ធម្មតា" ប៉ុណ្ណោះ។
2. វាចាំបាច់ដើម្បីឱ្យមានគំរូទាន់សម័យសម្រាប់ការរកឃើញត្រឹមត្រូវ។ ការផ្លាស់ប្តូរនិន្នាការ និងរដូវកាលនៅក្នុងម៉ែត្រអាចបណ្តាលឱ្យមានមួយចំនួនធំនៃវិជ្ជមានមិនពិតនៅក្នុងគំរូ។ ដើម្បីធ្វើបច្ចុប្បន្នភាពវាចាំបាច់ដើម្បីកំណត់យ៉ាងច្បាស់នូវពេលវេលាដែលម៉ូដែលហួសសម័យ។ ប្រសិនបើអ្នកធ្វើបច្ចុប្បន្នភាពគំរូនៅពេលក្រោយ ឬមុននេះ ភាគច្រើនទំនងជា ផលវិជ្ជមានមិនពិតមួយចំនួនធំនឹងកើតឡើង។
   យើងក៏មិនត្រូវភ្លេចអំពីការស្វែងរក និងការពារការកើតឡើងញឹកញាប់នៃវិជ្ជមានមិនពិតដែរ។ វាត្រូវបានសន្មត់ថាពួកវានឹងកើតឡើងជាញឹកញាប់បំផុតនៅក្នុងស្ថានភាពអាសន្ន។ ទោះជាយ៉ាងណាក៏ដោយ ពួកគេក៏អាចជាផលវិបាកនៃកំហុសបណ្តាញសរសៃប្រសាទដោយសារតែការបណ្តុះបណ្តាលមិនគ្រប់គ្រាន់។ វាចាំបាច់ដើម្បីកាត់បន្ថយចំនួនវិជ្ជមានមិនពិតនៃគំរូ។ បើមិនដូច្នេះទេ ការទស្សន៍ទាយមិនពិតនឹងខ្ជះខ្ជាយពេលវេលារបស់អ្នកគ្រប់គ្រងជាច្រើនដែលមានបំណងពិនិត្យមើលប្រព័ន្ធ។ មិនយូរមិនឆាប់ អ្នកគ្រប់គ្រងនឹងឈប់ឆ្លើយតបនឹងប្រព័ន្ធត្រួតពិនិត្យ "ភាពភ័យខ្លាច"។

បណ្តាញសរសៃប្រសាទកើតឡើងវិញ។

ដើម្បីរកមើលភាពមិនប្រក្រតីនៅក្នុងស៊េរីពេលវេលា អ្នកអាចប្រើ បណ្តាញសរសៃប្រសាទកើតឡើងវិញ។ ជាមួយអង្គចងចាំ LSTM ។ បញ្ហាតែមួយគត់គឺថាវាអាចប្រើបានសម្រាប់តែស៊េរីពេលវេលាដែលបានព្យាករណ៍ប៉ុណ្ណោះ។ ក្នុងករណីរបស់យើង មិនមែនម៉ែត្រទាំងអស់អាចទស្សន៍ទាយបានទេ។ ការប៉ុនប៉ងដើម្បីអនុវត្ត RNN LSTM ទៅនឹងស៊េរីពេលវេលាត្រូវបានបង្ហាញក្នុងរូបភាពទី 4 ។

រូបភាពទី 4. ឧទាហរណ៍នៃបណ្តាញសរសៃប្រសាទដែលកើតឡើងដដែលៗជាមួយកោសិកាអង្គចងចាំ LSTM

ដូចដែលអាចមើលឃើញពីរូបភាពទី 4 RNN LSTM អាចទប់ទល់នឹងការស្វែងរកភាពមិនប្រក្រតីនៅក្នុងរយៈពេលនេះ។ នៅពេលដែលលទ្ធផលមានកំហុសក្នុងការទស្សន៍ទាយខ្ពស់ (កំហុសមធ្យម) ភាពមិនប្រក្រតីនៅក្នុងសូចនាករពិតជាបានកើតឡើង។ ការប្រើប្រាស់ RNN LSTM តែមួយនឹងមិនគ្រប់គ្រាន់ទេ ព្រោះវាអាចអនុវត្តបានចំពោះម៉ែត្រមួយចំនួនតូច។ អាចត្រូវបានប្រើជាវិធីសាស្ត្រជំនួយសម្រាប់ការស្វែងរកភាពមិនប្រក្រតី។

ការអ៊ិនកូដស្វ័យប្រវត្តិសម្រាប់ការទស្សន៍ទាយបរាជ័យ

កម្មវិធីបម្លែងកូដស្វ័យប្រវត្តិ - សំខាន់បណ្តាញសរសៃប្រសាទសិប្បនិម្មិត។ ស្រទាប់​បញ្ចូល​គឺ​ជា​កម្មវិធី​បំប្លែង​កូដ ស្រទាប់​លទ្ធផល​គឺ​ជា​ឧបករណ៍​ឌិកូដ។ គុណវិបត្តិនៃបណ្តាញសរសៃប្រសាទទាំងអស់នៃប្រភេទនេះគឺថាពួកគេមិនធ្វើមូលដ្ឋានីយកម្មភាពមិនប្រក្រតីបានល្អ។ ស្ថាបត្យកម្ម autoencoder ធ្វើសមកាលកម្មត្រូវបានជ្រើសរើស។

រូបភាពទី 5. ឧទាហរណ៍នៃប្រតិបត្តិការ autoencoder

Autoencoders ត្រូវបានបណ្តុះបណ្តាលលើទិន្នន័យធម្មតា ហើយបន្ទាប់មកស្វែងរកអ្វីដែលមិនប្រក្រតីនៅក្នុងទិន្នន័យដែលបានបញ្ចូលទៅក្នុងគំរូ។ គ្រាន់តែជាអ្វីដែលអ្នកត្រូវការសម្រាប់កិច្ចការនេះ។ អ្វីដែលនៅសល់គឺត្រូវជ្រើសរើស autoencoder ណាដែលសមរម្យសម្រាប់កិច្ចការនេះ។ ទម្រង់ស្ថាបត្យកម្មដ៏សាមញ្ញបំផុតនៃ autoencoder គឺជាបណ្តាញសរសៃប្រសាទឆ្ពោះទៅមុខ ដែលមិនត្រលប់មកវិញ ដែលស្រដៀងទៅនឹង ការយល់ឃើញពហុស្រទាប់ (multilayer perceptron, MLP) ដែលមានស្រទាប់បញ្ចូល ស្រទាប់លទ្ធផល និងស្រទាប់លាក់មួយ ឬច្រើនភ្ជាប់ពួកវា។
ទោះជាយ៉ាងណាក៏ដោយ ភាពខុសគ្នារវាង autoencoders និង MLPs គឺថានៅក្នុង autoencoder ស្រទាប់លទ្ធផលមានចំនួនថ្នាំងដូចគ្នាទៅនឹង input layer ហើយថាជំនួសឱ្យការហ្វឹកហាត់ដើម្បីទស្សន៍ទាយតម្លៃគោលដៅ Y ដែលផ្តល់ដោយការបញ្ចូល X នោះ autoencoder ត្រូវបានបណ្តុះបណ្តាល។ ដើម្បីបង្កើត Xs របស់ខ្លួនឡើងវិញ។ ដូច្នេះ Autoencoders គឺជាគំរូសិក្សាដែលគ្មានការត្រួតពិនិត្យ។

ភារកិច្ចរបស់ autoencoder គឺដើម្បីស្វែងរកសន្ទស្សន៍ពេលវេលា r0 ... rn ដែលត្រូវគ្នាទៅនឹងធាតុមិនប្រក្រតីនៅក្នុងវ៉ិចទ័របញ្ចូល X ។ ប្រសិទ្ធភាពនេះត្រូវបានសម្រេចដោយការស្វែងរកកំហុសការ៉េ។

រូបភាពទី 6. ការធ្វើសមកាលកម្មស្វ័យប្រវត្តិ

សម្រាប់ autoencoder ត្រូវបានជ្រើសរើស ស្ថាបត្យកម្ម synchronous. គុណសម្បត្តិរបស់វា៖ លទ្ធភាពប្រើប្រាស់របៀបដំណើរការស្ទ្រីម និងចំនួនប៉ារ៉ាម៉ែត្របណ្តាញសរសៃប្រសាទតូចជាងបើប្រៀបធៀបទៅនឹងស្ថាបត្យកម្មផ្សេងទៀត។

យន្តការកាត់បន្ថយភាពវិជ្ជមានមិនពិត

ដោយសារតែស្ថានភាពមិនប្រក្រតីផ្សេងៗកើតឡើង ក៏ដូចជាស្ថានភាពដែលអាចកើតមាននៃការបណ្ដុះបណ្ដាលមិនគ្រប់គ្រាន់នៃបណ្តាញសរសៃប្រសាទ សម្រាប់គំរូនៃការរកឃើញភាពមិនធម្មតាត្រូវបានបង្កើតឡើង វាត្រូវបានគេសម្រេចចិត្តថា ចាំបាច់ត្រូវបង្កើតយន្តការសម្រាប់កាត់បន្ថយភាពវិជ្ជមានមិនពិត។ យន្តការនេះគឺផ្អែកលើមូលដ្ឋានគំរូដែលត្រូវបានចាត់ថ្នាក់ដោយអ្នកគ្រប់គ្រង។

ក្បួនដោះស្រាយសម្រាប់ការផ្លាស់ប្តូរបន្ទាត់ពេលវេលាថាមវន្ត (ក្បួនដោះស្រាយ DTW ពីភាសាអង់គ្លេសថាមវន្តពេលវេលាវាយឆ្មក់) អនុញ្ញាតឱ្យអ្នកស្វែងរកការឆ្លើយឆ្លងដ៏ល្អប្រសើររវាងលំដាប់ពេលវេលា។ ប្រើដំបូងក្នុងការទទួលស្គាល់ការនិយាយ៖ ប្រើដើម្បីកំណត់ពីរបៀបដែលសញ្ញាសុន្ទរកថាពីរតំណាងឱ្យឃ្លានិយាយដើមដូចគ្នា។ បនា្ទាប់មក កម្មវិធីត្រូវបានរកឃើញសម្រាប់វានៅក្នុងតំបន់ផ្សេងទៀត។

គោលការណ៍សំខាន់នៃការកាត់បន្ថយភាពវិជ្ជមានមិនពិតគឺការប្រមូលមូលដ្ឋានទិន្នន័យនៃស្តង់ដារដោយមានជំនួយពីប្រតិបត្តិករដែលចាត់ថ្នាក់ករណីគួរឱ្យសង្ស័យដែលបានរកឃើញដោយប្រើបណ្តាញសរសៃប្រសាទ។ បន្ទាប់មក ស្តង់ដារដែលបានចាត់ថ្នាក់ត្រូវបានប្រៀបធៀបជាមួយនឹងករណីដែលប្រព័ន្ធបានរកឃើញ ហើយការសន្និដ្ឋានត្រូវបានធ្វើឡើងអំពីថាតើករណីនោះមិនពិត ឬនាំទៅរកការបរាជ័យ។ ក្បួនដោះស្រាយ DTW ត្រូវបានប្រើយ៉ាងជាក់លាក់ដើម្បីប្រៀបធៀបស៊េរីពេលវេលាពីរ។ ឧបករណ៍បង្រួមអប្បបរមាសំខាន់នៅតែជាចំណាត់ថ្នាក់។ វាត្រូវបានគេរំពឹងថាបន្ទាប់ពីការប្រមូលករណីយោងមួយចំនួនធំប្រព័ន្ធនឹងចាប់ផ្តើមសួរប្រតិបត្តិករតិចជាងមុនដោយសារតែភាពស្រដៀងគ្នានៃករណីភាគច្រើននិងការកើតឡើងនៃករណីស្រដៀងគ្នា។

ជាលទ្ធផល ដោយផ្អែកលើវិធីសាស្រ្តបណ្តាញសរសៃប្រសាទដែលបានពិពណ៌នាខាងលើ កម្មវិធីពិសោធន៍មួយត្រូវបានបង្កើតឡើងដើម្បីទស្សន៍ទាយការបរាជ័យនៃប្រព័ន្ធ "ការបង្រួបបង្រួមបណ្តាញ" ។ គោលដៅនៃកម្មវិធីនេះគឺ ការប្រើប្រាស់បណ្ណសារដែលមានស្រាប់នៃការត្រួតពិនិត្យទិន្នន័យ និងព័ត៌មានអំពីការបរាជ័យពីមុន ដើម្បីវាយតម្លៃសមត្ថភាពនៃវិធីសាស្រ្តនេះសម្រាប់ប្រព័ន្ធកម្មវិធីរបស់យើង។ គ្រោងការណ៍នៃកម្មវិធីត្រូវបានបង្ហាញខាងក្រោមនៅក្នុងរូបភាពទី 7 ។

រូបភាពទី 7. គ្រោងការណ៍ទស្សន៍ទាយការបរាជ័យដោយផ្អែកលើការវិភាគទំហំម៉ែត្រ

នៅក្នុងដ្យាក្រាម ប្លុកសំខាន់ពីរអាចត្រូវបានសម្គាល់៖ ការស្វែងរករយៈពេលមិនប្រក្រតីនៅក្នុងចរន្តទិន្នន័យត្រួតពិនិត្យ (ម៉ែត្រ) និងយន្តការសម្រាប់កាត់បន្ថយភាពវិជ្ជមានមិនពិត។ ចំណាំ៖ សម្រាប់គោលបំណងពិសោធន៍ ទិន្នន័យត្រូវបានទទួលតាមរយៈការតភ្ជាប់ JDBC ពីមូលដ្ឋានទិន្នន័យដែលក្រាហ្វិចនឹងរក្សាទុកវា។
ខាងក្រោមនេះគឺជាចំណុចប្រទាក់នៃប្រព័ន្ធត្រួតពិនិត្យដែលទទួលបានជាលទ្ធផលនៃការអភិវឌ្ឍ (រូបភាពទី 8) ។

រូបភាពទី 8. ចំណុចប្រទាក់នៃប្រព័ន្ធត្រួតពិនិត្យពិសោធន៍

ចំណុចប្រទាក់បង្ហាញភាគរយនៃភាពមិនធម្មតាដោយផ្អែកលើម៉ែត្រដែលទទួលបាន។ ក្នុងករណីរបស់យើង បង្កាន់ដៃត្រូវបានក្លែងធ្វើ។ យើងមានទិន្នន័យទាំងអស់រួចហើយសម្រាប់ជាច្រើនសប្តាហ៍ ហើយកំពុងផ្ទុកវាបន្តិចម្តងៗ ដើម្បីពិនិត្យមើលករណីនៃភាពមិនប្រក្រតីដែលនាំទៅដល់ការបរាជ័យ។ របារស្ថានភាពទាបបង្ហាញភាគរយទាំងមូលនៃភាពមិនប្រក្រតីនៃទិន្នន័យនៅពេលណាមួយ ដែលត្រូវបានកំណត់ដោយប្រើកម្មវិធីបម្លែងកូដស្វ័យប្រវត្តិ។ ដូចគ្នានេះផងដែរភាគរយដាច់ដោយឡែកត្រូវបានបង្ហាញសម្រាប់ម៉ែត្រដែលបានព្យាករណ៍ដែលត្រូវបានគណនាដោយ RNN LSTM ។

ឧទាហរណ៍នៃការរកឃើញភាពមិនប្រក្រតីដោយផ្អែកលើដំណើរការស៊ីភីយូដោយប្រើបណ្តាញសរសៃប្រសាទ RNN LSTM (រូបភាពទី 9) ។

រូបភាពទី 9. ការរកឃើញ RNN LSTM

ករណីដ៏សាមញ្ញមួយ ដែលសំខាន់ជាផ្នែកខាងក្រៅធម្មតា ប៉ុន្តែនាំទៅរកការបរាជ័យនៃប្រព័ន្ធត្រូវបានគណនាដោយជោគជ័យដោយប្រើ RNN LSTM ។ សូចនាករនៃភាពមិនធម្មតានៅក្នុងរយៈពេលនេះគឺ 85-95% អ្វីគ្រប់យ៉ាងលើសពី 80% (កម្រិតត្រូវបានកំណត់ដោយពិសោធន៍) ត្រូវបានចាត់ទុកថាជាភាពមិនប្រក្រតី។
ឧទាហរណ៍នៃការរកឃើញភាពមិនប្រក្រតីនៅពេលដែលប្រព័ន្ធមិនអាចចាប់ផ្ដើមបន្ទាប់ពីការអាប់ដេត។ ស្ថានភាពនេះត្រូវបានរកឃើញដោយ autoencoder (រូបភាពទី 10)។

រូបភាពទី 10. ឧទាហរណ៍នៃការរកឃើញ autoencoder

ដូចដែលអ្នកអាចមើលឃើញពីតួលេខ PermGen ត្រូវបានជាប់គាំងនៅកម្រិតមួយ។ autoencoder បាន​រក​ឃើញ​ចម្លែក​នេះ​ដោយ​សារ​តែ​វា​មិន​ដែល​បាន​ឃើញ​អ្វី​ដូច​វា​ពី​មុន​។ នៅទីនេះភាពមិនធម្មតានៅតែមាន 100% រហូតដល់ប្រព័ន្ធត្រឡប់ទៅស្ថានភាពដំណើរការវិញ។ ភាពមិនធម្មតាត្រូវបានបង្ហាញសម្រាប់ម៉ែត្រទាំងអស់។ ដូចដែលបានរៀបរាប់ខាងលើ autoencoder មិនអាចធ្វើមូលដ្ឋានីយកម្មភាពមិនប្រក្រតីបានទេ។ ប្រតិបត្តិករត្រូវបានអំពាវនាវឱ្យអនុវត្តមុខងារនេះក្នុងស្ថានភាពទាំងនេះ។

សេចក្តីសន្និដ្ឋាន

កុំព្យូទ័រ "Web-Consolidation" មាននៅក្នុងការអភិវឌ្ឍន៍ជាច្រើនឆ្នាំមកហើយ។ ប្រព័ន្ធនេះស្ថិតក្នុងស្ថានភាពស្ថិរភាព ហើយចំនួនឧប្បត្តិហេតុដែលបានកត់ត្រាមានតិចតួច។ ទោះយ៉ាងណាក៏ដោយ គេអាចរកឃើញភាពមិនប្រក្រតីដែលនាំទៅដល់ការបរាជ័យ 5 - 10 នាទីមុនពេលការបរាជ័យកើតឡើង។ ក្នុងករណីខ្លះការជូនដំណឹងអំពីការបរាជ័យជាមុននឹងជួយសន្សំសំចៃពេលវេលាដែលបានកំណត់ដែលត្រូវបានបម្រុងទុកសម្រាប់អនុវត្តការងារ "ជួសជុល" ។

ដោយផ្អែកលើការពិសោធន៍ដែលត្រូវបានអនុវត្ត វាលឿនពេកក្នុងការសន្និដ្ឋានចុងក្រោយ។ រហូតមកដល់ពេលនេះ លទ្ធផលគឺផ្ទុយគ្នា។ ម៉្យាងវិញទៀត វាច្បាស់ណាស់ថា ក្បួនដោះស្រាយដែលមានមូលដ្ឋានលើបណ្តាញសរសៃប្រសាទមានសមត្ថភាពស្វែងរកភាពមិនប្រក្រតី "មានប្រយោជន៍"។ ម្យ៉ាងវិញទៀត វានៅតែមានភាគរយដ៏ធំនៃវិជ្ជមានមិនពិត ហើយមិនមែនរាល់ភាពមិនប្រក្រតីដែលត្រូវបានរកឃើញដោយអ្នកឯកទេសដែលមានលក្ខណៈសម្បត្តិគ្រប់គ្រាន់នៅក្នុងបណ្តាញសរសៃប្រសាទអាចត្រូវបានរកឃើញនោះទេ។ គុណវិបត្តិរួមមានការពិតដែលថាឥឡូវនេះបណ្តាញសរសៃប្រសាទតម្រូវឱ្យមានការបណ្តុះបណ្តាលជាមួយគ្រូសម្រាប់ប្រតិបត្តិការធម្មតា។

ដើម្បីអភិវឌ្ឍប្រព័ន្ធទស្សន៍ទាយការបរាជ័យបន្ថែមទៀត និងនាំវាទៅកាន់ស្ថានភាពដែលពេញចិត្ត វិធីជាច្រើនអាចត្រូវបានរំពឹងទុក។ នេះគឺជាការវិភាគលម្អិតបន្ថែមទៀតនៃករណីដែលមានភាពមិនប្រក្រតីដែលនាំទៅដល់ការបរាជ័យ ដោយសារតែការបន្ថែមទៅលើបញ្ជីរង្វាស់សំខាន់ៗដែលមានឥទ្ធិពលយ៉ាងខ្លាំងទៅលើស្ថានភាពនៃប្រព័ន្ធ និងការបោះបង់ចោលនូវអ្វីដែលមិនចាំបាច់ដែលមិនប៉ះពាល់ដល់វា។ ផងដែរ ប្រសិនបើយើងផ្លាស់ទីក្នុងទិសដៅនេះ យើងអាចធ្វើការព្យាយាមដើម្បីជំនាញក្បួនដោះស្រាយជាពិសេសសម្រាប់ករណីរបស់យើងជាមួយនឹងភាពមិនប្រក្រតីដែលនាំទៅដល់ការបរាជ័យ។ មានវិធីមួយផ្សេងទៀត។ នេះគឺជាការធ្វើឱ្យប្រសើរឡើងនៅក្នុងស្ថាបត្យកម្មបណ្តាញសរសៃប្រសាទ ហើយដោយហេតុនេះការបង្កើនភាពត្រឹមត្រូវនៃការរកឃើញជាមួយនឹងការកាត់បន្ថយពេលវេលាបណ្តុះបណ្តាល។

ខ្ញុំសូមថ្លែងអំណរគុណចំពោះសហការីរបស់ខ្ញុំដែលបានជួយខ្ញុំសរសេរ និងរក្សាភាពពាក់ព័ន្ធនៃអត្ថបទនេះ៖ Victor Verbitsky និង Sergei Finogenov ។

ប្រភព: www.habr.com