ការបង្កើតប្រព័ន្ធស្វ័យប្រវត្តិ ដើម្បីប្រយុទ្ធប្រឆាំងនឹងអ្នកឈ្លានពាននៅលើគេហទំព័រ (ក្លែងបន្លំ)

អស់រយៈពេលប្រហែលប្រាំមួយខែចុងក្រោយនេះ ខ្ញុំបាននិងកំពុងបង្កើតប្រព័ន្ធមួយដើម្បីប្រយុទ្ធប្រឆាំងនឹងការក្លែងបន្លំ (សកម្មភាពក្លែងបន្លំ ការក្លែងបន្លំ។ គំនិតថ្ងៃនេះដែលយើងបានរកឃើញ និងអនុវត្តនៅក្នុងប្រព័ន្ធរបស់យើងជួយយើងរកឃើញ និងវិភាគសកម្មភាពក្លែងបន្លំជាច្រើន។ នៅក្នុងអត្ថបទនេះ ខ្ញុំចង់និយាយអំពីគោលការណ៍ដែលយើងធ្វើតាម និងអ្វីដែលយើងបានធ្វើ ដើម្បីសម្រេចបាននូវស្ថានភាពបច្ចុប្បន្ននៃប្រព័ន្ធរបស់យើង ដោយមិនចាំបាច់ចូលទៅក្នុងផ្នែកបច្ចេកទេស។

គោលការណ៍នៃប្រព័ន្ធរបស់យើង។

នៅពេលអ្នកឮពាក្យដូចជា "ស្វ័យប្រវត្តិ" និង "ការក្លែងបន្លំ" អ្នកទំនងជាចាប់ផ្តើមគិតអំពីការរៀនម៉ាស៊ីន, Apache Spark, Hadoop, Python, Airflow និងបច្ចេកវិទ្យាផ្សេងទៀតពីប្រព័ន្ធអេកូមូលនិធិ Apache និងផ្នែកវិទ្យាសាស្ត្រទិន្នន័យ។ ខ្ញុំគិតថាមានទិដ្ឋភាពមួយនៃការប្រើឧបករណ៍ទាំងនេះដែលជាធម្មតាមិនត្រូវបានលើកឡើង៖ ពួកគេត្រូវការតម្រូវការជាមុនមួយចំនួននៅក្នុងប្រព័ន្ធសហគ្រាសរបស់អ្នក មុនពេលអ្នកអាចចាប់ផ្តើមប្រើប្រាស់វាបាន។ សរុបមក អ្នកត្រូវការវេទិកាទិន្នន័យសហគ្រាស ដែលរួមបញ្ចូលបឹងទិន្នន័យ និងឃ្លាំង។ ប៉ុន្តែចុះយ៉ាងណាបើអ្នកមិនមានវេទិកាបែបនេះ ហើយនៅតែត្រូវអភិវឌ្ឍការអនុវត្តនេះ? គោលការណ៍ខាងក្រោមដែលខ្ញុំចែករំលែកខាងក្រោមបានជួយយើងឈានដល់ចំណុចមួយដែលយើងអាចផ្តោតលើការកែលម្អគំនិតរបស់យើងជាជាងការស្វែងរកមួយដែលដំណើរការ។ ទោះយ៉ាងណាក៏ដោយ នេះមិនមែនជាតំបន់ខ្ពង់រាបគម្រោងទេ។ នៅមានរឿងជាច្រើននៅក្នុងផែនការ តាមទស្សនៈបច្ចេកវិទ្យា និងផលិតផល។

គោលការណ៍ទី១៖ តម្លៃអាជីវកម្មដំបូង

យើងដាក់ “តម្លៃអាជីវកម្ម” នៅជួរមុខនៃការខិតខំប្រឹងប្រែងរបស់យើង។ ជាទូទៅប្រព័ន្ធវិភាគដោយស្វ័យប្រវត្តិណាមួយជាកម្មសិទ្ធិរបស់ក្រុមនៃប្រព័ន្ធស្មុគ្រស្មាញដែលមានកម្រិតខ្ពស់នៃស្វ័យប្រវត្តិកម្ម និងភាពស្មុគស្មាញបច្ចេកទេស។ ការបង្កើតដំណោះស្រាយពេញលេញនឹងចំណាយពេលច្រើនប្រសិនបើអ្នកបង្កើតវាពីដំបូង។ យើងបានសម្រេចចិត្តដាក់តម្លៃអាជីវកម្មដំបូង និងភាពពេញលេញនៃបច្ចេកវិទ្យាទីពីរ។ នៅក្នុងជីវិតពិត នេះមានន័យថាយើងមិនទទួលយកបច្ចេកវិទ្យាទំនើបជា dogma នោះទេ។ យើងជ្រើសរើសបច្ចេកវិទ្យាដែលដំណើរការល្អបំផុតសម្រាប់យើងនៅពេលនេះ។ យូរៗទៅ វាហាក់ដូចជាថាយើងនឹងត្រូវអនុវត្តម៉ូឌុលមួយចំនួនឡើងវិញ។ នេះជាការសម្របសម្រួលដែលយើងទទួលយក។

គោលការណ៍ទី ២៖ បង្កើនបញ្ញា

ខ្ញុំភ្នាល់ថា មនុស្សភាគច្រើនដែលមិនបានចូលរួមយ៉ាងស៊ីជម្រៅក្នុងការបង្កើតដំណោះស្រាយការរៀនម៉ាស៊ីនអាចគិតថាការជំនួសមនុស្សគឺជាគោលដៅ។ តាមពិត ដំណោះស្រាយការរៀនម៉ាស៊ីនគឺនៅឆ្ងាយពីភាពល្អឥតខ្ចោះ ហើយមានតែនៅក្នុងផ្នែកខ្លះប៉ុណ្ណោះដែលអាចជំនួសបាន។ យើងបានបដិសេធគំនិតនេះតាំងពីដំបូងសម្រាប់ហេតុផលជាច្រើន៖ ទិន្នន័យមិនមានតុល្យភាពលើសកម្មភាពក្លែងបន្លំ និងអសមត្ថភាពក្នុងការផ្តល់នូវបញ្ជីលក្ខណៈពិសេសដ៏ទូលំទូលាយសម្រាប់ម៉ូដែលសិក្សាម៉ាស៊ីន។ ផ្ទុយទៅវិញ យើងបានជ្រើសរើសជម្រើសឆ្លាតវៃដែលប្រសើរឡើង។ នេះគឺជាគំនិតជំនួសនៃបញ្ញាសិប្បនិមិត្តដែលផ្តោតលើតួនាទីគាំទ្ររបស់ AI ដោយសង្កត់ធ្ងន់លើការពិតដែលថាបច្ចេកវិទ្យាការយល់ដឹងមានគោលបំណងដើម្បីបង្កើនភាពវៃឆ្លាតរបស់មនុស្សជាជាងជំនួសវា។ [1]

ដោយមើលឃើញពីចំណុចនេះ ការបង្កើតដំណោះស្រាយការរៀនម៉ាស៊ីនពេញលេញពីការចាប់ផ្តើមនឹងតម្រូវឱ្យមានការខិតខំប្រឹងប្រែងដ៏ធំមួយ ដែលនឹងពន្យារពេលការបង្កើតតម្លៃសម្រាប់អាជីវកម្មរបស់យើង។ យើងបានសម្រេចចិត្តបង្កើតប្រព័ន្ធជាមួយនឹងទិដ្ឋភាពនៃការរៀនម៉ាស៊ីនដែលកំពុងរីកចម្រើនដដែលៗ ក្រោមការណែនាំពីអ្នកជំនាញដែនរបស់យើង។ ផ្នែកដ៏លំបាកនៃការបង្កើតប្រព័ន្ធបែបនេះគឺថា វាត្រូវតែផ្តល់ឱ្យអ្នកវិភាគរបស់យើងនូវករណីមិនត្រឹមតែទាក់ទងនឹងថាតើវាជាសកម្មភាពក្លែងបន្លំឬអត់នោះទេ។ ជាទូទៅ ភាពមិនប្រក្រតីណាមួយនៅក្នុងឥរិយាបទរបស់អតិថិជន គឺជាករណីគួរឱ្យសង្ស័យ ដែលអ្នកឯកទេសត្រូវការស៊ើបអង្កេត និងឆ្លើយតបតាមរបៀបណាមួយ។ មានតែប្រភាគនៃករណីដែលបានរាយការណ៍ទាំងនេះប៉ុណ្ណោះដែលអាចចាត់ថ្នាក់ថាជាការក្លែងបន្លំ។

គោលការណ៍ទី 3៖ វេទិកាវិភាគសម្បូរបែប

ផ្នែកដែលពិបាកបំផុតនៃប្រព័ន្ធរបស់យើងគឺការផ្ទៀងផ្ទាត់ពីចុងបញ្ចប់នៃដំណើរការការងាររបស់ប្រព័ន្ធ។ អ្នកវិភាគ និងអ្នកអភិវឌ្ឍន៍គួរទទួលបានយ៉ាងងាយស្រួលនូវសំណុំទិន្នន័យប្រវត្តិសាស្ត្រជាមួយនឹងម៉ែត្រទាំងអស់ដែលប្រើសម្រាប់ការវិភាគ។ លើសពីនេះ វេទិកាទិន្នន័យគួរតែផ្តល់នូវមធ្យោបាយងាយស្រួលក្នុងការបំពេញសំណុំរង្វាស់ដែលមានស្រាប់ជាមួយនឹងឧបករណ៍ថ្មី។ ដំណើរការដែលយើងបង្កើត ហើយទាំងនេះមិនមែនគ្រាន់តែជាដំណើរការកម្មវិធីប៉ុណ្ណោះទេ គួរតែអនុញ្ញាតឱ្យយើងគណនាឡើងវិញយ៉ាងងាយស្រួលនូវរយៈពេលមុន បន្ថែមម៉ែត្រថ្មី និងផ្លាស់ប្តូរការព្យាករណ៍ទិន្នន័យ។ យើងអាចសម្រេចបានដោយប្រមូលទិន្នន័យទាំងអស់ដែលប្រព័ន្ធផលិតកម្មរបស់យើងបង្កើត។ ក្នុងករណីនេះ ទិន្នន័យនឹងក្លាយទៅជាការរំខានបន្តិចម្តងៗ។ យើងនឹងត្រូវការរក្សាទុកនូវចំនួនកើនឡើងនៃទិន្នន័យដែលយើងមិនប្រើ និងការពារវា។ ក្នុង​ស្ថានភាព​បែប​នេះ ទិន្នន័យ​នឹង​កាន់​តែ​មិន​ពាក់ព័ន្ធ​ទៅ​នឹង​ពេល​វេលា ប៉ុន្តែ​នៅ​តែ​ទាមទារ​ការ​ខិតខំ​ប្រឹងប្រែង​របស់​យើង​ក្នុង​ការ​គ្រប់គ្រង​វា។ សម្រាប់ពួកយើង ការស្តុកទុកទិន្នន័យមិនសមហេតុផលទេ ដូច្នេះហើយយើងបានសម្រេចចិត្តប្រើវិធីផ្សេង។ យើងបានសម្រេចចិត្តរៀបចំកន្លែងផ្ទុកទិន្នន័យតាមពេលវេលាជាក់ស្តែងជុំវិញអង្គភាពគោលដៅដែលយើងចង់ចាត់ថ្នាក់ ហើយរក្សាទុកតែទិន្នន័យដែលអនុញ្ញាតឱ្យយើងពិនិត្យមើលរយៈពេលថ្មីៗ និងពាក់ព័ន្ធបំផុត។ បញ្ហាប្រឈមចំពោះកិច្ចខិតខំប្រឹងប្រែងនេះគឺថាប្រព័ន្ធរបស់យើងមានភាពខុសប្លែកគ្នា ជាមួយនឹងឃ្លាំងផ្ទុកទិន្នន័យ និងម៉ូឌុលកម្មវិធីជាច្រើន ដែលតម្រូវឱ្យមានការរៀបចំផែនការយ៉ាងប្រុងប្រយ័ត្នដើម្បីដំណើរការក្នុងលក្ខណៈស្របគ្នា។

គំនិតរចនានៃប្រព័ន្ធរបស់យើង។

យើងមានធាតុផ្សំសំខាន់ៗចំនួនបួននៅក្នុងប្រព័ន្ធរបស់យើង៖ ប្រព័ន្ធបញ្ចូលទិន្នន័យ ការគណនា BI ការវិភាគ និងប្រព័ន្ធតាមដាន។ ពួកគេបម្រើគោលបំណងជាក់លាក់ដាច់ដោយឡែក ហើយយើងរក្សាពួកវាឱ្យនៅដាច់ដោយឡែកដោយធ្វើតាមវិធីសាស្រ្តរចនាជាក់លាក់។

ការរចនាផ្អែកលើកិច្ចសន្យា

ជាដំបូង យើងបានយល់ស្របថា សមាសធាតុគួរតែពឹងផ្អែកលើរចនាសម្ព័ន្ធទិន្នន័យជាក់លាក់ (កិច្ចសន្យា) ដែលត្រូវបានអនុម័តរវាងពួកវា។ នេះធ្វើឱ្យវាងាយស្រួលក្នុងការរួមបញ្ចូលរវាងពួកវា និងមិនកំណត់សមាសភាពជាក់លាក់ (និងលំដាប់) នៃសមាសភាគ។ ជាឧទាហរណ៍ ក្នុងករណីខ្លះវាអនុញ្ញាតឱ្យយើងបញ្ចូលប្រព័ន្ធទទួលទានដោយផ្ទាល់ជាមួយប្រព័ន្ធតាមដានការជូនដំណឹង។ ក្នុង​ករណី​បែប​នេះ ការ​ធ្វើ​បែប​នេះ​នឹង​ត្រូវ​ធ្វើ​ឡើង​តាម​កិច្ច​សន្យា​ជូន​ដំណឹង​ដែល​បាន​ព្រមព្រៀង។ នេះមានន័យថាសមាសធាតុទាំងពីរនឹងត្រូវបានរួមបញ្ចូលដោយប្រើកិច្ចសន្យាដែលសមាសធាតុផ្សេងទៀតអាចប្រើប្រាស់បាន។ យើងនឹងមិនបន្ថែមកិច្ចសន្យាបន្ថែមដើម្បីបន្ថែមការជូនដំណឹងទៅកាន់ប្រព័ន្ធតាមដានពីប្រព័ន្ធបញ្ចូលនោះទេ។ វិធីសាស្រ្តនេះតម្រូវឱ្យប្រើប្រាស់នូវចំនួនកិច្ចសន្យាអប្បបរមាដែលបានកំណត់ទុកជាមុន និងធ្វើឱ្យប្រព័ន្ធ និងការទំនាក់ទំនងមានភាពងាយស្រួល។ ជាសំខាន់ យើងយកវិធីសាស្រ្តមួយហៅថា "Contract First Design" ហើយអនុវត្តវាទៅការផ្សាយកិច្ចសន្យា។ [2]

ស្ទ្រីមគ្រប់ទីកន្លែង

ការរក្សាទុក និងគ្រប់គ្រងរដ្ឋនៅក្នុងប្រព័ន្ធនឹងជៀសមិនរួចនាំឱ្យមានភាពស្មុគស្មាញក្នុងការអនុវត្តរបស់វា។ ជាទូទៅ រដ្ឋគួរតែអាចចូលប្រើបានពីសមាសធាតុណាមួយ វាគួរតែមានភាពស៊ីសង្វាក់គ្នា និងផ្តល់តម្លៃបច្ចុប្បន្នបំផុតនៅទូទាំងសមាសធាតុទាំងអស់ ហើយវាគួរតែអាចទុកចិត្តបានជាមួយនឹងតម្លៃត្រឹមត្រូវ។ លើសពីនេះ ការហៅទូរសព្ទទៅកាន់កន្លែងផ្ទុកបន្ត ដើម្បីទាញយកស្ថានភាពចុងក្រោយបំផុតនឹងបង្កើនចំនួនប្រតិបត្តិការ I/O និងភាពស្មុគស្មាញនៃក្បួនដោះស្រាយដែលបានប្រើនៅក្នុងបំពង់បង្ហូរប្រេងតាមពេលវេលាជាក់ស្តែងរបស់យើង។ ដោយសារតែបញ្ហានេះ យើងបានសម្រេចចិត្តលុបកន្លែងផ្ទុករបស់រដ្ឋ ប្រសិនបើអាចធ្វើបាន ទាំងស្រុងចេញពីប្រព័ន្ធរបស់យើង។ វិធីសាស្រ្តនេះតម្រូវឱ្យបញ្ចូលទិន្នន័យចាំបាច់ទាំងអស់នៅក្នុងប្លុកទិន្នន័យដែលបានបញ្ជូន (សារ)។ ឧទាហរណ៍ ប្រសិនបើយើងត្រូវការគណនាចំនួនសរុបនៃការសង្កេតមួយចំនួន (ចំនួនប្រតិបត្តិការ ឬករណីដែលមានលក្ខណៈជាក់លាក់) យើងគណនាវានៅក្នុងអង្គចងចាំ និងបង្កើតចរន្តនៃតម្លៃបែបនេះ។ ម៉ូឌុលដែលពឹងផ្អែកនឹងប្រើភាគថាស និងបណ្តុំដើម្បីបំបែកចរន្តទៅជាអង្គភាព ហើយដំណើរការលើតម្លៃចុងក្រោយបំផុត។ វិធីសាស្រ្តនេះបានលុបបំបាត់តម្រូវការក្នុងការផ្ទុកថាសជាប់លាប់សម្រាប់ទិន្នន័យបែបនេះ។ ប្រព័ន្ធរបស់យើងប្រើ Kafka ជាឈ្មួញកណ្តាលសារ ហើយវាអាចត្រូវបានប្រើជាមូលដ្ឋានទិន្នន័យជាមួយ KSQL ។ [3] ប៉ុន្តែការប្រើវានឹងបានចងដំណោះស្រាយរបស់យើងយ៉ាងខ្លាំងទៅនឹង Kafka ហើយយើងបានសម្រេចចិត្តមិនប្រើវា។ វិធីសាស្រ្តដែលយើងបានជ្រើសរើសអនុញ្ញាតឱ្យយើងជំនួស Kafka ជាមួយនឹងឈ្មួញកណ្តាលសារផ្សេងទៀតដោយមិនមានការផ្លាស់ប្តូរផ្ទៃក្នុងសំខាន់ៗចំពោះប្រព័ន្ធ។

គំនិតនេះមិនមានន័យថាយើងមិនប្រើការផ្ទុកថាស និងមូលដ្ឋានទិន្នន័យទេ។ ដើម្បីសាកល្បង និងវិភាគដំណើរការប្រព័ន្ធ យើងត្រូវរក្សាទុកទិន្នន័យយ៉ាងច្រើននៅលើថាសដែលតំណាងឱ្យម៉ែត្រ និងរដ្ឋផ្សេងៗ។ ចំណុចសំខាន់នៅទីនេះគឺថាក្បួនដោះស្រាយពេលវេលាពិតមិនអាស្រ័យលើទិន្នន័យបែបនេះទេ។ ក្នុងករណីភាគច្រើន យើងប្រើប្រាស់ទិន្នន័យដែលបានរក្សាទុកសម្រាប់ការវិភាគក្រៅបណ្តាញ ការបំបាត់កំហុស និងការតាមដានករណីជាក់លាក់ និងលទ្ធផលដែលប្រព័ន្ធបង្កើត។

បញ្ហានៃប្រព័ន្ធរបស់យើង។

មាន​បញ្ហា​ខ្លះ​ដែល​យើង​បាន​ដោះស្រាយ​ដល់​កម្រិត​មួយ ប៉ុន្តែ​ពួកគេ​ទាមទារ​ដំណោះស្រាយ​ដែល​គិតគូរ​បន្ថែម​ទៀត។ ឥឡូវនេះ ខ្ញុំគ្រាន់តែចង់រៀបរាប់ពួកគេនៅទីនេះ ព្រោះចំណុចនីមួយៗមានតម្លៃអត្ថបទរៀងៗខ្លួន។

• យើងនៅតែត្រូវកំណត់ដំណើរការ និងគោលនយោបាយដែលគាំទ្រដល់ការប្រមូលផ្តុំទិន្នន័យដែលមានអត្ថន័យ និងពាក់ព័ន្ធសម្រាប់ការវិភាគទិន្នន័យ ការរកឃើញ និងការរុករកដោយស្វ័យប្រវត្តិរបស់យើង។
• ការដាក់បញ្ចូលការវិភាគរបស់មនុស្សជាលទ្ធផលទៅក្នុងដំណើរការនៃការដំឡើងប្រព័ន្ធដោយស្វ័យប្រវត្តិដើម្បីធ្វើបច្ចុប្បន្នភាពវាជាមួយនឹងទិន្នន័យចុងក្រោយបំផុត។ នេះមិនត្រឹមតែធ្វើបច្ចុប្បន្នភាពគំរូរបស់យើងប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងធ្វើបច្ចុប្បន្នភាពដំណើរការរបស់យើង និងធ្វើឱ្យការយល់ដឹងរបស់យើងកាន់តែប្រសើរឡើងអំពីទិន្នន័យរបស់យើង។
• ការស្វែងរកតុល្យភាពរវាងវិធីសាស្រ្តកំណត់នៃ IF-ELSE និង ML ។ មាននរណាម្នាក់បាននិយាយថា "ML គឺជាឧបករណ៍សម្រាប់អ្នកដែលអស់សង្ឃឹម"។ នេះមានន័យថាអ្នកនឹងចង់ប្រើ ML នៅពេលដែលអ្នកលែងយល់ពីរបៀបបង្កើនប្រសិទ្ធភាព និងកែលម្អក្បួនដោះស្រាយរបស់អ្នក។ ម្យ៉ាងវិញទៀត វិធីសាស្រ្តកំណត់មិនអនុញ្ញាតឱ្យរកឃើញភាពមិនប្រក្រតីដែលមិនបានរំពឹងទុកនោះទេ។
• យើងត្រូវការវិធីសាមញ្ញមួយដើម្បីសាកល្បងសម្មតិកម្មរបស់យើង ឬទំនាក់ទំនងរវាងម៉ែត្រនៅក្នុងទិន្នន័យ។
• ប្រព័ន្ធត្រូវតែមានកម្រិតជាច្រើននៃលទ្ធផលវិជ្ជមានពិតប្រាកដ។ ករណីក្លែងបន្លំគ្រាន់តែជាប្រភាគនៃករណីទាំងអស់ដែលអាចចាត់ទុកថាជាវិជ្ជមានសម្រាប់ប្រព័ន្ធ។ ជាឧទាហរណ៍ អ្នកវិភាគចង់ទទួលបានករណីគួរឱ្យសង្ស័យទាំងអស់សម្រាប់ការផ្ទៀងផ្ទាត់ ហើយមានតែផ្នែកតូចមួយនៃពួកគេប៉ុណ្ណោះដែលជាការក្លែងបន្លំ។ ប្រព័ន្ធត្រូវតែបង្ហាញករណីទាំងអស់ប្រកបដោយប្រសិទ្ធភាពដល់អ្នកវិភាគ ដោយមិនគិតពីថាតើវាជាការក្លែងបន្លំពិតប្រាកដ ឬគ្រាន់តែជាអាកប្បកិរិយាគួរឱ្យសង្ស័យនោះទេ។
• វេទិកាទិន្នន័យគួរតែអាចទាញយកសំណុំទិន្នន័យប្រវត្តិសាស្រ្តជាមួយនឹងការគណនាដែលបានបង្កើត និងគណនាភ្លាមៗ។
• ងាយស្រួល និងដោយស្វ័យប្រវត្តិដាក់ឱ្យប្រើប្រាស់នូវសមាសធាតុប្រព័ន្ធណាមួយនៅក្នុងបរិស្ថានយ៉ាងហោចណាស់បីផ្សេងគ្នា៖ ផលិតកម្ម ការពិសោធន៍ (បែតា) និងសម្រាប់អ្នកអភិវឌ្ឍន៍។
• ហើយចុងក្រោយប៉ុន្តែមិនតិចទេ។ យើងត្រូវបង្កើតវេទិកាសាកល្បងដំណើរការដ៏សម្បូរបែប ដែលយើងអាចវិភាគគំរូរបស់យើង។ [4]

សេចក្តីយោង

1. តើ Augmented Intelligence ជាអ្វី?
2. ការអនុវត្តវិធីសាស្រ្តរចនា API-First Design
3. Kafka ផ្លាស់ប្តូរទៅជា "មូលដ្ឋានទិន្នន័យស្ទ្រីមព្រឹត្តិការណ៍"
4. ការយល់ដឹងអំពី AUC - ROC Curve

ប្រភព: www.habr.com