អ្នកសាកល្បងទិន្នន័យធំ និងតូច៖ និន្នាការ ទ្រឹស្តី រឿងរបស់ខ្ញុំ

សួស្តីអ្នកទាំងអស់គ្នា ខ្ញុំឈ្មោះអាឡិចសាន់ឌឺ ហើយខ្ញុំជាវិស្វករផ្នែកគុណភាពទិន្នន័យ ដែលត្រួតពិនិត្យទិន្នន័យសម្រាប់គុណភាពរបស់វា។ អត្ថបទនេះនឹងនិយាយអំពីរបៀបដែលខ្ញុំបានមកទីនេះ ហើយហេតុអ្វីបានជានៅឆ្នាំ 2020 តំបន់នៃការធ្វើតេស្តនេះគឺនៅលើកំពូលនៃរលក។

និន្នាការសកល

ពិភពលោកនាពេលបច្ចុប្បន្ននេះកំពុងជួបប្រទះបដិវត្តន៍បច្ចេកវិទ្យាមួយផ្សេងទៀត ដែលទិដ្ឋភាពមួយគឺការប្រើប្រាស់ទិន្នន័យបង្គរដោយក្រុមហ៊ុនគ្រប់ប្រភេទ ដើម្បីផ្សព្វផ្សាយការលក់ ប្រាក់ចំណេញ និង PR ។ វាហាក់ដូចជាថាវត្តមាននៃទិន្នន័យល្អ (គុណភាព) ក៏ដូចជាខួរក្បាលដែលមានជំនាញដែលអាចរកលុយបានពីវា (ដំណើរការត្រឹមត្រូវ មើលឃើញ បង្កើតគំរូរៀនម៉ាស៊ីន។ល។) បានក្លាយជាគន្លឹះនៃភាពជោគជ័យសម្រាប់មនុស្សជាច្រើននាពេលបច្ចុប្បន្ននេះ។ ប្រសិនបើកាលពី 15-20 ឆ្នាំមុន ក្រុមហ៊ុនធំៗបានចូលរួមជាចម្បងក្នុងការងារដែលពឹងផ្អែកខ្លាំងជាមួយនឹងការប្រមូលទិន្នន័យ និងការរកប្រាក់នោះ សព្វថ្ងៃនេះនេះគឺជាមនុស្សល្អស្ទើរតែទាំងអស់។

ក្នុងន័យនេះ ប៉ុន្មានឆ្នាំមុន វិបផតថលទាំងអស់ដែលឧទ្ទិសដល់ការស្វែងរកការងារនៅជុំវិញពិភពលោក បានចាប់ផ្តើមពោរពេញដោយដំណឹងជ្រើសរើសបុគ្គលិកសម្រាប់ Data Scientists ចាប់តាំងពីអ្នកគ្រប់គ្នាដឹងច្បាស់ថា ដោយបានជួលអ្នកឯកទេសបែបនេះ វានឹងអាចបង្កើតគំរូនៃការរៀនម៉ាស៊ីន។ ទស្សន៍ទាយអនាគត និងអនុវត្ត "ការលោតផ្លោះ" សម្រាប់ក្រុមហ៊ុន។ យូរ ៗ ទៅមនុស្សបានដឹងថាវិធីសាស្រ្តនេះស្ទើរតែមិនដែលដំណើរការគ្រប់ទីកន្លែងទេព្រោះមិនមែនទិន្នន័យទាំងអស់ដែលធ្លាក់ចូលទៅក្នុងដៃរបស់អ្នកឯកទេសបែបនេះគឺសមរម្យសម្រាប់គំរូបណ្តុះបណ្តាល។

ហើយសំណើពីអ្នកវិទ្យាសាស្ត្រទិន្នន័យបានចាប់ផ្តើម៖ “តោះទិញទិន្នន័យបន្ថែមពីទាំងនេះ និងទិន្នន័យទាំងនោះ...”, “យើងមិនមានទិន្នន័យគ្រប់គ្រាន់ទេ…”, “យើងត្រូវការទិន្នន័យមួយចំនួនបន្ថែមទៀត ដែលមានគុណភាពខ្ពស់ជាង...” . ដោយផ្អែកលើសំណើទាំងនេះ អន្តរកម្មជាច្រើនបានចាប់ផ្តើមត្រូវបានបង្កើតឡើងរវាងក្រុមហ៊ុនដែលមានទិន្នន័យមួយ ឬសំណុំផ្សេងទៀត។ ជាធម្មតា នេះតម្រូវឱ្យអង្គការបច្ចេកទេសនៃដំណើរការនេះ - ភ្ជាប់ទៅប្រភពទិន្នន័យ ទាញយកវា ពិនិត្យមើលថាវាត្រូវបានផ្ទុកពេញ។ អ្នកឯកទេស - វិស្វករគុណភាពទិន្នន័យ - អ្នកដែលនឹងត្រួតពិនិត្យលំហូរទិន្នន័យនៅក្នុងប្រព័ន្ធ (បំពង់បង្ហូរទិន្នន័យ) គុណភាពនៃទិន្នន័យនៅឯធាតុបញ្ចូល និងទិន្នផល ហើយធ្វើការសន្និដ្ឋានអំពីភាពគ្រប់គ្រាន់ សុចរិតភាព និងលក្ខណៈផ្សេងទៀត។

និន្នាការសម្រាប់វិស្វករគុណភាពទិន្នន័យបានមករកយើងពីសហរដ្ឋអាមេរិក ដែលនៅក្នុងពាក់កណ្តាលនៃយុគសម័យមូលធននិយម គ្មាននរណាម្នាក់ត្រៀមខ្លួនរួចជាស្រេចដើម្បីចាញ់ការប្រយុទ្ធដើម្បីទិន្នន័យនោះទេ។ ខាងក្រោមនេះខ្ញុំបានផ្តល់រូបថតអេក្រង់ពីគេហទំព័រស្វែងរកការងារពេញនិយមបំផុតចំនួនពីរនៅសហរដ្ឋអាមេរិក៖ www.monster.com и www.dice.com — ដែលបង្ហាញទិន្នន័យគិតត្រឹមថ្ងៃទី 17 ខែមីនា ឆ្នាំ 2020 លើចំនួនដំណឹងជ្រើសរើសបុគ្គលិកដែលបានទទួលដោយប្រើពាក្យគន្លឹះ៖ គុណភាពទិន្នន័យ និងអ្នកវិទ្យាសាស្ត្រទិន្នន័យ។

www.monster.com

អ្នកវិទ្យាសាស្ត្រទិន្នន័យ - 21416 កន្លែងទំនេរ
គុណភាពទិន្នន័យ – 41104 កន្លែងទំនេរ

www.dice.com

អ្នកវិទ្យាសាស្ត្រទិន្នន័យ - 404 កន្លែងទំនេរ
គុណភាពទិន្នន័យ - 2020 ដំណឹងជ្រើសរើសបុគ្គលិក

ជាក់ស្តែង វិជ្ជាជីវៈទាំងនេះ គឺមិនមានលក្ខណៈប្រកួតប្រជែងគ្នានោះទេ។ ជាមួយនឹងរូបថតអេក្រង់ ខ្ញុំគ្រាន់តែចង់បង្ហាញពីស្ថានភាពបច្ចុប្បន្ននៅលើទីផ្សារការងារទាក់ទងនឹងសំណើសម្រាប់វិស្វករគុណភាពទិន្នន័យ ដែលត្រូវការច្រើនជាងអ្នកវិទ្យាសាស្ត្រទិន្នន័យឥឡូវនេះ។

នៅខែមិថុនា ឆ្នាំ 2019 EPAM ដែលឆ្លើយតបទៅនឹងតម្រូវការនៃទីផ្សារព័ត៌មានវិទ្យាទំនើប បានបំបែកគុណភាពទិន្នន័យទៅជាការអនុវត្តដាច់ដោយឡែកមួយ។ វិស្វករគុណភាពទិន្នន័យ ក្នុងអំឡុងពេលនៃការងារប្រចាំថ្ងៃរបស់ពួកគេ គ្រប់គ្រងទិន្នន័យ ពិនិត្យមើលឥរិយាបថរបស់វានៅក្នុងលក្ខខណ្ឌ និងប្រព័ន្ធថ្មី តាមដានភាពពាក់ព័ន្ធនៃទិន្នន័យ ភាពគ្រប់គ្រាន់ និងភាពពាក់ព័ន្ធរបស់វា។ ជាមួយនឹងអ្វីៗទាំងអស់នេះ ក្នុងន័យជាក់ស្តែង វិស្វករគុណភាពទិន្នន័យពិតជាចំណាយពេលវេលាតិចតួចសម្រាប់ការធ្វើតេស្តមុខងារបុរាណ។ ប៉ុន្ដែ នេះពឹងផ្អែកយ៉ាងខ្លាំងលើគម្រោង (ខ្ញុំនឹងផ្តល់ឧទាហរណ៍ខាងក្រោម) ។

ទំនួលខុសត្រូវរបស់វិស្វករគុណភាពទិន្នន័យមិនត្រូវបានកំណត់ត្រឹមតែការត្រួតពិនិត្យដោយដៃ/ស្វ័យប្រវត្តិតាមទម្លាប់សម្រាប់ "មោឃៈ ចំនួន និងផលបូក" នៅក្នុងតារាងទិន្នន័យនោះទេ ប៉ុន្តែទាមទារឱ្យមានការយល់ដឹងយ៉ាងស៊ីជម្រៅអំពីតម្រូវការអាជីវកម្មរបស់អតិថិជន ហើយតាមនោះ សមត្ថភាពក្នុងការបំលែងទិន្នន័យដែលមានទៅជា ព័ត៌មានអាជីវកម្មមានប្រយោជន៍។

ទ្រឹស្តីគុណភាពទិន្នន័យ

ដើម្បីស្រមៃឱ្យបានកាន់តែច្បាស់អំពីតួនាទីរបស់វិស្វករបែបនេះ ចូរយើងស្វែងយល់ថាតើគុណភាពទិន្នន័យស្ថិតនៅក្នុងទ្រឹស្ដីអ្វី។

គុណភាពទិន្នន័យ - ដំណាក់កាលមួយនៃការគ្រប់គ្រងទិន្នន័យ (ពិភពលោកទាំងមូលដែលយើងនឹងទុកអោយអ្នកសិក្សាដោយខ្លួនឯង) និងទទួលខុសត្រូវក្នុងការវិភាគទិន្នន័យតាមលក្ខណៈវិនិច្ឆ័យដូចខាងក្រោមៈ

ខ្ញុំគិតថាមិនចាំបាច់បកស្រាយចំណុចនីមួយៗទេ (តាមទ្រឹស្តីគេហៅថា "វិមាត្រទិន្នន័យ") ពួកគេត្រូវបានពិពណ៌នាយ៉ាងល្អនៅក្នុងរូបភាព។ ប៉ុន្តែដំណើរការសាកល្បងដោយខ្លួនវាផ្ទាល់មិនបញ្ជាក់ពីការចម្លងលក្ខណៈពិសេសទាំងនេះយ៉ាងតឹងរឹងទៅក្នុងករណីសាកល្បង និងពិនិត្យមើលពួកវានោះទេ។ នៅក្នុងគុណភាពទិន្នន័យ ក៏ដូចជានៅក្នុងប្រភេទផ្សេងទៀតនៃការធ្វើតេស្តដែរ វាជារឿងចាំបាច់ ជាដំបូងក្នុងការកសាងលើតម្រូវការគុណភាពទិន្នន័យដែលបានព្រមព្រៀងជាមួយអ្នកចូលរួមគម្រោងដែលធ្វើការសម្រេចចិត្តអាជីវកម្ម។

អាស្រ័យលើគម្រោងគុណភាពទិន្នន័យ វិស្វករអាចអនុវត្តមុខងារផ្សេងៗគ្នា៖ ពីអ្នកសាកល្បងស្វ័យប្រវត្តិកម្មធម្មតាជាមួយនឹងការវាយតម្លៃលើគុណភាពទិន្នន័យ ទៅជាបុគ្គលដែលធ្វើការវិភាគទិន្នន័យយ៉ាងស៊ីជម្រៅតាមលក្ខណៈវិនិច្ឆ័យខាងលើ។

ការពិពណ៌នាលំអិតអំពីការគ្រប់គ្រងទិន្នន័យ គុណភាពទិន្នន័យ និងដំណើរការដែលពាក់ព័ន្ធត្រូវបានពិពណ៌នាយ៉ាងល្អនៅក្នុងសៀវភៅដែលមានឈ្មោះថា "DAMA-DMBOK: អង្គភាពគ្រប់គ្រងទិន្នន័យនៃចំណេះដឹង៖ ការបោះពុម្ពលើកទី 2". ខ្ញុំសូមណែនាំសៀវភៅនេះជាការណែនាំអំពីប្រធានបទនេះ (អ្នកនឹងឃើញតំណភ្ជាប់ទៅវានៅចុងបញ្ចប់នៃអត្ថបទ)។

រឿងរបស់ខ្ញុំ

នៅក្នុងឧស្សាហកម្ម IT ខ្ញុំបានធ្វើការឡើងពីអ្នកសាកល្បង Junior នៅក្នុងក្រុមហ៊ុនផលិតផលទៅជា Lead Data Quality Engineer នៅ EPAM។ បន្ទាប់ពីធ្វើការប្រហែល 2 ឆ្នាំនៃការងារជាអ្នកសាកល្បង ខ្ញុំមានទំនុកចិត្តយ៉ាងមុតមាំថាខ្ញុំបានធ្វើតេស្តគ្រប់ប្រភេទយ៉ាងពិតប្រាកដ៖ ការតំរែតំរង់មុខងារ ភាពតានតឹង ស្ថេរភាព សុវត្ថិភាព UI ជាដើម។ - ហើយបានសាកល្បងឧបករណ៍សាកល្បងជាច្រើនដែលមាន បានធ្វើការក្នុងពេលតែមួយក្នុងភាសាសរសេរកម្មវិធីចំនួនបី៖ Java, Scala, Python ។

ក្រឡេកមើលទៅក្រោយវិញ ខ្ញុំយល់អំពីមូលហេតុដែលសំណុំជំនាញរបស់ខ្ញុំមានភាពចម្រុះណាស់—ខ្ញុំបានចូលរួមក្នុងគម្រោងដែលជំរុញដោយទិន្នន័យ ទាំងធំ និងតូច។ នេះគឺជាអ្វីដែលនាំខ្ញុំចូលទៅក្នុងពិភពនៃឧបករណ៍ និងឱកាសជាច្រើនសម្រាប់ការរីកចម្រើន។

ដើម្បីដឹងគុណចំពោះភាពខុសគ្នានៃឧបករណ៍ និងឱកាសដើម្បីទទួលបានចំណេះដឹង និងជំនាញថ្មីៗ គ្រាន់តែមើលរូបភាពខាងក្រោម ដែលបង្ហាញពីឧបករណ៍ពេញនិយមបំផុតនៅក្នុងពិភព “ទិន្នន័យ និង AI”។

រូបភាពប្រភេទនេះត្រូវបានចងក្រងជារៀងរាល់ឆ្នាំដោយអ្នកបណ្តាក់ទុនដ៏ល្បីឈ្មោះ Matt Turck ដែលមកពីការអភិវឌ្ឍន៍កម្មវិធី។ នៅទីនេះ តំណ ទៅកាន់ប្លុករបស់គាត់ និង ក្រុមហ៊ុនបណ្តាក់ទុនដែលជាកន្លែងដែលគាត់ធ្វើការជាដៃគូ។

ខ្ញុំបានរីកចម្រើនប្រកបដោយវិជ្ជាជីវៈយ៉ាងឆាប់រហ័ស ជាពិសេសនៅពេលខ្ញុំជាអ្នកសាកល្បងតែមួយគត់លើគម្រោង ឬយ៉ាងហោចណាស់នៅដើមដំបូងនៃគម្រោង។ វា​គឺ​ជា​ពេល​មួយ​ដែល​អ្នក​ត្រូវ​ទទួល​ខុស​ត្រូវ​ចំពោះ​ដំណើរ​ការ​សាកល្បង​ទាំង​មូល ហើយ​អ្នក​មិន​មាន​ឱកាស​ដក​ថយ​ទេ គឺ​មាន​តែ​ទៅ​មុខ​ប៉ុណ្ណោះ។ ដំបូងវាគួរឱ្យខ្លាច ប៉ុន្តែឥឡូវនេះគុណសម្បត្តិទាំងអស់នៃការធ្វើតេស្តបែបនេះគឺច្បាស់សម្រាប់ខ្ញុំ៖

• អ្នកចាប់ផ្តើមប្រាស្រ័យទាក់ទងជាមួយក្រុមទាំងមូលមិនធ្លាប់មានពីមុនមក ចាប់តាំងពីមិនមានប្រូកស៊ីសម្រាប់ការទំនាក់ទំនង៖ ទាំងអ្នកគ្រប់គ្រងការធ្វើតេស្ត ឬអ្នកសាកល្បងផ្សេងទៀត។
• ការពន្លិចនៅក្នុងគម្រោងក្លាយជាជ្រៅមិនគួរឱ្យជឿ ហើយអ្នកមានព័ត៌មានអំពីសមាសធាតុទាំងអស់ ទាំងជាទូទៅ និងលម្អិត។
• អ្នកអភិវឌ្ឍន៍មិនមើលមកអ្នកថាជា "បុរសនោះមកពីការធ្វើតេស្តដែលមិនដឹងថាគាត់កំពុងធ្វើអ្វី" ប៉ុន្តែជាសមភាពដែលផ្តល់អត្ថប្រយោជន៍មិនគួរឱ្យជឿសម្រាប់ក្រុមជាមួយនឹងការធ្វើតេស្តស្វ័យប្រវត្តិរបស់គាត់ និងការរំពឹងទុកនៃកំហុសដែលលេចឡើងនៅក្នុងសមាសធាតុជាក់លាក់នៃ ផលិតផល។
• ជាលទ្ធផល អ្នកកាន់តែមានប្រសិទ្ធភាព មានលក្ខណៈសម្បត្តិគ្រប់គ្រាន់ និងតម្រូវការកាន់តែច្រើន។

នៅពេលដែលគម្រោងរីកចម្រើននោះ ក្នុង 100% នៃករណី ខ្ញុំបានក្លាយជាអ្នកណែនាំសម្រាប់អ្នកសាកល្បងថ្មី ដោយបង្រៀនពួកគេ និងឆ្លងកាត់ចំណេះដឹងដែលខ្ញុំបានរៀនដោយខ្លួនឯង។ ក្នុងពេលជាមួយគ្នានេះ អាស្រ័យលើគម្រោង ខ្ញុំមិនតែងតែទទួលបានអ្នកឯកទេសធ្វើតេស្តស្វ័យប្រវត្តិកម្រិតខ្ពស់បំផុតពីការគ្រប់គ្រងនោះទេ ហើយចាំបាច់ត្រូវបណ្តុះបណ្តាលពួកគេក្នុងស្វ័យប្រវត្តិកម្ម (សម្រាប់អ្នកចាប់អារម្មណ៍) ឬបង្កើតឧបករណ៍សម្រាប់ប្រើប្រាស់ក្នុងសកម្មភាពប្រចាំថ្ងៃ (ឧបករណ៍ សម្រាប់ការបង្កើតទិន្នន័យ និងផ្ទុកវាទៅក្នុងប្រព័ន្ធ ឧបករណ៍សម្រាប់អនុវត្តការធ្វើតេស្តផ្ទុក/ការធ្វើតេស្តស្ថេរភាព "រហ័ស" ។ល។)

ឧទាហរណ៍នៃគម្រោងជាក់លាក់

ជាអកុសល ដោយសារកាតព្វកិច្ចមិនបង្ហាញព័ត៌មាន ខ្ញុំមិនអាចនិយាយលម្អិតអំពីគម្រោងដែលខ្ញុំបានធ្វើការនោះទេ ប៉ុន្តែខ្ញុំនឹងផ្តល់ឧទាហរណ៍នៃភារកិច្ចធម្មតារបស់វិស្វករគុណភាពទិន្នន័យលើគម្រោងមួយ។

ខ្លឹមសារនៃគម្រោងគឺដើម្បីអនុវត្តវេទិកាសម្រាប់រៀបចំទិន្នន័យសម្រាប់ការបណ្តុះបណ្តាលគំរូនៃការរៀនម៉ាស៊ីនដោយផ្អែកលើវា។ អតិថិជនគឺជាក្រុមហ៊ុនឱសថដ៏ធំមួយមកពីសហរដ្ឋអាមេរិក។ តាមបច្ចេកទេសវាគឺជាចង្កោម Kubernetes, កើនឡើងដល់ AWS EC2 ឧទាហរណ៍ ជាមួយនឹងសេវាមីក្រូជាច្រើន និងគម្រោងប្រភពបើកចំហនៃ EPAM - កងសម្របតាមតម្រូវការរបស់អតិថិជនជាក់លាក់មួយ (ឥឡូវនេះ គម្រោងនេះត្រូវបានចាប់កំណើតឡើងវិញនៅក្នុង អូដាហ៊ូ) ដំណើរការ ETL ត្រូវបានរៀបចំឡើងដោយប្រើ លំហូរម៉ាស៊ីនត្រជាក់ Apache និងបានផ្លាស់ទីទិន្នន័យពី SalesForce ប្រព័ន្ធអតិថិជននៅក្នុង អេស។ អេស ៣ ធុង។ បន្ទាប់មក រូបភាព Docker នៃគំរូសិក្សាម៉ាស៊ីនមួយត្រូវបានដាក់ពង្រាយនៅលើវេទិកា ដែលត្រូវបានបណ្តុះបណ្តាលលើទិន្នន័យថ្មី និងដោយប្រើចំណុចប្រទាក់ REST API បានបង្កើតការព្យាករណ៍ដែលចាប់អារម្មណ៍ចំពោះអាជីវកម្ម និងដោះស្រាយបញ្ហាជាក់លាក់។

តាមទស្សនៈ អ្វីៗមើលទៅដូចនេះ៖

មានការធ្វើតេស្តមុខងារជាច្រើននៅលើគម្រោងនេះ ហើយបានផ្តល់ល្បឿននៃការអភិវឌ្ឍន៍មុខងារ និងតម្រូវការដើម្បីរក្សាល្បឿននៃវដ្តនៃការចេញផ្សាយ (ការរត់ពីរសប្តាហ៍) វាចាំបាច់ក្នុងការគិតភ្លាមៗអំពីការធ្វើតេស្តស្វ័យប្រវត្តិនៃសមាសធាតុសំខាន់ៗនៃ ប្រព័ន្ធ។ ភាគច្រើននៃវេទិកាដែលមានមូលដ្ឋានលើ Kubernetes ខ្លួនវាត្រូវបានគ្របដណ្តប់ដោយការធ្វើតេស្តស្វ័យប្រវត្តិដែលបានអនុវត្តនៅក្នុង ស៊ុមមនុស្សយន្ត + Python ប៉ុន្តែវាក៏ចាំបាច់ក្នុងការគាំទ្រ និងពង្រីកពួកវាផងដែរ។ លើសពីនេះ ដើម្បីភាពងាយស្រួលរបស់អតិថិជន GUI ត្រូវបានបង្កើតឡើងដើម្បីគ្រប់គ្រងម៉ូដែលរៀនម៉ាស៊ីនដែលដាក់ពង្រាយទៅកាន់ចង្កោម ក៏ដូចជាសមត្ថភាពក្នុងការបញ្ជាក់ទីកន្លែង និងកន្លែងដែលទិន្នន័យត្រូវផ្ទេរសម្រាប់ការបណ្តុះបណ្តាលគំរូ។ ការបន្ថែមដ៏ទូលំទូលាយនេះបានរួមបញ្ចូលការពង្រីកនៃការធ្វើតេស្តមុខងារស្វ័យប្រវត្តិ ដែលភាគច្រើនត្រូវបានធ្វើតាមរយៈការហៅទូរសព្ទ REST API និងការធ្វើតេស្ត UI ចុង 2-end មួយចំនួនតូច។ ជុំវិញខ្សែអេក្វាទ័រនៃចលនានេះ ពួកយើងត្រូវបានចូលរួមដោយអ្នកសាកល្បងដោយដៃ ដែលធ្វើការងារបានយ៉ាងល្អជាមួយនឹងការសាកល្បងទទួលយកកំណែផលិតផល និងទំនាក់ទំនងជាមួយអតិថិជនទាក់ទងនឹងការទទួលយកការចេញផ្សាយបន្ទាប់។ លើសពីនេះទៀត ដោយសារតែការមកដល់នៃអ្នកឯកទេសថ្មី យើងអាចចងក្រងឯកសារការងាររបស់យើង និងបន្ថែមការត្រួតពិនិត្យដោយដៃសំខាន់ៗជាច្រើន ដែលពិបាកធ្វើស្វ័យប្រវត្តិកម្មភ្លាមៗ។

ហើយជាចុងក្រោយ បន្ទាប់ពីយើងសម្រេចបាននូវស្ថេរភាពពីវេទិកា និងកម្មវិធីបន្ថែម GUI លើវា យើងបានចាប់ផ្តើមសាងសង់បំពង់ ETL ដោយប្រើ Apache Airflow DAGs ។ ការត្រួតពិនិត្យគុណភាពទិន្នន័យដោយស្វ័យប្រវត្តិត្រូវបានអនុវត្តដោយការសរសេរ DAGs Airflow ពិសេសដែលត្រួតពិនិត្យទិន្នន័យដោយផ្អែកលើលទ្ធផលនៃដំណើរការ ETL ។ ជាផ្នែកនៃគម្រោងនេះ យើងមានសំណាង ហើយអតិថិជនបានផ្តល់ឱ្យយើងនូវការចូលប្រើសំណុំទិន្នន័យអនាមិក ដែលយើងបានសាកល្បង។ យើងបានពិនិត្យបន្ទាត់ទិន្នន័យតាមបន្ទាត់សម្រាប់ការអនុលោមតាមប្រភេទ វត្តមាននៃទិន្នន័យដែលខូច ចំនួនសរុបនៃកំណត់ត្រាមុន និងក្រោយ ការប្រៀបធៀបការបំប្លែងដែលធ្វើឡើងដោយដំណើរការ ETL សម្រាប់ការប្រមូលផ្តុំ ការផ្លាស់ប្តូរឈ្មោះជួរឈរ និងអ្វីៗផ្សេងទៀត។ លើសពីនេះ ការត្រួតពិនិត្យទាំងនេះត្រូវបានធ្វើមាត្រដ្ឋានទៅប្រភពទិន្នន័យផ្សេងៗគ្នា ឧទាហរណ៍ បន្ថែមពីលើ SalesForce ទៅកាន់ MySQL ផងដែរ។

ការត្រួតពិនិត្យគុណភាពទិន្នន័យចុងក្រោយត្រូវបានអនុវត្តរួចហើយនៅកម្រិត S3 ជាកន្លែងដែលពួកវាត្រូវបានរក្សាទុក និងរួចរាល់សម្រាប់ប្រើប្រាស់សម្រាប់ការបណ្តុះបណ្តាលម៉ូដែលរៀនម៉ាស៊ីន។ ដើម្បីទទួលបានទិន្នន័យពីឯកសារ CSV ចុងក្រោយដែលមាននៅលើ S3 Bucket និងធ្វើឱ្យវាមានសុពលភាព កូដត្រូវបានសរសេរដោយប្រើ អតិថិជន Boto3.

វាក៏មានតម្រូវការពីអតិថិជនក្នុងការរក្សាទុកផ្នែកនៃទិន្នន័យនៅក្នុង S3 Bucket មួយ និងផ្នែកមួយទៀត។ នេះក៏តម្រូវឱ្យសរសេរការត្រួតពិនិត្យបន្ថែម ដើម្បីពិនិត្យមើលភាពជឿជាក់នៃការតម្រៀបបែបនេះ។

បទពិសោធន៍ទូទៅពីគម្រោងផ្សេងៗ

ឧទាហរណ៍នៃបញ្ជីសកម្មភាពទូទៅបំផុតរបស់វិស្វករគុណភាពទិន្នន័យ៖

• រៀបចំទិន្នន័យសាកល្បង (តូចធំមិនត្រឹមត្រូវ) តាមរយៈឧបករណ៍ស្វ័យប្រវត្តិ។
• ផ្ទុកឡើងសំណុំទិន្នន័យដែលបានរៀបចំទៅប្រភពដើម ហើយពិនិត្យមើលថាវារួចរាល់សម្រាប់ការប្រើប្រាស់។
• ចាប់ផ្តើមដំណើរការ ETL សម្រាប់ដំណើរការសំណុំទិន្នន័យពីការផ្ទុកប្រភពទៅកន្លែងផ្ទុកចុងក្រោយ ឬកម្រិតមធ្យម ដោយប្រើសំណុំជាក់លាក់នៃការកំណត់ (ប្រសិនបើអាច សូមកំណត់ប៉ារ៉ាម៉ែត្រដែលអាចកំណត់បានសម្រាប់កិច្ចការ ETL)។
• ផ្ទៀងផ្ទាត់ទិន្នន័យដែលដំណើរការដោយដំណើរការ ETL សម្រាប់គុណភាព និងការអនុលោមតាមតម្រូវការអាជីវកម្ម។

ទន្ទឹមនឹងនេះ ការផ្តោតសំខាន់នៃការត្រួតពិនិត្យគួរតែមិនត្រឹមតែទៅលើការពិតដែលថាលំហូរទិន្នន័យនៅក្នុងប្រព័ន្ធមានដំណើរការ និងឈានដល់ការបញ្ចប់ (ដែលជាផ្នែកមួយនៃការធ្វើតេស្តមុខងារ) ប៉ុន្តែភាគច្រើនលើការត្រួតពិនិត្យ និងសុពលភាពទិន្នន័យសម្រាប់ ការអនុលោមតាមតម្រូវការដែលរំពឹងទុក ការកំណត់អត្តសញ្ញាណភាពមិនប្រក្រតី និងវត្ថុផ្សេងៗទៀត។

ឧបករណ៍

បច្ចេកទេសមួយក្នុងចំណោមបច្ចេកទេសសម្រាប់ការគ្រប់គ្រងទិន្នន័យបែបនេះអាចជាការរៀបចំការត្រួតពិនិត្យខ្សែសង្វាក់នៅដំណាក់កាលនីមួយៗនៃដំណើរការទិន្នន័យ ដែលហៅថា "ខ្សែសង្វាក់ទិន្នន័យ" នៅក្នុងអក្សរសិល្ប៍ - ការគ្រប់គ្រងទិន្នន័យពីប្រភពរហូតដល់ចំណុចនៃការប្រើប្រាស់ចុងក្រោយ។ ប្រភេទនៃការត្រួតពិនិត្យទាំងនេះត្រូវបានអនុវត្តជាញឹកញាប់បំផុតដោយការសរសេរពិនិត្យមើលសំណួរ SQL ។ វាច្បាស់ណាស់ថាសំណួរបែបនេះគួរតែមានទម្ងន់ស្រាលតាមដែលអាចធ្វើទៅបាន ហើយពិនិត្យមើលបំណែកនីមួយៗនៃគុណភាពទិន្នន័យ (តារាងទិន្នន័យមេតា បន្ទាត់ទទេ NULLs កំហុសក្នុងវាក្យសម្ព័ន្ធ - គុណលក្ខណៈផ្សេងទៀតដែលត្រូវការសម្រាប់ការត្រួតពិនិត្យ)។

នៅក្នុងករណីនៃការធ្វើតេស្តតំរែតំរង់ ដែលប្រើសំណុំទិន្នន័យដែលត្រៀមរួចជាស្រេច (មិនអាចផ្លាស់ប្តូរបាន ផ្លាស់ប្តូរបានបន្តិច) កូដស្វ័យប្រវត្តិអាចរក្សាទុកគំរូដែលត្រៀមរួចជាស្រេចសម្រាប់ពិនិត្យមើលទិន្នន័យសម្រាប់ការអនុលោមតាមគុណភាព (ការពិពណ៌នាអំពីទិន្នន័យមេតាតារាងរំពឹងទុក វត្ថុគំរូជួរដែលអាចជា ជ្រើសរើសដោយចៃដន្យកំឡុងពេលធ្វើតេស្ត។ល។)។

ដូចគ្នានេះផងដែរក្នុងអំឡុងពេលធ្វើតេស្ត អ្នកត្រូវតែសរសេរដំណើរការតេស្ត ETL ដោយប្រើក្របខ័ណ្ឌដូចជា Apache Airflow ។ Apache Spark ឬសូម្បីតែឧបករណ៍ប្រភេទពពកខ្មៅ ការរៀបចំទិន្នន័យ GCP, លំហូរទិន្នន័យ GCP ល​ល។ កាលៈទេសៈនេះបង្ខំឱ្យវិស្វករសាកល្បងដាក់ខ្លួននៅក្នុងគោលការណ៍នៃប្រតិបត្តិការនៃឧបករណ៍ខាងលើ ហើយថែមទាំងមានប្រសិទ្ធភាពថែមទៀត ទាំងពីរធ្វើការធ្វើតេស្តមុខងារ (ឧទាហរណ៍ ដំណើរការ ETL ដែលមានស្រាប់នៅលើគម្រោងមួយ) ហើយប្រើពួកវាដើម្បីពិនិត្យទិន្នន័យ។ ជាពិសេស Apache Airflow មានប្រតិបត្តិករដែលត្រៀមរួចជាស្រេចសម្រាប់ធ្វើការជាមួយមូលដ្ឋានទិន្នន័យវិភាគដ៏ពេញនិយម GCP BigQuery. ឧទាហរណ៍ជាមូលដ្ឋានបំផុតនៃការប្រើប្រាស់របស់វាត្រូវបានគូសបញ្ជាក់រួចហើយ នៅទីនេះដូច្នេះខ្ញុំនឹងមិននិយាយឡើងវិញខ្លួនឯងទេ។

ក្រៅពីដំណោះស្រាយដែលត្រៀមរួចជាស្រេច គ្មាននរណាម្នាក់ហាមឃាត់អ្នកឱ្យអនុវត្តបច្ចេកទេស និងឧបករណ៍ផ្ទាល់ខ្លួនរបស់អ្នកឡើយ។ នេះនឹងមិនត្រឹមតែមានប្រយោជន៍សម្រាប់គម្រោងប៉ុណ្ណោះទេ ប៉ុន្តែក៏សម្រាប់វិស្វករគុណភាពទិន្នន័យខ្លួនឯងផងដែរ ដែលនឹងធ្វើឱ្យប្រសើរឡើងនូវការយល់ដឹងបច្ចេកទេស និងជំនាញសរសេរកូដរបស់គាត់។

របៀបដែលវាដំណើរការលើគម្រោងពិត

រូបភាពដ៏ល្អនៃកថាខណ្ឌចុងក្រោយអំពី "ខ្សែសង្វាក់ទិន្នន័យ" ETL និងការត្រួតពិនិត្យគ្រប់ទីកន្លែងគឺជាដំណើរការដូចខាងក្រោមពីគម្រោងពិតមួយ៖

នៅទីនេះ ទិន្នន័យផ្សេងៗ (តាមធម្មជាតិ រៀបចំដោយយើង) បញ្ចូល "ចីវលោ" នៃប្រព័ន្ធរបស់យើង៖ ត្រឹមត្រូវ មិនត្រឹមត្រូវ លាយឡំ។ ហើយត្រូវបានដាក់ក្នុងកន្លែងផ្ទុកចុងក្រោយ ដែលបន្ទាប់មក ការវិភាគ ការកសាងទិន្នន័យ និងការស្វែងរកការយល់ដឹងអំពីអាជីវកម្មនឹងត្រូវបានអនុវត្ត។ នៅក្នុងប្រព័ន្ធបែបនេះ ដោយគ្មានការត្រួតពិនិត្យមុខងារនៃដំណើរការ ETL យើងផ្តោតលើគុណភាពនៃទិន្នន័យមុន និងក្រោយការបំប្លែង ក៏ដូចជាលើលទ្ធផលទៅការវិភាគ។

ដើម្បីសង្ខេបខាងលើ ដោយមិនគិតពីកន្លែងដែលខ្ញុំធ្វើការ គ្រប់ទីកន្លែងដែលខ្ញុំបានចូលរួមនៅក្នុងគម្រោងទិន្នន័យ ដែលចែករំលែកលក្ខណៈពិសេសដូចខាងក្រោមៈ

• មានតែតាមរយៈស្វ័យប្រវត្តិកម្មប៉ុណ្ណោះដែលអ្នកអាចសាកល្បងករណីមួយចំនួន និងសម្រេចបាននូវវដ្តនៃការចេញផ្សាយដែលអាចទទួលយកបានសម្រាប់អាជីវកម្ម។
• អ្នកសាកល្បងលើគម្រោងបែបនេះគឺជាសមាជិកម្នាក់ក្នុងចំណោមសមាជិកដែលគួរឱ្យគោរពបំផុតនៃក្រុមព្រោះវានាំមកនូវអត្ថប្រយោជន៍ដ៏អស្ចារ្យដល់អ្នកចូលរួមម្នាក់ៗ (ការបង្កើនល្បឿននៃការធ្វើតេស្ត ទិន្នន័យល្អពី Data Scientist ការកំណត់អត្តសញ្ញាណពិការភាពក្នុងដំណាក់កាលដំបូង)។
• វាមិនសំខាន់ទេថាតើអ្នកធ្វើការលើផ្នែករឹងផ្ទាល់ខ្លួនរបស់អ្នក ឬនៅក្នុងពពក - ធនធានទាំងអស់ត្រូវបានអរូបីចូលទៅក្នុងចង្កោមដូចជា Hortonworks, Cloudera, Mesos, Kubernetes ជាដើម។
• គម្រោងត្រូវបានបង្កើតឡើងតាមវិធីសាស្រ្តមីក្រូសឺវីស ចែកចាយ និងប៉ារ៉ាឡែលកុំព្យូទ័រនាំមុខ។

ខ្ញុំចង់កត់ចំណាំថា នៅពេលធ្វើការសាកល្បងក្នុងវិស័យគុណភាពទិន្នន័យ អ្នកឯកទេសធ្វើតេស្តផ្លាស់ប្តូរការផ្តោតអារម្មណ៍វិជ្ជាជីវៈរបស់គាត់ទៅកូដនៃផលិតផល និងឧបករណ៍ដែលបានប្រើ។

លក្ខណៈពិសេសប្លែកនៃការធ្វើតេស្តគុណភាពទិន្នន័យ

លើសពីនេះទៀត សម្រាប់ខ្លួនខ្ញុំផ្ទាល់ ខ្ញុំបានកំណត់អត្តសញ្ញាណដូចខាងក្រោម (ខ្ញុំនឹងធ្វើការកក់ទុកភ្លាមៗថាពួកវាមានលក្ខណៈទូទៅ និងជាប្រធានបទទាំងស្រុង) លក្ខណៈពិសេសប្លែកនៃការធ្វើតេស្តនៅក្នុងគម្រោងទិន្នន័យ (ទិន្នន័យធំ) (ប្រព័ន្ធ) និងផ្នែកផ្សេងទៀត៖

តំណមានប្រយោជន៍

1. ទ្រឹស្តី៖ DAMA-DMBOK៖ អង្គភាពគ្រប់គ្រងទិន្នន័យនៃចំណេះដឹង៖ បោះពុម្ពលើកទី២.
2. មជ្ឈមណ្ឌល​បណ្តុះបណ្តាល អេម៉ាអេម 
3. សម្ភារៈដែលបានណែនាំសម្រាប់វិស្វករគុណភាពទិន្នន័យដំបូង៖
   1. វគ្គសិក្សាឥតគិតថ្លៃនៅលើ Stepik: ការណែនាំអំពីមូលដ្ឋានទិន្នន័យ. 
   2. វគ្គសិក្សាលើ LinkedIn Learning: មូលដ្ឋានគ្រឹះវិទ្យាសាស្ត្រទិន្នន័យ៖ វិស្វកម្មទិន្នន័យ.
   3. អត្ថបទ៖
      • ភាពវៃឆ្លាតពាណិជ្ជកម្ម និងគុណភាពទិន្នន័យ; 
      • ការធ្វើតេស្ត ETL; 
      • តើ Data Profileing ជាអ្វី? ដំណើរការ ការអនុវត្តល្អបំផុត និងឧបករណ៍; 
      • សាកល្បងបង្កើតទិន្នន័យ៖ តើអ្វីជា, របៀប, ឧទាហរណ៍, ឧបករណ៍; 
      • 5 សាកល្បងបច្ចេកទេសបង្កើតទិន្នន័យដែលអ្នកត្រូវដឹង។ 
   4. វីដេអូ:
      • គំនិតគុណភាពទិន្នន័យ | ការបង្រៀនគុណភាពទិន្នន័យ | ការបង្រៀនអំពីឃ្លាំងទិន្នន័យ;
      • ការប្រមូលទិន្នន័យដោយប្រើ SSIS;
      • ការប្រមូលទិន្នន័យ និងដំណើរការបំពង់ជាមួយ Spark ។

សេចក្តីសន្និដ្ឋាន

គុណភាពទិន្នន័យ គឺ​ជា​ទិសដៅ​ដ៏​មាន​អនាគត​ដ៏​ក្មេង​ខ្ចី ដើម្បី​ក្លាយ​ជា​ផ្នែក​មួយ​ដែល​មាន​ន័យ​ថា​ជា​ផ្នែក​មួយ​នៃ​ការ​ចាប់​ផ្តើម​អាជីវកម្ម។ នៅពេលដែលនៅក្នុងគុណភាពទិន្នន័យ អ្នកនឹងត្រូវបានជ្រមុជនៅក្នុងចំនួនដ៏ច្រើននៃបច្ចេកវិទ្យាទំនើបតាមតម្រូវការ ប៉ុន្តែសំខាន់បំផុតនោះ ឱកាសដ៏ធំសម្បើមនឹងបើកសម្រាប់អ្នកដើម្បីបង្កើត និងអនុវត្តគំនិតរបស់អ្នក។ អ្នកនឹងអាចប្រើវិធីសាស្រ្តកែលម្អជាបន្តបន្ទាប់មិនត្រឹមតែលើគម្រោងប៉ុណ្ណោះទេ ថែមទាំងសម្រាប់ខ្លួនអ្នកផងដែរ ដោយបន្តអភិវឌ្ឍជាអ្នកឯកទេស។

ប្រភព: www.habr.com