Data Engineer និង Data Scientist៖ តើមានអ្វីប្លែក?

វិជ្ជាជីវៈរបស់ Data Scientist និង Data Engineer ជារឿយៗមានការភ័ន្តច្រឡំ។ ក្រុមហ៊ុននីមួយៗមានភាពជាក់លាក់ផ្ទាល់ខ្លួនក្នុងការធ្វើការជាមួយទិន្នន័យ គោលដៅផ្សេងគ្នាសម្រាប់ការវិភាគរបស់ពួកគេ និងគំនិតផ្សេងគ្នាដែលអ្នកឯកទេសគួរតែដោះស្រាយផ្នែកណាមួយនៃការងារ ដូច្នេះហើយក្រុមហ៊ុននីមួយៗមានតម្រូវការផ្ទាល់ខ្លួន។ 

ចូរយើងស្វែងយល់ពីភាពខុសគ្នារវាងអ្នកឯកទេសទាំងនេះ តើពួកគេដោះស្រាយបញ្ហាអាជីវកម្មអ្វីខ្លះ ជំនាញដែលពួកគេមាន និងតើពួកគេរកបានប៉ុន្មាន។ សម្ភារៈប្រែទៅជាមានទំហំធំ ដូច្នេះយើងបានបែងចែកវាទៅជាការបោះពុម្ពពីរ។

នៅក្នុងអត្ថបទដំបូង Elena Gerasimova ប្រធានមហាវិទ្យាល័យ "វិទ្យាសាស្ត្រទិន្នន័យ និងវិភាគ" នៅក្នុង Netology ប្រាប់ពីភាពខុសគ្នារវាង Data Scientist និង Data Engineer និងឧបករណ៍ដែលពួកគេធ្វើការជាមួយ។

តើតួនាទីរបស់វិស្វករ និងអ្នកវិទ្យាសាស្ត្រខុសគ្នាយ៉ាងណា

វិស្វករទិន្នន័យគឺជាអ្នកឯកទេសដែលបង្កើត សាកល្បង និងថែរក្សាហេដ្ឋារចនាសម្ព័ន្ធទិន្នន័យ៖ មូលដ្ឋានទិន្នន័យ ការផ្ទុក និងប្រព័ន្ធដំណើរការដ៏ធំ។ ម្យ៉ាងវិញទៀត វាគឺជាអ្នកដែលសម្អាត និង "សិតសក់" ទិន្នន័យសម្រាប់ប្រើប្រាស់ដោយអ្នកវិភាគ និងអ្នកវិទ្យាសាស្ត្រទិន្នន័យ ពោលគឺបង្កើតបំពង់កែច្នៃទិន្នន័យ។

Data Scientist បង្កើត និងបណ្តុះបណ្តាលគំរូទស្សន៍ទាយ (និងផ្សេងទៀត) ដោយប្រើក្បួនដោះស្រាយការរៀនម៉ាស៊ីន និងបណ្តាញសរសៃប្រសាទ ជួយអាជីវកម្មស្វែងរកគំរូដែលលាក់កំបាំង ទស្សន៍ទាយការអភិវឌ្ឍន៍ និងបង្កើនប្រសិទ្ធភាពដំណើរការអាជីវកម្មសំខាន់ៗ។

ភាពខុសគ្នាសំខាន់រវាង Data Scientist និង Data Engineer គឺថាជាធម្មតាពួកគេមានគោលដៅខុសៗគ្នា។ ទាំងពីរធ្វើការដើម្បីធានាថាទិន្នន័យអាចចូលប្រើបាន និងមានគុណភាពខ្ពស់។ ប៉ុន្តែអ្នកវិទ្យាសាស្ត្រទិន្នន័យរកឃើញចម្លើយចំពោះសំណួររបស់គាត់ និងសាកល្បងសម្មតិកម្មនៅក្នុងប្រព័ន្ធអេកូទិន្នន័យ (ឧទាហរណ៍ផ្អែកលើ Hadoop) ហើយវិស្វករទិន្នន័យបង្កើតបំពង់សម្រាប់បម្រើក្បួនដោះស្រាយការរៀនម៉ាស៊ីនដែលសរសេរដោយអ្នកវិទ្យាសាស្ត្រទិន្នន័យនៅក្នុងចង្កោម Spark ក្នុងដូចគ្នា ប្រព័ន្ធអេកូឡូស៊ី។ 

វិស្វករទិន្នន័យនាំមកនូវតម្លៃដល់អាជីវកម្មដោយធ្វើការជាផ្នែកនៃក្រុម។ ភារកិច្ចរបស់វាគឺដើម្បីដើរតួជាតំណភ្ជាប់ដ៏សំខាន់រវាងអ្នកចូលរួមផ្សេងៗគ្នា៖ ពីអ្នកអភិវឌ្ឍន៍ទៅកាន់អ្នកប្រើប្រាស់អាជីវកម្មនៃការរាយការណ៍ និងបង្កើនផលិតភាពរបស់អ្នកវិភាគ ពីទីផ្សារ និងផលិតផលទៅ BI ។ 

ផ្ទុយទៅវិញ Data Scientist ចូលរួមចំណែកយ៉ាងសកម្មក្នុងយុទ្ធសាស្ត្ររបស់ក្រុមហ៊ុន និងទាញយកការយល់ដឹង ធ្វើការសម្រេចចិត្ត ការអនុវត្តក្បួនដោះស្រាយស្វ័យប្រវត្តិកម្ម ការធ្វើគំរូ និងបង្កើតតម្លៃពីទិន្នន័យ។


ការធ្វើការជាមួយទិន្នន័យគឺជាកម្មវត្ថុនៃគោលការណ៍ GIGO (សំរាមចូល - សំរាមចេញ)៖ ប្រសិនបើអ្នកវិភាគ និងអ្នកវិទ្យាសាស្ត្រទិន្នន័យដោះស្រាយជាមួយទិន្នន័យដែលមិនបានរៀបចំ និងមានសក្តានុពលមិនត្រឹមត្រូវ នោះលទ្ធផលសូម្បីតែប្រើក្បួនដោះស្រាយការវិភាគដ៏ស្មុគ្រស្មាញបំផុតក៏នឹងមិនត្រឹមត្រូវដែរ។ 

វិស្វករទិន្នន័យដោះស្រាយបញ្ហានេះដោយការកសាងបំពង់សម្រាប់ដំណើរការ សម្អាត និងបំប្លែងទិន្នន័យ និងអនុញ្ញាតឱ្យអ្នកវិទ្យាសាស្ត្រទិន្នន័យធ្វើការជាមួយទិន្នន័យគុណភាពខ្ពស់។ 

មានឧបករណ៍ជាច្រើននៅលើទីផ្សារសម្រាប់ធ្វើការជាមួយទិន្នន័យដែលគ្របដណ្តប់គ្រប់ដំណាក់កាល៖ ពីរូបរាងនៃទិន្នន័យរហូតដល់លទ្ធផលទៅជាផ្ទាំងគ្រប់គ្រងសម្រាប់ក្រុមប្រឹក្សាភិបាល។ ហើយវាជាការសំខាន់ណាស់ដែលការសម្រេចចិត្តប្រើពួកវាត្រូវបានធ្វើឡើងដោយវិស្វករ - មិនមែនដោយសារតែវាជាម៉ូតនោះទេប៉ុន្តែដោយសារតែគាត់ពិតជានឹងជួយការងាររបស់អ្នកចូលរួមផ្សេងទៀតនៅក្នុងដំណើរការ។ 

តាមធម្មតា៖ ប្រសិនបើក្រុមហ៊ុនត្រូវការភ្ជាប់ទំនាក់ទំនងរវាង BI និង ETL - ការផ្ទុកទិន្នន័យ និងការធ្វើបច្ចុប្បន្នភាពរបាយការណ៍ នេះគឺជាមូលដ្ឋានគ្រឹះធម្មតាដែលវិស្វករទិន្នន័យនឹងត្រូវដោះស្រាយ (វាល្អប្រសិនបើមានស្ថាបត្យករនៅក្នុងក្រុមផងដែរ) ។

ទំនួលខុសត្រូវរបស់វិស្វករទិន្នន័យ

• ការអភិវឌ្ឍន៍ ការសាងសង់ និងថែទាំហេដ្ឋារចនាសម្ព័ន្ធដំណើរការទិន្នន័យ។
• ការដោះស្រាយកំហុស និងការបង្កើតបំពង់ដំណើរការទិន្នន័យដែលអាចទុកចិត្តបាន។
• ការនាំយកទិន្នន័យដែលមិនមានរចនាសម្ព័ន្ធពីប្រភពថាមវន្តផ្សេងៗទៅជាទម្រង់ចាំបាច់សម្រាប់ការងាររបស់អ្នកវិភាគ។
• ការផ្តល់អនុសាសន៍ដើម្បីកែលម្អភាពស៊ីសង្វាក់គ្នា និងគុណភាពទិន្នន័យ។
• ការផ្តល់ និងថែរក្សាស្ថាបត្យកម្មទិន្នន័យដែលប្រើដោយអ្នកវិទ្យាសាស្ត្រទិន្នន័យ និងអ្នកវិភាគទិន្នន័យ។
• ដំណើរការ និងរក្សាទុកទិន្នន័យជាប់លាប់ និងប្រកបដោយប្រសិទ្ធភាពនៅក្នុងចង្កោមដែលបានចែកចាយនៃម៉ាស៊ីនមេរាប់សិប ឬរាប់រយ។
• វាយតម្លៃការដោះដូរផ្នែកបច្ចេកទេសនៃឧបករណ៍ដើម្បីបង្កើតស្ថាបត្យកម្មសាមញ្ញ ប៉ុន្តែរឹងមាំដែលអាចរួចផុតពីការរំខាន។
• គ្រប់គ្រង និងគាំទ្រលំហូរទិន្នន័យ និងប្រព័ន្ធពាក់ព័ន្ធ (រៀបចំការត្រួតពិនិត្យ និងការជូនដំណឹង)។

មានជំនាញមួយផ្សេងទៀតនៅក្នុងគន្លងវិស្វករទិន្នន័យ - វិស្វករ ML ។ សរុបមក វិស្វករទាំងនេះមានជំនាញក្នុងការនាំយកគំរូនៃការរៀនរបស់ម៉ាស៊ីនទៅកាន់ការអនុវត្ត និងការប្រើប្រាស់ឧស្សាហកម្ម។ ជាញឹកញាប់ គំរូដែលទទួលបានពីអ្នកវិទ្យាសាស្ត្រទិន្នន័យគឺជាផ្នែកមួយនៃការសិក្សា ហើយប្រហែលជាមិនដំណើរការក្នុងលក្ខខណ្ឌប្រយុទ្ធទេ។

ទំនួលខុសត្រូវរបស់អ្នកវិទ្យាសាស្ត្រទិន្នន័យ

• ការទាញយកលក្ខណៈពិសេសចេញពីទិន្នន័យ ដើម្បីអនុវត្តក្បួនដោះស្រាយការរៀនម៉ាស៊ីន។
• ការប្រើប្រាស់ឧបករណ៍រៀនម៉ាស៊ីនផ្សេងៗដើម្បីទស្សន៍ទាយ និងចាត់ថ្នាក់គំរូនៅក្នុងទិន្នន័យ។
• ការធ្វើឱ្យប្រសើរឡើងនូវការអនុវត្ត និងភាពត្រឹមត្រូវនៃក្បួនដោះស្រាយការរៀនម៉ាស៊ីនដោយការកែតម្រូវ និងការធ្វើឱ្យប្រសើរនៃក្បួនដោះស្រាយ។
• ការបង្កើតសម្មតិកម្ម "ខ្លាំង" ស្របតាមយុទ្ធសាស្ត្ររបស់ក្រុមហ៊ុនដែលត្រូវការសាកល្បង។

ទាំងវិស្វករទិន្នន័យ និងអ្នកវិទ្យាសាស្ត្រទិន្នន័យចែករំលែកការរួមចំណែកជាក់ស្តែងក្នុងការអភិវឌ្ឍន៍វប្បធម៌ទិន្នន័យ ដែលតាមរយៈនោះក្រុមហ៊ុនអាចបង្កើតប្រាក់ចំណេញបន្ថែម ឬកាត់បន្ថយការចំណាយ។

តើវិស្វករ និងអ្នកវិទ្យាសាស្ត្រធ្វើការជាមួយភាសា និងឧបករណ៍អ្វីខ្លះ?

សព្វថ្ងៃនេះ ការរំពឹងទុករបស់អ្នកវិទ្យាសាស្ត្រទិន្នន័យបានផ្លាស់ប្តូរ។ ពីមុនវិស្វករបានប្រមូលសំណួរ SQL ធំៗ សរសេរ MapReduce និងដំណើរការទិន្នន័យដោយដៃដោយប្រើឧបករណ៍ដូចជា Informatica ETL, Pentaho ETL, Talend ។ 

នៅឆ្នាំ 2020 អ្នកឯកទេសមិនអាចធ្វើដោយគ្មានចំណេះដឹងអំពី Python និងឧបករណ៍គណនាទំនើប (ឧទាហរណ៍ Airflow) ការយល់ដឹងអំពីគោលការណ៍នៃការធ្វើការជាមួយវេទិកាពពក (ប្រើពួកវាដើម្បីសន្សំលើផ្នែករឹង ខណៈពេលដែលការសង្កេតគោលការណ៍សុវត្ថិភាព)។

SAP, Oracle, MySQL, Redis គឺជាឧបករណ៍ប្រពៃណីសម្រាប់វិស្វករទិន្នន័យនៅក្នុងក្រុមហ៊ុនធំៗ។ ពួកគេល្អ ប៉ុន្តែតម្លៃអាជ្ញាប័ណ្ណគឺខ្ពស់ណាស់ ដែលការរៀនធ្វើការជាមួយពួកគេគ្រាន់តែធ្វើឱ្យយល់បាននៅក្នុងគម្រោងឧស្សាហកម្មប៉ុណ្ណោះ។ ក្នុងពេលជាមួយគ្នានេះដែរមានជម្រើសឥតគិតថ្លៃនៅក្នុងទម្រង់នៃ Postgres - វាឥតគិតថ្លៃនិងសមរម្យមិនត្រឹមតែសម្រាប់ការបណ្តុះបណ្តាលប៉ុណ្ណោះទេ។ 

តាមប្រវត្តិសាស្ត្រ សំណើសុំ Java និង Scala ត្រូវបានរកឃើញជាញឹកញាប់ ទោះបីជាបច្ចេកវិទ្យា និងវិធីសាស្រ្តអភិវឌ្ឍក៏ដោយ ភាសាទាំងនេះនឹងរលាយបាត់ទៅផ្ទៃខាងក្រោយ។

ទោះជាយ៉ាងណាក៏ដោយ BigData រឹងរូស៖ Hadoop, Spark និងសួនសត្វដែលនៅសល់លែងជាតម្រូវការជាមុនសម្រាប់វិស្វករទិន្នន័យទៀតហើយ ប៉ុន្តែជាប្រភេទឧបករណ៍សម្រាប់ដោះស្រាយបញ្ហាដែលមិនអាចដោះស្រាយបានដោយ ETL ប្រពៃណី។ 

និន្នាការគឺជាសេវាកម្មសម្រាប់ការប្រើប្រាស់ឧបករណ៍ដោយគ្មានចំណេះដឹងភាសាដែលពួកគេត្រូវបានសរសេរ (ឧទាហរណ៍ Hadoop ដោយគ្មានចំណេះដឹងអំពី Java) ក៏ដូចជាការផ្តល់សេវាដែលត្រៀមរួចជាស្រេចសម្រាប់ដំណើរការទិន្នន័យស្ទ្រីម (ការទទួលស្គាល់សំឡេង ឬការទទួលស្គាល់រូបភាពនៅលើវីដេអូ។ )

ដំណោះស្រាយឧស្សាហកម្មពី SAS និង SPSS មានប្រជាប្រិយភាព ខណៈដែល Tableau, Rapidminer, Stata និង Julia ក៏ត្រូវបានប្រើប្រាស់យ៉ាងទូលំទូលាយដោយអ្នកវិទ្យាសាស្ត្រទិន្នន័យសម្រាប់កិច្ចការក្នុងស្រុក។

សមត្ថភាពក្នុងការបង្កើតបំពង់ដោយខ្លួនឯងបានបង្ហាញខ្លួនចំពោះអ្នកវិភាគ និងអ្នកវិទ្យាសាស្ត្រទិន្នន័យតែប៉ុន្មានឆ្នាំមុនប៉ុណ្ណោះ៖ ឧទាហរណ៍ វាអាចទៅរួចរួចហើយក្នុងការផ្ញើទិន្នន័យទៅកន្លែងផ្ទុកដែលមានមូលដ្ឋានលើ PostgreSQL ដោយប្រើស្គ្រីបសាមញ្ញ។ 

ជាធម្មតា ការប្រើប្រាស់បំពង់បង្ហូរប្រេង និងរចនាសម្ព័ន្ធទិន្នន័យរួមបញ្ចូលគ្នានៅតែជាការទទួលខុសត្រូវរបស់វិស្វករទិន្នន័យ។ ប៉ុន្តែសព្វថ្ងៃនេះ និន្នាការសម្រាប់អ្នកឯកទេសរាងអក្សរ T ដែលមានជំនាញទូលំទូលាយក្នុងវិស័យពាក់ព័ន្ធគឺខ្លាំងជាងពេលណាទាំងអស់ ពីព្រោះឧបករណ៍ត្រូវបានធ្វើឱ្យសាមញ្ញឥតឈប់ឈរ។

ហេតុអ្វីបានជា Data Engineer និង Data Scientist ធ្វើការជាមួយគ្នា

ដោយធ្វើការយ៉ាងជិតស្និទ្ធជាមួយវិស្វករ អ្នកវិទ្យាសាស្ត្រទិន្នន័យអាចផ្តោតលើផ្នែកស្រាវជ្រាវ ដោយបង្កើតក្បួនដោះស្រាយការរៀនម៉ាស៊ីនដែលត្រៀមរួចជាស្រេចក្នុងការផលិត។
ហើយវិស្វករត្រូវផ្តោតលើលទ្ធភាពធ្វើមាត្រដ្ឋាន ការប្រើប្រាស់ទិន្នន័យឡើងវិញ និងធានាថាការបញ្ចូលទិន្នន័យ និងបំពង់បង្ហូរចេញនៅក្នុងគម្រោងនីមួយៗ អនុលោមតាមស្ថាបត្យកម្មសកល។

ការបំបែកការទទួលខុសត្រូវនេះធានានូវភាពស៊ីសង្វាក់គ្នារវាងក្រុមដែលធ្វើការលើគម្រោងការរៀនម៉ាស៊ីនផ្សេងៗគ្នា។ 

កិច្ចសហការជួយបង្កើតផលិតផលថ្មីប្រកបដោយប្រសិទ្ធភាព។ ល្បឿន និងគុណភាពត្រូវបានសម្រេចតាមរយៈតុល្យភាពរវាងការបង្កើតសេវាកម្មសម្រាប់មនុស្សគ្រប់គ្នា (ការផ្ទុកសកល ឬការរួមបញ្ចូលផ្ទាំងគ្រប់គ្រង) និងការអនុវត្តតម្រូវការ ឬគម្រោងជាក់លាក់នីមួយៗ (បំពង់ដែលមានឯកទេសខ្ពស់ ការតភ្ជាប់ប្រភពខាងក្រៅ)។ 

ការធ្វើការយ៉ាងជិតស្និទ្ធជាមួយអ្នកវិទ្យាសាស្ត្រទិន្នន័យ និងអ្នកវិភាគជួយវិស្វករអភិវឌ្ឍជំនាញវិភាគ និងស្រាវជ្រាវដើម្បីសរសេរកូដកាន់តែប្រសើរ។ ការចែករំលែកចំណេះដឹងក្នុងចំណោមអ្នកប្រើប្រាស់ឃ្លាំង និងទិន្នន័យបឹងមានភាពប្រសើរឡើង ធ្វើឱ្យគម្រោងកាន់តែមានភាពរហ័សរហួន និងផ្តល់នូវលទ្ធផលយូរអង្វែងប្រកបដោយនិរន្តរភាព។

នៅក្នុងក្រុមហ៊ុនដែលមានគោលបំណងអភិវឌ្ឍវប្បធម៌នៃការធ្វើការជាមួយទិន្នន័យ និងការកសាងដំណើរការអាជីវកម្មដោយផ្អែកលើពួកគេ អ្នកវិទ្យាសាស្ត្រទិន្នន័យ និងវិស្វករទិន្នន័យបំពេញគ្នាទៅវិញទៅមក និងបង្កើតប្រព័ន្ធវិភាគទិន្នន័យពេញលេញ។ 

នៅក្នុងអត្ថបទបន្ទាប់ យើងនឹងនិយាយអំពីការអប់រំប្រភេទណាដែលវិស្វករទិន្នន័យ និងអ្នកវិទ្យាសាស្ត្រទិន្នន័យគួរមាន ជំនាញអ្វីដែលពួកគេត្រូវការដើម្បីអភិវឌ្ឍ និងរបៀបដែលទីផ្សារដំណើរការ។

ពីអ្នកកែសម្រួលនៃ Netology

ប្រសិនបើអ្នកកំពុងសម្លឹងមើលវិជ្ជាជីវៈរបស់ Data Engineer ឬ Data Scientist យើងសូមអញ្ជើញអ្នកឱ្យសិក្សាកម្មវិធីវគ្គសិក្សារបស់យើង៖

• វិជ្ជាជីវៈ "វិស្វករទិន្នន័យ"។  
• វិជ្ជាជីវៈ "ទិន្នន័យវិទ្យាសាស្រ្ត"។

ប្រភព: www.habr.com