ការវិភាគទិន្នន័យធំ - ការពិត និងការរំពឹងទុកនៅក្នុងប្រទេសរុស្ស៊ី និងពិភពលោក

សព្វថ្ងៃនេះមានតែមនុស្សដែលមិនមានទំនាក់ទំនងខាងក្រៅជាមួយពិភពខាងក្រៅប៉ុណ្ណោះដែលមិនបានឮអំពីទិន្នន័យធំ។ នៅលើ Habre ប្រធានបទនៃការវិភាគទិន្នន័យធំ និងប្រធានបទពាក់ព័ន្ធគឺមានប្រជាប្រិយភាព។ ប៉ុន្តែសម្រាប់អ្នកដែលមិនមែនជាអ្នកឯកទេសដែលចង់លះបង់ខ្លួនឯងក្នុងការសិក្សាអំពីទិន្នន័យធំ វាមិនតែងតែច្បាស់ថាតំបន់នេះមានសក្តានុពលអ្វីនោះទេ ដែលជាកន្លែងដែលការវិភាគទិន្នន័យធំអាចត្រូវបានអនុវត្ត ហើយអ្នកវិភាគល្អអាចពឹងផ្អែកលើអ្វីបាន។ ចូរយើងព្យាយាមស្វែងយល់។

ចំនួនព័ត៌មានដែលបង្កើតដោយមនុស្សកើនឡើងជារៀងរាល់ឆ្នាំ។ នៅឆ្នាំ 2020 បរិមាណទិន្នន័យដែលបានរក្សាទុកនឹងកើនឡើងដល់ 40-44 zettabytes (1 ZB ~ 1 billion GB) ។ នៅឆ្នាំ 2025 - រហូតដល់ប្រហែល 400 zettabytes ។ អាស្រ័យហេតុនេះ ការគ្រប់គ្រងទិន្នន័យដែលមានរចនាសម្ព័ន្ធ និងមិនមានរចនាសម្ព័ន្ធដោយប្រើបច្ចេកវិទ្យាទំនើបគឺជាផ្នែកមួយដែលកាន់តែមានសារៈសំខាន់។ ទាំងក្រុមហ៊ុនបុគ្គល និងប្រទេសទាំងមូលចាប់អារម្មណ៍លើទិន្នន័យធំ។

និយាយអញ្ចឹង វាគឺជាអំឡុងពេលនៃការពិភាក្សាអំពីការកើនឡើងនៃព័ត៌មាន និងវិធីសាស្រ្តនៃដំណើរការទិន្នន័យដែលបង្កើតដោយមនុស្ស ដែលពាក្យថា Big Data បានកើតឡើង។ វាត្រូវបានគេជឿថាវាត្រូវបានស្នើឡើងជាលើកដំបូងនៅក្នុងឆ្នាំ 2008 ដោយនិពន្ធនាយកនៃទស្សនាវដ្តី Nature Clifford Lynch ។

ចាប់តាំងពីពេលនោះមក ទីផ្សារ Big Data ត្រូវបានកើនឡើងជារៀងរាល់ឆ្នាំដោយរាប់សិបភាគរយ។ ហើយនិន្នាការនេះបើយោងតាមអ្នកជំនាញនឹងបន្ត។ នេះ​បើ​តាម​ការ​ប៉ាន់​ប្រមាណ​របស់​ក្រុមហ៊ុន សាយសត្វ & ស៊ូលីវ៉ាន នៅឆ្នាំ 2021 ទីផ្សារវិភាគទិន្នន័យធំសរុបនឹងកើនឡើងដល់ 67,2 ពាន់លានដុល្លារ កំណើនប្រចាំឆ្នាំនឹងមានប្រហែល 35,9% ។

ហេតុអ្វីបានជាយើងត្រូវការការវិភាគទិន្នន័យធំ?

វាអនុញ្ញាតឱ្យអ្នកកំណត់ព័ត៌មានដ៏មានតម្លៃបំផុតពីសំណុំទិន្នន័យដែលមានរចនាសម្ព័ន្ធ ឬមិនមានរចនាសម្ព័ន្ធ។ អរគុណចំពោះបញ្ហានេះ ជាឧទាហរណ៍ អាជីវកម្មអាចកំណត់និន្នាការ ទស្សន៍ទាយដំណើរការផលិតកម្ម និងបង្កើនប្រសិទ្ធភាពការចំណាយផ្ទាល់ខ្លួន។ វាច្បាស់ណាស់ថា ដើម្បីកាត់បន្ថយការចំណាយ ក្រុមហ៊ុនបានត្រៀមខ្លួនរួចជាស្រេចក្នុងការអនុវត្តដំណោះស្រាយចុងក្រោយបង្អស់។

បច្ចេកវិទ្យា និងវិធីសាស្រ្តវិភាគដែលប្រើដើម្បីវិភាគទិន្នន័យធំ៖

• ការជីកយករ៉ែទិន្នន័យ;
• ធនធានមនុស្ស;
• ការរួមបញ្ចូលគ្នានិងការរួមបញ្ចូលទិន្នន័យ;
• ការរៀនម៉ាស៊ីន;
• បណ្តាញសរសៃប្រសាទសិប្បនិម្មិត;
• ការទទួលស្គាល់លំនាំ;
• ការវិភាគព្យាករណ៍;
• គំរូក្លែងធ្វើ;
• ការវិភាគលំហ;
• ការវិភាគស្ថិតិ;
• ការមើលឃើញនៃទិន្នន័យវិភាគ។

ការវិភាគទិន្នន័យធំនៅលើពិភពលោក

ការវិភាគទិន្នន័យធំឥឡូវនេះត្រូវបានប្រើប្រាស់ដោយក្រុមហ៊ុនជាង 50% នៅទូទាំងពិភពលោក។ ទោះបីជាការពិតដែលថានៅឆ្នាំ 2015 តួលេខនេះមានត្រឹមតែ 17% ប៉ុណ្ណោះ។ ទិន្នន័យធំត្រូវបានប្រើប្រាស់យ៉ាងសកម្មបំផុតដោយក្រុមហ៊ុនដែលប្រតិបត្តិការក្នុងវិស័យទូរគមនាគមន៍ និងសេវាកម្មហិរញ្ញវត្ថុ។ បន្ទាប់មកមានក្រុមហ៊ុនដែលមានឯកទេសខាងបច្ចេកវិទ្យាថែទាំសុខភាព។ ការប្រើប្រាស់តិចតួចបំផុតនៃការវិភាគទិន្នន័យធំនៅក្នុងក្រុមហ៊ុនអប់រំ៖ ក្នុងករណីភាគច្រើន អ្នកតំណាងនៃវិស័យនេះបានប្រកាសពីចេតនារបស់ពួកគេក្នុងការប្រើប្រាស់បច្ចេកវិទ្យានាពេលខាងមុខ។

នៅសហរដ្ឋអាមេរិក ការវិភាគទិន្នន័យធំត្រូវបានប្រើប្រាស់យ៉ាងសកម្មបំផុត៖ ច្រើនជាង 55% នៃក្រុមហ៊ុនមកពីវិស័យផ្សេងៗធ្វើការជាមួយបច្ចេកវិទ្យានេះ។ នៅអឺរ៉ុប និងអាស៊ី តម្រូវការសម្រាប់ការវិភាគទិន្នន័យធំមិនទាបជាងច្រើនទេ - ប្រហែល 53% ។

ចុះនៅរុស្ស៊ីវិញ?

នេះ​បើ​តាម​អ្នក​វិភាគ IDC។ ប្រទេសរុស្ស៊ីគឺជាទីផ្សារក្នុងតំបន់ធំបំផុតសម្រាប់ដំណោះស្រាយវិភាគទិន្នន័យធំ. កំណើននៃទីផ្សារសម្រាប់ដំណោះស្រាយបែបនេះនៅអឺរ៉ុបកណ្តាល និងខាងកើតគឺសកម្មណាស់ តួលេខនេះកើនឡើង 11% ជារៀងរាល់ឆ្នាំ។ នៅឆ្នាំ 2022 វានឹងឈានដល់ 5,4 ពាន់លានដុល្លារក្នុងន័យបរិមាណ។

នៅក្នុងវិធីជាច្រើនការអភិវឌ្ឍន៍យ៉ាងឆាប់រហ័សនៃទីផ្សារនេះគឺដោយសារតែការរីកចម្រើននៃតំបន់នេះនៅក្នុងប្រទេសរុស្ស៊ី។ នៅឆ្នាំ 2018 ប្រាក់ចំណូលពីការលក់ដំណោះស្រាយពាក់ព័ន្ធនៅក្នុងសហព័ន្ធរុស្ស៊ីមានចំនួន 40% នៃការវិនិយោគសរុបនៅក្នុងបច្ចេកវិទ្យាដំណើរការទិន្នន័យធំនៅក្នុងតំបន់ទាំងមូល។

នៅសហព័ន្ធរុស្ស៊ី ក្រុមហ៊ុនមកពីវិស័យធនាគារ និងសាធារណៈ ឧស្សាហកម្មទូរគមនាគមន៍ និងឧស្សាហកម្មចំណាយច្រើនបំផុតលើដំណើរការ Big Data ។

តើអ្នកវិភាគទិន្នន័យធំធ្វើអ្វី ហើយតើគាត់រកបានប៉ុន្មាននៅរុស្ស៊ី?

អ្នកវិភាគទិន្នន័យធំមានទំនួលខុសត្រូវក្នុងការពិនិត្យមើលព័ត៌មានដ៏ច្រើន ទាំងពាក់កណ្តាលរចនាសម្ព័ន្ធ និងមិនមានរចនាសម្ព័ន្ធ។ សម្រាប់ស្ថាប័នធនាគារ ទាំងនេះគឺជាប្រតិបត្តិការ សម្រាប់ប្រតិបត្តិករ - ការហៅទូរសព្ទ និងចរាចរណ៍ នៅក្នុងការលក់រាយ - ការទស្សនា និងការទិញរបស់អតិថិជន។ ដូចដែលបានរៀបរាប់ខាងលើ ការវិភាគទិន្នន័យធំអនុញ្ញាតឱ្យយើងរកឃើញទំនាក់ទំនងរវាងកត្តាផ្សេងៗនៅក្នុង "ប្រវត្តិព័ត៌មានដើម" ឧទាហរណ៍ ដំណើរការផលិត ឬប្រតិកម្មគីមី។ ដោយផ្អែកលើទិន្នន័យការវិភាគ វិធីសាស្រ្ត និងដំណោះស្រាយថ្មីត្រូវបានបង្កើតឡើងក្នុងផ្នែកផ្សេងៗគ្នា - ពីការផលិតរហូតដល់ថ្នាំ។

ជំនាញដែលត្រូវការសម្រាប់អ្នកវិភាគទិន្នន័យធំ៖

• សមត្ថភាពក្នុងការយល់ដឹងយ៉ាងឆាប់រហ័សនូវលក្ខណៈពិសេសនៅក្នុងតំបន់ដែលការវិភាគកំពុងត្រូវបានអនុវត្ត និងដើម្បីជ្រមុជខ្លួនអ្នកនៅក្នុងទិដ្ឋភាពនៃតំបន់ដែលចង់បាន។ នេះអាចជាការលក់រាយ ឧស្សាហកម្មប្រេង និងឧស្ម័ន ថ្នាំពេទ្យ។ល។
• ចំណេះដឹងអំពីវិធីសាស្រ្តនៃការវិភាគទិន្នន័យស្ថិតិ ការសាងសង់គំរូគណិតវិទ្យា (បណ្តាញសរសៃប្រសាទ បណ្តាញ Bayesian ចង្កោម តំរែតំរង់កត្តា ការប្រែប្រួល និងការវិភាគទំនាក់ទំនង។ល។)។
• អាចទាញយកទិន្នន័យពីប្រភពផ្សេងៗគ្នា បំប្លែងវាសម្រាប់ការវិភាគ និងផ្ទុកវាទៅក្នុងមូលដ្ឋានទិន្នន័យវិភាគ។
• ស្ទាត់ជំនាញក្នុង SQL ។
• មានចំណេះដឹងភាសាអង់គ្លេសក្នុងកម្រិតគ្រប់គ្រាន់ ដើម្បីងាយស្រួលអានឯកសារបច្ចេកទេស។
• ចំណេះដឹងអំពី Python (យ៉ាងហោចណាស់ជាមូលដ្ឋាន) Bash (វាពិបាកធ្វើដោយគ្មានវាក្នុងដំណើរការការងារ) បូកនឹងចង់ដឹងពីមូលដ្ឋានគ្រឹះនៃ Java និង Scala (ត្រូវការសម្រាប់ការប្រើប្រាស់សកម្មរបស់ Spark ដែលជាផ្នែកមួយក្នុងចំណោម ក្របខ័ណ្ឌពេញនិយមបំផុតសម្រាប់ធ្វើការជាមួយទិន្នន័យធំ) ។
• សមត្ថភាពក្នុងការធ្វើការជាមួយ Hadoop ។

អញ្ចឹងតើអ្នកវិភាគ Big Data រកបានប៉ុន្មាន?

អ្នកឯកទេស Big Data ឥឡូវនេះកំពុងខ្វះខាតតម្រូវការលើសពីការផ្គត់ផ្គង់។ នេះគឺដោយសារតែអាជីវកម្មកំពុងឈានដល់ការយល់ដឹង៖ ការអភិវឌ្ឍន៍ទាមទារបច្ចេកវិទ្យាថ្មី ហើយការអភិវឌ្ឍន៍បច្ចេកវិទ្យាទាមទារអ្នកជំនាញ។

ដូច្នេះ អ្នកវិទ្យាសាស្ត្រទិន្នន័យ និងវិភាគទិន្នន័យនៅសហរដ្ឋអាមេរិក បានចូលក្នុងអាជីពល្អបំផុតទាំង 3 ប្រចាំឆ្នាំ 2017 នេះបើយោងតាមទីភ្នាក់ងារជ្រើសរើស Glassdoor ។ ប្រាក់ខែជាមធ្យមរបស់អ្នកឯកទេសទាំងនេះនៅអាមេរិកចាប់ផ្តើមពី 100 ពាន់ដុល្លារក្នុងមួយឆ្នាំ។

នៅក្នុងប្រទេសរុស្ស៊ី អ្នកជំនាញការរៀនម៉ាស៊ីនទទួលបានពី 130 ទៅ 300 ពាន់រូប្លិ៍ក្នុងមួយខែ អ្នកវិភាគទិន្នន័យធំ - ពី 73 ទៅ 200 ពាន់រូប្លិ៍ក្នុងមួយខែ។ វាទាំងអស់គឺអាស្រ័យលើបទពិសោធន៍ និងលក្ខណៈសម្បត្តិ។ ជា​ការ​ពិត​ណាស់ មាន​កន្លែង​ទំនេរ​ដែល​មាន​ប្រាក់​ខែ​ទាប ហើយ​កន្លែង​ផ្សេង​ទៀត​មាន​តំណែង​ខ្ពស់​ជាង។ តម្រូវការអតិបរមាសម្រាប់អ្នកវិភាគទិន្នន័យធំនៅទីក្រុងមូស្គូ និងសាំងពេទឺប៊ឺគ។ ទីក្រុងម៉ូស្គូដែលមិនគួរឱ្យភ្ញាក់ផ្អើលមានប្រហែល 50% នៃកន្លែងទំនេរសកម្ម (យោងទៅតាម hh.ru) ។ តម្រូវការតិចជាងច្រើនគឺនៅ Minsk និង Kyiv ។ គួរកត់សម្គាល់ថាកន្លែងទំនេរមួយចំនួនផ្តល់ម៉ោងដែលអាចបត់បែនបាន និងការងារពីចម្ងាយ។ ប៉ុន្តែជាទូទៅក្រុមហ៊ុនត្រូវការអ្នកឯកទេសដែលធ្វើការនៅក្នុងការិយាល័យ។

យូរៗទៅ យើងអាចរំពឹងថានឹងមានការកើនឡើងនូវតម្រូវការសម្រាប់អ្នកវិភាគ Big Data និងអ្នកតំណាងជំនាញដែលពាក់ព័ន្ធ។ ដូចដែលបានរៀបរាប់ខាងលើ កង្វះបុគ្គលិកក្នុងវិស័យបច្ចេកវិទ្យាមិនត្រូវបានលុបចោលទេ។ ប៉ុន្តែជាការពិតណាស់ ដើម្បីក្លាយជាអ្នកវិភាគទិន្នន័យធំ អ្នកត្រូវសិក្សា និងធ្វើការ ដោយកែលម្អទាំងជំនាញដែលបានរាយខាងលើ និងជំនាញបន្ថែម។ ឱកាសមួយដើម្បីចាប់ផ្តើមផ្លូវរបស់អ្នកវិភាគ Big Data គឺ ចុះឈ្មោះសម្រាប់វគ្គសិក្សាពី Geekbrains ហើយសាកល្បងដៃរបស់អ្នកក្នុងការធ្វើការជាមួយទិន្នន័យធំ។

ប្រភព: www.habr.com