🥇 តើអ្នកណាជាវិស្វករទិន្នន័យ ហើយតើអ្នកក្លាយជាមនុស្សម្នាក់ដោយរបៀបណា?

ជំរាបសួរជាថ្មីម្តងទៀត! ចំណងជើងនៃអត្ថបទនិយាយដោយខ្លួនឯង។ នៅក្នុងការរំពឹងទុកនៃការចាប់ផ្តើមនៃវគ្គសិក្សា "វិស្វករទិន្នន័យ" យើងស្នើឱ្យអ្នកយល់ថានរណាជាវិស្វករទិន្នន័យ។ មានតំណភ្ជាប់មានប្រយោជន៍ជាច្រើននៅក្នុងអត្ថបទ។ រីករាយក្នុងការអាន។

ការណែនាំដ៏សាមញ្ញមួយអំពីរបៀបចាប់រលកវិស្វកម្មទិន្នន័យ និងមិនអនុញ្ញាតឱ្យវាអូសអ្នកចូលទៅក្នុងទីជ្រៅបំផុត។

វាហាក់ដូចជាមនុស្សគ្រប់គ្នាចង់ក្លាយជាអ្នកវិទ្យាសាស្ត្រទិន្នន័យសព្វថ្ងៃនេះ។ ប៉ុន្តែចុះយ៉ាងណាចំពោះវិស្វកម្មទិន្នន័យ? សំខាន់ នេះជាប្រភេទកូនកាត់នៃអ្នកវិភាគទិន្នន័យ និងអ្នកវិទ្យាសាស្ត្រទិន្នន័យ។ វិស្វករទិន្នន័យជាធម្មតាទទួលខុសត្រូវក្នុងការគ្រប់គ្រងលំហូរការងារ ដំណើរការបំពង់បង្ហូរប្រេង និងដំណើរការ ETL. ដោយសារសារៈសំខាន់នៃមុខងារទាំងនេះ បច្ចុប្បន្ននេះនេះគឺជាភាសាជំនាញវិជ្ជាជីវៈដ៏ពេញនិយមមួយផ្សេងទៀតដែលកំពុងទទួលបានសន្ទុះយ៉ាងសកម្ម។

ប្រាក់ខែខ្ពស់ និងតម្រូវការដ៏ធំគ្រាន់តែជាផ្នែកតូចមួយនៃអ្វីដែលធ្វើឱ្យការងារនេះមានភាពទាក់ទាញខ្លាំង! ប្រសិនបើអ្នកចង់ចូលរួមក្នុងជួរវីរបុរស វាមិនដែលយឺតពេលក្នុងការចាប់ផ្តើមរៀននោះទេ។ នៅក្នុងការប្រកាសនេះ ខ្ញុំបានប្រមូលព័ត៌មានចាំបាច់ទាំងអស់ ដើម្បីជួយអ្នកក្នុងជំហានដំបូងរបស់អ្នក។

ដូច្នេះសូមចាប់ផ្តើម!

តើវិស្វកម្មទិន្នន័យគឺជាអ្វី?

និយាយតាមត្រង់ទៅ មិនមានការពន្យល់ណាល្អជាងនេះទេ៖

“អ្នកវិទ្យាសាស្ត្រអាចរកឃើញផ្កាយថ្មី ប៉ុន្តែគាត់មិនអាចបង្កើតផ្កាយបានទេ។ គាត់នឹងត្រូវសុំឱ្យវិស្វករធ្វើវាឱ្យគាត់»។

- Gordon Lindsay Glegg

ដូច្នេះតួនាទីរបស់វិស្វករទិន្នន័យគឺមានសារៈសំខាន់ណាស់។

ដូចដែលឈ្មោះបានបង្ហាញ វិស្វកម្មទិន្នន័យគឺទាក់ទងនឹងទិន្នន័យ ពោលគឺការចែកចាយ ការផ្ទុក និងដំណើរការរបស់វា។ ដូច្នោះហើយភារកិច្ចចម្បងរបស់វិស្វករគឺដើម្បីផ្តល់នូវហេដ្ឋារចនាសម្ព័ន្ធដែលអាចទុកចិត្តបានសម្រាប់ទិន្នន័យ។ ប្រសិនបើយើងក្រឡេកមើលឋានានុក្រម AI នៃតម្រូវការ វិស្វកម្មទិន្នន័យកាន់កាប់ 2-3 ដំណាក់កាលដំបូង៖ ការប្រមូល ចលនា និងការផ្ទុក ការរៀបចំទិន្នន័យ.

តើវិស្វករទិន្នន័យធ្វើអ្វី?

ជាមួយនឹងវត្តមាននៃទិន្នន័យធំ វិសាលភាពនៃការទទួលខុសត្រូវបានផ្លាស់ប្តូរយ៉ាងខ្លាំង។ ប្រសិនបើពីមុនអ្នកជំនាញទាំងនេះបានសរសេរសំណួរ SQL ដ៏ធំ និងទិន្នន័យចម្រាញ់ដោយប្រើឧបករណ៍ដូចជា Informatica ETL, Pentaho ETL, Talend ឥឡូវនេះតម្រូវការសម្រាប់វិស្វករទិន្នន័យបានកើនឡើង។

ក្រុមហ៊ុនភាគច្រើនដែលមានមុខតំណែងទំនេរសម្រាប់មុខតំណែងវិស្វករទិន្នន័យមានតម្រូវការដូចខាងក្រោមៈ

ចំណេះដឹងដ៏អស្ចារ្យនៃ SQL និង Python ។
បទពិសោធន៍ជាមួយវេទិកាពពក ជាពិសេស Amazon Web Services ។
ចំណេះដឹងអំពី Java/Scala ពេញចិត្ត។
ការយល់ដឹងល្អអំពីមូលដ្ឋានទិន្នន័យ SQL និង NoSQL (គំរូទិន្នន័យ ឃ្លាំងទិន្នន័យ)។

សូមចងចាំថា ទាំងនេះគ្រាន់តែជាចំណុចសំខាន់ប៉ុណ្ណោះ។ ពីបញ្ជីនេះ គេអាចសន្មត់ថាវិស្វករទិន្នន័យគឺជាអ្នកឯកទេសក្នុងវិស័យអភិវឌ្ឍន៍កម្មវិធី និងផ្នែកខាងក្រោយ។
ឧទាហរណ៍ ប្រសិនបើក្រុមហ៊ុនចាប់ផ្តើមបង្កើតទិន្នន័យយ៉ាងច្រើនពីប្រភពផ្សេងៗ ភារកិច្ចរបស់អ្នកជាវិស្វករទិន្នន័យគឺរៀបចំការប្រមូលព័ត៌មាន ដំណើរការ និងការផ្ទុករបស់វា។

បញ្ជីឧបករណ៍ដែលប្រើក្នុងករណីនេះអាចខុសគ្នា វាទាំងអស់គឺអាស្រ័យលើបរិមាណនៃទិន្នន័យនេះ ល្បឿននៃការទទួល និងភាពខុសគ្នារបស់វា។ ក្រុមហ៊ុនភាគច្រើនមិនដោះស្រាយជាមួយទិន្នន័យធំទាល់តែសោះ ដូច្នេះក្នុងនាមជាឃ្លាំងកណ្តាល ដែលហៅថាឃ្លាំងទិន្នន័យ អ្នកអាចប្រើមូលដ្ឋានទិន្នន័យ SQL (PostgreSQL, MySQL ។ល។) ជាមួយនឹងសំណុំស្គ្រីបតូចមួយដែលផ្តល់ទិន្នន័យទៅក្នុង ឃ្លាំង។

ក្រុមហ៊ុនបច្ចេកវិទ្យាយក្សដូចជា Google, Amazon, Facebook ឬ Dropbox មានតម្រូវការខ្ពស់ជាងនេះ៖ ចំណេះដឹងអំពី Python, Java ឬ Scala ។

បទពិសោធន៍ជាមួយទិន្នន័យធំ៖ Hadoop, Spark, Kafka ។
ចំណេះដឹងអំពីក្បួនដោះស្រាយ និងរចនាសម្ព័ន្ធទិន្នន័យ។
ការយល់ដឹងអំពីមូលដ្ឋានគ្រឹះនៃប្រព័ន្ធចែកចាយ។
បទពិសោធន៍ជាមួយឧបករណ៍មើលឃើញទិន្នន័យដូចជា Tableau ឬ ElasticSearch នឹងក្លាយជាបូក។

នោះគឺមានការផ្លាស់ប្តូរយ៉ាងច្បាស់ឆ្ពោះទៅរកទិន្នន័យធំ ពោលគឺនៅក្នុងដំណើរការរបស់វាក្រោមបន្ទុកខ្ពស់។ ក្រុមហ៊ុនទាំងនេះបានបង្កើនតម្រូវការសម្រាប់ការអត់ឱនចំពោះកំហុសប្រព័ន្ធ។

វិស្វករទិន្នន័យ Vs. អ្នកវិទ្យាសាស្ត្រទិន្នន័យ

មិនអីទេ នោះគឺជាការប្រៀបធៀបដ៏សាមញ្ញ និងគួរឱ្យអស់សំណើច (គ្មានអ្វីផ្ទាល់ខ្លួនទេ) ប៉ុន្តែការពិតវាមានភាពស្មុគស្មាញជាង។

ជាដំបូង អ្នកគួរតែដឹងថា មានភាពមិនច្បាស់លាស់ច្រើនក្នុងការកំណត់តួនាទី និងជំនាញរបស់អ្នកវិទ្យាសាស្ត្រទិន្នន័យ និងវិស្វករទិន្នន័យ។ នោះគឺអ្នកអាចយល់ច្រឡំយ៉ាងងាយអំពីជំនាញអ្វីដែលត្រូវការដើម្បីក្លាយជាវិស្វករទិន្នន័យដែលជោគជ័យ។ ជាការពិតណាស់ មានជំនាញមួយចំនួនដែលជាន់គ្នានឹងតួនាទីទាំងពីរ។ ប៉ុន្តែក៏មានជំនាញដែលប្រឆាំងនឹង diametrically មួយចំនួនផងដែរ។

វិទ្យាសាស្ត្រទិន្នន័យគឺជាអាជីវកម្មដ៏ធ្ងន់ធ្ងរ ប៉ុន្តែយើងកំពុងឆ្ពោះទៅកាន់ពិភពនៃវិទ្យាសាស្ត្រទិន្នន័យដែលមានមុខងារ ដែលអ្នកអនុវត្តអាចធ្វើការវិភាគដោយខ្លួនឯងបាន។ ដើម្បីបើកដំណើរការបំពង់បង្ហូរទិន្នន័យ និងរចនាសម្ព័ន្ធទិន្នន័យរួមបញ្ចូលគ្នា អ្នកត្រូវការវិស្វករទិន្នន័យ មិនមែនអ្នកវិទ្យាសាស្ត្រទិន្នន័យទេ។

តើវិស្វករទិន្នន័យមានតម្រូវការច្រើនជាងអ្នកវិទ្យាសាស្ត្រទិន្នន័យទេ?

- ត្រូវហើយ ព្រោះមុននឹងធ្វើនំការ៉ុត អ្នកត្រូវច្រូតកាត់ និងស្តុកការ៉ុតជាមុនសិន!

វិស្វករទិន្នន័យយល់ពីការសរសេរកម្មវិធីល្អជាងអ្នកវិទ្យាសាស្ត្រទិន្នន័យណាមួយ ប៉ុន្តែបើនិយាយពីស្ថិតិ ផ្ទុយទៅវិញគឺពិត។

ប៉ុន្តែនេះគឺជាអត្ថប្រយោជន៍របស់វិស្វករទិន្នន័យ៖

បើគ្មានគាត់ទេ តម្លៃនៃគំរូគំរូដែលភាគច្រើនមានលេខកូដគុណភាពដ៏គួរឱ្យភ័យខ្លាចនៅក្នុងឯកសារ Python ដែលទទួលបានពីអ្នកវិទ្យាសាស្ត្រទិន្នន័យ ហើយបង្កើតលទ្ធផលដោយរបៀបណានោះ មានទំនោរទៅសូន្យ។

បើគ្មានវិស្វករទិន្នន័យទេ កូដនេះនឹងមិនក្លាយជាគម្រោងទេ ហើយគ្មានបញ្ហាអាជីវកម្មណាមួយនឹងត្រូវបានដោះស្រាយប្រកបដោយប្រសិទ្ធភាពឡើយ។ វិស្វករទិន្នន័យកំពុងព្យាយាមប្រែក្លាយទាំងអស់នេះទៅជាផលិតផល។

ព័ត៌មានមូលដ្ឋានដែលវិស្វករទិន្នន័យគួរដឹង

ដូច្នេះ ប្រសិនបើការងារនេះបញ្ចេញពន្លឺនៅក្នុងខ្លួនអ្នក ហើយអ្នកមានភាពក្លៀវក្លា - អ្នកអាចរៀនវា អ្នកអាចធ្វើជាម្ចាស់លើជំនាញចាំបាច់ទាំងអស់ ហើយក្លាយជាតារារ៉ុកពិតប្រាកដក្នុងវិស័យវិស្វកម្មទិន្នន័យ។ ហើយបាទ អ្នកអាចដកវាចេញបាន ទោះបីមិនមានជំនាញសរសេរកម្មវិធី ឬចំណេះដឹងបច្ចេកទេសផ្សេងទៀតក៏ដោយ។ ពិបាកណាស់ ប៉ុន្តែអាចទៅរួច!

តើជំហានដំបូងមានអ្វីខ្លះ?

អ្នកគួរតែមានគំនិតទូទៅអំពីអ្វីដែលជាអ្វី។

ជាដំបូង វិស្វកម្មទិន្នន័យ សំដៅលើវិទ្យាសាស្ត្រកុំព្យូទ័រ។ ពិសេសជាងនេះទៅទៀត អ្នកត្រូវតែយល់ពីក្បួនដោះស្រាយ និងរចនាសម្ព័ន្ធទិន្នន័យប្រកបដោយប្រសិទ្ធភាព។ ទីពីរ ចាប់តាំងពីវិស្វករទិន្នន័យធ្វើការជាមួយទិន្នន័យ ចាំបាច់ត្រូវយល់អំពីគោលការណ៍នៃមូលដ្ឋានទិន្នន័យ និងរចនាសម្ព័ន្ធដែលស្ថិតនៅក្រោមពួកវា។

ឧទាហរណ៍ មូលដ្ឋានទិន្នន័យ B-tree SQL ធម្មតាគឺផ្អែកលើរចនាសម្ព័ន្ធទិន្នន័យ B-Tree ក៏ដូចជានៅក្នុងឃ្លាំងចែកចាយទំនើប LSM-Tree និងការកែប្រែផ្សេងទៀតនៃតារាង hash ។

* ជំហានទាំងនេះគឺផ្អែកលើអត្ថបទដ៏អស្ចារ្យមួយ។ Adilya Khashtamova. ដូច្នេះបើអ្នកចេះភាសារុស្សី ជួយគាំទ្រអ្នកនិពន្ធនេះ ហើយអាន ប្រកាសរបស់គាត់។.

1. ក្បួនដោះស្រាយ និងរចនាសម្ព័ន្ធទិន្នន័យ

ការប្រើប្រាស់រចនាសម្ព័ន្ធទិន្នន័យត្រឹមត្រូវអាចធ្វើអោយប្រសើរឡើងនូវដំណើរការនៃក្បួនដោះស្រាយមួយ។ តាមឧត្ដមគតិ យើងទាំងអស់គ្នាគួរតែសិក្សាអំពីរចនាសម្ព័ន្ធទិន្នន័យ និងក្បួនដោះស្រាយនៅក្នុងសាលារបស់យើង ប៉ុន្តែរឿងនេះកម្រមានណាស់។ ក្នុងករណីណាក៏ដោយ វាមិនដែលយឺតពេលទេក្នុងការស្គាល់។
ដូច្នេះនេះគឺជាវគ្គសិក្សាឥតគិតថ្លៃដែលខ្ញុំចូលចិត្តសម្រាប់ការរៀនរចនាសម្ព័ន្ធទិន្នន័យ និងក្បួនដោះស្រាយ៖

បូកកុំភ្លេចអំពីការងារបុរាណរបស់ Thomas Corman លើក្បួនដោះស្រាយ - ការណែនាំអំពីក្បួនដោះស្រាយ. នេះគឺជាឯកសារយោងដ៏ល្អឥតខ្ចោះនៅពេលដែលអ្នកត្រូវការធ្វើឱ្យការចងចាំរបស់អ្នកឡើងវិញ។

ដើម្បីបង្កើនជំនាញរបស់អ្នក សូមប្រើ លេខកូដសម្ងាត់.

អ្នកក៏អាចចូលទៅក្នុងពិភពនៃមូលដ្ឋានទិន្នន័យជាមួយនឹងវីដេអូដ៏អស្ចារ្យពីសាកលវិទ្យាល័យ Carnegie Mellon នៅលើ Youtube៖

2. រៀន SQL

ជីវិតរបស់យើងទាំងមូលគឺជាទិន្នន័យ។ ហើយដើម្បីទាញយកទិន្នន័យនេះចេញពីមូលដ្ឋានទិន្នន័យ អ្នកត្រូវ "និយាយ" ភាសាដូចគ្នាជាមួយវា។

SQL (Structured Query Language) គឺជាភាសាទំនាក់ទំនងក្នុងដែនទិន្នន័យ។ ដោយមិនគិតពីអ្វីដែលនរណាម្នាក់និយាយ SQL បានរស់នៅមានជីវិតហើយនឹងរស់នៅបានយូរ។

ប្រសិនបើអ្នកស្ថិតនៅក្នុងការអភិវឌ្ឍន៍អស់រយៈពេលជាយូរ អ្នកប្រហែលជាបានកត់សម្គាល់ឃើញថា ពាក្យចចាមអារ៉ាមអំពីការស្លាប់របស់ SQL ដែលនឹងកើតឡើងក្នុងពេលឆាប់ៗនេះ។ ភាសានេះត្រូវបានបង្កើតឡើងនៅដើមទសវត្សរ៍ទី 70 ហើយនៅតែមានប្រជាប្រិយភាពខ្លាំងក្នុងចំណោមអ្នកវិភាគ អ្នកអភិវឌ្ឍន៍ និងអ្នកចូលចិត្តសាមញ្ញ។
បើគ្មានចំណេះដឹងអំពី SQL គ្មានអ្វីត្រូវធ្វើក្នុងវិស្វកម្មទិន្នន័យទេ ព្រោះអ្នកនឹងត្រូវបង្កើតសំណួរដើម្បីទាញយកទិន្នន័យដោយជៀសមិនរួច។ ឃ្លាំងទិន្នន័យធំទំនើបទាំងអស់គាំទ្រ SQL៖

ក្រុមហ៊ុន Amazon Redshift
ក្រុមហ៊ុន HP Vertica
ក្រុមហ៊ុន Oracle
ម៉ាស៊ីនបម្រើ SQL

... និងអ្នកផ្សេងទៀតជាច្រើន។

ដើម្បីវិភាគស្រទាប់ធំនៃទិន្នន័យដែលរក្សាទុកក្នុងប្រព័ន្ធចែកចាយដូចជា HDFS ម៉ាស៊ីន SQL ត្រូវបានបង្កើត៖ Apache Hive, Impala ជាដើម។ សូមមើល វាមិនទៅណាទេ។

តើធ្វើដូចម្តេចដើម្បីរៀន SQL? គ្រាន់តែធ្វើវានៅក្នុងការអនុវត្ត។

ដើម្បីធ្វើដូចនេះខ្ញុំសូមណែនាំឱ្យពិនិត្យមើលការបង្រៀនដ៏ល្អឥតខ្ចោះដែលតាមវិធីនេះគឺឥតគិតថ្លៃពី របៀបវិភាគ.

អ្វីដែលធ្វើឱ្យវគ្គសិក្សាទាំងនេះពិសេសនោះគឺថាពួកគេមានបរិយាកាសអន្តរកម្មដែលអ្នកអាចសរសេរ និងដំណើរការសំណួរ SQL នៅក្នុងកម្មវិធីរុករករបស់អ្នក។ ធនធាន SQL ទំនើប នឹងមិនត្រូវបាននាំអោយ។ ហើយអ្នកអាចអនុវត្តចំណេះដឹងនេះទៅ កិច្ចការលេខកូដសម្ងាត់ នៅក្នុងផ្នែក មូលដ្ឋានទិន្នន័យ។

3. ការសរសេរកម្មវិធីនៅក្នុង Python និង Java/Scala

ហេតុអ្វីបានជាអ្នកគួររៀនភាសាសរសេរកម្មវិធី Python ខ្ញុំបានសរសេររួចហើយនៅក្នុងអត្ថបទ Python vs R. ការជ្រើសរើសឧបករណ៍ល្អបំផុតសម្រាប់ AI, ML និង Data Science. នៅពេលនិយាយអំពី Java និង Scala ឧបករណ៍ភាគច្រើនសម្រាប់រក្សាទុក និងដំណើរការទិន្នន័យជាច្រើនត្រូវបានសរសេរជាភាសាទាំងនេះ។ ឧទាហរណ៍:

Apache Kafka (ស្កាឡា)
Hadoop, HDFS (Java)
Apache Spark (Scala)
Apache Cassandra (ចាវ៉ា)
HBase (Java)
Apache Hive (ចាវ៉ា)

ដើម្បីយល់ពីរបៀបដែលឧបករណ៍ទាំងនេះដំណើរការ អ្នកត្រូវដឹងពីភាសាដែលពួកគេត្រូវបានសរសេរ។ វិធីសាស្រ្តមុខងាររបស់ Scala អនុញ្ញាតឱ្យអ្នកដោះស្រាយបញ្ហាដំណើរការទិន្នន័យស្របគ្នាប្រកបដោយប្រសិទ្ធភាព។ ជាអកុសល Python មិនអាចមានអំនួតតាមរយៈល្បឿន និងដំណើរការស្របគ្នានោះទេ។ ជាទូទៅ ចំនេះដឹងនៃភាសាជាច្រើន និងគំរូនៃការសរសេរកម្មវិធីគឺល្អសម្រាប់វិសាលភាពនៃវិធីសាស្រ្តក្នុងការដោះស្រាយបញ្ហា។

ដើម្បីចូលទៅក្នុងភាសា Scala អ្នកអាចអានបាន។ កម្មវិធីនៅក្នុង Scala ពីអ្នកនិពន្ធភាសា។ Twitter ក៏បានចេញផ្សាយការណែនាំដ៏ល្អមួយផងដែរ - សាលា Scala.

ចំពោះ Python ខ្ញុំជឿ Python ស្ទាត់ សៀវភៅកម្រិតមធ្យមល្អបំផុត។

4. ឧបករណ៍សម្រាប់ធ្វើការជាមួយទិន្នន័យធំ

នេះគឺជាបញ្ជីឧបករណ៍ពេញនិយមបំផុតនៅក្នុងពិភពទិន្នន័យធំ៖

Apache Spark
Apache Kafka
Apache Hadoop (HDFS, HBase, Hive)
Apache Cassandra ។

អ្នកអាចស្វែងរកព័ត៌មានបន្ថែមអំពីការកសាងប្លុកទិន្នន័យធំនៅក្នុងដ៏អស្ចារ្យនេះ។ បរិស្ថានអន្តរកម្ម. ឧបករណ៍ពេញនិយមបំផុតគឺ Spark និង Kafka ។ ពួកគេពិតជាមានតម្លៃសិក្សា គួរតែស្វែងយល់ពីរបៀបដែលពួកគេធ្វើការពីខាងក្នុង។ Jay Kreps (សហអ្នកនិពន្ធ Kafka) បានបោះពុម្ភផ្សាយការងារដ៏អស្ចារ្យក្នុងឆ្នាំ 2013 កំណត់ហេតុ៖ អ្វីដែលអ្នកបង្កើតកម្មវិធីគ្រប់រូបគួរដឹងអំពីអរូបីនៃការប្រមូលផ្តុំទិន្នន័យក្នុងពេលជាក់ស្តែងដោយវិធីនេះ គំនិតសំខាន់ៗពី Talmud នេះត្រូវបានប្រើដើម្បីបង្កើត Apache Kafka ។

ការណែនាំអំពី Hadoop អាចជា មគ្គុទ្ទេសក៍ពេញលេញដើម្បីធ្វើជាម្ចាស់ Hadoop (ឥតគិតថ្លៃ).
ការណែនាំដ៏ទូលំទូលាយបំផុតចំពោះ Apache Spark សម្រាប់ខ្ញុំគឺ - Spark: ការណែនាំពេញលេញ.

5. វេទិកាពពក

ចំណេះដឹងអំពីវេទិកាពពកយ៉ាងហោចណាស់មួយគឺស្ថិតនៅក្នុងបញ្ជីនៃតម្រូវការមូលដ្ឋានសម្រាប់អ្នកដាក់ពាក្យសម្រាប់មុខតំណែងវិស្វករទិន្នន័យ។ និយោជកចូលចិត្ត Amazon Web Services ជាមួយនឹងវេទិកាពពករបស់ Google ស្ថិតនៅលំដាប់ទីពីរ ហើយ Microsoft Azure ប្រមូលបានកំពូលទាំងបី។

អ្នកត្រូវតែមានចំណេះដឹងអំពី Amazon EC2, AWS Lambda, Amazon S3, DynamoDB ។

6. ប្រព័ន្ធចែកចាយ

ការធ្វើការជាមួយទិន្នន័យធំបង្កប់ន័យវត្តមាននៃចង្កោមនៃកុំព្យូទ័រដែលដំណើរការដោយឯករាជ្យ ការទំនាក់ទំនងរវាងគ្នាត្រូវបានអនុវត្តតាមបណ្តាញ។ ចង្កោមកាន់តែធំ ប្រូបាប៊ីលីតេនៃការបរាជ័យនៃថ្នាំងសមាជិករបស់វាកាន់តែធំ។ ដើម្បីក្លាយជាអ្នកវិទ្យាសាស្ត្រទិន្នន័យដ៏អស្ចារ្យ អ្នកត្រូវយល់ពីបញ្ហា និងដំណោះស្រាយដែលមានស្រាប់សម្រាប់ប្រព័ន្ធចែកចាយ។ តំបន់នេះគឺចាស់និងស្មុគស្មាញ។

Andrew Tanenbaum ត្រូវបានចាត់ទុកថាជាអ្នកត្រួសត្រាយផ្លូវក្នុងវិស័យនេះ។ សម្រាប់អ្នកដែលមិនខ្លាចទ្រឹស្តី ខ្ញុំសូមណែនាំសៀវភៅរបស់គាត់។ "ប្រព័ន្ធចែកចាយ"វាអាចហាក់ដូចជាគួរឱ្យខ្លាចសម្រាប់អ្នកចាប់ផ្តើមដំបូង ប៉ុន្តែវាពិតជានឹងជួយអ្នកឱ្យពង្រឹងជំនាញរបស់អ្នក។

ខ្ញុំគិតថា ការរចនាកម្មវិធីដែលពឹងផ្អែកលើទិន្នន័យដោយ Martin Kleppmann សៀវភៅណែនាំល្អបំផុត។ និយាយអីញ្ចឹង Martin មានរឿងអស្ចារ្យ ប្លក់. ការងាររបស់គាត់នឹងជួយរៀបចំប្រព័ន្ធចំណេះដឹងអំពីការកសាងហេដ្ឋារចនាសម្ព័ន្ធទំនើបសម្រាប់ការរក្សាទុក និងដំណើរការទិន្នន័យធំ។
សម្រាប់អ្នកដែលចូលចិត្តមើលវីដេអូ មានវគ្គបង្រៀនតាម Youtube ប្រព័ន្ធកុំព្យូទ័រចែកចាយ.

7. បំពង់បង្ហូរទិន្នន័យ

បំពង់បង្ហូរទិន្នន័យគឺជាអ្វីដែលអ្នកមិនអាចរស់នៅដោយគ្មានវិស្វករទិន្នន័យ។

ភាគច្រើន វិស្វករទិន្នន័យបង្កើតអ្វីដែលគេហៅថា បំពង់បង្ហូរទិន្នន័យ ពោលគឺគាត់បង្កើតដំណើរការសម្រាប់បញ្ជូនទិន្នន័យពីកន្លែងមួយទៅកន្លែងមួយទៀត។ ទាំងនេះអាចជាស្គ្រីបផ្ទាល់ខ្លួនដែលចូលទៅកាន់ API របស់សេវាកម្មខាងក្រៅ ឬបង្កើតសំណួរ SQL បង្កើនទិន្នន័យ ហើយដាក់វាចូលទៅក្នុងហាងកណ្តាល (ឃ្លាំងទិន្នន័យ) ឬឃ្លាំងទិន្នន័យដែលគ្មានរចនាសម្ព័ន្ធ (ទិន្នន័យបឹង)។

ដើម្បីសង្ខេប៖ បញ្ជីត្រួតពិនិត្យមូលដ្ឋានសម្រាប់វិស្វករទិន្នន័យ

ដើម្បីសង្ខេប ការយល់ដឹងល្អអំពីចំណុចខាងក្រោមគឺទាមទារ៖

ប្រព័ន្ធព័ត៌មាន;
ការអភិវឌ្ឍន៍កម្មវិធី (Agile, DevOps, Design Techniques, SOA);
ប្រព័ន្ធចែកចាយ និងកម្មវិធីប៉ារ៉ាឡែល;
មូលដ្ឋានគ្រឹះនៃមូលដ្ឋានទិន្នន័យ - ការធ្វើផែនការ ការរចនា ប្រតិបត្តិការ និងការដោះស្រាយបញ្ហា;
ការរចនានៃការពិសោធន៍ - ការធ្វើតេស្ត A/B ដើម្បីបញ្ជាក់គោលគំនិត កំណត់ភាពអាចជឿជាក់បាន ដំណើរការប្រព័ន្ធ និងបង្កើតផ្លូវដែលអាចទុកចិត្តបាន ដើម្បីផ្តល់ដំណោះស្រាយល្អបានយ៉ាងឆាប់រហ័ស។

ទាំងនេះគ្រាន់តែជាតម្រូវការមួយចំនួនដើម្បីក្លាយជាវិស្វករទិន្នន័យ ដូច្នេះត្រូវរៀន និងយល់អំពីប្រព័ន្ធទិន្នន័យ ប្រព័ន្ធព័ត៌មាន ការចែកចាយបន្ត/ការដាក់ពង្រាយ/ការរួមបញ្ចូល ភាសាសរសេរកម្មវិធី និងប្រធានបទវិទ្យាសាស្ត្រកុំព្យូទ័រផ្សេងទៀត (មិនមែនគ្រប់មុខវិជ្ជាទាំងអស់ទេ)។

ហើយចុងក្រោយ រឿងចុងក្រោយ ប៉ុន្តែសំខាន់ខ្លាំងណាស់ដែលខ្ញុំចង់និយាយ។

ផ្លូវដើម្បីក្លាយជាវិស្វកម្មទិន្នន័យគឺមិនសាមញ្ញដូចដែលវាហាក់ដូចជា។ គាត់មិនអត់ទោស គាត់ខកចិត្ត ហើយអ្នកត្រូវតែត្រៀមខ្លួនសម្រាប់រឿងនេះ។ គ្រាខ្លះនៅក្នុងដំណើរនេះអាចជំរុញឱ្យអ្នកបោះបង់។ ប៉ុន្តែនេះគឺជាការងារពិត និងដំណើរការសិក្សា។

គ្រាន់តែកុំលាបវាតាំងពីដំបូង។ ចំណុចទាំងមូលនៃការធ្វើដំណើរគឺដើម្បីរៀនឱ្យបានច្រើនតាមដែលអាចធ្វើទៅបាន និងត្រៀមខ្លួនសម្រាប់បញ្ហាប្រឈមថ្មីៗ។
នេះជារូបភាពដ៏អស្ចារ្យដែលខ្ញុំបានឆ្លងកាត់ ដែលបង្ហាញពីចំណុចនេះបានយ៉ាងល្អ៖

បាទ/ចាស ចូរចាំថា ជៀសវាងការហត់នឿយ និងសម្រាក។ នេះក៏សំខាន់ផងដែរ។ សំណាងល្អ!

ចុះប្រិយមិត្តយល់យ៉ាងណាដែរ ចំពោះអត្ថបទនេះ? យើងសូមអញ្ជើញអ្នកឱ្យទៅ webinar ឥតគិតថ្លៃដែលនឹងប្រព្រឹត្តទៅនៅថ្ងៃនេះនៅម៉ោង 20.00 ។ ក្នុងអំឡុងពេលសិក្ខាសាលានេះ យើងនឹងពិភាក្សាអំពីរបៀបបង្កើតប្រព័ន្ធដំណើរការទិន្នន័យដែលមានប្រសិទ្ធភាព និងអាចធ្វើមាត្រដ្ឋានបានសម្រាប់ក្រុមហ៊ុនតូចមួយ ឬការចាប់ផ្តើមអាជីវកម្មដោយចំណាយតិចបំផុត។ ជាការអនុវត្ត យើងនឹងស្គាល់ជាមួយឧបករណ៍ដំណើរការទិន្នន័យ Google Cloud ។ លាហើយ!

ប្រភព: www.habr.com

តើអ្នកណាជាវិស្វករទិន្នន័យ ហើយតើអ្នកក្លាយជាមនុស្សម្នាក់ដោយរបៀបណា?

បន្ថែមមតិយោបល់ ответОтменить