ការអនុវត្តកូដទាបនៅក្នុងវេទិកាវិភាគ

អ្នកអានជាទីគោរព ថ្ងៃល្អ!

ភារកិច្ចនៃការបង្កើតវេទិកាព័ត៌មានវិទ្យាសម្រាប់ការប្រមូល និងវិភាគទិន្នន័យឆាប់ឬក្រោយមកកើតឡើងសម្រាប់ក្រុមហ៊ុនណាមួយដែលអាជីវកម្មរបស់ពួកគេផ្អែកលើគំរូនៃការផ្តល់សេវាដែលផ្ទុកដោយបញ្ញា ឬការបង្កើតផលិតផលស្មុគ្រស្មាញផ្នែកបច្ចេកទេស។ ការកសាងវេទិកាវិភាគគឺជាកិច្ចការដ៏ស្មុគស្មាញ និងចំណាយពេលច្រើន។ ទោះយ៉ាងណាក៏ដោយ កិច្ចការណាមួយអាចត្រូវបានធ្វើឱ្យសាមញ្ញ។ នៅក្នុងអត្ថបទនេះខ្ញុំចង់ចែករំលែកបទពិសោធន៍របស់ខ្ញុំក្នុងការប្រើឧបករណ៍កូដទាបដើម្បីជួយបង្កើតដំណោះស្រាយវិភាគ។ បទពិសោធន៍នេះត្រូវបានទទួលបានកំឡុងពេលអនុវត្តគម្រោងមួយចំនួនក្នុងទិសដៅ Big Data Solutions របស់ក្រុមហ៊ុន Neoflex។ ចាប់តាំងពីឆ្នាំ 2005 មក ទិសដៅ Big Data Solutions របស់ Neoflex បាននិងកំពុងដោះស្រាយបញ្ហានៃការសាងសង់ឃ្លាំងទិន្នន័យ និងបឹង ដោយដោះស្រាយបញ្ហានៃការបង្កើនប្រសិទ្ធភាពល្បឿននៃដំណើរការព័ត៌មាន និងធ្វើការលើវិធីសាស្រ្តសម្រាប់ការគ្រប់គ្រងគុណភាពទិន្នន័យ។

គ្មាននរណាម្នាក់នឹងអាចជៀសវាងការប្រមូលផ្តុំដោយដឹងនៃទិន្នន័យដែលមានរចនាសម្ព័ន្ធខ្សោយ និង/ឬខ្លាំងនោះទេ។ ប្រហែលជាសូម្បីតែយើងកំពុងនិយាយអំពីអាជីវកម្មខ្នាតតូចក៏ដោយ។ យ៉ាងណាមិញ នៅពេលដែលធ្វើមាត្រដ្ឋានអាជីវកម្ម សហគ្រិនដែលជោគជ័យនឹងត្រូវប្រឈមមុខនឹងបញ្ហានៃការបង្កើតកម្មវិធីភក្ដីភាព នឹងចង់វិភាគប្រសិទ្ធភាពនៃចំណុចលក់ នឹងគិតអំពីការផ្សាយពាណិជ្ជកម្មដែលមានគោលដៅ ហើយនឹងមានការងឿងឆ្ងល់ចំពោះតម្រូវការផលិតផលដែលភ្ជាប់មកជាមួយ។ . ចំពោះការប៉ាន់ស្មានដំបូងបញ្ហាអាចត្រូវបានដោះស្រាយ "នៅលើជង្គង់" ។ ប៉ុន្តែនៅពេលដែលអាជីវកម្មរីកចម្រើន ការមកដល់វេទិកាវិភាគគឺនៅតែជៀសមិនរួច។

ទោះយ៉ាងណាក៏ដោយ ក្នុងករណីណាដែលភារកិច្ចវិភាគទិន្នន័យអាចវិវត្តទៅជាបញ្ហាថ្នាក់ "Rocket Science"? ប្រហែលជានៅពេលនេះនៅពេលដែលយើងកំពុងនិយាយអំពីទិន្នន័យដ៏ធំពិតប្រាកដ។
ដើម្បីធ្វើឱ្យ Rocket Science កាន់តែងាយស្រួល អ្នកអាចញ៉ាំដំរីមួយដុំ។

កម្មវិធី/សេវាកម្ម/មីក្រូសេវាកម្មរបស់អ្នកមានភាពដាច់ដោយឡែក និងស្វ័យភាពកាន់តែច្រើន វានឹងកាន់តែងាយស្រួលសម្រាប់អ្នក សហការី និងអាជីវកម្មទាំងមូលក្នុងការរំលាយដំរី។

ស្ទើរតែទាំងអស់នៃអតិថិជនរបស់យើងបានមក postulate នេះដោយបានសាងសង់ទេសភាពឡើងវិញដោយផ្អែកលើការអនុវត្តផ្នែកវិស្វកម្មនៃក្រុម DevOps ។

ប៉ុន្តែទោះបីជាមានរបបអាហារ "ដាច់ដោយឡែកពីគ្នា" ក៏ដោយ ក៏យើងមានឱកាសដ៏ល្អនៃ "ភាពឆ្អែតឆ្អន់" នៃទិដ្ឋភាព IT ។ នៅពេលនេះវាគឺមានតម្លៃបញ្ឈប់, exhaling និងមើលទៅចំហៀង វេទិកាវិស្វកម្មកូដទាប.

អ្នកអភិវឌ្ឍន៍ជាច្រើនមានការភ័យខ្លាចចំពោះការរំពឹងទុកនៃចុងបញ្ចប់នៃអាជីពរបស់ពួកគេនៅពេលដែលផ្លាស់ទីឆ្ងាយពីការសរសេរកូដដោយផ្ទាល់ឆ្ពោះទៅរក "អូស" ព្រួញនៅក្នុងចំណុចប្រទាក់ UI នៃប្រព័ន្ធកូដទាប។ ប៉ុន្តែការមកដល់នៃឧបករណ៍ម៉ាស៊ីនមិនបាននាំទៅដល់ការបាត់ខ្លួនរបស់វិស្វករនោះទេ ប៉ុន្តែបាននាំការងាររបស់ពួកគេទៅកាន់កម្រិតថ្មីមួយ!

ចូរយើងស្វែងយល់ពីមូលហេតុ។

ការវិភាគទិន្នន័យក្នុងវិស័យភស្តុភារ ឧស្សាហកម្មទូរគមនាគមន៍ ការស្រាវជ្រាវប្រព័ន្ធផ្សព្វផ្សាយ វិស័យហិរញ្ញវត្ថុ តែងតែត្រូវបានផ្សារភ្ជាប់ជាមួយនឹងសំណួរដូចខាងក្រោមៈ

• ល្បឿននៃការវិភាគដោយស្វ័យប្រវត្តិ;
• សមត្ថភាពក្នុងការធ្វើការពិសោធន៍ដោយមិនប៉ះពាល់ដល់លំហូរផលិតកម្មទិន្នន័យសំខាន់;
• ភាពជឿជាក់នៃទិន្នន័យដែលបានរៀបចំ;
• ផ្លាស់ប្តូរការតាមដាននិងកំណែ;
• ភស្តុតាងនៃទិន្នន័យ, ពូជពង្សទិន្នន័យ, CDC;
• ការដឹកជញ្ជូនលឿននៃលក្ខណៈពិសេសថ្មីទៅបរិយាកាសផលិតកម្ម;
• និងល្បីល្បាញ: តម្លៃនៃការអភិវឌ្ឍន៍និងការគាំទ្រ។

នោះគឺវិស្វករមានចំនួនច្រើននៃកិច្ចការកម្រិតខ្ពស់ ដែលអាចត្រូវបានបញ្ចប់ដោយប្រសិទ្ធភាពគ្រប់គ្រាន់ ដោយគ្រាន់តែសម្អាតស្មារតីរបស់ពួកគេចំពោះកិច្ចការអភិវឌ្ឍន៍កម្រិតទាបប៉ុណ្ណោះ។

តម្រូវការជាមុនសម្រាប់អ្នកអភិវឌ្ឍន៍ដើម្បីឈានទៅកម្រិតថ្មីមួយគឺការវិវត្តន៍ និងឌីជីថលភាវូបនីយកម្មនៃអាជីវកម្ម។ តម្លៃរបស់អ្នកអភិវឌ្ឍន៍ក៏កំពុងផ្លាស់ប្តូរផងដែរ៖ មានការខ្វះខាតយ៉ាងខ្លាំងនៃអ្នកអភិវឌ្ឍន៍ដែលអាចដាក់ខ្លួននៅក្នុងគំនិតនៃអាជីវកម្មដែលកំពុងដំណើរការដោយស្វ័យប្រវត្តិ។

ចូរគូរភាពស្រដៀងគ្នាជាមួយនឹងភាសាសរសេរកម្មវិធីកម្រិតទាប និងកម្រិតខ្ពស់។ ការផ្លាស់ប្តូរពីភាសាកម្រិតទាបឆ្ពោះទៅរកកម្រិតខ្ពស់គឺជាការផ្លាស់ប្តូរពីការសរសេរ "ការណែនាំផ្ទាល់នៅក្នុងភាសានៃផ្នែករឹង" ឆ្ពោះទៅរក "ការណែនាំជាភាសារបស់មនុស្ស" ។ នោះគឺការបន្ថែមស្រទាប់អរូបី។ ក្នុងករណីនេះ ការផ្លាស់ប្តូរទៅកាន់វេទិកាកូដទាបពីភាសាកម្មវិធីកម្រិតខ្ពស់គឺជាការផ្លាស់ប្តូរពី "ការណែនាំជាភាសារបស់មនុស្ស" ឆ្ពោះទៅរក "ការណែនាំជាភាសាអាជីវកម្ម"។ ប្រសិនបើមានអ្នកអភិវឌ្ឍន៍ដែលសោកស្ដាយចំពោះការពិតនេះ ពួកគេមានការសោកស្ដាយ ប្រហែលជាចាប់តាំងពីពេលដែល Java Script កើតមក ដែលប្រើមុខងារតម្រៀបអារេ។ ហើយមុខងារទាំងនេះ ពិតណាស់មានការអនុវត្តកម្មវិធីក្រោមក្រណាត់ដោយមធ្យោបាយផ្សេងទៀតនៃការសរសេរកម្មវិធីកម្រិតខ្ពស់ដូចគ្នា។

ដូច្នេះ កូដទាបគឺគ្រាន់តែជារូបរាងនៃកម្រិតមួយទៀតនៃ abstraction ។

បទពិសោធន៍អនុវត្តដោយប្រើកូដទាប

ប្រធានបទនៃកូដទាបគឺទូលំទូលាយណាស់ ប៉ុន្តែឥឡូវនេះខ្ញុំចង់និយាយអំពីការអនុវត្តជាក់ស្តែងនៃ "គំនិតកូដទាប" ដោយប្រើឧទាហរណ៍នៃគម្រោងមួយរបស់យើង។

ផ្នែក Big Data Solutions នៃ Neoflex មានឯកទេសបន្ថែមទៀតនៅក្នុងផ្នែកហិរញ្ញវត្ថុនៃអាជីវកម្ម ការកសាងឃ្លាំងទិន្នន័យ និងបឹង និងការធ្វើរបាយការណ៍ផ្សេងៗដោយស្វ័យប្រវត្តិ។ នៅក្នុងទីផ្សារពិសេសនេះ ការប្រើប្រាស់កូដទាបបានក្លាយជាស្តង់ដារយូរមកហើយ។ ក្នុងចំណោមឧបករណ៍កូដទាបផ្សេងទៀត យើងអាចនិយាយអំពីឧបករណ៍សម្រាប់រៀបចំដំណើរការ ETL៖ Informatica Power Center, IBM Datastage, Pentaho Data Integration។ ឬ Oracle Apex ដែលដើរតួជាបរិយាកាសសម្រាប់ការអភិវឌ្ឍន៍យ៉ាងលឿននៃចំណុចប្រទាក់សម្រាប់ការចូលប្រើ និងកែសម្រួលទិន្នន័យ។ ទោះជាយ៉ាងណាក៏ដោយ ការប្រើប្រាស់ឧបករណ៍អភិវឌ្ឍន៍កូដទាបមិនតែងតែពាក់ព័ន្ធនឹងការបង្កើតកម្មវិធីដែលមានគោលដៅខ្ពស់នៅលើជង់បច្ចេកវិទ្យាពាណិជ្ជកម្មដោយមានការពឹងផ្អែកច្បាស់លាស់លើអ្នកលក់នោះទេ។

ដោយប្រើវេទិកាកូដទាប អ្នកក៏អាចរៀបចំការបញ្ជូនទិន្នន័យ បង្កើតវេទិកាវិទ្យាសាស្ត្រទិន្នន័យ ឬឧទាហរណ៍ ម៉ូឌុលសម្រាប់ពិនិត្យមើលគុណភាពទិន្នន័យ។

ឧទាហរណ៍មួយក្នុងចំណោមបទពិសោធន៍ដែលបានអនុវត្តក្នុងការប្រើប្រាស់ឧបករណ៍អភិវឌ្ឍន៍កូដទាបគឺការសហការរវាង Neoflex និង Mediascope ដែលជាអ្នកដឹកនាំម្នាក់នៅក្នុងទីផ្សារស្រាវជ្រាវប្រព័ន្ធផ្សព្វផ្សាយរុស្ស៊ី។ គោលបំណងអាជីវកម្មមួយរបស់ក្រុមហ៊ុននេះគឺការផលិតទិន្នន័យដោយផ្អែកលើមូលដ្ឋានដែលអ្នកផ្សាយពាណិជ្ជកម្ម វេទិកាអ៊ីនធឺណិត ប៉ុស្តិ៍ទូរទស្សន៍ ស្ថានីយ៍វិទ្យុ ភ្នាក់ងារផ្សាយពាណិជ្ជកម្ម និងម៉ាកយីហោធ្វើការសម្រេចចិត្តអំពីការទិញការផ្សាយពាណិជ្ជកម្ម និងរៀបចំផែនការទំនាក់ទំនងទីផ្សាររបស់ពួកគេ។

ការស្រាវជ្រាវប្រព័ន្ធផ្សព្វផ្សាយគឺជាតំបន់ដែលផ្ទុកដោយបច្ចេកវិទ្យានៃអាជីវកម្ម។ ការទទួលស្គាល់លំដាប់វីដេអូ ការប្រមូលទិន្នន័យពីឧបករណ៍ដែលវិភាគការមើល ការវាស់ស្ទង់សកម្មភាពលើធនធានគេហទំព័រ - ទាំងអស់នេះបង្ហាញថាក្រុមហ៊ុនមានបុគ្គលិកផ្នែកព័ត៌មានវិទ្យាដ៏ធំ និងបទពិសោធន៍ដ៏ធំសម្បើមក្នុងការកសាងដំណោះស្រាយវិភាគ។ ប៉ុន្តែកំណើនអិចស្ប៉ូណង់ស្យែលនៃចំនួនព័ត៌មាន ចំនួន និងភាពខុសគ្នានៃប្រភពរបស់វាបង្ខំឱ្យឧស្សាហកម្មទិន្នន័យព័ត៌មានវិទ្យារីកចម្រើនឥតឈប់ឈរ។ ដំណោះស្រាយដ៏សាមញ្ញបំផុតក្នុងការធ្វើមាត្រដ្ឋានប្រព័ន្ធវិភាគ Mediascope ដែលមានមុខងាររួចហើយអាចជាការបង្កើនបុគ្គលិកផ្នែកព័ត៌មានវិទ្យា។ ប៉ុន្តែដំណោះស្រាយដែលមានប្រសិទ្ធភាពជាងគឺការបង្កើនល្បឿនដំណើរការអភិវឌ្ឍន៍។ ជំហានមួយក្នុងចំណោមជំហានដែលឈានមុខគេក្នុងទិសដៅនេះអាចជាការប្រើប្រាស់វេទិកាកូដទាប។

នៅពេលគម្រោងចាប់ផ្តើម ក្រុមហ៊ុនមានដំណោះស្រាយផលិតផលដំណើរការរួចហើយ។ ទោះជាយ៉ាងណាក៏ដោយ ការអនុវត្តដំណោះស្រាយនៅក្នុង MSSQL មិនអាចបំពេញតាមការរំពឹងទុកសម្រាប់មុខងារធ្វើមាត្រដ្ឋានបានទេ ខណៈពេលដែលរក្សាបាននូវការចំណាយនៃការអភិវឌ្ឍន៍ដែលអាចទទួលយកបាន។

ភារកិច្ចពីមុនយើងមានមហិច្ឆតាពិតប្រាកដ - Neoflex និង Mediascope ត្រូវតែបង្កើតដំណោះស្រាយឧស្សាហកម្មក្នុងរយៈពេលតិចជាងមួយឆ្នាំ ដែលជាកម្មវត្ថុនៃការចេញផ្សាយ MVP ក្នុងត្រីមាសទីមួយនៃកាលបរិច្ឆេទចាប់ផ្តើម។

ជង់បច្ចេកវិទ្យា Hadoop ត្រូវបានជ្រើសរើសជាមូលដ្ឋានគ្រឹះសម្រាប់បង្កើតវេទិកាទិន្នន័យថ្មីដោយផ្អែកលើការគណនាកូដទាប។ HDFS បានក្លាយជាស្តង់ដារសម្រាប់ការរក្សាទុកទិន្នន័យដោយប្រើឯកសារ parquet ។ ដើម្បីចូលប្រើទិន្នន័យដែលមានទីតាំងនៅក្នុងវេទិកា Hive ត្រូវបានប្រើ ដែលមុខហាងដែលមានទាំងអស់ត្រូវបានបង្ហាញជាទម្រង់តារាងខាងក្រៅ។ ការផ្ទុកទិន្នន័យទៅក្នុងការផ្ទុកត្រូវបានអនុវត្តដោយប្រើ Kafka និង Apache NiFi ។

ឧបករណ៍ Lowe-code នៅក្នុងគំនិតនេះត្រូវបានប្រើដើម្បីបង្កើនប្រសិទ្ធភាពការងារដែលពឹងផ្អែកខ្លាំងបំផុតក្នុងការបង្កើតវេទិកាវិភាគ - ភារកិច្ចនៃការគណនាទិន្នន័យ។

ឧបករណ៍ Datagram កូដទាបត្រូវបានជ្រើសរើសជាយន្តការចម្បងសម្រាប់ការគូសផែនទីទិន្នន័យ។ Neoflex Datagram គឺជាឧបករណ៍សម្រាប់អភិវឌ្ឍការបំប្លែង និងលំហូរទិន្នន័យ។
ដោយប្រើឧបករណ៍នេះ អ្នកអាចធ្វើបានដោយមិនចាំបាច់សរសេរកូដ Scala ដោយដៃ។ កូដ Scala ត្រូវបានបង្កើតដោយស្វ័យប្រវត្តិដោយប្រើវិធីសាស្រ្តស្ថាបត្យកម្មជំរុញគំរូ។

អត្ថប្រយោជន៍ជាក់ស្តែងនៃវិធីសាស្រ្តនេះគឺការបង្កើនល្បឿនដំណើរការអភិវឌ្ឍន៍។ ទោះយ៉ាងណាក៏ដោយ បន្ថែមពីលើល្បឿន ក៏មានគុណសម្បត្តិដូចខាងក្រោមៈ

• មើលមាតិកានិងរចនាសម្ព័ន្ធនៃប្រភព / អ្នកទទួល;
• តាមដានប្រភពដើមនៃវត្ថុលំហូរទិន្នន័យទៅកាន់វាលនីមួយៗ (ត្រកូល);
• ការប្រតិបត្តិផ្នែកនៃការផ្លាស់ប្តូរជាមួយនឹងការមើលលទ្ធផលកម្រិតមធ្យម;
• ពិនិត្យមើលកូដប្រភព និងកែតម្រូវវាមុនពេលប្រតិបត្តិ;
• សុពលភាពដោយស្វ័យប្រវត្តិនៃការផ្លាស់ប្តូរ;
• ការទាញយកទិន្នន័យដោយស្វ័យប្រវត្តិ 1 ក្នុង 1 ។

ឧបសគ្គក្នុងការចូលទៅក្នុងដំណោះស្រាយកូដទាបសម្រាប់ការបង្កើតការបំប្លែងគឺទាបណាស់៖ អ្នកអភិវឌ្ឍន៍ត្រូវការស្គាល់ SQL និងមានបទពិសោធន៍ធ្វើការជាមួយឧបករណ៍ ETL ។ វាមានតម្លៃក្នុងការនិយាយថាម៉ាស៊ីនបំលែងកូដដែលជំរុញដោយកូដមិនមែនជាឧបករណ៍ ETL ក្នុងន័យទូលំទូលាយនៃពាក្យនោះទេ។ ឧបករណ៍កូដទាបអាចមិនមានបរិយាកាសប្រតិបត្តិកូដផ្ទាល់ខ្លួនទេ។ នោះគឺ កូដដែលបានបង្កើតនឹងត្រូវបានប្រតិបត្តិក្នុងបរិស្ថានដែលមាននៅលើចង្កោម សូម្បីតែមុនពេលដំឡើងដំណោះស្រាយកូដទាបក៏ដោយ។ ហើយនេះប្រហែលជាបូកមួយទៀតសម្រាប់កម្មផលទាប។ ដោយហេតុថា ស្របជាមួយនឹងក្រុមដែលមានលេខកូដទាប ក្រុម "បុរាណ" អាចធ្វើការដែលអនុវត្តមុខងារ ឧទាហរណ៍នៅក្នុងកូដ Scala សុទ្ធ។ ការនាំយកការកែលម្អពីក្រុមទាំងពីរទៅក្នុងផលិតកម្មនឹងមានលក្ខណៈសាមញ្ញ និងគ្មានថ្នេរ។

វាប្រហែលជាគួរកត់សម្គាល់ថា បន្ថែមពីលើកូដទាប វាក៏មានដំណោះស្រាយគ្មានកូដផងដែរ។ ហើយនៅស្នូលរបស់ពួកគេ ទាំងនេះគឺជារឿងផ្សេងគ្នា។ កូដទាបអនុញ្ញាតឱ្យអ្នកអភិវឌ្ឍន៍ជ្រៀតជ្រែកកាន់តែច្រើនជាមួយកូដដែលបានបង្កើត។ ក្នុងករណី Datagram វាអាចមើល និងកែសម្រួលកូដ Scala ដែលបានបង្កើត ហើយគ្មានកូដអាចនឹងមិនផ្តល់ឱកាសបែបនេះទេ។ ភាពខុសគ្នានេះគឺមានសារៈសំខាន់ខ្លាំងណាស់មិនត្រឹមតែនៅក្នុងលក្ខខណ្ឌនៃភាពបត់បែននៃដំណោះស្រាយនោះទេប៉ុន្តែក៏នៅក្នុងលក្ខខណ្ឌនៃការលួងលោមនិងការលើកទឹកចិត្តនៅក្នុងការងាររបស់វិស្វករទិន្នន័យ។

ស្ថាបត្យកម្មដំណោះស្រាយ

ចូរយើងព្យាយាមស្វែងយល់ឱ្យច្បាស់អំពីរបៀបដែលឧបករណ៍កូដទាបជួយដោះស្រាយបញ្ហានៃការបង្កើនប្រសិទ្ធភាពល្បឿននៃការអភិវឌ្ឍន៍មុខងារគណនាទិន្នន័យ។ ជាដំបូងសូមក្រឡេកមើលស្ថាបត្យកម្មមុខងារនៃប្រព័ន្ធ។ ឧទាហរណ៍មួយក្នុងករណីនេះគឺគំរូផលិតកម្មទិន្នន័យសម្រាប់ការស្រាវជ្រាវប្រព័ន្ធផ្សព្វផ្សាយ។

ប្រភពទិន្នន័យនៅក្នុងករណីរបស់យើងគឺខុសគ្នា និងចម្រុះណាស់៖

• ម៉ែត្រមនុស្ស (ឧបករណ៍វាស់ទូរទស្សន៍) គឺជាឧបករណ៍ផ្នែកទន់ និងផ្នែករឹងដែលអានអាកប្បកិរិយារបស់អ្នកប្រើពីអ្នកឆ្លើយសំណួរទូរទស្សន៍ - អ្នកណា ពេលណា និងអ្វីដែលប៉ុស្តិ៍ទូរទស្សន៍ត្រូវបានមើលក្នុងគ្រួសារដែលកំពុងចូលរួមក្នុងការសិក្សានេះ។ ព័ត៌មានដែលបានផ្គត់ផ្គង់គឺជាស្ទ្រីមនៃចន្លោះពេលមើលការផ្សាយដែលភ្ជាប់ទៅនឹងកញ្ចប់ព័ត៌មាន និងផលិតផលប្រព័ន្ធផ្សព្វផ្សាយ។ ទិន្នន័យនៅដំណាក់កាលនៃការផ្ទុកទៅក្នុង Data Lake អាចត្រូវបានពង្រឹងដោយគុណលក្ខណៈប្រជាសាស្រ្ត ការកំណត់ភូមិសាស្ត្រ តំបន់ពេលវេលា និងព័ត៌មានផ្សេងទៀតដែលចាំបាច់សម្រាប់ការវិភាគការមើលទូរទស្សន៍នៃផលិតផលប្រព័ន្ធផ្សព្វផ្សាយជាក់លាក់មួយ។ ការវាស់វែងដែលបានយកអាចត្រូវបានប្រើដើម្បីវិភាគ ឬរៀបចំផែនការយុទ្ធនាការផ្សាយពាណិជ្ជកម្ម វាយតម្លៃសកម្មភាព និងចំណូលចិត្តរបស់អ្នកទស្សនា និងចងក្រងបណ្តាញផ្សាយ។
• ទិន្នន័យអាចមកពីប្រព័ន្ធត្រួតពិនិត្យសម្រាប់ការផ្សាយតាមទូរទស្សន៍ និងការវាស់វែងការមើលមាតិកាធនធានវីដេអូនៅលើអ៊ីនធឺណិត។
• ឧបករណ៍វាស់ស្ទង់នៅក្នុងបរិយាកាសគេហទំព័រ រួមទាំងម៉ែត្រដែលផ្តោតលើគេហទំព័រ និងអ្នកប្រើប្រាស់ជាកណ្តាល។ អ្នកផ្តល់ទិន្នន័យសម្រាប់ Data Lake អាចជាកម្មវិធីរុករករបារស្រាវជ្រាវបន្ថែម និងកម្មវិធីទូរស័ព្ទដែលមាន VPN ភ្ជាប់មកជាមួយ។
• ទិន្នន័យក៏អាចមកពីគេហទំព័រដែលបង្រួបបង្រួមលទ្ធផលនៃការបំពេញកម្រងសំណួរតាមអ៊ីនធឺណិត និងលទ្ធផលនៃការសម្ភាសន៍តាមទូរស័ព្ទនៅក្នុងការស្ទង់មតិរបស់ក្រុមហ៊ុន។
• ការពង្រឹងបន្ថែមនៃបឹងទិន្នន័យអាចកើតឡើងដោយការទាញយកព័ត៌មានពីកំណត់ហេតុរបស់ក្រុមហ៊ុនដៃគូ។

ការអនុវត្តដូចកំពុងផ្ទុកពីប្រព័ន្ធប្រភពទៅក្នុងដំណាក់កាលដំបូងនៃទិន្នន័យឆៅអាចត្រូវបានរៀបចំតាមវិធីផ្សេងៗ។ ប្រសិនបើកូដទាបត្រូវបានប្រើសម្រាប់គោលបំណងទាំងនេះ ការបង្កើតស្គ្រីបផ្ទុកដោយស្វ័យប្រវត្តិដោយផ្អែកលើទិន្នន័យមេតាគឺអាចធ្វើទៅបាន។ ក្នុងករណីនេះ មិនចាំបាច់ចុះទៅកម្រិតនៃប្រភពអភិវឌ្ឍន៍ ដើម្បីធ្វើផែនទីគោលដៅនោះទេ។ ដើម្បីអនុវត្តការផ្ទុកដោយស្វ័យប្រវត្តិ យើងត្រូវបង្កើតការតភ្ជាប់ទៅប្រភព ហើយបន្ទាប់មកកំណត់នៅក្នុងចំណុចប្រទាក់ផ្ទុកនូវបញ្ជីនៃអង្គភាពដែលត្រូវផ្ទុក។ រចនាសម្ព័ន្ធថតនៅក្នុង HDFS នឹងត្រូវបានបង្កើតដោយស្វ័យប្រវត្តិ ហើយនឹងឆ្លើយតបទៅនឹងរចនាសម្ព័ន្ធផ្ទុកទិន្នន័យនៅលើប្រព័ន្ធប្រភព។

ទោះជាយ៉ាងណាក៏ដោយ នៅក្នុងបរិបទនៃគម្រោងនេះ យើងបានសម្រេចចិត្តមិនប្រើលក្ខណៈពិសេសនេះនៃវេទិកាកូដទាប ដោយសារតែក្រុមហ៊ុន Mediascope បានចាប់ផ្តើមការងារដោយឯករាជ្យរួចហើយលើការផលិតសេវាកម្មស្រដៀងគ្នាដោយប្រើការរួមបញ្ចូលគ្នា Nifi + Kafka ។

វាមានតម្លៃបង្ហាញភ្លាមៗថាឧបករណ៍ទាំងនេះមិនអាចផ្លាស់ប្តូរបានទេប៉ុន្តែជាការបំពេញបន្ថែម។ Nifi និង Kafka អាចធ្វើការទាំងពីរដោយផ្ទាល់ (Nifi -> Kafka) និងបញ្ច្រាស (Kafka -> Nifi) ការតភ្ជាប់។ សម្រាប់វេទិកាស្រាវជ្រាវប្រព័ន្ធផ្សព្វផ្សាយ កំណែដំបូងនៃកញ្ចប់ត្រូវបានប្រើប្រាស់។

ក្នុងករណីរបស់យើង NayFi ត្រូវការដំណើរការប្រភេទផ្សេងៗនៃទិន្នន័យពីប្រព័ន្ធប្រភព ហើយផ្ញើវាទៅឈ្មួញកណ្តាល Kafka ។ ក្នុងករណីនេះ សារត្រូវបានផ្ញើទៅកាន់ប្រធានបទ Kafka ជាក់លាក់មួយ ដោយប្រើ PublishKafka Nifi processors ។ ការរៀបចំ និងថែទាំបំពង់បង្ហូរប្រេងទាំងនេះ ត្រូវបានអនុវត្តនៅក្នុងចំណុចប្រទាក់ដែលមើលឃើញ។ ឧបករណ៍ Nifi និងការប្រើប្រាស់បន្សំ Nifi + Kafka ក៏អាចត្រូវបានគេហៅថាជាវិធីសាស្រ្តកូដទាបចំពោះការអភិវឌ្ឍន៍ដែលមានឧបសគ្គទាបក្នុងការចូលទៅក្នុងបច្ចេកវិទ្យា Big Data និងបង្កើនល្បឿនដំណើរការអភិវឌ្ឍន៍កម្មវិធី។

ដំណាក់កាលបន្ទាប់ក្នុងការអនុវត្តគម្រោងគឺការនាំយកទិន្នន័យលម្អិតទៅជាទម្រង់ស្រទាប់ semantic តែមួយ។ ប្រសិនបើអង្គភាពមានគុណលក្ខណៈប្រវត្តិសាស្ត្រ ការគណនាត្រូវបានអនុវត្តនៅក្នុងបរិបទនៃភាគថាសដែលចោទជាសំណួរ។ ប្រសិនបើអង្គភាពមិនមែនជាប្រវត្តិសាស្ត្រទេ នោះវាអាចជាជម្រើសដើម្បីគណនាឡើងវិញនូវខ្លឹមសារទាំងមូលនៃវត្ថុ ឬបដិសេធទាំងស្រុងក្នុងការគណនាឡើងវិញនូវវត្ថុនេះ (ដោយសារកង្វះការផ្លាស់ប្តូរ)។ នៅដំណាក់កាលនេះ គ្រាប់ចុចត្រូវបានបង្កើតសម្រាប់អង្គភាពទាំងអស់។ គ្រាប់ចុចត្រូវបានរក្សាទុកក្នុងថតឯកសារ Hbase ដែលត្រូវគ្នានឹងវត្ថុមេ ដែលមានការឆ្លើយឆ្លងរវាងសោនៅក្នុងវេទិកាវិភាគ និងសោពីប្រព័ន្ធប្រភព។ ការបង្រួបបង្រួមនៃអង្គធាតុអាតូមត្រូវបានអមដោយការពង្រឹងជាមួយនឹងលទ្ធផលនៃការគណនាបឋមនៃទិន្នន័យវិភាគ។ ក្របខ័ណ្ឌសម្រាប់ការគណនាទិន្នន័យគឺ Spark ។ មុខងារដែលបានពិពណ៌នាសម្រាប់ការនាំយកទិន្នន័យទៅជាអត្ថន័យតែមួយក៏ត្រូវបានអនុវត្តដោយផ្អែកលើការគូសវាសពីឧបករណ៍ Datagram ទាប។

ស្ថាបត្យកម្មគោលដៅតម្រូវឱ្យចូលប្រើ SQL ទៅកាន់ទិន្នន័យសម្រាប់អ្នកប្រើប្រាស់អាជីវកម្ម។ សំបុកត្រូវបានប្រើសម្រាប់ជម្រើសនេះ។ វត្ថុត្រូវបានចុះឈ្មោះក្នុង Hive ដោយស្វ័យប្រវត្តិ នៅពេលអ្នកបើកជម្រើស "Registr Hive Table" នៅក្នុងឧបករណ៍ដែលមានលេខកូដទាប។

ការគ្រប់គ្រងលំហូរនៃការគណនា

Datagram មានចំណុចប្រទាក់សម្រាប់បង្កើតការរចនាលំហូរការងារ។ ការគូសផែនទីអាចត្រូវបានចាប់ផ្តើមដោយប្រើកម្មវិធីកំណត់ពេល Oozie ។ នៅក្នុងចំណុចប្រទាក់អ្នកអភិវឌ្ឍន៍ស្ទ្រីម វាអាចបង្កើតគ្រោងការណ៍សម្រាប់ការបំប្លែងទិន្នន័យស្របគ្នា បន្តបន្ទាប់គ្នា ឬការប្រតិបត្តិដែលពឹងផ្អែកលើការបំប្លែងទិន្នន័យ។ មានការគាំទ្រសម្រាប់ស្គ្រីបសែល និងកម្មវិធី java ។ វាក៏អាចប្រើម៉ាស៊ីនមេ Apache Livy ផងដែរ។ Apache Livy ត្រូវបានប្រើដើម្បីដំណើរការកម្មវិធីដោយផ្ទាល់ពីបរិយាកាសអភិវឌ្ឍន៍។

ប្រសិនបើក្រុមហ៊ុនមានអ្នករៀបចំដំណើរការផ្ទាល់ខ្លួនរួចហើយ វាអាចប្រើ REST API ដើម្បីបង្កប់ផែនទីចូលទៅក្នុងលំហូរដែលមានស្រាប់។ ជាឧទាហរណ៍ យើងមានបទពិសោធន៍ជោគជ័យក្នុងការបង្កប់ផែនទីនៅក្នុង Scala ទៅក្នុងក្រុមតន្រ្តីករដែលសរសេរនៅក្នុង PLSQL និង Kotlin។ REST API នៃឧបករណ៍កូដទាបរួមបញ្ចូលប្រតិបត្តិការដូចជាការបង្កើតឆ្នាំដែលអាចប្រតិបត្តិបានដោយផ្អែកលើការរចនាផែនទី ហៅផែនទី ហៅលំដាប់នៃការគូសផែនទី និងជាការពិតណាស់ ការបញ្ជូនប៉ារ៉ាម៉ែត្រទៅ URL ដើម្បីដំណើរការការគូសផែនទី។

រួមជាមួយ Oozie វាអាចរៀបចំលំហូរការគណនាដោយប្រើ Airflow ។ ប្រហែលជាខ្ញុំនឹងមិនចំណាយពេលយូរលើការប្រៀបធៀបរវាង Oozie និង Airflow នោះទេ ប៉ុន្តែគ្រាន់តែនឹងនិយាយយ៉ាងសាមញ្ញថា នៅក្នុងបរិបទនៃការងារលើគម្រោងស្រាវជ្រាវប្រព័ន្ធផ្សព្វផ្សាយ ជម្រើសបានធ្លាក់ចុះនៅក្នុងការពេញចិត្តនៃ Airflow ។ អំណះអំណាងចម្បងនៅពេលនេះគឺសហគមន៍សកម្មជាងមុនដែលកំពុងអភិវឌ្ឍផលិតផល និងចំណុចប្រទាក់ដែលអភិវឌ្ឍជាងមុន + API ។

លំហូរខ្យល់ក៏ល្អដែរ ព្រោះវាប្រើ Python ជាទីស្រឡាញ់ ដើម្បីពិពណ៌នាអំពីដំណើរការគណនា។ ហើយជាទូទៅមិនមានវេទិកាគ្រប់គ្រងលំហូរការងារប្រភពបើកចំហច្រើនទេ។ ការបើកដំណើរការ និងត្រួតពិនិត្យការប្រតិបត្តិនៃដំណើរការ (រួមទាំងតារាង Gantt) គ្រាន់តែបន្ថែមចំណុចទៅកម្មផលរបស់ Airflow ប៉ុណ្ណោះ។

ទម្រង់ឯកសារកំណត់រចនាសម្ព័ន្ធសម្រាប់ការចាប់ផ្តើមការគូសផែនទីដំណោះស្រាយកូដទាបបានក្លាយជាការបញ្ជូនបន្ត។ រឿងនេះបានកើតឡើងដោយសារមូលហេតុពីរ។ ដំបូង spark-submit អនុញ្ញាតឱ្យអ្នកដំណើរការឯកសារ jar ដោយផ្ទាល់ពីកុងសូល។ ទីពីរ វាអាចមានព័ត៌មានចាំបាច់ទាំងអស់ដើម្បីកំណត់រចនាសម្ព័ន្ធលំហូរការងារ (ដែលធ្វើឱ្យវាកាន់តែងាយស្រួលក្នុងការសរសេរស្គ្រីបដែលបង្កើត Dag) ។
ធាតុទូទៅបំផុតនៃលំហូរការងាររបស់ Airflow ក្នុងករណីរបស់យើងគឺ SparkSubmitOperator ។

SparkSubmitOperator អនុញ្ញាតឱ្យអ្នកដំណើរការពាង - ការគូសផែនទី Datagram ដែលបានវេចខ្ចប់ជាមួយនឹងប៉ារ៉ាម៉ែត្របញ្ចូលដែលបានបង្កើតជាមុនសម្រាប់ពួកគេ។

វាមានតម្លៃក្នុងការនិយាយថាកិច្ចការ Airflow នីមួយៗដំណើរការក្នុងខ្សែស្រឡាយដាច់ដោយឡែក ហើយមិនដឹងអ្វីទាំងអស់អំពីកិច្ចការផ្សេងទៀត។ ដូច្នេះ អន្តរកម្មរវាងកិច្ចការត្រូវបានអនុវត្តដោយប្រើប្រតិបត្តិករត្រួតពិនិត្យ ដូចជា DummyOperator ឬ BranchPythonOperator ។

រួមគ្នា ការប្រើប្រាស់ដំណោះស្រាយកូដទាប Datagram រួមជាមួយនឹងការធ្វើសកលភាវូបនីយកម្មនៃឯកសារកំណត់រចនាសម្ព័ន្ធ (បង្កើត Dag) បាននាំឱ្យមានការបង្កើនល្បឿនដ៏សំខាន់ និងភាពងាយស្រួលនៃដំណើរការនៃការបង្កើតលំហូរផ្ទុកទិន្នន័យ។

បង្ហាញការគណនា

ប្រហែលជាដំណាក់កាលផ្ទុកបញ្ញាបំផុតក្នុងការផលិតទិន្នន័យវិភាគគឺជាជំហាននៃការកសាងការបង្ហាញ។ នៅក្នុងបរិបទនៃលំហូរនៃការគណនាទិន្នន័យរបស់ក្រុមហ៊ុនស្រាវជ្រាវមួយ នៅដំណាក់កាលនេះ ទិន្នន័យត្រូវបានកាត់បន្ថយទៅជាការផ្សាយយោង ដោយគិតគូរពីការកែតម្រូវសម្រាប់តំបន់ពេលវេលា និងភ្ជាប់ទៅបណ្តាញផ្សាយ។ វាក៏អាចធ្វើទៅបានផងដែរក្នុងការកែតម្រូវបណ្តាញផ្សាយក្នុងស្រុក (ព័ត៌មានក្នុងស្រុក និងការផ្សាយពាណិជ្ជកម្ម)។ ក្នុងចំណោមរបស់ផ្សេងទៀត ជំហាននេះបំបែកចន្លោះពេលនៃការមើលបន្តនៃផលិតផលប្រព័ន្ធផ្សព្វផ្សាយដោយផ្អែកលើការវិភាគនៃចន្លោះពេលមើល។ ភ្លាមៗ តម្លៃនៃការមើលត្រូវបាន "ថ្លឹងថ្លែង" ដោយផ្អែកលើព័ត៌មានអំពីសារៈសំខាន់របស់វា (ការគណនាកត្តាកែតម្រូវ)។

ជំហាន​ដាច់​ដោយ​ឡែក​មួយ​ក្នុង​ការ​រៀបចំ​ការ​តាំង​បង្ហាញ​គឺ​ការ​ផ្ទៀងផ្ទាត់​ទិន្នន័យ។ ក្បួនដោះស្រាយសុពលភាពពាក់ព័ន្ធនឹងការប្រើប្រាស់គំរូវិទ្យាសាស្ត្រគណិតវិទ្យាមួយចំនួន។ ទោះជាយ៉ាងណាក៏ដោយ ការប្រើប្រាស់ប្រព័ន្ធកូដទាបអនុញ្ញាតឱ្យអ្នកបំបែកក្បួនដោះស្រាយស្មុគស្មាញទៅជាចំនួននៃការគូសផែនទីដែលអាចមើលឃើញដោយមើលឃើញដាច់ដោយឡែកពីគ្នា។ ការគូសផែនទីនីមួយៗអនុវត្តកិច្ចការតូចចង្អៀត។ ជាលទ្ធផល ការបំបាត់កំហុសកម្រិតមធ្យម ការកត់ត្រា និងការមើលឃើញនៃដំណាក់កាលរៀបចំទិន្នន័យអាចធ្វើទៅបាន។

វា​ត្រូវ​បាន​គេ​សម្រេច​ចិត្ត​បំបែក​ក្បួន​ដោះស្រាយ​សុពលភាព​ទៅ​ក្នុង​ដំណាក់កាល​រង​ដូច​ខាង​ក្រោម៖

• ការកសាងតំរែតំរង់នៃភាពអាស្រ័យនៃការមើលបណ្តាញទូរទស្សន៍នៅក្នុងតំបន់មួយជាមួយនឹងការមើលបណ្តាញទាំងអស់នៅក្នុងតំបន់សម្រាប់រយៈពេល 60 ថ្ងៃ។
• ការគណនាសំណល់សិស្ស (គម្លាតនៃតម្លៃជាក់ស្តែងពីតម្លៃដែលបានព្យាករណ៍ដោយគំរូតំរែតំរង់) សម្រាប់ពិន្ទុតំរែតំរង់ទាំងអស់ និងសម្រាប់ថ្ងៃគណនា។
• ការជ្រើសរើសគូបណ្តាញក្នុងតំបន់ដែលមិនប្រក្រតី ដែលសមតុល្យដែលបានកំណត់ថ្ងៃទូទាត់លើសពីបទដ្ឋាន (បញ្ជាក់ដោយការកំណត់ប្រតិបត្តិការ)។
• ការគណនាឡើងវិញនៃសំណល់សិស្សដែលបានកែតម្រូវសម្រាប់គូបណ្តាញទូរទស្សន៍ក្នុងតំបន់ដែលមិនប្រក្រតីសម្រាប់អ្នកឆ្លើយសំណួរនីមួយៗដែលបានមើលបណ្តាញក្នុងតំបន់ ដោយកំណត់ការរួមចំណែករបស់អ្នកឆ្លើយតបនេះ (ចំនួននៃការផ្លាស់ប្តូរនៅក្នុងសំណល់សិស្ស) នៅពេលមិនរាប់បញ្ចូលការមើលអ្នកឆ្លើយតបនេះពីគំរូ .
• ស្វែងរកបេក្ខជនដែលការមិនរាប់បញ្ចូលនាំមកនូវសមតុល្យសិស្សនៃថ្ងៃបើកប្រាក់បៀវត្សរ៍ត្រឡប់ទៅធម្មតាវិញ។

ឧទាហរណ៍ខាងលើបញ្ជាក់ពីសម្មតិកម្មដែលវិស្វករទិន្នន័យមានគំនិតច្រើនពេកហើយ... ហើយប្រសិនបើនេះពិតជា "វិស្វករ" ហើយមិនមែនជា "អ្នកសរសេរកូដ" នោះការភ័យខ្លាចនៃការបន្ទាបបន្ថោកវិជ្ជាជីវៈនៅពេលប្រើឧបករណ៍កូដទាប គាត់ ទីបំផុតត្រូវតែដកថយ។

តើលេខកូដទាបអាចធ្វើអ្វីទៀត?

វិសាលភាពនៃការអនុវត្តឧបករណ៍កូដទាបសម្រាប់ដំណើរការទិន្នន័យជាបាច់ និងស្ទ្រីមដោយមិនចាំបាច់សរសេរកូដដោយដៃនៅក្នុង Scala មិនបញ្ចប់នៅទីនោះទេ។

ការប្រើប្រាស់កូដទាបក្នុងការអភិវឌ្ឍន៍ datalake បានក្លាយជាស្តង់ដារសម្រាប់យើងរួចទៅហើយ។ យើងប្រហែលជាអាចនិយាយបានថាដំណោះស្រាយដែលមានមូលដ្ឋានលើជង់ Hadoop ដើរតាមគន្លងអភិវឌ្ឍន៍នៃ DWHs បុរាណដោយផ្អែកលើ RDBMS ។ ឧបករណ៍កូដទាបនៅលើជង់ Hadoop អាចដោះស្រាយទាំងកិច្ចការដំណើរការទិន្នន័យ និងភារកិច្ចបង្កើតចំណុចប្រទាក់ BI ចុងក្រោយ។ លើសពីនេះទៅទៀត វាគួរតែត្រូវបានកត់សម្គាល់ថា BI អាចមានន័យថាមិនត្រឹមតែតំណាងនៃទិន្នន័យប៉ុណ្ណោះទេប៉ុន្តែថែមទាំងការកែសម្រួលរបស់ពួកគេដោយអ្នកប្រើប្រាស់អាជីវកម្មផងដែរ។ ជាញឹកញាប់យើងប្រើមុខងារនេះនៅពេលបង្កើតវេទិកាវិភាគសម្រាប់វិស័យហិរញ្ញវត្ថុ។

ក្នុងចំណោមរបស់ផ្សេងទៀត ការប្រើប្រាស់កូដទាប និងជាពិសេស Datagram វាអាចធ្វើទៅបានដើម្បីដោះស្រាយបញ្ហានៃការតាមដានប្រភពដើមនៃវត្ថុស្ទ្រីមទិន្នន័យជាមួយនឹងអាតូមិចចុះទៅផ្នែកនីមួយៗ (ត្រកូល)។ ដើម្បីធ្វើដូច្នេះ ឧបករណ៍កូដទាបអនុវត្តចំណុចប្រទាក់ជាមួយ Apache Atlas និង Cloudera Navigator ។ សំខាន់ អ្នកអភិវឌ្ឍន៍ត្រូវចុះឈ្មោះសំណុំវត្ថុនៅក្នុងវចនានុក្រម Atlas ហើយយោងវត្ថុដែលបានចុះបញ្ជីនៅពេលសាងសង់ផែនទី។ យន្តការសម្រាប់តាមដានប្រភពដើមនៃទិន្នន័យ ឬការវិភាគភាពអាស្រ័យរបស់វត្ថុ រក្សាទុកពេលវេលាច្រើននៅពេលដែលវាចាំបាច់ដើម្បីធ្វើឱ្យប្រសើរឡើងនូវក្បួនដោះស្រាយការគណនា។ ជាឧទាហរណ៍ នៅពេលរៀបចំរបាយការណ៍ហិរញ្ញវត្ថុ លក្ខណៈពិសេសនេះអនុញ្ញាតឱ្យអ្នកកាន់តែងាយស្រួលរស់រានមានជីវិតរយៈពេលនៃការផ្លាស់ប្តូរនីតិបញ្ញត្តិ។ យ៉ាងណាមិញ យើងកាន់តែយល់កាន់តែច្បាស់អំពីការពឹងផ្អែកអន្តរទម្រង់នៅក្នុងបរិបទនៃវត្ថុនៃស្រទាប់លម្អិត នោះយើងនឹងជួបប្រទះនូវពិការភាព "រំពេច" និងកាត់បន្ថយចំនួននៃការងារឡើងវិញ។

គុណភាពទិន្នន័យ & កូដទាប

កិច្ចការមួយទៀតដែលត្រូវបានអនុវត្តដោយឧបករណ៍កូដទាបនៅលើគម្រោង Mediascope គឺកិច្ចការថ្នាក់គុណភាពទិន្នន័យ។ ចំនុចពិសេសនៃការអនុវត្តបំពង់ផ្ទៀងផ្ទាត់ទិន្នន័យសម្រាប់គម្រោងក្រុមហ៊ុនស្រាវជ្រាវគឺការខ្វះខាតផលប៉ះពាល់លើដំណើរការ និងល្បឿននៃលំហូរគណនាទិន្នន័យសំខាន់ៗ។ ដើម្បីអាចរៀបចំលំហូរការផ្ទៀងផ្ទាត់ទិន្នន័យឯករាជ្យបាន ការប្រើប្រាស់ Apache Airflow ដែលធ្លាប់ស្គាល់រួចហើយ។ នៅពេលដែលជំហាននីមួយៗនៃការផលិតទិន្នន័យត្រូវបានរួចរាល់ ផ្នែកដាច់ដោយឡែកនៃបំពង់ DQ ត្រូវបានដាក់ឱ្យដំណើរការស្របគ្នា។

វាត្រូវបានចាត់ទុកថាជាការអនុវត្តល្អក្នុងការត្រួតពិនិត្យគុណភាពនៃទិន្នន័យចាប់ពីពេលចាប់ផ្តើមនៅក្នុងវេទិកាវិភាគ។ មានព័ត៌មានអំពីទិន្នន័យមេតា យើងអាចពិនិត្យមើលការអនុលោមតាមលក្ខខណ្ឌមូលដ្ឋានចាប់ពីពេលដែលព័ត៌មានចូលទៅក្នុងស្រទាប់ចម្បង - មិនមែនជាមោឃៈ ឧបសគ្គ សោបរទេស។ មុខងារនេះត្រូវបានអនុវត្តដោយផ្អែកលើការគូសផែនទីដែលបានបង្កើតដោយស្វ័យប្រវត្តិនៃគ្រួសារគុណភាពទិន្នន័យនៅក្នុង Datagram ។ ការបង្កើតកូដក្នុងករណីនេះក៏ផ្អែកលើទិន្នន័យមេតាគំរូផងដែរ។ នៅលើគម្រោង Mediascope ចំណុចប្រទាក់ត្រូវបានអនុវត្តជាមួយនឹងទិន្នន័យមេតានៃផលិតផលស្ថាបត្យករសហគ្រាស។

ដោយការផ្គូផ្គងឧបករណ៍កូដទាបជាមួយស្ថាបត្យករសហគ្រាស ការត្រួតពិនិត្យខាងក្រោមត្រូវបានបង្កើតដោយស្វ័យប្រវត្តិ៖

• ពិនិត្យរកវត្តមាននៃតម្លៃ "null" នៅក្នុងវាលជាមួយនឹងកម្មវិធីកែប្រែ "not null";
• ពិនិត្យមើលវត្តមាននៃការស្ទួននៃសោចម្បង;
• ពិនិត្យសោបរទេសនៃអង្គភាពមួយ;
• ពិនិត្យមើលភាពប្លែកនៃខ្សែអក្សរដោយផ្អែកលើសំណុំនៃវាល។

សម្រាប់ការត្រួតពិនិត្យដ៏ស្មុគ្រស្មាញនៃទិន្នន័យដែលអាចរកបាន និងភាពអាចជឿជាក់បាន ការគូសផែនទីត្រូវបានបង្កើតឡើងដោយប្រើ Scala Expression ដែលប្រើជាការបញ្ចូលកូដពិនិត្យ Spark SQL ខាងក្រៅដែលរៀបចំដោយអ្នកវិភាគនៅ Zeppelin ។

ជាការពិតណាស់ ការបង្កើតការត្រួតពិនិត្យដោយស្វ័យប្រវត្តិត្រូវតែសម្រេចជាបណ្តើរៗ។ នៅក្នុងក្របខ័ណ្ឌនៃគម្រោងដែលបានពិពណ៌នា នេះត្រូវបានបន្តដោយជំហានដូចខាងក្រោមៈ

• DQ បានអនុវត្តនៅក្នុងសៀវភៅកត់ត្រា Zeppelin;
• DQ បានបង្កើតឡើងនៅក្នុងផែនទី;
• DQ នៅក្នុងទម្រង់នៃផែនទីដ៏ធំដាច់ដោយឡែកដែលមានសំណុំទាំងមូលនៃការត្រួតពិនិត្យសម្រាប់អង្គភាពដាច់ដោយឡែកមួយ។
• ការគូសផែនទី DQ ដែលកំណត់ប៉ារ៉ាម៉ែត្រជាសកលដែលទទួលយកព័ត៌មានអំពីទិន្នន័យមេតា និងការត្រួតពិនិត្យអាជីវកម្មជាការបញ្ចូល។

ប្រហែលជាអត្ថប្រយោជន៍ចម្បងនៃការបង្កើតសេវាកម្មត្រួតពិនិត្យប៉ារ៉ាម៉ែត្រគឺការកាត់បន្ថយពេលវេលាដែលវាត្រូវការដើម្បីផ្តល់មុខងារដល់បរិយាកាសផលិតកម្ម។ ការត្រួតពិនិត្យគុណភាពថ្មីអាចរំលងគំរូបុរាណនៃការចែកចាយកូដដោយប្រយោលតាមរយៈបរិយាកាសអភិវឌ្ឍន៍ និងការធ្វើតេស្ត៖

• ការត្រួតពិនិត្យទិន្នន័យមេតាទាំងអស់ត្រូវបានបង្កើតដោយស្វ័យប្រវត្តិនៅពេលដែលគំរូត្រូវបានកែប្រែនៅក្នុង EA ។
• ការត្រួតពិនិត្យភាពអាចរកបានទិន្នន័យ (កំណត់វត្តមាននៃទិន្នន័យណាមួយក្នុងពេលណាមួយ) អាចត្រូវបានបង្កើតដោយផ្អែកលើថតដែលរក្សាទុកពេលវេលាដែលរំពឹងទុកនៃរូបរាងនៃបំណែកបន្ទាប់នៃទិន្នន័យនៅក្នុងបរិបទនៃវត្ថុ។
• ការត្រួតពិនិត្យសុពលភាពទិន្នន័យអាជីវកម្មត្រូវបានបង្កើតឡើងដោយអ្នកវិភាគនៅក្នុងសៀវភៅកត់ត្រា Zeppelin ។ ពីទីនោះពួកគេត្រូវបានបញ្ជូនដោយផ្ទាល់ទៅតារាងដំឡើងម៉ូឌុល DQ នៅក្នុងបរិយាកាសផលិតកម្ម។

មិនមានហានិភ័យនៃការដឹកជញ្ជូនស្គ្រីបដោយផ្ទាល់ទៅផលិតកម្មទេ។ ទោះបីជាមានកំហុសវាក្យសម្ព័ន្ធក៏ដោយ អតិបរមាដែលគំរាមកំហែងយើងគឺការបរាជ័យក្នុងការត្រួតពិនិត្យមួយ ពីព្រោះលំហូរនៃការគណនាទិន្នន័យ និងលំហូរនៃការត្រួតពិនិត្យគុណភាពត្រូវបានបំបែកចេញពីគ្នាទៅវិញទៅមក។

សរុបមក សេវាកម្ម DQ កំពុងដំណើរការជាអចិន្ត្រៃយ៍នៅក្នុងបរិយាកាសផលិតកម្ម ហើយត្រៀមខ្លួនរួចរាល់ដើម្បីចាប់ផ្តើមការងាររបស់ខ្លួន នៅពេលដែលទិន្នន័យបន្ទាប់លេចឡើង។

ជំនួសឱ្យការសន្និដ្ឋានមួយ

អត្ថប្រយោជន៍នៃការប្រើប្រាស់កូដទាបគឺជាក់ស្តែង។ អ្នកអភិវឌ្ឍន៍មិនចាំបាច់អភិវឌ្ឍកម្មវិធីពីដំបូងឡើយ។ ហើយ​អ្នក​សរសេរ​កម្មវិធី​ដែល​រួច​ផុត​ពី​កិច្ចការ​បន្ថែម​បង្កើត​លទ្ធផល​លឿន​ជាង។ ម្យ៉ាងវិញទៀត ល្បឿន បង្កើនពេលវេលាបន្ថែមសម្រាប់ការដោះស្រាយបញ្ហាបង្កើនប្រសិទ្ធភាព។ ដូច្នេះក្នុងករណីនេះ អ្នកអាចពឹងផ្អែកលើដំណោះស្រាយដែលប្រសើរជាង និងលឿនជាងមុន។

ជាការពិតណាស់ កូដទាបមិនមែនជា panacea ទេ ហើយវេទមន្តនឹងមិនកើតឡើងដោយខ្លួនឯងទេ៖

• ឧស្សាហកម្មកូដទាបកំពុងឆ្លងកាត់ដំណាក់កាល "កាន់តែរឹងមាំ" ហើយមិនទាន់មានស្តង់ដារឧស្សាហកម្មឯកសណ្ឋាននៅឡើយ។
• ដំណោះស្រាយកូដទាបជាច្រើនគឺមិនគិតថ្លៃទេ ហើយការទិញវាគួរតែជាជំហានដឹងខ្លួន ដែលគួរតែធ្វើឡើងដោយមានទំនុកចិត្តពេញលេញចំពោះអត្ថប្រយោជន៍ហិរញ្ញវត្ថុនៃការប្រើប្រាស់វា។
• ដំណោះស្រាយកូដទាបជាច្រើនមិនតែងតែដំណើរការល្អជាមួយ GIT/SVN ទេ។ ឬពួកវាមានការរអាក់រអួលក្នុងការប្រើប្រាស់ប្រសិនបើលេខកូដដែលបានបង្កើតត្រូវបានលាក់។
• នៅពេលពង្រីកស្ថាបត្យកម្ម វាអាចចាំបាច់ដើម្បីកែលម្អដំណោះស្រាយកូដទាប - ដែលនាំឱ្យឥទ្ធិពលនៃ "ការភ្ជាប់និងការពឹងផ្អែក" លើអ្នកផ្គត់ផ្គង់នៃដំណោះស្រាយកូដទាប។
• កម្រិតសុវត្ថិភាពគ្រប់គ្រាន់គឺអាចធ្វើទៅបាន ប៉ុន្តែវាប្រើប្រាស់កម្លាំងពលកម្មខ្លាំង និងពិបាកក្នុងការអនុវត្តនៅក្នុងម៉ាស៊ីនប្រព័ន្ធកូដទាប។ វេទិកាកូដទាបគួរតែត្រូវបានជ្រើសរើសមិនត្រឹមតែនៅលើគោលការណ៍នៃការស្វែងរកអត្ថប្រយោជន៍ពីការប្រើប្រាស់របស់ពួកគេប៉ុណ្ណោះទេ។ នៅពេលជ្រើសរើស វាគឺមានតម្លៃសួរសំណួរអំពីភាពអាចរកបាននៃមុខងារសម្រាប់ការគ្រប់គ្រងការចូលប្រើ និងការចាត់តាំង/ការកើនឡើងនៃទិន្នន័យអត្តសញ្ញាណទៅកម្រិតនៃទិដ្ឋភាព IT ទាំងមូលនៃអង្គការ។

ទោះជាយ៉ាងណាក៏ដោយ ប្រសិនបើការខ្វះខាតទាំងអស់នៃប្រព័ន្ធដែលបានជ្រើសរើសត្រូវបានដឹងចំពោះអ្នក ហើយអត្ថប្រយោជន៍ពីការប្រើប្រាស់របស់វាយ៉ាងណាក៏ដោយ គឺស្ថិតនៅក្នុងភាគច្រើនលើសលុប បន្ទាប់មកបន្តទៅកូដតូចដោយមិនភ័យខ្លាច។ លើសពីនេះទៅទៀតការផ្លាស់ប្តូរទៅវាគឺជៀសមិនរួច - ដូចជាការវិវត្តណាមួយគឺជៀសមិនរួច។

ប្រសិនបើអ្នកអភិវឌ្ឍន៍ម្នាក់នៅលើវេទិកាកូដទាបធ្វើការងាររបស់គាត់បានលឿនជាងអ្នកអភិវឌ្ឍន៍ពីរនាក់ដោយគ្មានកូដទាប នោះវានឹងផ្តល់ឱ្យក្រុមហ៊ុននូវការចាប់ផ្តើមនៅក្នុងគ្រប់ទិដ្ឋភាពទាំងអស់។ កម្រិតនៃការចូលទៅក្នុងដំណោះស្រាយកូដទាបគឺទាបជាងបច្ចេកវិទ្យា "ប្រពៃណី" ហើយនេះមានឥទ្ធិពលវិជ្ជមានទៅលើបញ្ហាកង្វះបុគ្គលិក។ នៅពេលប្រើឧបករណ៍កូដទាប វាអាចបង្កើនល្បឿនអន្តរកម្មរវាងក្រុមមុខងារ និងធ្វើការសម្រេចចិត្តកាន់តែលឿនអំពីភាពត្រឹមត្រូវនៃផ្លូវដែលបានជ្រើសរើសនៃការស្រាវជ្រាវវិទ្យាសាស្ត្រទិន្នន័យ។ វេទិកាកម្រិតទាបអាចជំរុញការផ្លាស់ប្តូរឌីជីថលរបស់ស្ថាប័នមួយ ដោយសារដំណោះស្រាយដែលផលិតអាចត្រូវបានយល់ដោយអ្នកឯកទេសដែលមិនមែនជាបច្ចេកទេស (ជាពិសេសអ្នកប្រើប្រាស់អាជីវកម្ម)។

ប្រសិនបើអ្នកមានពេលវេលាកំណត់តឹងរ៉ឹង តក្កវិជ្ជាអាជីវកម្មដែលផ្ទុក កង្វះជំនាញបច្ចេកវិទ្យា ហើយអ្នកត្រូវបង្កើនល្បឿនពេលវេលារបស់អ្នកក្នុងការធ្វើទីផ្សារ នោះលេខកូដទាបគឺជាមធ្យោបាយមួយដើម្បីបំពេញតម្រូវការរបស់អ្នក។

មិនមានការបដិសេធពីសារៈសំខាន់នៃឧបករណ៍អភិវឌ្ឍន៍បែបប្រពៃណីនោះទេ ប៉ុន្តែក្នុងករណីជាច្រើន ការប្រើប្រាស់ដំណោះស្រាយកូដទាបគឺជាមធ្យោបាយដ៏ល្អបំផុតដើម្បីបង្កើនប្រសិទ្ធភាពនៃកិច្ចការដែលកំពុងត្រូវបានដោះស្រាយ។

ប្រភព: www.habr.com