វិស្វករទិន្នន័យ ឬស្លាប់៖ រឿងរបស់អ្នកអភិវឌ្ឍន៍ម្នាក់

នៅដើមខែធ្នូ ខ្ញុំបានធ្វើកំហុសដ៏ធ្ងន់ធ្ងរមួយ ហើយបានបង្កើតចំណុចរបត់មួយនៅក្នុងជីវិតរបស់ខ្ញុំក្នុងនាមជាអ្នកអភិវឌ្ឍន៍ ហើយបានផ្លាស់ទៅក្រុមវិស្វកម្មទិន្នន័យ (DE) នៅក្នុងក្រុមហ៊ុន។ នៅក្នុងអត្ថបទនេះ ខ្ញុំនឹងចែករំលែកការសង្កេតមួយចំនួនដែលខ្ញុំបានធ្វើក្នុងអំឡុងពេលពីរខែនៃការធ្វើការនៅក្នុងក្រុម DE ។

ហេតុអ្វី Data Engineering?

ការធ្វើដំណើររបស់ខ្ញុំទៅកាន់ DE បានចាប់ផ្តើមនៅក្នុងរដូវក្តៅនៃឆ្នាំ 2019 នៅពេលដែលពួកយើង Xneg តោះទៅ សាលាកុំព្យូទ័រចែកចាយហើយនៅទីនោះខ្ញុំបានត្រាស់ដឹង។ ខ្ញុំចាប់ផ្តើមចាប់អារម្មណ៍លើប្រធានបទ សិក្សាក្បួនដោះស្រាយ និងសូម្បីតែអំពីពួកគេ។ សរសេរ។ហើយបន្ទាប់មកបានគិតអំពីវិសាលភាពនៃកម្មវិធី ហើយបានរកឃើញយ៉ាងឆាប់រហ័សថាកម្មវិធីជាក់ស្តែងនៅក្នុងក្រុមហ៊ុនរបស់យើងត្រូវបានចែកចាយមូលដ្ឋានទិន្នន័យ។

តើ​ក្រុម​យើង​ធ្វើ​អ្វី​ឲ្យ​ប្រាកដ? យើងដូចជាក្មេងប្រុស និងក្មេងស្រីម៉ូដទាន់សម័យទាំងអស់ ចង់ក្លាយជាក្រុមហ៊ុនដែលជំរុញទិន្នន័យ។ ហើយដើម្បីឱ្យវាក្លាយជាអាចធ្វើទៅបាន យ៉ាងហោចណាស់យើងត្រូវបង្កើតកន្លែងផ្ទុកដែលអាចទុកចិត្តបាន ដែលអាចត្រូវបានប្រើដើម្បីបង្កើតរបាយការណ៍ណាមួយដែលក្រុមហ៊ុនត្រូវការ។ ប៉ុន្តែអ្វីដែលសំខាន់បំផុតនោះគឺថាទិន្នន័យនៅក្នុងការផ្ទុកនេះត្រូវតែជឿជាក់។ លើស​ពី​នេះ​ទៅ​ទៀត ដោយ​ប្រើ​ទិន្នន័យ​ទាំង​នេះ អ្នក​ត្រូវ​មាន​លទ្ធភាព​ស្ដារ​ស្ថានភាព​របស់​ប្រព័ន្ធ​នៅ​ពេល t. ទាំងអស់នេះគឺមានភាពស្មុគស្មាញដោយសារយើងរស់នៅក្នុងពិភពថ្មីដ៏ក្លាហាននៃសេវាកម្មមីក្រូ ហើយមនោគមវិជ្ជានេះបង្កប់ន័យថាសេវាកម្មនីមួយៗអនុវត្តមុខងារតូចៗផ្ទាល់ខ្លួន មូលដ្ឋានទិន្នន័យគឺជាអាជីវកម្មរបស់ខ្លួន ហើយវាអាចលុបវាបានយ៉ាងហោចណាស់ជារៀងរាល់ថ្ងៃ ប៉ុន្តែនៅ នៅពេលដូចគ្នា យើងត្រូវតែអាចទទួល និងដំណើរការស្ថានភាពនៃសេវាកម្ម។

បើអ្នកចង់ក្លាយជា Data Driven ដំបូងក្លាយជា Event Driven

មិនសាមញ្ញទេ។ ព្រឹត្តិការណ៍គឺខុសគ្នា ហើយអ្នកអភិវឌ្ឍន៍ និងវិស្វករទិន្នន័យមើលទៅវាខុសគ្នា។ ការនិយាយអំពីព្រឹត្តិការណ៍គឺជាប្រធានបទសម្រាប់អត្ថបទដាច់ដោយឡែក ដូច្នេះខ្ញុំនឹងមិនចូលទៅក្នុងវានៅទីនេះទេ។ លើសពីនេះទៀតអត្ថបទបែបនេះមានរួចហើយ បានសរសេរ Martin Fowler ជាក់លាក់ ខ្ញុំនឹងមិនយកឡូរ៉លរបស់គាត់ទេ ទុកឱ្យគាត់ល្បី។

ជាទូទៅ មានរឿងជាច្រើនដែលត្រូវគិត ហើយនោះជាមូលហេតុដែលតំបន់នេះមានភាពទាក់ទាញ។ វាកើតឡើងដូច្នេះថានៅក្នុងក្រុមហ៊ុនរបស់យើង វិស្វករទិន្នន័យគឺជាផ្នែកនៃការទទួលខុសត្រូវច្រើនជាងអ្នកដែលសរសេរ ETL/ELT pipelines (ប្រសិនបើអ្នកមិនដឹងថាអក្សរកាត់ទាំងនេះមានន័យយ៉ាងណាទេ សូមមកកាន់ ជួបគ្នា. ជាការផ្សាយពាណិជ្ជកម្មតាមបរិបទ).

យើងដោះស្រាយជាមួយស្ថាបត្យកម្មការផ្ទុក គំរូទិន្នន័យ បញ្ហាទាក់ទងនឹងសុវត្ថិភាពទិន្នន័យ និងបំពង់បង្ហូរប្រេងខ្លួនឯង។ យើងក៏ត្រូវប្រាកដថា ម្យ៉ាងវិញទៀត វត្តមានរបស់យើងមិនមានបន្ទុកខ្លាំងសម្រាប់អ្នកអភិវឌ្ឍន៍ផលិតផលទេ ហើយពួកគេត្រូវតែរំខានតិចតួចតាមតែអាចធ្វើទៅបានតាមតម្រូវការរបស់យើង នៅពេលកាត់មុខងារថ្មីៗទៅក្នុងប្រព័ន្ធ ហើយម្យ៉ាងវិញទៀត យើង ចាំបាច់ត្រូវផ្តល់ឱ្យពួកគេនូវភាពងាយស្រួលក្នុងការផ្ទុកទិន្នន័យសម្រាប់អ្នកវិភាគ និងក្រុម BI ។ នោះហើយជារបៀបដែលយើងរស់នៅ។

ការលំបាកនៅពេលផ្លាស់ប្តូរពីការអភិវឌ្ឍន៍

នៅថ្ងៃធ្វើការដំបូងរបស់ខ្ញុំ ខ្ញុំបានជួបប្រទះការលំបាកមួយចំនួនដែលខ្ញុំចង់ចែករំលែកជាមួយអ្នក។

1. រឿងដំបូងដែលខ្ញុំឃើញគឺអវត្តមាននៃ tuling និងការអនុវត្តមួយចំនួន។ ជាឧទាហរណ៍ សូមយកលេខកូដគ្របដណ្តប់ជាមួយនឹងការធ្វើតេស្ត។ យើងមានក្របខ័ណ្ឌសាកល្បងរាប់រយក្នុងការអភិវឌ្ឍន៍។ នៅពេលធ្វើការជាមួយទិន្នន័យ អ្វីគ្រប់យ៉ាងកាន់តែស្មុគស្មាញ។ បាទ/ចាស យើងអាចសាកល្បងបំពង់ ETL លើទិន្នន័យសាកល្បង ប៉ុន្តែយើងត្រូវធ្វើវាដោយដៃ ហើយស្វែងរកដំណោះស្រាយសម្រាប់ករណីជាក់លាក់នីមួយៗ។ ជាលទ្ធផល ការគ្របដណ្តប់លើការធ្វើតេស្តគឺកាន់តែអាក្រក់។ ជាសំណាងល្អ មានមតិកែលម្អមួយស្រទាប់ទៀតនៅក្នុងទម្រង់នៃការត្រួតពិនិត្យ និងកំណត់ហេតុ ប៉ុន្តែនេះតម្រូវឱ្យយើងប្រតិកម្មជាជាងប្រតិកម្មសកម្មរួចហើយ ដែលជាការខឹងសម្បារ និងគួរឱ្យភ័យខ្លាច។

2. ពិភពលោកតាមទស្សនៈរបស់ DE មិនមែនជាអ្វីដែលវាហាក់ដូចជាអ្នកអភិវឌ្ឍន៍ផលិតផលធម្មតាទេ (ជាការពិតណាស់ អ្នកអានមិនដូចនោះទេ ហើយគាត់ដឹងអ្វីៗទាំងអស់រួចហើយ ប៉ុន្តែខ្ញុំមិនដឹងទេ ហើយឥឡូវនេះខ្ញុំ វាយវា) ។ ក្នុងនាមជាអ្នកអភិវឌ្ឍន៍ ខ្ញុំបង្កើតសេវាកម្មមីក្រូផ្ទាល់ខ្លួនរបស់ខ្ញុំ ដាក់ទិន្នន័យក្នុង [មូលដ្ឋានទិន្នន័យដែលអ្នកជ្រើសរើស] រក្សាទុករដ្ឋរបស់ខ្ញុំនៅទីនោះ ទទួលបានអ្វីមួយតាមលេខសម្គាល់ ហើយវាមិនអីទេ។ សេវាកម្មយឺត ការបញ្ជាទិញមានភាពច្របូកច្របល់ នោះជាអ្វីទាំងអស់។ ពួកគេសុំឱ្យខ្ញុំរកមើលរដ្ឋរបស់ខ្ញុំនៅក្នុងសេវាកម្មមួយផ្សេងទៀត ដូច្នេះខ្ញុំនឹងបោះព្រឹត្តិការណ៍មួយទៅក្នុង RabbitMQ ហើយនោះជាវា។ ហើយនៅទីនេះម្តងទៀតយើងបានត្រលប់ទៅបញ្ហានៃព្រឹត្តិការណ៍ដែលបានពិពណ៌នាខាងលើ។

អ្វីដែលសេវាកម្មត្រូវការសម្រាប់ការងារប្រតិបត្តិការមិនសមនឹងយើងសម្រាប់ទិន្នន័យប្រវត្តិសាស្ត្រទេ ដូច្នេះសំណួរនៃកិច្ចសន្យាសេវាកម្មឡើងវិញ និងការងារជិតស្និទ្ធជាមួយក្រុមអភិវឌ្ឍន៍ចាប់ផ្តើម។ អ្នក​មិន​អាច​ស្រមៃ​ថា​តើ​យើង​ត្រូវ​ចំណាយ​ពេល​ប៉ុន្មាន​ម៉ោង​ដើម្បី​យល់ព្រម៖ តើ​គាត់​មាន​ព្រឹត្តិការណ៍​បែប​ណា​ក្នុង​ក្រុមហ៊ុន​របស់​យើង។

3. អ្នកត្រូវគិតដោយក្បាលរបស់អ្នក។ ទេ ខ្ញុំមិនមានន័យថាអ្នកអភិវឌ្ឍន៍មិនគិតទេ (ទោះបីជាខ្ញុំជានរណាដែលត្រូវនិយាយសម្រាប់អ្នករាល់គ្នាក៏ដោយ) វាគ្រាន់តែថានៅក្នុងការអភិវឌ្ឍន៍ផលិតផលជាញឹកញាប់អ្នកមានស្ថាបត្យកម្មប្រភេទមួយចំនួនរួចហើយ ហើយអ្នកកាត់បន្ថយការសាប់ផ្សេងៗគ្នាពី backlog ។ ជាការពិតណាស់ នេះតម្រូវឱ្យមានផែនការ និងការគិត ប៉ុន្តែនេះគឺជាការងារស្ទ្រីម ដែលបញ្ហាចម្បងគឺគ្រាន់តែធ្វើវាឱ្យបានល្អ និងមានប្រសិទ្ធភាព។

សម្រាប់ពួកយើង វាមិនមែនជារឿងសាមញ្ញនោះទេ ព្រោះការផ្ទេរធាតុផ្សំនៃប្រព័ន្ធផ្សេងៗពី monolith ដ៏កក់ក្តៅ និងកក់ក្ដៅចូលទៅក្នុងពិភពនៃ microservice ព្រៃគឺមិនសាមញ្ញនោះទេ។ នៅពេលដែលសេវាកម្មចាប់ផ្តើមផ្ទុះព្រឹត្តិការណ៍ អ្នកត្រូវពិចារណាឡើងវិញអំពីតក្កវិជ្ជាសម្រាប់ការបំពេញកន្លែងផ្ទុក ព្រោះទិន្នន័យឥឡូវនេះមើលទៅខុសគ្នា។ នេះជាកន្លែងដែលអ្នកត្រូវគិតច្រើន និងហ្មត់ចត់ លែងជាអ្នកអភិវឌ្ឍន៍ ប៉ុន្តែជាវិស្វករទិន្នន័យ។ វា​ជា​រឿង​ធម្មតា​មួយ​នៅ​ពេល​ដែល​អ្នក​ចំណាយ​ពេល​ជាច្រើន​ថ្ងៃ​ជាមួយ​នឹង​សៀវភៅ​កត់ត្រា និង​ប៊ិច ឬ​ជាមួយ​សញ្ញា​សម្គាល់​នៅ​ក្តារ។ វា​ពិបាក​ណាស់ ខ្ញុំ​មិន​ចូល​ចិត្ត​គិត​ទេ ខ្ញុំ​ស្រលាញ់​ផលិតកម្ម​ដែរ។

4. ប្រហែលជាអ្វីដែលសំខាន់បំផុតគឺព័ត៌មាន។ តើយើងធ្វើអ្វីនៅពេលយើងខ្វះចំណេះដឹង? តើអ្នកណានិយាយថា stackoverflow? យកមនុស្សនេះចេញពីបន្ទប់។ យើងទៅអានឯកសារ សៀវភៅលើប្រធានបទ ហើយក៏មានសហគមន៍ដែលរៀបចំវេទិកា ប្រជុំ និងសន្និសីទ។ ឯកសារគឺអស្ចារ្យណាស់ ប៉ុន្តែជាអកុសល វាអាចមិនពេញលេញ។ យើងប្រើ Cosmos DB នៅក្នុងគម្រោងមួយចំនួន។ សូមសំណាងល្អក្នុងការអានឯកសារសម្រាប់ផលិតផលនេះ។ សៀវភៅគឺជាសេចក្ដីសង្រ្គោះតែមួយគត់ ជាសំណាងល្អ ដែលវាមាន ហើយអាចរកបាន ពួកវាផ្ទុកនូវចំណេះដឹងជាមូលដ្ឋានជាច្រើន ហើយអ្នកត្រូវអានឱ្យបានច្រើន និងឥតឈប់ឈរ។ ប៉ុន្តែបញ្ហាគឺនៅជាមួយសហគមន៍។

ឥឡូវនេះវាពិបាកក្នុងការស្វែងរកយ៉ាងហោចណាស់សន្និសិទសមស្របមួយ ឬកិច្ចប្រជុំនៅក្នុងតំបន់របស់យើង។ ទេ ពិតណាស់មានការជួបប្រជុំគ្នាជាច្រើនជាមួយនឹងពាក្យ Data ប៉ុន្តែនៅជាប់នឹងពាក្យនេះជាធម្មតាមានអក្សរកាត់ចម្លែកៗដូចជា ML ឬ AI ជាដើម។ ដូច្នេះ នេះមិនមែនសម្រាប់យើងទេ យើងកំពុងនិយាយអំពីរបៀបបង្កើតកន្លែងផ្ទុក មិនមែនរបៀបលាបពណ៌ខ្លួនយើងជាមួយណឺរ៉ូននោះទេ។ hipsters ទាំងនេះបានកាន់កាប់អ្វីៗទាំងអស់។ ជាលទ្ធផល យើងគ្មានសហគមន៍ទេ។ ដោយវិធីនេះ ប្រសិនបើអ្នកជាវិស្វករទិន្នន័យ និងស្គាល់សហគមន៍ល្អ សូមសរសេរក្នុងមតិយោបល់។

សេចក្តីសន្និដ្ឋាន និងសេចក្តីប្រកាសនៃកិច្ចប្រជុំ

តើយើងបញ្ចប់ដោយអ្វី? បទពិសោធន៍ដំបូងរបស់ខ្ញុំប្រាប់ខ្ញុំថា អារម្មណ៍នៅក្នុងស្បែកជើងរបស់វិស្វករទិន្នន័យនឹងមានប្រយោជន៍សម្រាប់អ្នកអភិវឌ្ឍន៍គ្រប់រូប។ វាគ្រាន់តែអនុញ្ញាតឱ្យយើងមើលអ្វីៗផ្សេងៗ និងមិនភ្ញាក់ផ្អើលនៅពេលដែលភ្នែករបស់យើងឡើងឈាម នៅពេលដែលយើងឃើញពីរបៀបដែលអ្នកអភិវឌ្ឍន៍ប្រព្រឹត្តិចំពោះទិន្នន័យរបស់ពួកគេ។ ដូច្នេះប្រសិនបើមាន DE នៅក្នុងក្រុមហ៊ុនរបស់អ្នក គ្រាន់តែនិយាយជាមួយបុរសទាំងនេះ អ្នកនឹងរៀនពីរឿងថ្មីៗជាច្រើន (អំពីខ្លួនអ្នក)។

ហើយទីបំផុតការប្រកាស។ ដោយសារវាពិបាកក្នុងការស្វែងរកការប្រជុំលើប្រធានបទរបស់យើងនៅពេលថ្ងៃ យើងបានសម្រេចចិត្តបង្កើតរបស់យើងដោយខ្លួនឯង។ ហេតុអ្វីបានជាយើងកាន់តែអាក្រក់? សំណាង​ល្អ​យើង​មាន​រឿង​អស្ចារ្យ Schvepsss និងមិត្តភក្តិរបស់យើងមកពី មន្ទីរពិសោធន៍វិជ្ជាជីវៈថ្មី។ដែលដូចពួកយើងដែរ មានអារម្មណ៍ថាវិស្វករទិន្នន័យត្រូវបានដកហូតការយកចិត្តទុកដាក់ដោយអយុត្តិធម៌។

ឆ្លៀតក្នុងឱកាសនេះ ខ្ញុំសូមអញ្ជើញអ្នកគ្រប់គ្នាដែលយកចិត្តទុកដាក់មកជួបសហគមន៍ដំបូងរបស់យើងជាមួយនឹងចំណងជើងដ៏ជោគជ័យ “DE ឬ DIE” ដែលនឹងប្រព្រឹត្តទៅនៅថ្ងៃទី 27.02.2020 ខែកុម្ភៈ ឆ្នាំ XNUMX នៅការិយាល័យ Dodo Pizza។ ព័ត៌មានលម្អិតនៅ TimePad.

ប្រសិនបើមានអ្វីកើតឡើង ខ្ញុំនឹងនៅទីនោះ អ្នកអាចប្រាប់ខ្ញុំផ្ទាល់ចំពោះមុខខ្ញុំថាតើខ្ញុំខុសចំពោះអ្នកអភិវឌ្ឍន៍។

ប្រភព: www.habr.com