Open Source DataHub៖ វេទិកាស្វែងរក និងស្វែងរកទិន្នន័យមេតារបស់ LinkedIn

Open Source DataHub៖ វេទិកាស្វែងរក និងស្វែងរកទិន្នន័យមេតារបស់ LinkedIn

ការស្វែងរកទិន្នន័យដែលអ្នកត្រូវការយ៉ាងឆាប់រហ័សគឺចាំបាច់សម្រាប់ក្រុមហ៊ុនណាមួយដែលពឹងផ្អែកលើទិន្នន័យដ៏ធំដើម្បីធ្វើការសម្រេចចិត្តដែលផ្អែកលើទិន្នន័យ។ វាមិនត្រឹមតែប៉ះពាល់ដល់ផលិតភាពរបស់អ្នកប្រើប្រាស់ទិន្នន័យ (រួមទាំងអ្នកវិភាគ អ្នកបង្កើតការរៀនម៉ាស៊ីន អ្នកវិទ្យាសាស្ត្រទិន្នន័យ និងវិស្វករទិន្នន័យ) ប៉ុណ្ណោះទេ ប៉ុន្តែវាក៏មានផលប៉ះពាល់ដោយផ្ទាល់ទៅលើផលិតផលចុងក្រោយដែលពឹងផ្អែកលើបំពង់បង្ហូរម៉ាស៊ីនរៀនគុណភាព (ML) ផងដែរ។ លើសពីនេះ និន្នាការឆ្ពោះទៅរកការអនុវត្ត ឬការកសាងវេទិកាសិក្សាតាមម៉ាស៊ីនបង្កើតជាសំណួរដោយធម្មជាតិ៖ តើអ្វីជាវិធីសាស្រ្តរបស់អ្នកក្នុងការស្វែងរកលក្ខណៈពិសេស ម៉ូដែល រង្វាស់ សំណុំទិន្នន័យ។ល។

នៅក្នុងអត្ថបទនេះ យើងនឹងនិយាយអំពីរបៀបដែលយើងបោះផ្សាយប្រភពទិន្នន័យក្រោមអាជ្ញាប័ណ្ណបើកចំហ DataHub នៅក្នុងវេទិកាស្វែងរក និងស្វែងរកទិន្នន័យមេតារបស់យើង ចាប់ផ្តើមពីថ្ងៃដំបូងនៃគម្រោង កន្លែងណា. LinkedIn រក្សាកំណែ DataHub របស់ខ្លួនដាច់ដោយឡែកពីកំណែប្រភពបើកចំហ។ យើងនឹងចាប់ផ្តើមដោយការពន្យល់ពីមូលហេតុដែលយើងត្រូវការបរិស្ថានអភិវឌ្ឍន៍ពីរដាច់ដោយឡែកពីគ្នា បន្ទាប់មកពិភាក្សាអំពីវិធីសាស្រ្តដំបូងក្នុងការប្រើប្រាស់ប្រភពបើកចំហ WhereHows និងប្រៀបធៀបកំណែខាងក្នុង (ផលិតកម្ម) របស់យើងនៃ DataHub ជាមួយនឹងកំណែនៅលើ GitHub. យើងក៏នឹងចែករំលែកព័ត៌មានលម្អិតអំពីដំណោះស្រាយស្វ័យប្រវត្តិថ្មីរបស់យើងសម្រាប់ការជំរុញ និងទទួលបានបច្ចុប្បន្នភាពប្រភពបើកចំហ ដើម្បីរក្សាឃ្លាំងទាំងពីរនៅសមកាលកម្ម។ ជាចុងក្រោយ យើងនឹងផ្តល់ការណែនាំអំពីរបៀបចាប់ផ្តើមប្រើប្រាស់ប្រភពបើកចំហរ DataHub ហើយពិភាក្សាដោយសង្ខេបអំពីស្ថាបត្យកម្មរបស់វា។

WhereHow ឥឡូវនេះគឺជា DataHub!

ក្រុមទិន្នន័យមេតារបស់ LinkedIn បានបង្ហាញពីមុន DataHub (អ្នកបន្តទៅ WhereHows) វេទិកាស្វែងរក និងស្វែងរកទិន្នន័យមេតារបស់ LinkedIn និងផែនការចែករំលែកដើម្បីបើកវា។ មិនយូរប៉ុន្មានបន្ទាប់ពីការប្រកាសនេះ យើងបានចេញផ្សាយកំណែអាល់ហ្វានៃ DataHub និងចែករំលែកវាជាមួយសហគមន៍។ ចាប់តាំងពីពេលនោះមក យើងបានចូលរួមចំណែកជាបន្តបន្ទាប់ក្នុងឃ្លាំង ហើយបានធ្វើការជាមួយអ្នកប្រើប្រាស់ដែលចាប់អារម្មណ៍ ដើម្បីបន្ថែមមុខងារដែលបានស្នើសុំច្រើនបំផុត និងដោះស្រាយបញ្ហានានា។ ឥឡូវនេះយើងរីករាយក្នុងការប្រកាសការចេញផ្សាយជាផ្លូវការ DataHub នៅលើ GitHub.

វិធីសាស្រ្តប្រភពបើកចំហ

WhereHows វិបផតថលដើមរបស់ LinkedIn សម្រាប់ការស្វែងរកទិន្នន័យ និងកន្លែងដែលវាមកពី បានចាប់ផ្តើមជាគម្រោងផ្ទៃក្នុង។ ក្រុមទិន្នន័យមេតាបានបើកវា។ កូដប្រភពនៅឆ្នាំ 2016. ចាប់តាំងពីពេលនោះមក ក្រុមនេះតែងតែរក្សាបាននូវមូលដ្ឋានកូដពីរផ្សេងគ្នា - មួយសម្រាប់ប្រភពបើកចំហ និងមួយទៀតសម្រាប់ការប្រើប្រាស់ផ្ទៃក្នុងរបស់ LinkedIn - ដោយសារតែមិនមែនលក្ខណៈពិសេសផលិតផលទាំងអស់ដែលត្រូវបានបង្កើតឡើងសម្រាប់ករណីប្រើប្រាស់ LinkedIn ជាទូទៅអាចអនុវត្តបានចំពោះទស្សនិកជនទូលំទូលាយនោះទេ។ លើសពីនេះទៀត WhereHows មានភាពអាស្រ័យខាងក្នុងមួយចំនួន (ហេដ្ឋារចនាសម្ព័ន្ធ បណ្ណាល័យ។ល។) ដែលមិនមែនជាប្រភពបើកចំហ។ ក្នុងរយៈពេលប៉ុន្មានឆ្នាំក្រោយមក WhereHows បានឆ្លងកាត់ការកើតឡើងដដែលៗ និងវដ្តនៃការអភិវឌ្ឍន៍ ដែលធ្វើឱ្យការរក្សាមូលដ្ឋានកូដទាំងពីរឱ្យស៊ីសង្វាក់គ្នាជាបញ្ហាប្រឈមដ៏ធំមួយ។ ក្រុមទិន្នន័យមេតាបានព្យាយាមវិធីសាស្រ្តផ្សេងៗគ្នាជាច្រើនឆ្នាំមកនេះ ដើម្បីព្យាយាមរក្សាការអភិវឌ្ឍន៍ខាងក្នុង និងប្រភពបើកចំហឱ្យមានភាពស៊ីសង្វាក់គ្នា។

សាកល្បងដំបូង៖ "ប្រភពបើកចំហជាមុនសិន"

ដំបូងឡើយ យើងធ្វើតាមគំរូអភិវឌ្ឍន៍ "ប្រភពបើកចំហដំបូង" ដែលការអភិវឌ្ឍន៍ភាគច្រើនកើតឡើងនៅក្នុងឃ្លាំងប្រភពបើកចំហ ហើយការផ្លាស់ប្តូរត្រូវបានធ្វើឡើងសម្រាប់ការដាក់ឱ្យប្រើប្រាស់ផ្ទៃក្នុង។ បញ្ហាជាមួយនឹងវិធីសាស្រ្តនេះគឺថាកូដតែងតែត្រូវបានរុញទៅ GitHub ជាមុនសិន មុនពេលវាត្រូវបានពិនិត្យយ៉ាងពេញលេញនៅខាងក្នុង។ រហូតទាល់តែការផ្លាស់ប្តូរត្រូវបានធ្វើឡើងពីឃ្លាំងប្រភពបើកចំហ និងការដាក់ពង្រាយខាងក្នុងថ្មី យើងនឹងមិនអាចរកឃើញបញ្ហាផលិតកម្មណាមួយឡើយ។ ក្នុង​ករណី​នៃ​ការ​ដាក់​ពង្រាយ​មិន​ល្អ វា​ក៏​មាន​ការ​លំបាក​ក្នុង​ការ​កំណត់​ពិរុទ្ធជន​ផង​ដែរ​ព្រោះ​ការ​ផ្លាស់​ប្តូរ​ត្រូវ​បាន​ធ្វើ​ឡើង​ជា​ដុំៗ។

លើសពីនេះ គំរូនេះបានកាត់បន្ថយផលិតភាពរបស់ក្រុមនៅពេលបង្កើតមុខងារថ្មីៗ ដែលទាមទារឱ្យមានការផ្លាស់ប្តូរយ៉ាងឆាប់រហ័ស ព្រោះវាបង្ខំឱ្យការផ្លាស់ប្តូរទាំងអស់ត្រូវបានរុញចូលទៅក្នុងឃ្លាំងប្រភពបើកចំហជាមុនសិន ហើយបន្ទាប់មករុញទៅឃ្លាំងខាងក្នុង។ ដើម្បីកាត់បន្ថយពេលវេលាដំណើរការ ការជួសជុល ឬការផ្លាស់ប្តូរដែលត្រូវការអាចត្រូវបានធ្វើនៅក្នុងឃ្លាំងខាងក្នុងជាមុនសិន ប៉ុន្តែនេះបានក្លាយជាបញ្ហាដ៏ធំមួយនៅពេលដែលវាឈានដល់ការបញ្ចូលការផ្លាស់ប្តូរទាំងនោះត្រឡប់ទៅឃ្លាំងប្រភពបើកចំហវិញ ដោយសារឃ្លាំងទាំងពីរមិនស៊ីសង្វាក់គ្នា។

គំរូនេះមានភាពងាយស្រួលក្នុងការអនុវត្តសម្រាប់វេទិកាចែករំលែក បណ្ណាល័យ ឬគម្រោងហេដ្ឋារចនាសម្ព័ន្ធជាជាងសម្រាប់កម្មវិធីគេហទំព័រផ្ទាល់ខ្លួនដែលមានលក្ខណៈពិសេសពេញលេញ។ លើសពីនេះទៀត គំរូនេះគឺល្អសម្រាប់គម្រោងដែលចាប់ផ្តើមប្រភពបើកចំហពីថ្ងៃដំបូង ប៉ុន្តែ WhereHows ត្រូវបានបង្កើតឡើងជាកម្មវិធីគេហទំព័រខាងក្នុងទាំងស្រុង។ វាពិតជាលំបាកណាស់ក្នុងការដកចេញទាំងស្រុងនូវភាពអាស្រ័យខាងក្នុងទាំងអស់ ដូច្នេះយើងត្រូវរក្សាសមខាងក្នុង ប៉ុន្តែការរក្សាសមខាងក្នុង និងការអភិវឌ្ឍន៍ប្រភពបើកចំហភាគច្រើនមិនដំណើរការទេ។

ការប៉ុនប៉ងលើកទីពីរ: "ខាងក្នុងដំបូង"

** ជាការប៉ុនប៉ងលើកទីពីរ យើងបានផ្លាស់ប្តូរទៅគំរូអភិវឌ្ឍន៍ "ខាងក្នុងដំបូង" ដែលការអភិវឌ្ឍន៍ភាគច្រើនកើតឡើងនៅក្នុងផ្ទះ ហើយការផ្លាស់ប្តូរត្រូវបានធ្វើឡើងចំពោះកូដប្រភពបើកចំហជាប្រចាំ។ ថ្វីត្បិតតែម៉ូដែលនេះស័ក្តិសមបំផុតសម្រាប់ករណីប្រើប្រាស់របស់យើងក៏ដោយ ក៏វាមានបញ្ហាជាប់ខ្លួនដែរ។ ការជំរុញដោយផ្ទាល់នូវភាពខុសគ្នាទាំងអស់ទៅកាន់ឃ្លាំងប្រភពបើកចំហ ហើយបន្ទាប់មកព្យាយាមដោះស្រាយជម្លោះបញ្ចូលគ្នានៅពេលក្រោយគឺជាជម្រើសមួយ ប៉ុន្តែវាត្រូវការពេលវេលាច្រើន។ អ្នកអភិវឌ្ឍន៍ក្នុងករណីភាគច្រើនព្យាយាមមិនធ្វើបែបនេះរាល់ពេលដែលពួកគេពិនិត្យមើលកូដរបស់ពួកគេ។ ជាលទ្ធផល វានឹងត្រូវបានធ្វើឡើងតិចជាងញឹកញាប់ជាបាច់ ហើយដូច្នេះវាកាន់តែពិបាកក្នុងការដោះស្រាយជម្លោះបញ្ចូលគ្នានៅពេលក្រោយ។

លើកទីបីបានផលហើយ!

ការប៉ុនប៉ងបរាជ័យចំនួនពីរដែលបានរៀបរាប់ខាងលើបានបណ្តាលឱ្យឃ្លាំង WhereHows GitHub នៅសល់ហួសសម័យអស់រយៈពេលយូរ។ ក្រុមការងារបានបន្តធ្វើឱ្យប្រសើរឡើងនូវលក្ខណៈពិសេស និងស្ថាបត្យកម្មរបស់ផលិតផល ដូច្នេះកំណែផ្ទៃក្នុងរបស់ WhereHows សម្រាប់ LinkedIn មានភាពជឿនលឿនជាងកំណែប្រភពបើកចំហ។ វាថែមទាំងមានឈ្មោះថ្មី - DataHub ។ ដោយផ្អែកលើការប៉ុនប៉ងបរាជ័យពីមុន ក្រុមការងារបានសម្រេចចិត្តបង្កើតដំណោះស្រាយដែលអាចធ្វើមាត្រដ្ឋានបាន និងយូរអង្វែង។

សម្រាប់គម្រោងប្រភពបើកចំហថ្មីណាមួយ ក្រុមការងារប្រភពបើកចំហរបស់ LinkedIn ផ្តល់ដំបូន្មាន និងគាំទ្រគំរូអភិវឌ្ឍន៍ ដែលម៉ូឌុលរបស់គម្រោងត្រូវបានបង្កើតឡើងទាំងស្រុងនៅក្នុងប្រភពបើកចំហ។ វត្ថុបុរាណដែលមានកំណែត្រូវបានដាក់ពង្រាយទៅកាន់ឃ្លាំងសាធារណៈ ហើយបន្ទាប់មកបានពិនិត្យត្រឡប់ទៅវត្ថុបុរាណ LinkedIn ខាងក្នុងវិញដោយប្រើ សំណើបណ្ណាល័យខាងក្រៅ (ELR). ការធ្វើតាមគំរូនៃការអភិវឌ្ឍន៍នេះគឺមិនត្រឹមតែល្អសម្រាប់អ្នកដែលប្រើប្រភពបើកចំហប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងផ្តល់លទ្ធផលដល់ស្ថាបត្យកម្មម៉ូឌុល ពង្រីក និងអាចដោតបានថែមទៀត។

ទោះជាយ៉ាងណាក៏ដោយ កម្មវិធីផ្នែកខាងក្រោយដែលមានភាពចាស់ទុំដូចជា DataHub នឹងត្រូវការពេលវេលាច្រើនដើម្បីឈានដល់ស្ថានភាពនេះ។ នេះក៏រារាំងលទ្ធភាពនៃប្រភពបើកចំហនូវការអនុវត្តការងារពេញលេញ មុនពេលដែលភាពអាស្រ័យខាងក្នុងទាំងអស់ត្រូវបានអរូបីទាំងស្រុង។ នោះហើយជាមូលហេតុដែលយើងបានបង្កើតឧបករណ៍ដែលជួយយើងធ្វើឱ្យការរួមចំណែកប្រភពបើកចំហលឿនជាងមុន និងដោយការឈឺចាប់តិច។ ដំណោះស្រាយនេះផ្តល់អត្ថប្រយោជន៍ទាំងក្រុមទិន្នន័យមេតា (អ្នកអភិវឌ្ឍន៍ DataHub) និងសហគមន៍ប្រភពបើកចំហ។ ផ្នែកខាងក្រោមនឹងពិភាក្សាអំពីវិធីសាស្រ្តថ្មីនេះ។

ស្វ័យប្រវត្តិកម្មនៃការបោះពុម្ពប្រភពបើកចំហ

វិធីសាស្រ្តចុងក្រោយបំផុតរបស់ក្រុម Metadata ចំពោះប្រភពបើកចំហ DataHub គឺដើម្បីបង្កើតឧបករណ៍ដែលធ្វើសមកាលកម្មដោយស្វ័យប្រវត្តិនូវមូលដ្ឋានកូដខាងក្នុង និងឃ្លាំងប្រភពបើកចំហ។ លក្ខណៈពិសេសកម្រិតខ្ពស់នៃកញ្ចប់ឧបករណ៍នេះរួមមាន:

1. ធ្វើសមកាលកម្មកូដ LinkedIn ទៅ/ពីប្រភពបើកចំហ ស្រដៀងគ្នា rsync.
2. ការបង្កើតបឋមកថាអាជ្ញាប័ណ្ណស្រដៀងនឹង Apache Rat.
3. បង្កើតកំណត់ហេតុការប្រព្រឹត្តប្រភពបើកចំហដោយស្វ័យប្រវត្តិពីកំណត់ហេតុប្រព្រឹត្តផ្ទៃក្នុង។
4. ទប់ស្កាត់ការផ្លាស់ប្តូរខាងក្នុងដែលបំបែកប្រភពបើកចំហដែលបង្កើតដោយ ការធ្វើតេស្តភាពអាស្រ័យ.

ផ្នែករងខាងក្រោមនឹងពន្យល់អំពីមុខងារដែលបានរៀបរាប់ខាងលើដែលមានបញ្ហាគួរឱ្យចាប់អារម្មណ៍។

ការធ្វើសមកាលកម្មកូដប្រភព

មិនដូចកំណែប្រភពបើកចំហរបស់ DataHub ដែលជាឃ្លាំង GitHub តែមួយទេ កំណែ LinkedIn របស់ DataHub គឺជាការរួមបញ្ចូលគ្នានៃឃ្លាំងជាច្រើន (ហៅថាខាងក្នុង។ ពហុផលិតផល) ចំណុចប្រទាក់ DataHub បណ្ណាល័យគំរូទិន្នន័យមេតា សេវាខាងក្រោយឃ្លាំងទិន្នន័យមេតា និងការងារស្ទ្រីមស្ថិតនៅក្នុងឃ្លាំងដាច់ដោយឡែកនៅលើ LinkedIn ។ ទោះជាយ៉ាងណាក៏ដោយ ដើម្បីធ្វើឱ្យវាកាន់តែងាយស្រួលសម្រាប់អ្នកប្រើប្រាស់ប្រភពបើកចំហ យើងមានឃ្លាំងតែមួយសម្រាប់កំណែប្រភពបើកចំហរបស់ DataHub ។

រូបភាពទី 1: ការធ្វើសមកាលកម្មរវាងឃ្លាំង LinkedIn DataHub និងឃ្លាំងតែមួយ DataHub ប្រភព​បើក​ចំហ

ដើម្បីគាំទ្រការបង្កើត រុញ និងទាញលំហូរការងារដោយស្វ័យប្រវត្តិ ឧបករណ៍ថ្មីរបស់យើងនឹងបង្កើតការគូសផែនទីកម្រិតឯកសារដោយស្វ័យប្រវត្តិដែលត្រូវគ្នានឹងឯកសារប្រភពនីមួយៗ។ ទោះយ៉ាងណាក៏ដោយ កញ្ចប់ឧបករណ៍ទាមទារការកំណត់រចនាសម្ព័ន្ធដំបូង ហើយអ្នកប្រើប្រាស់ត្រូវតែផ្តល់នូវការគូសផែនទីម៉ូឌុលកម្រិតខ្ពស់ដូចបានបង្ហាញខាងក្រោម។

{
  "datahub-dao": [
    "${datahub-frontend}/datahub-dao"
  ],
  "gms/impl": [
    "${dataset-gms}/impl",
    "${user-gms}/impl"
  ],
  "metadata-dao": [
    "${metadata-models}/metadata-dao"
  ],
  "metadata-builders": [
    "${metadata-models}/metadata-builders"
  ]
}

ការគូសផែនទីកម្រិតម៉ូឌុលគឺជា JSON សាមញ្ញដែលគ្រាប់ចុចគឺជាម៉ូឌុលគោលដៅនៅក្នុងឃ្លាំងប្រភពបើកចំហ ហើយតម្លៃគឺជាបញ្ជីនៃម៉ូឌុលប្រភពនៅក្នុងឃ្លាំង LinkedIn ។ ម៉ូឌុលគោលដៅណាមួយនៅក្នុងឃ្លាំងប្រភពបើកចំហអាចត្រូវបានផ្តល់អាហារដោយចំនួនម៉ូឌុលប្រភពណាមួយ។ ដើម្បីចង្អុលបង្ហាញឈ្មោះខាងក្នុងនៃឃ្លាំងនៅក្នុងម៉ូឌុលប្រភព សូមប្រើ ការបញ្ចូលខ្សែអក្សរ នៅក្នុងរចនាប័ទ្ម Bash ។ ដោយប្រើឯកសារផែនទីកម្រិតម៉ូឌុល ឧបករណ៍បង្កើតឯកសារផែនទីកម្រិតឯកសារដោយស្កេនឯកសារទាំងអស់នៅក្នុងថតដែលពាក់ព័ន្ធ។

{
  "${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
  "${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
  "${metadata-models}/metadata-builders/build.gradle": null,
}

ការគូសផែនទីកម្រិតឯកសារត្រូវបានបង្កើតដោយស្វ័យប្រវត្តិដោយឧបករណ៍។ ទោះយ៉ាងណាក៏ដោយ វាក៏អាចត្រូវបានធ្វើបច្ចុប្បន្នភាពដោយដៃដោយអ្នកប្រើប្រាស់ផងដែរ។ នេះគឺជាការគូសផែនទី 1:1 នៃឯកសារប្រភព LinkedIn ទៅកាន់ឯកសារនៅក្នុងឃ្លាំងប្រភពបើកចំហ។ មានច្បាប់មួយចំនួនដែលទាក់ទងនឹងការបង្កើតការភ្ជាប់ឯកសារដោយស្វ័យប្រវត្តិនេះ៖

• ក្នុងករណីនៃម៉ូឌុលប្រភពច្រើនសម្រាប់ម៉ូឌុលគោលដៅនៅក្នុងប្រភពបើកចំហ ការប៉ះទង្គិចអាចកើតឡើង ឧ. FQCNដែលមានស្រាប់នៅក្នុងម៉ូឌុលប្រភពច្រើនជាងមួយ។ ជាយុទ្ធសាស្ត្រដោះស្រាយជម្លោះ ឧបករណ៍របស់យើងលំនាំដើមទៅជម្រើស "ឈ្នះចុងក្រោយ"។
• "null" មានន័យថាឯកសារប្រភពមិនមែនជាផ្នែកនៃឃ្លាំងប្រភពបើកចំហទេ។
• បន្ទាប់​ពី​ការ​ដាក់​ស្នើ​ឬ​ការ​ទាញ​យក​ប្រភព​បើក​ចំហ​នីមួយៗ ផែនទី​នេះ​ត្រូវ​បាន​ធ្វើ​បច្ចុប្បន្នភាព​ដោយ​ស្វ័យ​ប្រវត្តិ ហើយ​រូបថត​មួយ​សន្លឹក​ត្រូវ​បាន​បង្កើត។ នេះគឺចាំបាច់ដើម្បីកំណត់ការបន្ថែម និងការលុបចេញពីកូដប្រភពចាប់តាំងពីសកម្មភាពចុងក្រោយ។

ការបង្កើតកំណត់ហេតុនៃការប្រព្រឹត្ត

កំណត់​ហេតុ​នៃ​ការ​ប្រព្រឹត្ត​សម្រាប់​ប្រភព​បើក​ចំហ​ក៏​ត្រូវ​បាន​បង្កើត​ដោយ​ស្វ័យ​ប្រវត្តិ​ដោយ​ការ​បញ្ចូល​គ្នា​នូវ​កំណត់​ហេតុ​នៃ​ឃ្លាំង​ខាងក្នុង។ ខាងក្រោមនេះជាគំរូ commit log ដើម្បីបង្ហាញរចនាសម្ព័ន្ធនៃ commit log ដែលបង្កើតដោយឧបករណ៍របស់យើង។ ការប្តេជ្ញាចិត្តបង្ហាញយ៉ាងច្បាស់ថាកំណែណាមួយនៃឃ្លាំងប្រភពត្រូវបានខ្ចប់នៅក្នុងការប្តេជ្ញាចិត្តនោះ និងផ្តល់នូវសេចក្តីសង្ខេបនៃកំណត់ហេតុការប្រព្រឹត្ត។ សូមពិនិត្យមើលមួយនេះ ប្តេជ្ញាចិត្ត ដោយប្រើឧទាហរណ៍ជាក់ស្តែងនៃកំណត់ហេតុដែលបង្កើតដោយប្រអប់ឧបករណ៍របស់យើង។

metadata-models 29.0.0 -> 30.0.0
    Added aspect model foo
    Fixed issue bar

dataset-gms 2.3.0 -> 2.3.4
    Added rest.li API to serve foo aspect

MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0

ការធ្វើតេស្តភាពអាស្រ័យ

LinkedIn មាន ហេដ្ឋារចនាសម្ព័ន្ធសាកល្បងភាពអាស្រ័យដែលជួយធានាថាការផ្លាស់ប្តូរទៅពហុផលិតផលខាងក្នុងមិនធ្វើឱ្យខូចដល់ការជួបប្រជុំគ្នានៃពហុផលិតផលអាស្រ័យ។ ប្រភពបើកចំហរ DataHub ឃ្លាំងមិនមែនជាផលិតផលច្រើនទេ ហើយវាមិនអាចជាការពឹងផ្អែកដោយផ្ទាល់នៃផលិតផលពហុផលិតផលណាមួយនោះទេ ប៉ុន្តែដោយមានជំនួយពីឧបករណ៍រុំពហុផលិតផលដែលទាញយកកូដប្រភពបើកចំហ DataHub យើងនៅតែអាចប្រើការធ្វើតេស្តភាពអាស្រ័យនេះបាន ប្រព័ន្ធ។ ដូច្នេះ ការផ្លាស់ប្តូរណាមួយ (ដែលក្រោយមកអាចត្រូវបានបង្ហាញ) ចំពោះផលិតផលចម្រុះណាមួយដែលផ្តល់ប្រភពបើកចំហរ DataHub repository បង្កឱ្យមានព្រឹត្តិការណ៍សាងសង់នៅក្នុងផលិតផលពហុសែល។ ដូច្នេះ រាល់ការផ្លាស់ប្តូរដែលបរាជ័យក្នុងការបង្កើតផលិតផលរុំនឹងបរាជ័យក្នុងការធ្វើតេស្ត មុនពេលអនុវត្តផលិតផលដើម ហើយត្រូវត្រលប់មកវិញ។

នេះគឺជាយន្តការដ៏មានប្រយោជន៍ដែលជួយការពារការប្តេជ្ញាចិត្តផ្ទៃក្នុងណាមួយដែលបំបែកការស្ថាបនាប្រភពបើកចំហ និងរកឃើញវានៅពេលធ្វើការ។ បើគ្មានវាទេ វានឹងពិបាកណាស់ក្នុងការកំណត់ថាតើការប្តេជ្ញាចិត្តផ្ទៃក្នុងមួយណាដែលបណ្តាលឱ្យការស្ថាបនាឃ្លាំងប្រភពបើកចំហរបរាជ័យ ពីព្រោះយើងប្រមូលការផ្លាស់ប្តូរខាងក្នុងទៅឃ្លាំងប្រភពបើកចំហ DataHub ។

ភាពខុសគ្នារវាងប្រភពបើកចំហ DataHub និងកំណែផលិតកម្មរបស់យើង។

រហូតមកដល់ចំណុចនេះ យើងបានពិភាក្សាអំពីដំណោះស្រាយរបស់យើងសម្រាប់ការធ្វើសមកាលកម្មកំណែពីរនៃឃ្លាំង DataHub ប៉ុន្តែយើងនៅតែមិនទាន់បានរៀបរាប់អំពីមូលហេតុដែលយើងត្រូវការស្ទ្រីមអភិវឌ្ឍន៍ពីរផ្សេងគ្នាពីដំបូងឡើយ។ នៅក្នុងផ្នែកនេះ យើងនឹងរាយបញ្ជីភាពខុសគ្នារវាងកំណែសាធារណៈរបស់ DataHub និងកំណែផលិតនៅលើម៉ាស៊ីនមេ LinkedIn និងពន្យល់ពីហេតុផលសម្រាប់ភាពខុសគ្នាទាំងនេះ។

ប្រភពមួយនៃភាពខុសគ្នាគឺមកពីការពិតដែលថាកំណែផលិតកម្មរបស់យើងមានភាពអាស្រ័យទៅលើកូដដែលមិនទាន់ជាប្រភពបើកចំហដូចជា LinkedIn's Offspring (ក្របខ័ណ្ឌចាក់បញ្ចូលភាពអាស្រ័យខាងក្នុងរបស់ LinkedIn)។ Offspring ត្រូវ​បាន​គេ​ប្រើ​យ៉ាង​ទូលំទូលាយ​ក្នុង​មូលដ្ឋាន​កូដ​ខាងក្នុង ព្រោះ​វា​ជា​វិធីសាស្ត្រ​ដែល​ពេញ​ចិត្ត​សម្រាប់​ការ​គ្រប់គ្រង​ការ​កំណត់​រចនាសម្ព័ន្ធ​ថាមវន្ត។ ប៉ុន្តែវាមិនមែនជាប្រភពបើកចំហទេ។ ដូច្នេះយើងត្រូវស្វែងរកប្រភពបើកចំហរជំនួស DataHub របស់ប្រភពបើកចំហ។

ក៏មានហេតុផលផ្សេងទៀតដែរ។ នៅពេលដែលយើងបង្កើតផ្នែកបន្ថែមទៅនឹងគំរូទិន្នន័យមេតាសម្រាប់តម្រូវការរបស់ LinkedIn នោះ ផ្នែកបន្ថែមទាំងនេះជាធម្មតាមានលក្ខណៈជាក់លាក់ចំពោះ LinkedIn ហើយប្រហែលជាមិនអនុវត្តដោយផ្ទាល់ចំពោះបរិស្ថានផ្សេងទៀតទេ។ ឧទាហរណ៍ យើងមានស្លាកជាក់លាក់សម្រាប់លេខសម្គាល់អ្នកចូលរួម និងប្រភេទផ្សេងទៀតនៃទិន្នន័យមេតាដែលត្រូវគ្នា។ ដូច្នេះ ឥឡូវនេះ យើងបានដកផ្នែកបន្ថែមទាំងនេះចេញពីគំរូទិន្នន័យមេតាប្រភពបើកចំហរបស់ DataHub ។ នៅពេលដែលយើងចូលរួមជាមួយសហគមន៍ និងយល់ពីតម្រូវការរបស់ពួកគេ យើងនឹងធ្វើការលើកំណែប្រភពបើកចំហទូទៅនៃផ្នែកបន្ថែមទាំងនេះតាមតម្រូវការ។

ភាពងាយស្រួលនៃការប្រើប្រាស់ និងការសម្របខ្លួនកាន់តែងាយស្រួលសម្រាប់សហគមន៍ប្រភពបើកចំហក៏បានជំរុញឱ្យមានភាពខុសគ្នាមួយចំនួនរវាងកំណែទាំងពីរនៃ DataHub ។ ភាពខុសគ្នានៃហេដ្ឋារចនាសម្ព័ន្ធដំណើរការស្ទ្រីមគឺជាឧទាហរណ៍ដ៏ល្អនៃរឿងនេះ។ ទោះបីជាកំណែខាងក្នុងរបស់យើងប្រើក្របខ័ណ្ឌដំណើរការស្ទ្រីមដែលបានគ្រប់គ្រងក៏ដោយ យើងបានជ្រើសរើសប្រើដំណើរការស្ទ្រីមដែលភ្ជាប់មកជាមួយ (ឯករាជ្យ) សម្រាប់កំណែប្រភពបើកចំហ ព្រោះវាជៀសវាងការបង្កើតភាពអាស្រ័យហេដ្ឋារចនាសម្ព័ន្ធផ្សេងទៀត។

ឧទាហរណ៍មួយទៀតនៃភាពខុសគ្នាគឺការមាន GMS តែមួយ (Generalized Metadata Store) នៅក្នុងការអនុវត្តប្រភពបើកចំហជាជាង GMS ច្រើន។ GMA (Generalized Metadata Architecture) គឺជាឈ្មោះនៃស្ថាបត្យកម្ម back-end សម្រាប់ DataHub ហើយ GMS គឺជាឃ្លាំងផ្ទុកទិន្នន័យមេតានៅក្នុងបរិបទនៃ GMA ។ GMA គឺជាស្ថាបត្យកម្មដែលអាចបត់បែនបានដែលអនុញ្ញាតឱ្យអ្នកចែកចាយរចនាសម្ព័ន្ធទិន្នន័យនីមួយៗ (ឧ. សំណុំទិន្នន័យ អ្នកប្រើប្រាស់។ GMS ត្រូវបានធ្វើបច្ចុប្បន្នភាព។ ដើម្បីភាពងាយស្រួលក្នុងការប្រើប្រាស់ យើងបានជ្រើសរើសឧទាហរណ៍ GMS តែមួយដែលរក្សាទុករាល់ការបង្កើតទិន្នន័យផ្សេងៗគ្នានៅក្នុង DataHub ប្រភពបើកចំហ។

បញ្ជីពេញលេញនៃភាពខុសគ្នារវាងការអនុវត្តទាំងពីរត្រូវបានផ្តល់ឱ្យក្នុងតារាងខាងក្រោម។

លក្ខណៈពិសេសរបស់ផលិតផល
LinkedIn DataHub
បើកប្រភព DataHub

រចនាសម្ព័ន្ធទិន្នន័យដែលគាំទ្រ
1) សំណុំទិន្នន័យ 2) អ្នកប្រើប្រាស់ 3) សូចនាករ 4) លក្ខណៈពិសេស ML 5) តារាង 6) ផ្ទាំងគ្រប់គ្រង
1) សំណុំទិន្នន័យ 2) អ្នកប្រើប្រាស់

ប្រភពទិន្នន័យមេតាដែលគាំទ្រសម្រាប់សំណុំទិន្នន័យ
1) អំប្រ៊ីយ៉ុង 2) កៅអីអង្គុយ 3) ដាលីស 4) espresso 5) HDFS 6) Hive 7) Kafka 8) MongoDB 9) MySQL 10) Oracle 11) Pinot 12) Presto 12) ត្រូវ ១៣) Teradata ១៣) វ៉ិចទ័រ ១៤) ទីក្រុង Venice
Hive Kafka RDBMS

Pub-sub
LinkedIn Kafka
ប្រសព្វ Kafka

ដំណើរការស្ទ្រីម
Managed WordPress Hosting៖ តម្រូវជាពិសេសសម្រាប់គេហទំព័រ WordPress ប្រភេទ hosting នេះ ត្រូវបានធ្វើឱ្យប្រសើរសម្រាប់ដំណើរការ និងសុវត្ថិភាព។ វារួមបញ្ចូលការអាប់ដេតដោយស្វ័យប្រវត្តិ និងការគាំទ្រជាក់លាក់របស់ WordPress ។ វាដូចជាមានសេវាកម្ម concierge សម្រាប់គេហទំព័រ WordPress របស់អ្នក។
បង្កប់ (ឯករាជ្យ)

ការដាក់បញ្ចូលដោយអាស្រ័យ និងការកំណត់រចនាសម្ព័ន្ធថាមវន្ត
LinkedIn កូនចៅ
និទាឃរដូវ

បង្កើតឧបករណ៍
Ligradle (រុំ Gradle ខាងក្នុងរបស់ LinkedIn)
Gradlew

ស៊ីអាយ / ស៊ីឌី
CRT (CI/CD ខាងក្នុងរបស់ LinkedIn)
TravisCI និង ដុកទ័រហាប់

ហាងលក់ទិន្នន័យមេតា
ចែកចាយ GMS ច្រើន៖ 1) សំណុំទិន្នន័យ GMS 2) អ្នកប្រើប្រាស់ GMS 3) Metric GMS 4) លក្ខណៈពិសេស GMS 5) តារាង/ផ្ទាំងគ្រប់គ្រង GMS
GMS តែមួយសម្រាប់៖ 1) សំណុំទិន្នន័យ 2) អ្នកប្រើប្រាស់

សេវាមីក្រូនៅក្នុងធុង Docker

Dockers សម្រួលការដាក់ឱ្យប្រើប្រាស់កម្មវិធី និងការចែកចាយជាមួយ កុងតឺន័រ. ផ្នែកនីមួយៗនៃសេវាកម្មនៅក្នុង DataHub គឺជាប្រភពបើកចំហ រួមទាំងធាតុផ្សំហេដ្ឋារចនាសម្ព័ន្ធដូចជា Kafka ជាដើម។ Elasticsearch, ណេអូ ៤ ជ и MySQLមានរូបភាព Docker ផ្ទាល់ខ្លួន។ ដើម្បីរៀបចំធុង Docker យើងបានប្រើ សរសេរ Docker.

រូបភាពទី 2: ស្ថាបត្យកម្ម DataHub *ប្រភព​បើក​ចំហ**

អ្នកអាចមើលឃើញស្ថាបត្យកម្មកម្រិតខ្ពស់នៃ DataHub នៅក្នុងរូបភាពខាងលើ។ ក្រៅពីធាតុផ្សំហេដ្ឋារចនាសម្ព័ន្ធ វាមានធុង Docker ចំនួនបួនផ្សេងគ្នា៖

datahub-gms៖ សេវាផ្ទុកទិន្នន័យមេតា

datahub-frontend៖ កម្មវិធី លេងបម្រើចំណុចប្រទាក់ DataHub ។

datahub-mce-consumer៖ កម្មវិធី ស្ទ្រីម Kafkaដែលប្រើព្រឹត្តិការណ៍ផ្លាស់ប្តូរទិន្នន័យមេតា (MCE) និងធ្វើបច្ចុប្បន្នភាពឃ្លាំងទិន្នន័យមេតា។

datahub-mae-consumer: កម្មវិធី ស្ទ្រីម Kafkaដែលប្រើស្ទ្រីមព្រឹត្តិការណ៍សវនកម្មទិន្នន័យមេតា (MAE) និងបង្កើតលិបិក្រមស្វែងរក និងមូលដ្ឋានទិន្នន័យក្រាហ្វ។

ឯកសារឃ្លាំងប្រភពបើកចំហ និង ប្រកាសប្លក់ដើម DataHub មានព័ត៌មានលម្អិតបន្ថែមអំពីមុខងារនៃសេវាកម្មផ្សេងៗ។

CI/CD នៅលើ DataHub គឺជាប្រភពបើកចំហ

ប្រភពបើកចំហរ ឃ្លាំង DataHub ប្រើ TravisCI សម្រាប់ការរួមបញ្ចូលជាបន្តបន្ទាប់ និង ដុកទ័រហាប់ សម្រាប់ការដាក់ពង្រាយជាបន្តបន្ទាប់។ ទាំងពីរមានការរួមបញ្ចូល GitHub ល្អ និងងាយស្រួលក្នុងការរៀបចំ។ សម្រាប់ហេដ្ឋារចនាសម្ព័ន្ធប្រភពបើកចំហភាគច្រើនដែលបង្កើតឡើងដោយសហគមន៍ ឬក្រុមហ៊ុនឯកជន (ឧ. ច្របូកច្របល់), រូបភាព Docker ត្រូវបានបង្កើត និងដាក់ពង្រាយទៅកាន់ Docker Hub ដើម្បីងាយស្រួលប្រើប្រាស់ដោយសហគមន៍។ រូបភាព Docker ណាមួយដែលរកឃើញនៅក្នុង Docker Hub អាចត្រូវបានប្រើយ៉ាងងាយស្រួលដោយប្រើពាក្យបញ្ជាសាមញ្ញ docker ទាញ.

ជាមួយនឹងរាល់ការប្តេជ្ញាចិត្តចំពោះឃ្លាំងប្រភពបើកចំហ DataHub រូបភាព Docker ទាំងអស់ត្រូវបានបង្កើតឡើងដោយស្វ័យប្រវត្តិ និងដាក់ឱ្យប្រើប្រាស់ទៅកាន់ Docker Hub ជាមួយនឹងស្លាក "ចុងក្រោយបំផុត" ។ ប្រសិនបើ Docker Hub ត្រូវបានកំណត់រចនាសម្ព័ន្ធជាមួយមួយចំនួន ដាក់ឈ្មោះសាខាកន្សោមធម្មតា។ស្លាកទាំងអស់នៅក្នុងឃ្លាំងប្រភពបើកចំហក៏ត្រូវបានចេញផ្សាយជាមួយនឹងឈ្មោះស្លាកដែលត្រូវគ្នានៅក្នុង Docker Hub ផងដែរ។

ការប្រើប្រាស់ DataHub

ការដំឡើង DataHub គឺសាមញ្ញណាស់ ហើយមានបីជំហានងាយៗ៖

1. ក្លូនកន្លែងផ្ទុកប្រភពបើកចំហ ហើយដំណើរការកុងតឺន័រ Docker ទាំងអស់ជាមួយ docker-compose ដោយប្រើស្គ្រីប docker-compose ដែលបានផ្តល់ឱ្យសម្រាប់ការចាប់ផ្តើមរហ័ស។
2. ទាញយកទិន្នន័យគំរូដែលបានផ្តល់នៅក្នុងឃ្លាំងដោយប្រើឧបករណ៍បន្ទាត់ពាក្យបញ្ជាដែលត្រូវបានផ្តល់ឱ្យផងដែរ។
3. រកមើល DataHub នៅក្នុងកម្មវិធីរុករករបស់អ្នក។

តាមដានយ៉ាងសកម្ម Gitter ជជែក កំណត់រចនាសម្ព័ន្ធសម្រាប់សំណួររហ័សផងដែរ។ អ្នកប្រើប្រាស់ក៏អាចបង្កើតបញ្ហាដោយផ្ទាល់នៅក្នុងឃ្លាំង GitHub ផងដែរ។ សំខាន់បំផុត យើងសូមស្វាគមន៍ និងពេញចិត្តចំពោះរាល់មតិកែលម្អ និងសំណូមពរ!

ផែនការសម្រាប់អនាគត

បច្ចុប្បន្ននេះ រាល់ហេដ្ឋារចនាសម្ព័ន្ធ ឬសេវាមីក្រូសម្រាប់ប្រភពបើកចំហ DataHub ត្រូវបានបង្កើតឡើងជា Docker container ហើយប្រព័ន្ធទាំងមូលត្រូវបានរៀបចំឡើងដោយប្រើ docker- តែង. ទទួលបានប្រជាប្រិយភាព និងការរីករាលដាល Kubernetesយើងក៏ចង់ផ្តល់នូវដំណោះស្រាយដែលមានមូលដ្ឋានលើ Kubernetes នាពេលខាងមុខផងដែរ។

យើងក៏មានគម្រោងក្នុងការផ្តល់នូវដំណោះស្រាយ turnkey សម្រាប់ការដាក់ពង្រាយ DataHub នៅលើសេវាពពកសាធារណៈដូចជា Azure, AWS ឬ Google Cloud . ដោយទទួលបានសេចក្តីប្រកាសនាពេលថ្មីៗនេះនៃការធ្វើចំណាកស្រុករបស់ LinkedIn ទៅ Azure វានឹងស្របតាមអាទិភាពផ្ទៃក្នុងរបស់ក្រុមទិន្នន័យមេតា។

ជាចុងក្រោយ សូមអរគុណដល់អ្នកទទួលយក DataHub ដំបូងទាំងអស់នៅក្នុងសហគមន៍ប្រភពបើកចំហដែលបានវាយតម្លៃ DataHub alphas និងបានជួយយើងកំណត់បញ្ហា និងកែលម្អឯកសារ។

ប្រភព: www.habr.com