Open Source DataHub: LinkedIn метадайындарды издөө жана ачуу платформасы
Керектүү маалыматтарды тез табуу маалыматка негизделген чечимдерди кабыл алуу үчүн чоң көлөмдөгү маалыматтарга таянган ар бир компания үчүн өтө маанилүү. Бул маалыматтарды колдонуучулардын өндүрүмдүүлүгүнө (анын ичинде аналитиктердин, машина үйрөнүүчүлөрүнүн, маалымат илимпоздорунун жана маалымат инженерлеринин) өндүрүмдүүлүгүнө гана таасирин тийгизбестен, сапаттуу машина үйрөнүү (ML) түтүгүнө көз каранды болгон акыркы өнүмгө да түздөн-түз таасирин тийгизет. Кошумчалай кетсек, машина үйрөнүү платформаларын ишке ашыруу же куруу тенденциясы табигый түрдө суроону туудурат: функцияларды, моделдерди, метрикаларды, маалымат топтомдорун ж.
Бул макалада биз ачык лицензия боюнча маалымат булагын кантип жарыялаганыбыз жөнүндө сүйлөшөбүз Долбоордун алгачкы күндөрүнөн баштап биздин метадайындарды издөө жана табуу платформабызда . LinkedIn өзүнүн DataHub версиясын ачык булак версиясынан өзүнчө сактайт. Бизге эмне үчүн эки өзүнчө иштеп чыгуу чөйрөсү керектигин түшүндүрүү менен баштайбыз, андан кийин ачык булак WhereHows колдонуунун алгачкы ыкмаларын талкуулайбыз жана DataHub'дун ички (өндүрүштүк) версиясын төмөнкү версия менен салыштырабыз. . Биз ошондой эле эки репозиторийди тең синхрондоштуруу үчүн ачык булак жаңыртууларын түртүп алуу жана алуу боюнча жаңы автоматташтырылган чечимибиз жөнүндө кеңири маалымат бөлүшөбүз. Акырында, биз ачык булактуу DataHub колдонууну кантип баштоо керектиги боюнча көрсөтмөлөрдү беребиз жана анын архитектурасын кыскача талкуулайбыз.
WhereHow азыр DataHub!
LinkedIn'тин метадайындар командасы мурда берилген (WhereHow программасынын мураскери), LinkedIn'дин издөө жана метадайындарды табуу платформасы жана аны ачуу пландары менен бөлүштү. Бул жарыядан көп өтпөй, биз DataHub альфа версиясын чыгардык жана аны коомчулук менен бөлүштүк. Ошондон бери биз репозиторийге үзгүлтүксүз салым кошуп келебиз жана эң көп талап кылынган функцияларды кошуу жана көйгөйлөрдү чечүү үчүн кызыкдар колдонуучулар менен иштештик. Биз азыр расмий релизди жарыялоого кубанычтабыз .
Ачык булактуу мамилелер
WhereHows, LinkedIn'дин маалыматтарды жана кайдан келгенин табуу үчүн түпнуска порталы ички долбоор катары башталган; метадайындар командасы аны ачты . Ошондон бери команда ар дайым эки башка код базасын сактап келет - бири ачык булак үчүн жана бири LinkedInдин ички колдонуусу үчүн - анткени LinkedIn колдонуу учурлары үчүн иштелип чыккан бардык өнүмдөрдүн функциялары жалпысынан кеңири аудитория үчүн колдонула берген эмес. Кошумчалай кетсек, WhereHows ачык булак эмес ички көз карандылыкка (инфраструктура, китепканалар ж.б.) ээ. Кийинки жылдары WhereHows көптөгөн итерацияларды жана өнүгүү циклдерин басып өттү, бул эки коддук базаны синхрондоштуруу чоң көйгөйгө айланды. Метадайындар командасы ички жана ачык булакты иштеп чыгууну синхрондоштуруу үчүн көп жылдар бою ар кандай ыкмаларды колдонуп көрүштү.
Биринчи аракет: "Биринчи ачык булак"
Биз алгач "ачык булак биринчи" иштеп чыгуу моделин кармандык, мында көпчүлүк иштеп чыгуулар ачык булак репозиторийинде болуп, ички жайылтуу үчүн өзгөртүүлөр киргизилет. Бул ыкманын көйгөйү, код ар дайым GitHub'га, ал толугу менен ички карап чыкканга чейин түртүлөт. Ачык булак репозиторийинен өзгөртүүлөр киргизилмейинче жана жаңы ички жайгаштыруу жасалмайынча, биз эч кандай өндүрүш маселесин таба албайбыз. Начар жайгаштырылган учурда, күнөөлүүлөрдү аныктоо да абдан кыйын болду, анткени өзгөртүүлөр партиялар менен жасалган.
Кошумчалай кетсек, бул модель тез итерацияларды талап кылган жаңы функцияларды иштеп чыгууда команданын өндүрүмдүүлүгүн төмөндөттү, анткени ал бардык өзгөртүүлөрдү адегенде ачык булак репозиторийине түртүп, андан кийин ички репозиторийге түртүүгө мажбурлады. Иштеп чыгуу убактысын кыскартуу үчүн, талап кылынган оңдоону же өзгөртүүнү адегенде ички репозиторийде жасаса болот, бирок бул эки репозиторий синхрондогон эмес болгондуктан, ал өзгөртүүлөрдү кайра ачык булак репозиторийине бириктирүүгө келгенде чоң көйгөй болуп калды.
Бул моделди жалпы платформалар, китепканалар же инфраструктуралык долбоорлор үчүн ишке ашыруу толук өзгөчөлөнгөн жеке веб-тиркемелерге караганда алда канча оңой. Кошумчалай кетсек, бул модель биринчи күндөн баштап ачык булакты баштаган долбоорлор үчүн идеалдуу, бирок WhereHows толугу менен ички веб-тиркеме катары курулган. Бардык ички көз карандылыктарды толугу менен жоюу чындап эле кыйынга турду, ошондуктан биз ички айрыны сактап турушубуз керек болчу, бирок ички айрыны сактап, негизинен ачык булакты иштеп чыгуу жакшы натыйжа берген жок.
Экинчи аракет: "Биринчи ички"
**Экинчи аракет катары, биз "ички биринчи" өнүгүү моделине өттүк, мында көпчүлүк иштеп чыгуулар ишканада ишке ашат жана ачык булак кодуна үзгүлтүксүз негизде өзгөртүүлөр киргизилет. Бул модель биздин колдонуу учурубузга эң ылайыктуу болсо да, анын мүнөздүү көйгөйлөрү бар. Түздөн-түз ачык булак репозиторийине бардык айырмачылыктарды түртүп, анан кийинчерээк бириктирүү конфликттерин чечүүгө аракет кылуу - бул вариант, бирок бул убакытты талап кылат. Иштеп чыгуучулар көпчүлүк учурларда кодун карап чыккан сайын муну кылбоого аракет кылышат. Натыйжада, бул бир топ сейрек, партиялар менен аткарылат, ошондуктан кийинчерээк бириктирүү чыр-чатактарын чечүү кыйындайт.
Үчүнчү жолу иштеди!
Жогоруда айтылган эки ийгиликсиз аракеттин натыйжасында WhereHows GitHub репозиторийинин узак убакыт бою эскирип калышына алып келди. Команда продукттун өзгөчөлүктөрүн жана архитектурасын өркүндөтүүнү улантты, ошондуктан LinkedIn үчүн WhereHowстун ички версиясы ачык булактуу версияга караганда өнүккөн. Ал тургай, жаңы аталышы бар болчу - DataHub. Буга чейинки ийгиликсиз аракеттердин негизинде команда масштабдуу, узак мөөнөттүү чечимди иштеп чыгууну чечти.
Ар кандай жаңы ачык булак долбоору үчүн LinkedIn'дин ачык булак командасы долбоордун модулдары толугу менен ачык булакта иштелип чыккан өнүгүү моделин сунуштайт жана колдойт. Версияланган артефакттар коомдук репозиторийге жайгаштырылат жана андан кийин ички LinkedIn артефактына кайра текшерилет. . Бул иштеп чыгуу моделин ээрчүү ачык булакты колдонгондор үчүн гана жакшы эмес, ошондой эле модулдук, кеңейтилүүчү жана кошулуучу архитектурага алып келет.
Бирок, DataHub сыяктуу жетилген back-end колдонмосу бул абалга жетүү үчүн бир топ убакытты талап кылат. Бул ошондой эле бардык ички көз карандылыктар толугу менен абстракцияланганга чейин ачык булактардын толук иштеген ишке ашыруу мүмкүнчүлүгүн жокко чыгарат. Ошон үчүн биз ачык булактуу салымдарды тезирээк жана азыраак кыйналбай жасоого жардам берген куралдарды иштеп чыктык. Бул чечим метадайындар командасына (DataHub иштеп чыгуучусу) жана ачык булак коомчулугуна пайдалуу. Кийинки бөлүмдөрдө бул жаңы ыкма талкууланат.
Ачык булак басып чыгарууну автоматташтыруу
Метадайындар командасынын ачык булактуу DataHubга эң акыркы мамилеси ички код базасын жана ачык булак репозиторийин автоматтык түрдө синхрондоштуруучу куралды иштеп чыгуу болуп саналат. Бул инструменттердин жогорку деңгээлдеги өзгөчөлүктөрү төмөнкүлөрдү камтыйт:
- LinkedIn кодун ачык булак менен синхрондоштуруу, окшош .
- Лицензиянын аталышын түзүү, окшош .
- Ички жүктөө журналдарынан автоматтык түрдө ачык булак тапшыруу журналдарын түзүү.
- Ачык булак түзүмдөрүн бузган ички өзгөрүүлөрдү болтурбоо .
Төмөнкү бөлүмдөр кызыктуу көйгөйлөрү бар жогоруда аталган функцияларды карайт.
Булак кодун синхрондоштуруу
Бир GitHub репозиторий болгон DataHub ачык булак версиясынан айырмаланып, DataHub'дун LinkedIn версиясы бир нече репозиторийлердин айкалышы (ички деп аталат) ). DataHub интерфейси, метадайындар моделинин китепканасы, метаберилиштер кампасы жана агымдык жумуштар LinkedInдеги өзүнчө репозиторийлерде жайгашкан. Бирок, ачык булак колдонуучулар үчүн жеңилдетүү үчүн, бизде DataHub ачык булак версиясы үчүн бирдиктүү репозиторий бар.
Сүрөт 1: Репозиторийлердин ортосундагы синхрондоштуруу LinkedIn DataHub жана бир репозиторий DataHub ачык булак
Автоматташтырылган куруу, түртүү жана тартуу иш агымдарын колдоо үчүн, биздин жаңы куралыбыз автоматтык түрдө ар бир баштапкы файлга туура келген файл деңгээлиндеги картаны түзөт. Бирок, инструменталдык комплект баштапкы конфигурацияны талап кылат жана колдонуучулар төмөндө көрсөтүлгөндөй жогорку деңгээлдеги модулдун картасын камсыз кылышы керек.
{
"datahub-dao": [
"${datahub-frontend}/datahub-dao"
],
"gms/impl": [
"${dataset-gms}/impl",
"${user-gms}/impl"
],
"metadata-dao": [
"${metadata-models}/metadata-dao"
],
"metadata-builders": [
"${metadata-models}/metadata-builders"
]
}Модуль деңгээлиндеги карта түзүү бул жөнөкөй JSON, анын ачкычтары ачык булак репозиторийиндеги максаттуу модулдар жана баалуулуктар LinkedIn репозиторийлериндеги булак модулдарынын тизмеси. Ачык булак репозиторийиндеги каалаган максаттуу модуль булак модулдарынын каалаган саны менен азыктанышы мүмкүн. Булак модулдарында репозиторийлердин ички аттарын көрсөтүү үчүн колдонуңуз Баш стилинде. Модуль деңгээлиндеги картографиялык файлды колдонуу менен, куралдар байланышкан каталогдордогу бардык файлдарды сканерлөө менен файл деңгээлиндеги карталоо файлын түзөт.
{
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
"${metadata-models}/metadata-builders/build.gradle": null,
}Файл деңгээлинин картасы автоматтык түрдө куралдар тарабынан түзүлөт; бирок аны колдонуучу кол менен жаңыртса болот. Бул LinkedIn булак файлынын ачык булак репозиторийиндеги файлга 1:1 картасы. Бул файл бирикмелерин автоматтык түрдө түзүүгө байланыштуу бир нече эрежелер бар:
- Ачык булактагы максаттуу модул үчүн бир нече булак модулдары болгон учурда, конфликттер келип чыгышы мүмкүн, мисалы, бирдей , бирден ашык булак модулунда бар. Чыр-чатакты чечүү стратегиясы катары, биздин куралдар демейки "акыркы жеңет" опциясына ылайыкташтырылган.
- "нөл" баштапкы файл ачык булак репозиторийинин бир бөлүгү эмес экенин билдирет.
- Ар бир ачык булакты тапшыргандан же чыгарып алгандан кийин, бул карта автоматтык түрдө жаңыртылып, көз ирмемдик сүрөт түзүлөт. Бул акыркы аракеттен бери баштапкы коддон толуктоолорду жана жок кылууларды аныктоо үчүн зарыл.
Милдеттүү журналдарды түзүү
Ачык булактагы милдеттенмелер үчүн Commit журналдары да ички репозиторийлердин милдеттенме журналдарын бириктирүү аркылуу автоматтык түрдө түзүлөт. Төмөндө биздин курал тарабынан түзүлгөн милдеттенме журналынын структурасын көрсөтүү үчүн үлгү журналы келтирилген. Милдеттүү булак репозиторийлеринин кайсы версиялары ошол милдеттенмеде топтолгондугун так көрсөтөт жана милдеттенмелер журналынын кыскача баяндамасын берет. Муну текшерип көрүңүз инструменттер топтому тарабынан түзүлгөн Commit журналынын чыныгы мисалын колдонуу.
metadata-models 29.0.0 -> 30.0.0
Added aspect model foo
Fixed issue bar
dataset-gms 2.3.0 -> 2.3.4
Added rest.li API to serve foo aspect
MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0Көз карандылыкты текшерүү
LinkedIn бар , бул ички мультипродуктка өзгөртүүлөр көз каранды мультипродукттардын жыйындысын бузбоого жардам берет. Ачык булактуу DataHub репозиторийси көп продукттуу эмес жана ал ар кандай көп продуктунун түз көз карандылыгы боло албайт, бирок ачык булак DataHub булак кодун алып келген көп продукт оромонун жардамы менен биз дагы эле бул көз карандылыкты текшерүүнү колдоно алабыз. Ошентип, ачык булактуу DataHub репозиторийин азыктандырган мультипродукттардын кайсы бирине болбосун өзгөрүү (кийинчерээк ачыкка чыгышы мүмкүн) кабык мультипродукциясында куруу окуясын козгойт. Ошондуктан, орогуч продуктусун түзө албаган ар кандай өзгөртүүлөр баштапкы продуктту жасоодон мурун сыноодон өтпөй калат жана кайра кайтарылат.
Бул ачык булак түзүмүн бузган жана аны аткаруу убагында аныктаган ар кандай ички милдеттенмелерди алдын алууга жардам берген пайдалуу механизм. Ансыз, кайсы ички милдеттенме ачык булак репозиторийинин түзүлүшү иштебей калганын аныктоо абдан кыйын болмок, анткени биз DataHub ачык булак репозиторийине ички өзгөрүүлөрдү топтойбуз.
Ачык булак DataHub менен өндүрүш версиясынын ортосундагы айырмачылыктар
Ушул учурга чейин биз DataHub репозиторийлеринин эки версиясын синхрондоштуруу боюнча чечимибизди талкууладык, бирок биз биринчи кезекте эмне үчүн эки башка өнүгүү агымына муктаж экенибиздин себептерин айта элекпиз. Бул бөлүмдө биз DataHub'дун коомдук версиясы менен LinkedIn серверлериндеги өндүрүш версиясынын ортосундагы айырмачылыктарды тизмектеп, бул айырмачылыктардын себептерин түшүндүрөбүз.
Дал келбөөчүлүктүн бир булагы биздин өндүрүш версиябызда LinkedIn's Offspring (LinkedIn'дин ички көз карандылык инъекция алкагы) сыяктуу ачык булак эмес коддон көз карандылык бар экендиги менен байланыштуу. Offspring ички коддук базаларда кеңири колдонулат, анткени динамикалык конфигурацияны башкаруу үчүн артыкчылыктуу ыкма. Бирок бул ачык булак эмес; ошондуктан биз ачык булактуу DataHubга ачык булак альтернативаларын табышыбыз керек болчу.
Башка себептер да бар. LinkedIn муктаждыктары үчүн метадайындар моделине кеңейтүүлөрдү түзүп жаткандыктан, бул кеңейтүүлөр адатта LinkedIn үчүн өзгөчө болуп саналат жана башка чөйрөлөргө түздөн-түз колдонулбашы мүмкүн. Мисалы, бизде катышуучунун идентификаторлору жана дал келген метадайындардын башка түрлөрү үчүн өзгөчө энбелгилер бар. Ошентип, биз азыр бул кеңейтүүлөрдү DataHub'тун ачык булак метаберилиштер моделинен чыгардык. Коомчулук менен иштешип, алардын муктаждыктарын түшүнгөнүбүздө, зарыл болгон учурларда бул кеңейтүүлөрдүн жалпы ачык булак версияларынын үстүндө иштейбиз.
Колдонуунун жөнөкөйлүгү жана ачык булак коомчулугу үчүн жеңил адаптация DataHub эки версиясынын ортосундагы айрым айырмачылыктарга дем берди. Агымды иштетүү инфраструктурасындагы айырмачылыктар буга жакшы мисал. Биздин ички версия башкарылган агымды иштетүү алкагын колдонсо да, биз ачык булак версиясы үчүн орнотулган (өз алдынча) агымды иштетүүнү колдонууну тандадык, анткени ал башка инфраструктуралык көз карандылыкты жаратпайт.
Айырмачылыктын дагы бир мисалы - бир нече GMS эмес, ачык булактуу ишке ашырууда бир GMS (Жалпыланган метамаалыматтар дүкөнү) бар. GMA (Generalized Metadata Architecture) – DataHub үчүн арткы архитектуранын аталышы, ал эми GMS – GMA контекстиндеги метаберилиштер дүкөнү. GMA - бул өтө ийкемдүү архитектура, ал ар бир берилиш конструкциясын (мисалы, берилиштер топтомдору, колдонуучулар ж.б.) өзүнүн метадайындар дүкөнүнө жайылтууга же бир метадайындар дүкөнүндө бир нече маалымат конструкцияларын сактоого мүмкүндүк берет. GMS жаңыртылды. Колдонуунун жеңилдиги үчүн биз ачык булактагы DataHub ичиндеги ар кандай маалымат конструкцияларын сактаган бир GMS инстанциясын тандап алдык.
Эки ишке ашыруунун ортосундагы айырмачылыктардын толук тизмеси төмөнкү таблицада келтирилген.
Продукт өзгөчөлүктөрү
LinkedIn DataHub
Open Source DataHub
Колдоого алынган маалымат конструкциялары
1) Берилиштер топтому 2) Колдонуучулар 3) Метрикалар 4) ML Функциялары 5) Диаграммалар 6) Башкаруу такталары
1) Берилиштер топтому 2) Колдонуучулар
Берилиштер топтомдору үчүн колдоого алынган метаберилиш булактары
1) 2) Couchbase 3) 4) 5) HDFS 6) Уюк 7) Кафка 8) MongoDB 9) MySQL 10) Oracle 11) 12) Presto 12) 13) Терадата 13) Вектор 14)
Hive Kafka RDBMS
паб-суб
Кошулган Кафка
Агымды иштетүү
башкарылган
Кыстарылган (өз алдынча)
Көз карандылыкты киргизүү жана динамикалык конфигурация
LinkedIn Offspring
Building Tooling
Ligradle (LinkedIn ички Gradle орогуч)
CI / CD
CRT (LinkedIn ички CI/CD)
жана
Метаберилиш дүкөндөрү
Бөлүштүрүлгөн бир нече GMS: 1) Dataset GMS 2) User GMS 3) Metric GMS 4) Feature GMS 5) Chart/Dashboard GMS
Бирдиктүү GMS үчүн: 1) Берилиштер топтому 2) Колдонуучулар
Docker контейнерлериндеги микросервистер
менен тиркемени жайылтууну жана бөлүштүрүүнү жеңилдетет . DataHub кызматынын ар бир бөлүгү ачык булак, анын ичинде Кафка сыяктуу инфраструктуралык компоненттер, , и , өзүнүн Docker сүрөтүнө ээ. Docker контейнерлерин уюштуруу үчүн биз колдонгон .
2-сүрөт: Архитектура DataHub *ачык булак**
Сиз жогорудагы сүрөттө DataHub жогорку деңгээлдеги архитектурасын көрө аласыз. Инфраструктуралык компоненттерден тышкары, анын төрт түрдүү Docker контейнерлери бар:
datahub-gms: метадайындарды сактоо кызматы
datahub-frontend: колдонмо , DataHub интерфейсин тейлейт.
datahub-mce-керектөөчү: колдонмо , ал метадайындарды өзгөртүү окуясын (MCE) агымын колдонот жана метадайындар кампасын жаңыртат.
datahub-mae-керектөөчү: колдонмо , ал метаберилиштер аудитинин окуя агымын (MAE) колдонот жана издөө индексин жана график базасын түзөт.
Ачык булак репозиторийинин документтери жана ар кандай кызматтардын функциялары жөнүндө кеңири маалыматты камтыйт.
DataHub боюнча CI/CD ачык булак болуп саналат
ачык булак DataHub репозиторий колдонот үзгүлтүксүз интеграциялоо үчүн жана үзгүлтүксүз жайылтуу үчүн. Экөө тең жакшы GitHub интеграциясына ээ жана орнотуу оңой. Коомчулук же жеке компаниялар тарабынан иштелип чыккан көпчүлүк ачык булак инфраструктурасы үчүн (мис. ), Docker сүрөттөрү түзүлүп, Docker Hub'га жамааттын колдонууга ыңгайлуу болушу үчүн жайгаштырылат. Docker Hub ичинде табылган каалаган Docker сүрөтү жөнөкөй буйрук менен оңой колдонулушу мүмкүн .
DataHub ачык булак репозиторийине ар бир милдеттендирилгенде, бардык Docker сүрөттөрү автоматтык түрдө курулат жана "акыркы" теги менен Docker Hub'га жайгаштырылат. Docker Hub кээ бирлери менен конфигурацияланган болсо , ачык булак репозиторийиндеги бардык тегдер Docker Hub ичиндеги тиешелүү тег аттары менен да чыгарылат.
DataHub колдонуу
абдан жөнөкөй жана үч жөнөкөй кадамдан турат:
- Ачык булак репозиторийин клондоштуруу жана тез баштоо үчүн берилген docker-compose скриптинин жардамы менен бардык Docker контейнерлерин docker-compose менен иштетиңиз.
- Репозиторийде берилген үлгү маалыматтарын, ошондой эле берилген буйрук сабынын куралын колдонуп жүктөп алыңыз.
- Браузериңизде DataHub'ду карап чыгыңыз.
Активдүү көз салуу ошондой эле тез суроолор үчүн конфигурацияланган. Колдонуучулар түздөн-түз GitHub репозиторийинде маселелерди түзө алышат. Эң негизгиси, биз бардык пикирлерди жана сунуштарды кабыл алабыз жана баалайбыз!
келечек үчүн пландар
Учурда ачык булактуу DataHub үчүн ар бир инфраструктура же микросервис Docker контейнери катары курулган жана бүт системаны колдонуу менен уюштурулган. . Популярдуулугун жана кеңири таралышын эске алуу менен , биз да жакынкы келечекте Kubernetes негизиндеги чечим менен камсыз кылгыбыз келет.
Биз ошондой эле, мисалы, коомдук булут кызматында DataHub жайгаштыруу үчүн ачкыч чечим менен камсыз кылууну пландаштырып жатабыз , же . Жакында LinkedIn'дин Azure'ге миграциясы жөнүндө жарыяны эске алганда, бул метадайындар командасынын ички артыкчылыктарына дал келет.
Акыры, бирок эң аз дегенде, ачык булак коомчулугунда DataHub альфасын баалаган жана көйгөйлөрдү аныктоого жана документтерди жакшыртууга жардам берген бардык DataHub'ду алгачкы колдонуучуларга рахмат.
Source: www.habr.com