Open Source DataHub: LinkedIn метадеректерін іздеу және табу платформасы
Қажетті деректерді жылдам табу деректерге негізделген шешімдер қабылдау үшін деректердің үлкен көлеміне сүйенетін кез келген компания үшін өте маңызды. Бұл деректерді пайдаланушылардың өнімділігіне (соның ішінде аналитиктерді, машиналық оқытуды әзірлеушілерді, деректерді зерттеушілерді және деректер инженерлерін) әсер етіп қана қоймайды, сонымен қатар сапалы машиналық оқыту (ML) құбырына тәуелді соңғы өнімдерге тікелей әсер етеді. Сонымен қатар, машиналық оқыту платформаларын енгізу немесе құру үрдісі табиғи түрде сұрақ тудырады: мүмкіндіктерді, үлгілерді, метрикаларды, деректер жиынын және т.б. ішкі ашу әдісі қандай?
Бұл мақалада біз ашық лицензия бойынша деректер көзін қалай жариялағанымыз туралы айтатын боламыз жобаның алғашқы күндерінен бастап біздің метадеректерді іздеу және табу платформасында . LinkedIn өзінің DataHub нұсқасын ашық бастапқы нұсқадан бөлек сақтайды. Біз неліктен бізге екі бөлек әзірлеу ортасы қажет екенін түсіндіруден бастаймыз, содан кейін ашық көзді WhereHows пайдаланудың алғашқы тәсілдерін талқылаймыз және DataHub-тың ішкі (өндірістік) нұсқасын төмендегі нұсқамен салыстырамыз. . Сондай-ақ біз екі репозиторийді синхрондауды сақтау үшін ашық бастапқы жаңартуларды итермелеуге және алуға арналған жаңа автоматтандырылған шешіміміз туралы мәліметтерді бөлісеміз. Соңында біз ашық бастапқы DataHub пайдалануды қалай бастау керектігі туралы нұсқауларды береміз және оның архитектурасын қысқаша талқылаймыз.
WhereHow қазір DataHub!
LinkedIn метадеректер тобы бұрын ұсынылған (WhereHows мұрагері), LinkedIn іздеу және метадеректерді табу платформасы және оны ашудың ортақ жоспарлары. Осы хабарландырудан кейін көп ұзамай біз DataHub альфа нұсқасын шығардық және оны қауымдастықпен бөлістік. Содан бері біз репозиторийге үнемі үлес қостық және ең көп сұралатын мүмкіндіктерді қосу және мәселелерді шешу үшін мүдделі пайдаланушылармен жұмыс істедік. Біз қазір ресми шығарылымды хабарлауға қуаныштымыз .
Ашық бастапқы тәсілдер
WhereHows, LinkedIn бастапқы порталы деректерді және олардың қайдан келгенін табуға арналған, ішкі жоба ретінде басталды; оны метадеректер тобы ашты . Содан бері команда әрқашан екі түрлі код базасын сақтайды - біреуі ашық бастапқы коды үшін және екіншісі LinkedIn ішкі пайдалануы үшін - өйткені LinkedIn пайдалану жағдайлары үшін әзірленген барлық өнім мүмкіндіктері әдетте кеңірек аудиторияға қолданыла бермейді. Оған қоса, WhereHows бағдарламасының бастапқы көзі ашық емес кейбір ішкі тәуелділіктер (инфрақұрылым, кітапханалар, т.б.) бар. Келесі жылдарда WhereHows көптеген итерациялар мен даму циклдарынан өтті, бұл екі кодтық базаны синхрондау үлкен қиындыққа айналдырды. Метадеректер тобы ішкі және ашық бастапқы дамуды синхрондауға тырысу үшін жылдар бойы әртүрлі тәсілдерді қолданып көрді.
Бірінші әрекет: «Алдымен ашық дереккөз»
Біз бастапқыда «ашық бастапқы коды» әзірлеу үлгісін ұстандық, мұнда әзірлеудің көпшілігі ашық бастапқы репозиторийде орын алады және ішкі орналастыру үшін өзгерістер жасалады. Бұл тәсілдің проблемасы кодтың әрқашан GitHub жүйесіне ол толығымен ішкі тексерілмес бұрын жіберілуінде. Ашық бастапқы репозиторийден өзгертулер енгізілмейінше және жаңа ішкі орналастыру жасалмайынша, біз ешқандай өндіріс мәселелерін таппаймыз. Нашар орналастыру жағдайында кінәліні анықтау да өте қиын болды, өйткені өзгертулер топтамамен енгізілген.
Бұған қоса, бұл модель жылдам итерацияларды қажет ететін жаңа мүмкіндіктерді әзірлеу кезінде топтың өнімділігін төмендетті, өйткені ол барлық өзгерістерді алдымен ашық бастапқы репозиторийге, содан кейін ішкі репозиторийге көшіруге мәжбүр етті. Өңдеу уақытын қысқарту үшін қажетті түзетуді немесе өзгертуді алдымен ішкі репозиторийде жасауға болады, бірақ екі репозиторий синхрондалмағандықтан, сол өзгерістерді ашық бастапқы репозиторийге біріктіруге келгенде бұл үлкен мәселе болды.
Бұл үлгіні ортақ платформалар, кітапханалар немесе инфрақұрылымдық жобалар үшін іске асыру толық мүмкіндіктері бар пайдаланушы веб-бағдарламаларына қарағанда әлдеқайда оңай. Бұған қоса, бұл модель бірінші күннен бастап ашық бастапқы коды басталатын жобалар үшін өте қолайлы, бірақ WhereHows толығымен ішкі веб-қосымша ретінде жасалған. Барлық ішкі тәуелділіктерді толығымен алып тастау өте қиын болды, сондықтан бізге ішкі шанышқыны сақтау керек болды, бірақ ішкі шанышқыны сақтау және негізінен ашық бастапқы кодты дамыту мүлдем нәтиже бермеді.
Екінші әрекет: «Біріншіден ішкі»
**Екінші талпыныс ретінде біз «ішкі бірінші» даму үлгісіне көштік, мұнда әзірлеудің көпшілігі үйде жүзеге асырылады және ашық бастапқы кодқа жүйелі түрде өзгерістер енгізіледі. Бұл модель біздің пайдалану жағдайымызға ең қолайлы болғанымен, оның өзіндік проблемалары бар. Барлық айырмашылықтарды ашық бастапқы репозиторийге тікелей итермелеу, содан кейін біріктіру қайшылықтарын кейінірек шешуге тырысу опция болып табылады, бірақ бұл уақытты қажет етеді. Әзірлеушілер көп жағдайда кодты қарап шыққан сайын мұны жасамауға тырысады. Нәтижесінде, бұл топтамада әлдеқайда аз орындалады және осылайша біріктіру қайшылықтарын кейінірек шешуді қиындатады.
Үшінші рет ол жұмыс істеді!
Жоғарыда аталған екі сәтсіз әрекеттің нәтижесінде WhereHows GitHub репозиторийі ұзақ уақыт бойы ескірді. Топ LinkedIn үшін WhereHows ішкі нұсқасы ашық бастапқы нұсқаға қарағанда жетілдірілген болуы үшін өнімнің мүмкіндіктері мен архитектурасын жақсартуды жалғастырды. Оның тіпті жаңа атауы болды - DataHub. Бұрынғы сәтсіз әрекеттерге сүйене отырып, топ ауқымды, ұзақ мерзімді шешімді әзірлеуге шешім қабылдады.
Кез келген жаңа ашық бастапқы жоба үшін LinkedIn ашық бастапқы коды бар команда жобаның модульдері толығымен ашық көзде әзірленетін әзірлеу үлгісіне кеңес береді және қолдайды. Нұсқаланған артефактілер жалпыға ортақ репозиторийге орналастырылады, содан кейін ішкі LinkedIn артефактісіне қайта тексеріледі. . Бұл әзірлеу үлгісін ұстану ашық бастапқы коды пайдаланатындар үшін жақсы ғана емес, сонымен қатар модульдік, кеңейтілетін және қосылатын архитектураға әкеледі.
Дегенмен, DataHub сияқты жетілген сервер қолданбасы осы күйге жету үшін айтарлықтай уақытты қажет етеді. Бұл сондай-ақ барлық ішкі тәуелділіктер толығымен абстракцияланғанға дейін толық жұмыс істейтін іске асыруды ашық көзден алу мүмкіндігін болдырмайды. Сондықтан біз ашық бастапқы жарналарды тезірек және әлдеқайда аз ауыртпалықпен жасауға көмектесетін құралдарды әзірледік. Бұл шешім метадеректер тобына (DataHub әзірлеушісі) және бастапқы коды ашық қауымдастыққа пайдалы. Келесі бөлімдерде осы жаңа тәсіл талқыланады.
Ашық бастапқы кодты жариялауды автоматтандыру
Метадеректер командасының ашық бастапқы DataHub бағдарламасына соңғы тәсілі ішкі кодтық база мен ашық бастапқы репозиторийді автоматты түрде синхрондайтын құралды әзірлеу болып табылады. Бұл құралдар жинағының жоғары деңгейлі мүмкіндіктері мыналарды қамтиды:
- LinkedIn кодын ашық көзге/қайтадан синхрондаңыз, ұқсас .
- Лицензия тақырыбын құру, ұқсас .
- Ішкі тіркеу журналдарынан ашық бастапқы растау журналдарын автоматты түрде жасаңыз.
- Ашық бастапқы құрастыруларды бұзатын ішкі өзгерістерді болдырмаңыз .
Келесі бөлімдер қызықты мәселелері бар жоғарыда аталған функцияларды қарастырады.
Бастапқы кодты синхрондау
Бір GitHub репозиторийі болып табылатын DataHub бағдарламасының ашық бастапқы нұсқасынан айырмашылығы, DataHub бағдарламасының LinkedIn нұсқасы бірнеше репозиторийлердің (ішкі деп аталады) тіркесімі болып табылады. ). DataHub интерфейсі, метадеректер үлгісінің кітапханасы, метадеректер қоймасының серверлік қызметі және ағындық тапсырмалар LinkedIn сайтындағы бөлек репозитарийлерде орналасқан. Дегенмен, бастапқы коды ашық пайдаланушыларға жеңілдету үшін бізде DataHub бағдарламасының ашық бастапқы нұсқасына арналған жалғыз репозиторий бар.
1-сурет: Репозиторийлер арасындағы синхрондау LinkedIn DataHub және бір репозиторий DataHub ашық көзі
Автоматтандырылған құрастыру, итеру және тарту жұмыс үрдістерін қолдау үшін біздің жаңа құрал автоматты түрде әрбір бастапқы файлға сәйкес файл деңгейінің салыстыруын жасайды. Дегенмен, құралдар жинағы бастапқы конфигурацияны қажет етеді және пайдаланушылар төменде көрсетілгендей жоғары деңгейлі модуль салыстыруын қамтамасыз етуі керек.
{
"datahub-dao": [
"${datahub-frontend}/datahub-dao"
],
"gms/impl": [
"${dataset-gms}/impl",
"${user-gms}/impl"
],
"metadata-dao": [
"${metadata-models}/metadata-dao"
],
"metadata-builders": [
"${metadata-models}/metadata-builders"
]
}Модуль деңгейіндегі салыстыру қарапайым JSON болып табылады, оның кілттері ашық бастапқы репозитарийдегі мақсатты модульдер және мәндері LinkedIn репозитарийлеріндегі бастапқы модульдердің тізімі болып табылады. Ашық бастапқы репозиторийдегі кез келген мақсатты модуль бастапқы модульдердің кез келген санымен берілуі мүмкін. Бастапқы модульдердегі репозиторийлердің ішкі атауларын көрсету үшін пайдаланыңыз Баш стилінде. Модуль деңгейіндегі салыстыру файлын пайдалана отырып, құралдар байланысты каталогтардағы барлық файлдарды сканерлеу арқылы файл деңгейіндегі салыстыру файлын жасайды.
{
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
"${metadata-models}/metadata-builders/build.gradle": null,
}Файл деңгейін салыстыру құралдар арқылы автоматты түрде жасалады; дегенмен, оны пайдаланушы қолмен де жаңартуы мүмкін. Бұл LinkedIn бастапқы файлын ашық бастапқы репозиторийдегі файлға 1:1 салыстыру. Файлдық байланыстарды автоматты түрде жасауға байланысты бірнеше ережелер бар:
- Ашық бастапқы кодтағы мақсатты модуль үшін бірнеше бастапқы модульдер болған жағдайда, қақтығыстар туындауы мүмкін, мысалы, бірдей , бірнеше бастапқы модульде бар. Қақтығыстарды шешу стратегиясы ретінде біздің құралдар әдепкі бойынша «соңғы жеңеді» опциясына сәйкес келеді.
- «null» бастапқы файлдың ашық бастапқы репозиторийдің бөлігі емес екенін білдіреді.
- Әрбір ашық көзді жіберуден немесе шығарудан кейін бұл салыстыру автоматты түрде жаңартылады және суретті жасайды. Бұл соңғы әрекеттен кейінгі бастапқы кодтан қосулар мен жоюларды анықтау үшін қажет.
Тапсырма журналдарын жасау
Ашық бастапқы растауларға арналған тіркеу журналдары да ішкі репозитарийлердің тіркеу журналдарын біріктіру арқылы автоматты түрде жасалады. Төменде біздің құрал арқылы жасалған міндеттеме журналының құрылымын көрсетуге арналған үлгі журналы берілген. Міндеттеме бастапқы репозитарийлердің қай нұсқалары осы міндеттемеде бумаланғанын анық көрсетеді және міндеттеме журналының қысқаша мазмұнын береді. Мынаны тексеріңіз құралдар жинағы арқылы жасалған тіркеу журналының нақты мысалын пайдалану.
metadata-models 29.0.0 -> 30.0.0
Added aspect model foo
Fixed issue bar
dataset-gms 2.3.0 -> 2.3.4
Added rest.li API to serve foo aspect
MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0Тәуелділік сынағы
LinkedIn бар , бұл ішкі мультиөнімге өзгертулер тәуелді мультиөнімдердің жинағын бұзбауын қамтамасыз етеді. Ашық бастапқы DataHub репозиторийі көп өнім емес және ол кез келген көп өнімге тікелей тәуелді бола алмайды, бірақ ашық бастапқы DataHub бастапқы кодын алатын көп өнім орауышының көмегімен біз әлі де осы тәуелділік тестін пайдалана аламыз. Осылайша, ашық бастапқы DataHub репозиторийін тамақтандыратын мультиөнімдердің кез келгеніне кез келген өзгерту (кейінірек әсер етуі мүмкін) қабық мультиөнімінде құрастыру оқиғасын іске қосады. Сондықтан, қаптама өнімін құрастыра алмаған кез келген өзгерту бастапқы өнімді жасамас бұрын сынақтардан өтпейді және қайтарылады.
Бұл ашық бастапқы құрылымды бұзатын және оны орындау уақытында анықтайтын кез келген ішкі міндеттемені болдырмауға көмектесетін пайдалы механизм. Онсыз, ашық бастапқы репозитарий құрастырудың сәтсіз болуына қандай ішкі міндеттеме себеп болғанын анықтау өте қиын болар еді, өйткені біз DataHub ашық бастапқы репозиторийіне ішкі өзгерістерді бумалаймыз.
Ашық бастапқы DataHub және өндірістік нұсқа арасындағы айырмашылықтар
Осы уақытқа дейін біз DataHub репозиторийлерінің екі нұсқасын синхрондауға арналған шешімімізді талқыладық, бірақ біз бірінші кезекте екі түрлі әзірлеу ағынының қажет болуының себептерін әлі де сипаттамадық. Бұл бөлімде біз DataHub жалпы нұсқасы мен LinkedIn серверлеріндегі өндіріс нұсқасы арасындағы айырмашылықтарды тізімдейміз және осы айырмашылықтардың себептерін түсіндіреміз.
Сәйкессіздіктің бір көзі біздің өндірістік нұсқамызда LinkedIn's Offspring (LinkedIn ішкі тәуелділік инъекция құрылымы) сияқты әлі ашық емес кодқа тәуелділіктер бар екеніне байланысты. Ұрпақтар ішкі кодтық базаларда кеңінен қолданылады, себебі ол динамикалық конфигурацияны басқарудың таңдаулы әдісі болып табылады. Бірақ бұл ашық бастапқы код емес; сондықтан бізге ашық бастапқы DataHub баламаларын табу керек болды.
Басқа да себептері бар. LinkedIn қажеттіліктері үшін метадеректер үлгісіне кеңейтімдер жасағандықтан, бұл кеңейтімдер әдетте LinkedIn үшін өте ерекше және басқа орталарға тікелей қолданылмауы мүмкін. Мысалы, бізде қатысушы идентификаторлары және сәйкес метадеректердің басқа түрлері үшін өте нақты белгілер бар. Сонымен, біз бұл кеңейтімдерді DataHub-тың ашық бастапқы метадеректер үлгісінен шығардық. Біз қауымдастықпен араласып, олардың қажеттіліктерін түсінетін болсақ, қажет болған жағдайда осы кеңейтімдердің жалпы ашық бастапқы нұсқаларымен жұмыс істейтін боламыз.
Пайдаланудың қарапайымдылығы мен ашық бастапқы қауымдастық үшін оңай бейімделу DataHub екі нұсқасы арасындағы кейбір айырмашылықтарды шабыттандырды. Ағынды өңдеу инфрақұрылымындағы айырмашылықтар бұған жақсы мысал болып табылады. Ішкі нұсқамыз басқарылатын ағынды өңдеу құрылымын пайдаланғанымен, біз ашық бастапқы нұсқа үшін кірістірілген (оқшау) ағынды өңдеуді пайдалануды таңдадық, себебі ол басқа инфрақұрылымдық тәуелділікті жасамайды.
Айырмашылықтың тағы бір мысалы - бірнеше GMS емес, ашық бастапқы енгізуде бір GMS (жалпыланған метадеректер қоймасы) болуы. GMA (Generalized Metdata Architecture) — DataHub үшін серверлік архитектураның атауы, ал GMS — GMA контекстіндегі метадеректер қоймасы. GMA - бұл әр деректер құрылымын (мысалы, деректер жиыны, пайдаланушылар және т.б.) өзінің метадеректер қоймасына таратуға немесе бірнеше деректер құрылымдарын бір метадеректер қоймасында сақтауға мүмкіндік беретін өте икемді архитектура. GMS жаңартылды. Пайдаланудың қарапайымдылығы үшін біз ашық бастапқы DataHub ішінде барлық әртүрлі деректер құрылымдарын сақтайтын жалғыз GMS данасын таңдадық.
Екі іске асыру арасындағы айырмашылықтардың толық тізімі төмендегі кестеде берілген.
Өнім ерекшеліктері
LinkedIn DataHub
Open Source DataHub
Қолдау көрсетілетін деректер құрылымдары
1) Деректер жиындары 2) Пайдаланушылар 3) Көрсеткіштер 4) ML мүмкіндіктері 5) Диаграммалар 6) Бақылау тақталары
1) Деректер жиыны 2) Пайдаланушылар
Деректер жиындарына арналған қолдау көрсетілетін метадеректер көздері
1) 2) Couchbase 3) 4) 5) HDFS 6) Hive 7) Кафка 8) MongoDB 9) MySQL 10) Oracle 11) 12) Presto 12) 13) Терадата 13) Вектор 14)
Hive Кафка RDBMS
Паб-суб
Біріктірілген Кафка
Ағынды өңдеу
Басқарылатын
Енгізілген (оқусыз)
Тәуелділік инъекциясы және динамикалық конфигурация
LinkedIn ұрпақтары
Құрал-саймандар
Ligradle (LinkedIn ішкі Gradle қаптамасы)
CI / CD
CRT (LinkedIn ішкі CI/CD)
және
Метадеректер дүкендері
Бөлінген бірнеше GMS: 1) Деректер жиыны GMS 2) Пайдаланушы GMS 3) Metric GMS 4) Four GMS 5) Диаграмма/Басқару тақтасы GMS
Бірыңғай GMS үшін: 1) Деректер жиындары 2) Пайдаланушылар
Docker контейнерлеріндегі микросервистер
көмегімен қолданбаны орналастыруды және таратуды жеңілдетеді . DataHub-тағы қызметтің әрбір бөлігі ашық көз болып табылады, соның ішінде Кафка сияқты инфрақұрылымдық құрамдас бөліктер, , и , өзінің Docker кескіні бар. Docker контейнерлерін ұйымдастыру үшін біз қолдандық .
2-сурет: Архитектура DataHub *ашық дереккөз**
Жоғарыдағы суретте DataHub жоғары деңгейлі архитектурасын көре аласыз. Инфрақұрылым құрамдастарынан басқа оның төрт түрлі Docker контейнерлері бар:
datahub-gms: метадеректерді сақтау қызметі
datahub-frontend: қолданба , DataHub интерфейсіне қызмет көрсетеді.
datahub-mce-тұтынушы: қолданба , ол метадеректерді өзгерту оқиғасы (MCE) ағынын қолданып, метадеректер қоймасын жаңартады.
datahub-mae-тұтынушы: қолданба , ол метадеректер аудиті оқиғаларының ағынын (MAE) қолданып, іздеу индексі мен графикалық дерекқорды жасайды.
Ашық бастапқы репозиторий құжаттамасы және әртүрлі қызметтердің функциялары туралы толығырақ ақпаратты қамтиды.
DataHub жүйесіндегі CI/CD ашық бастапқы көзі болып табылады
Ашық бастапқы DataHub репозиторийі пайдаланады үздіксіз интеграция үшін және үздіксіз орналастыру үшін. Екеуінде де жақсы GitHub интеграциясы бар және оларды орнату оңай. Қоғамдастық немесе жеке компаниялар әзірлеген ашық бастапқы инфрақұрылымның көпшілігі үшін (мысалы, ), Docker кескіндері қауымдастық пайдалануына ыңғайлы болу үшін Docker Hub жүйесінде жасалады және орналастырылады. Docker Hub ішінде табылған кез келген Docker кескінін қарапайым пәрменмен оңай пайдалануға болады .
DataHub ашық бастапқы репозиторийіне әрбір міндеттемемен барлық Docker кескіндері автоматты түрде құрастырылады және "соңғы" тегпен Docker Hub жүйесіне орналастырылады. Docker Hub кейбіреулерімен конфигурацияланса , ашық бастапқы репозиторийдегі барлық тегтер Docker Hub жүйесінде сәйкес тег атауларымен бірге шығарылады.
DataHub пайдалану
өте қарапайым және үш қарапайым қадамнан тұрады:
- Ашық бастапқы репозиторийді клондаңыз және жылдам бастау үшін берілген docker-compose сценарийін пайдаланып docker-compose көмегімен барлық Docker контейнерлерін іске қосыңыз.
- Сондай-ақ берілген пәрмен жолы құралын пайдаланып репозиторийде берілген үлгі деректерді жүктеп алыңыз.
- Браузеріңізде DataHub шолыңыз.
Белсенді бақыланады жылдам сұрақтар үшін конфигурацияланған. Сондай-ақ пайдаланушылар мәселелерді тікелей GitHub репозиторийінде жасай алады. Ең бастысы, біз барлық пікірлер мен ұсыныстарды құптаймыз және бағалаймыз!
Болашақ жоспарлары
Қазіргі уақытта ашық бастапқы DataHub үшін әрбір инфрақұрылым немесе микросервис Docker контейнері ретінде құрастырылған және бүкіл жүйені пайдалану арқылы реттеледі. . Танымалдығы мен кең таралуын ескере отырып , біз сондай-ақ жақын болашақта Kubernetes негізіндегі шешімді ұсынғымыз келеді.
Сондай-ақ, біз DataHub қолданбасын жалпыға қолжетімді бұлттық қызметте орналастыруға арналған кілтті шешімді ұсынуды жоспарлап отырмыз, мысалы , немесе . LinkedIn-тің Azure-ге көшуі туралы жақында жарияланған хабарландыруды ескере отырып, бұл метадеректер тобының ішкі басымдықтарына сәйкес келеді.
Соңғысы, бірақ кем дегенде, DataHub альфасын бағалаған және мәселелерді анықтауға және құжаттаманы жақсартуға көмектескен ашық бастапқы қауымдастықта DataHub қолданбасын ерте қолданушыларға рахмет.
Ақпарат көзі: www.habr.com