Qhib Qhov Chaw DataHub: LinkedIn's Metadata Search thiab Discovery Platform
Nrhiav cov ntaub ntawv koj xav tau sai yog qhov tseem ceeb rau txhua lub tuam txhab uas tso siab rau ntau cov ntaub ntawv los txiav txim siab cov ntaub ntawv. Tsis tsuas yog qhov no cuam tshuam rau kev tsim khoom ntawm cov neeg siv cov ntaub ntawv (xws li cov kws tshuaj ntsuam, cov neeg tsim khoom siv tshuab, cov kws tshawb fawb cov ntaub ntawv, thiab cov ntaub ntawv engineers), tab sis nws kuj muaj kev cuam tshuam ncaj qha rau cov khoom kawg uas nyob ntawm kev kawm tshuab zoo (ML) pipeline. Tsis tas li ntawd, qhov sib txawv ntawm kev siv lossis tsim lub tshuab kev kawm platform ib txwm ua rau cov lus nug: dab tsi yog koj txoj hauv kev rau kev tshawb pom sab hauv, qauv, ntsuas, datasets, thiab lwm yam.
Hauv tsab xov xwm no peb yuav tham txog yuav ua li cas peb luam tawm cov ntaub ntawv hauv qab daim ntawv tso cai qhib nyob rau hauv peb cov metadata nrhiav thiab nrhiav tau platform, pib los ntawm cov hnub thaum ntxov ntawm peb tes num . LinkedIn tuav nws tus kheej version ntawm DataHub cais los ntawm qhov qhib version. Peb mam li pib los ntawm kev piav qhia vim li cas peb xav tau ob qhov chaw tsim kho sib cais, tom qab ntawd sib tham txog cov txheej txheem ntxov rau kev siv qhov chaw qhib WhereHows thiab sib piv peb sab hauv (tsim) version ntawm DataHub nrog version ntawm . Peb kuj tseem yuav qhia cov ntsiab lus hais txog peb cov kev daws teeb meem tshiab rau kev thawb thiab tau txais qhov qhib qhov hloov tshiab kom ob qho tib si repositories hauv sync. Thaum kawg, peb mam li muab cov lus qhia yuav ua li cas pib siv qhov qhib DataHub thiab luv luv tham txog nws cov architecture.
Qhov twg tam sim no yog DataHub!
LinkedIn pab pawg metadata yav dhau los tau nthuav tawm (tus ua tiav rau WhereHows), LinkedIn kev tshawb nrhiav thiab metadata nrhiav pom platform, thiab sib koom cov phiaj xwm qhib nws. Tsis ntev tom qab ntawv tshaj tawm no, peb tau tso tawm alpha version ntawm DataHub thiab qhia nws rau cov zej zog. Txij thaum ntawd los, peb tau txuas ntxiv mus rau qhov chaw cia khoom thiab ua haujlwm nrog cov neeg siv txaus siab los ntxiv cov yam ntxwv xav tau tshaj plaws thiab daws teeb meem. Peb tam sim no txaus siab tshaj tawm cov lus tshaj tawm .
Qhib Qhov Chaw Txoj Kev
WhereHows, LinkedIn tus thawj portal rau kev nrhiav cov ntaub ntawv thiab qhov twg nws los ntawm, pib ua ib qhov project sab hauv; pab neeg metadata qhib nws . Txij thaum ntawd los, pab pawg yeej ib txwm khaws ob qhov sib txawv codebases - ib qho rau qhib qhov chaw thiab ib qho rau LinkedIn kev siv sab hauv - raws li tsis yog txhua yam khoom tsim tsim rau LinkedIn siv rooj plaub feem ntau siv tau rau cov neeg tuaj saib dav. Tsis tas li ntawd, WhereHows muaj qee qhov kev vam khom sab hauv (infrastructure, tsev qiv ntawv, thiab lwm yam) uas tsis yog qhib qhov chaw. Nyob rau hauv lub xyoo tom qab, WhereHows mus dhau ntau iterations thiab kev loj hlob cycles, ua kom ob codebases sync ib tug loj kev sib tw. Pab pawg metadata tau sim ntau txoj hauv kev ntau xyoo los sim ua kom muaj kev txhim kho sab hauv thiab qhib qhov sib txuas.
Thawj sim: "Open source ua ntej"
Peb pib ua raws li "qhib qhov chaw ua ntej" tus qauv kev txhim kho, qhov kev loj hlob feem ntau tshwm sim hauv qhov chaw qhib qhov chaw cia thiab hloov pauv rau kev xa tawm sab hauv. Qhov teeb meem nrog txoj hauv kev no yog tias cov cai yeej ib txwm raug thawb mus rau GitHub ua ntej nws tau raug tshuaj xyuas tag nrho sab hauv. Txog thaum cov kev hloov pauv tau tsim los ntawm qhov chaw qhib qhov chaw cia khoom thiab kev xa tawm sab hauv tshiab, peb yuav tsis pom muaj teeb meem ntau lawm. Nyob rau hauv cov ntaub ntawv ntawm kev xa tawm tsis zoo, nws kuj nyuaj heev los txiav txim siab tus neeg ua txhaum vim tias kev hloov pauv tau ua hauv pawg.
Tsis tas li ntawd, tus qauv no txo ββqis pab pawg tsim khoom thaum tsim cov yam ntxwv tshiab uas yuav tsum tau hloov pauv sai, txij li nws tau yuam txhua qhov kev hloov pauv kom raug thawb mus rau hauv qhov chaw qhib qhib thiab tom qab ntawd thawb mus rau qhov chaw cia khoom sab hauv. Txhawm rau txo lub sijhawm ua haujlwm, qhov yuav tsum tau kho lossis hloov pauv tuaj yeem ua tiav hauv qhov chaw cia khoom sab hauv ua ntej, tab sis qhov no tau dhau los ua qhov teeb meem loj thaum nws los koom ua ke cov kev hloov pauv rov qab rau hauv qhov chaw qhib qhov chaw cia vim tias ob lub chaw cia khoom tsis sib xws.
Cov qauv no yooj yim dua rau kev siv rau cov platforms sib koom, cov tsev qiv ntawv, lossis cov phiaj xwm kev tsim kho dua li rau cov ntawv thov kev cai hauv web. Tsis tas li ntawd, tus qauv no zoo tagnrho rau cov haujlwm uas pib qhib qhov chaw txij hnub ib, tab sis WhereHows tau tsim los ua ib daim ntawv thov hauv lub vev xaib tag nrho. Nws yog qhov nyuaj heev kom paub meej tag nrho cov kev cia siab sab hauv, yog li peb yuav tsum khaws cov diav rawg sab hauv, tab sis khaws cov diav rawg sab hauv thiab txhim kho feem ntau qhib qhov chaw tsis ua haujlwm zoo.
Thib ob sim: "Inner first"
** Raws li qhov kev sim thib ob, peb tau tsiv mus rau "tus qauv sab hauv thawj" kev txhim kho, qhov twg feem ntau txoj kev loj hlob tshwm sim hauv tsev thiab hloov pauv mus rau qhov qhib qhov chaws tsis tu ncua. Txawm hais tias tus qauv no zoo tshaj plaws rau peb cov ntaub ntawv siv, nws muaj cov teeb meem tshwm sim. Ncaj nraim thawb txhua qhov sib txawv rau qhov qhib qhov chaw cia khoom thiab tom qab ntawd sim daws cov teeb meem kev sib koom ua ke tom qab yog qhov kev xaiv, tab sis nws yog lub sijhawm siv. Cov neeg tsim khoom feem ntau sim tsis txhob ua qhov no txhua zaus lawv tshuaj xyuas lawv cov cai. Yog li ntawd, qhov no yuav ua tiav tsawg dua, hauv cov khoom siv, thiab yog li ua rau nws nyuaj rau kev daws teeb meem kev sib tshuam tom qab.
Lub sijhawm thib peb nws ua haujlwm!
Ob qhov kev sim ua tsis tiav tau hais los saum toj no ua rau WhereHows GitHub repository tseem tshuav tsis ntev los no. Pab pawg tau txuas ntxiv txhim kho cov khoom lag luam thiab cov qauv tsim, kom cov qauv sab hauv ntawm WhereHows rau LinkedIn tau dhau los ua ntau dua li qhov qhib qhov chaw. Nws txawm muaj lub npe tshiab - DataHub. Raws li kev sim ua tsis tau dhau los, pab pawg tau txiav txim siab los txhim kho qhov kev daws teeb meem, mus sij hawm ntev.
Rau ib qhov tshiab qhib qhov project, LinkedIn pab neeg qhib qhov chaw tawm tswv yim thiab txhawb nqa tus qauv kev txhim kho nyob rau hauv uas qhov project modules tau tsim tag nrho hauv qhov qhib. Versioned artifacts raug xa mus rau lub chaw khaws ntaub ntawv pej xeem thiab tom qab ntawd txheeb xyuas rov qab rau hauv LinkedIn cov khoom siv sab hauv siv . Ua raws li cov qauv kev txhim kho no tsis yog tsuas yog zoo rau cov neeg siv qhib qhov chaw, tab sis kuj ua rau muaj ntau yam qauv, txuas ntxiv, thiab pluggable architecture.
Txawm li cas los xij, daim ntawv thov rov qab zoo li DataHub yuav xav tau lub sijhawm tseem ceeb kom ncav cuag lub xeev no. Qhov no kuj tseem txwv tsis pub muaj peev xwm qhib qhov chaw ua haujlwm ua haujlwm ua ntej tag nrho cov kev vam khom sab hauv tau ua tiav tag nrho. Tias yog vim li cas peb tau tsim cov cuab yeej uas pab peb ua kom qhib qhov kev pab cuam sai dua thiab muaj mob tsawg dua. Qhov kev daws teeb meem no tau txais txiaj ntsig ob leeg pab pawg metadata (DataHub tus tsim tawm) thiab qhib lub zej zog. Cov tshooj hauv qab no yuav tham txog txoj hauv kev tshiab no.
Qhib Qhov Chaw Publishing Automation
Pab pawg Metadata txoj hauv kev tshiab tshaj plaws rau qhov qhib DataHub yog los tsim ib lub cuab yeej uas cia li syncs cov codebase sab hauv thiab qhib qhov chaw cia. Cov yam ntxwv siab ntawm cov cuab yeej no suav nrog:
- Sync LinkedIn code rau / los ntawm qhib qhov chaw, zoo ib yam .
- Daim ntawv tso cai header tiam, zoo ib yam li .
- Yeej tsim qhib qhov chaw cog lus los ntawm kev cog lus sab hauv.
- Tiv thaiv kev hloov pauv sab hauv uas tawg qhib qhov chaw tsim los ntawm .
Cov ntu hauv qab no yuav qhia txog cov haujlwm uas tau hais los saum toj no uas muaj teeb meem nthuav.
Source code synchronization
Tsis zoo li qhov qhib qhov chaw ntawm DataHub, uas yog ib qho chaw cia khoom GitHub, LinkedIn version ntawm DataHub yog kev sib txuas ntawm ntau qhov chaw cia khoom (hu ua sab hauv. ). DataHub interface, metadata qauv tsev qiv ntawv, metadata warehouse backend kev pab cuam, thiab streaming hauj lwm nyob rau hauv cais repositories ntawm LinkedIn. Txawm li cas los xij, txhawm rau ua kom yooj yim rau cov neeg siv qhib, peb muaj ib qho chaw cia rau qhib qhov chaw ntawm DataHub.
Daim duab 1: Synchronization ntawm repositories LinkedIn DataHub thiab ib qho chaw khaws cia DataHub qhib qhov chaw
Txhawm rau txhawb nqa kev tsim, thawb, thiab rub cov haujlwm ua haujlwm, peb lub cuab yeej tshiab cia li tsim cov ntaub ntawv-qib kev sib txuas rau txhua cov ntaub ntawv. Txawm li cas los xij, cov cuab yeej xav tau kev teeb tsa thawj zaug thiab cov neeg siv yuav tsum muab cov phiaj xwm qib siab raws li qhia hauv qab no.
{
"datahub-dao": [
"${datahub-frontend}/datahub-dao"
],
"gms/impl": [
"${dataset-gms}/impl",
"${user-gms}/impl"
],
"metadata-dao": [
"${metadata-models}/metadata-dao"
],
"metadata-builders": [
"${metadata-models}/metadata-builders"
]
}Module-theem daim ntawv qhia yog ib qho yooj yim JSON uas nws cov yuam sij yog lub hom phiaj modules nyob rau hauv qhib qhov chaw repository thiab cov nuj nqis yog cov npe ntawm qhov chaw modules nyob rau hauv LinkedIn repositories. Txhua lub hom phiaj module hauv qhov chaw qhib qhov chaw tuaj yeem raug pub los ntawm txhua tus lej ntawm cov khoom siv. Txhawm rau qhia cov npe sab hauv ntawm cov chaw khaws cia hauv cov khoom siv, siv hauv Bash style. Siv cov ntaub ntawv module-level maps, cov cuab yeej tsim cov ntaub ntawv-level mapping cov ntaub ntawv los ntawm kev txheeb xyuas tag nrho cov ntaub ntawv nyob rau hauv cov ntaub ntawv cuam tshuam.
{
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
"${metadata-models}/metadata-builders/build.gradle": null,
}Cov ntaub ntawv qib kev kos duab tau tsim los ntawm cov cuab yeej; Txawm li cas los xij, nws tuaj yeem hloov kho manually los ntawm tus neeg siv. Qhov no yog 1: 1 daim ntawv qhia ntawm LinkedIn cov ntaub ntawv rau cov ntaub ntawv hauv qhov chaw qhib qhov chaw. Muaj ntau txoj cai cuam tshuam nrog qhov kev tsim cov ntaub ntawv tsis siv neeg no:
- Nyob rau hauv rooj plaub ntawm ntau qhov chaw modules rau ib lub hom phiaj module nyob rau hauv qhib qhov chaw, kev tsis sib haum xeeb yuav tshwm sim, piv txwv li tib yam. , uas twb muaj lawm nyob rau hauv ntau tshaj ib qhov chaw module. Raws li lub tswv yim daws teeb meem tsis sib haum xeeb, peb cov cuab yeej ua raws li "qhov kawg yeej" kev xaiv.
- "null" txhais tau tias cov ntaub ntawv qhov chaw tsis yog ib feem ntawm qhov qhib qhov chaw cia khoom.
- Tom qab txhua qhov qhib qhov xa lossis rho tawm, daim ntawv qhia no tau hloov kho tshiab thiab tsim cov duab snapshot. Qhov no yog qhov tsim nyog los txheeb xyuas qhov ntxiv thiab tshem tawm ntawm qhov chaws txij li qhov ua tiav kawg.
Tsim cov ntawv cog lus
Kev cog lus rau qhib qhov kev cog lus kuj tau txais los ntawm kev sib koom ua ke cov ntawv cog lus ntawm cov chaw cia khoom sab hauv. Hauv qab no yog ib qho piv txwv commit log los qhia cov qauv ntawm kev cog lus cav tsim los ntawm peb lub cuab yeej. Kev cog lus kom meej meej qhia tias cov versions ntawm qhov chaw khaws cia tau ntim rau hauv qhov kev cog lus ntawd thiab muab cov ntsiab lus ntawm cov ntawv cog lus. Tshawb xyuas qhov no siv cov piv txwv tiag tiag ntawm kev cog lus tsim los ntawm peb cov cuab yeej cuab tam.
metadata-models 29.0.0 -> 30.0.0
Added aspect model foo
Fixed issue bar
dataset-gms 2.3.0 -> 2.3.4
Added rest.li API to serve foo aspect
MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0Kev ntsuam xyuas kev vam meej
LinkedIn muaj , uas yuav pab xyuas kom meej tias kev hloov pauv rau ib qho khoom siv sab hauv tsis ua txhaum kev sib sau ua ke ntawm cov khoom sib txawv. Qhov chaw qhib DataHub repository tsis yog ntau yam khoom, thiab nws tsis tuaj yeem yog qhov kev cia siab ncaj qha ntawm txhua yam khoom lag luam, tab sis nrog kev pab los ntawm ntau cov khoom ntim khoom uas nqa tau qhov qhib qhov chaw DataHub qhov chaws, peb tseem tuaj yeem siv qhov kev ntsuas kev vam meej. Yog li, ib qho kev hloov pauv (uas yuav tshwm sim tom qab) rau ib qho ntawm cov khoom lag luam uas pub rau qhib qhov chaw DataHub repository ua rau muaj kev tshwm sim hauv lub plhaub ntau yam khoom. Yog li ntawd, txhua qhov kev hloov pauv uas tsis tsim kom muaj cov khoom siv wrapper ua tsis tau qhov kev sim ua ntej ua cov khoom qub thiab rov qab los.
Qhov no yog ib qho tseem ceeb mechanism uas pab tiv thaiv ib qho kev cog lus sab hauv uas rhuav tshem qhov qhib qhov tsim thiab kuaj pom nws thaum lub sijhawm cog lus. Yog tsis muaj qhov no, nws yuav nyuaj heev los txiav txim siab qhov kev cog lus sab hauv uas ua rau qhib qhov chaw cia khoom ua tsis tiav, vim tias peb hloov pauv sab hauv rau DataHub qhib qhov chaw cia khoom.
Qhov sib txawv ntawm qhov qhib DataHub thiab peb cov khoom tsim tawm
Txog rau tam sim no, peb tau tham txog peb cov kev daws teeb meem rau synchronizing ob versions ntawm DataHub repositories, tab sis peb tseem tsis tau piav qhia txog vim li cas peb xav tau ob txoj kev txhim kho sib txawv hauv thawj qhov chaw. Hauv seem no, peb yuav teev qhov sib txawv ntawm pej xeem version ntawm DataHub thiab cov khoom tsim tawm ntawm LinkedIn servers, thiab piav qhia vim li cas rau qhov sib txawv no.
Ib qho ntawm qhov tsis sib xws yog los ntawm qhov tseeb tias peb cov khoom tsim tawm muaj kev vam khom rau ntawm cov lej uas tseem tsis tau qhib qhov chaw, xws li LinkedIn's Offspring (LinkedIn's internal dependency injection moj khaum). Offspring yog dav siv nyob rau hauv internal codebases vim hais tias nws yog txoj kev nyiam rau kev tswj dynamic configuration. Tab sis nws tsis yog qhib qhov chaw; yog li peb yuav tsum nrhiav qhov chaw qhib lwm txoj hauv kev qhib qhov chaw DataHub.
Tseem muaj lwm yam laj thawj. Raws li peb tsim txuas ntxiv rau cov qauv metadata rau LinkedIn cov kev xav tau, cov kev txuas ntxiv no feem ntau yog tshwj xeeb rau LinkedIn thiab yuav tsis ncaj qha rau lwm qhov chaw. Piv txwv li, peb muaj cov ntawv tshwj xeeb rau cov neeg koom nrog IDs thiab lwm hom kev sib txuam metadata. Yog li, tam sim no peb tau tshem tawm cov kev txuas ntxiv no los ntawm DataHub qhib qhov chaw metadata qauv. Thaum peb koom nrog cov zej zog thiab nkag siab txog lawv cov kev xav tau, peb yuav ua haujlwm ntawm cov kev qhib qhov qhib ntawm cov kev txuas ntxiv no thaum xav tau.
Kev yooj yim ntawm kev siv thiab kev hloov pauv yooj yim rau cov neeg qhib qhov chaw kuj tau tshwm sim qee qhov sib txawv ntawm ob lub versions ntawm DataHub. Qhov sib txawv ntawm cov kwj deg ua vaj tse yog ib qho piv txwv zoo ntawm qhov no. Txawm hais tias peb sab hauv version siv cov txheej txheem kev tswj hwm kwj dej, peb tau xaiv los siv cov txheej txheem tsim (sawv ntsug) kwj rau qhov qhib qhov version vim nws zam kev tsim lwm yam kev cuam tshuam.
Lwm qhov piv txwv ntawm qhov sib txawv yog muaj ib qho GMS (Generalized Metadata Store) hauv qhov qhib qhov kev siv ntau dua li ntau GMSs. GMA (Generalized Metadata Architecture) yog lub npe ntawm lub back-end architecture rau DataHub, thiab GMS yog lub khw muag khoom metadata hauv cov ntsiab lus ntawm GMA. GMA yog qhov hloov pauv tau yooj yim uas tso cai rau koj faib txhua cov ntaub ntawv tsim kho (xws li datasets, cov neeg siv, thiab lwm yam) rau hauv nws lub khw muag khoom metadata, lossis khaws ntau cov ntaub ntawv tsim hauv ib lub khw muag khoom metadata ntev npaum li lub npe muaj cov ntaub ntawv tsim qauv hauv GMS tau hloov kho. Rau kev yooj yim ntawm kev siv, peb xaiv ib qho piv txwv GMS uas khaws tag nrho cov ntaub ntawv sib txawv hauv qhov qhib DataHub.
Daim ntawv teev tag nrho ntawm qhov sib txawv ntawm ob qhov kev siv yog muab rau hauv cov lus hauv qab no.
khoom nta
LinkedIn DataHub
Qhib Qhov Chaw DataHub
Txhawb cov ntaub ntawv tsim
1) Cov ntaub ntawv 2) Cov neeg siv 3) Metrics 4) ML Nta 5) Cov kab kos 6) Dashboards
1) Cov ntaub ntawv 2) Cov neeg siv
Txhawb Metadata Sources rau Datasets
1) 2) Lub rooj zaum 3) 4) 5) HDFS 6) Hive 7) Kafka 8) MongoDB 9) MySQL 10) Oracle 11) 12) Lub kaum hli ntuj 12) 13) Cov ntaub ntawv 13) Vector 14)
Hive Kafka RDBMS
Pub-sub
Confluent Kafka
Kev ua kwj
Managed
Embedded (standalone)
Dependency Txhaj & Dynamic Configuration
LinkedIn Cov me nyuam
Tsim Tooling
Ligradle (LinkedIn's internal Gradle wrapper)
CI / CD
CRT (LinkedIn's internal CI/CD)
thiab
Cov Khw Metadata
Distributed ntau GMS: 1) Dataset GMS 2) Neeg siv GMS 3) Metric GMS 4) Feature GMS 5) Daim duab / Dashboard GMS
Tib GMS rau: 1) Cov Ntaub Ntawv 2) Cov neeg siv
Microservices hauv Docker ntim
simplifies daim ntawv thov deploying thiab faib nrog . Txhua feem ntawm cov kev pabcuam hauv DataHub yog qhib qhov chaw, suav nrog cov khoom siv hauv tsev xws li Kafka, , ΠΈ , muaj nws tus kheej Docker duab. Txhawm rau orchestrate Docker ntim peb siv .
Daim duab 2: Architecture DataHub * qhib qhov chaw **
Koj tuaj yeem pom cov qauv qib siab ntawm DataHub hauv daim duab saum toj no. Dhau li ntawm cov khoom siv hauv tsev, nws muaj plaub qhov sib txawv Docker ntim:
datahub-gms: metadata kev pabcuam
datahub-frontend: daim ntawv thov , ua haujlwm rau DataHub interface.
datahub-mce-consumer: daim ntawv thov , uas siv cov xwm txheej hloov pauv metadata (MCE) kwj thiab hloov kho cov khw muag khoom metadata.
datahub-mae-consumer: daim ntawv thov , uas siv metadata audit event kwj (MAE) thiab tsim ib qho kev tshawb fawb index thiab graph database.
Qhib cov ntaub ntawv repository thiab muaj cov ncauj lus kom ntxaws ntxiv txog kev ua haujlwm ntawm ntau yam kev pabcuam.
CI/CD ntawm DataHub yog qhib qhov chaw
Qhib qhov chaw DataHub repository siv rau kev koom ua ke tsis tu ncua thiab rau kev xa mus tas li. Ob leeg muaj kev sib koom ua ke zoo GitHub thiab yooj yim rau kev teeb tsa. Rau feem ntau qhib qhov chaw tsim kho los ntawm zej zog lossis cov tuam txhab ntiag tug (piv txwv li. ), Docker dluab yog tsim thiab xa mus rau Docker Hub kom yooj yim siv los ntawm zej zog. Txhua daim duab Docker pom hauv Docker Hub tuaj yeem siv tau yooj yim nrog cov lus txib yooj yim .
Nrog rau txhua qhov kev cog lus rau DataHub qhib qhov chaw cia khoom, tag nrho cov duab Docker tau txais kev tsim thiab xa mus rau Docker Hub nrog rau "kawg" tag. Yog tias Docker Hub tau teeb tsa nrog qee qhov , tag nrho cov cim npe hauv qhov chaw cia khoom qhib kuj raug tso tawm nrog cov npe sib xws hauv Docker Hub.
Siv DataHub
yog qhov yooj yim heev thiab muaj peb kauj ruam yooj yim:
- Clone qhov qhib qhov chaw cia thiab khiav tag nrho Docker ntim nrog docker-compose siv cov ntawv muab docker-compose rau kev pib sai.
- Rub tawm cov qauv ntaub ntawv muab rau hauv qhov chaw cia khoom siv cov cuab yeej hais kom ua kab uas kuj tau muab.
- Xauj DataHub hauv koj tus browser.
Nquag Taug Kev kuj configured rau cov lus nug ceev. Cov neeg siv kuj tuaj yeem tsim teeb meem ncaj qha hauv GitHub repository. Qhov tseem ceeb tshaj plaws, peb txais tos thiab txaus siab rau txhua qhov kev tawm tswv yim thiab cov lus qhia!
Cov tswv yim rau yav tom ntej
Tam sim no, txhua qhov kev tsim kho vaj tse lossis microservice rau qhib qhov chaw DataHub yog tsim los ua Docker thawv, thiab tag nrho cov kab ke yog orchestrated siv . Muab qhov muaj koob meej thiab dav , peb kuj xav muab Kubernetes raws li kev daws teeb meem yav tom ntej.
Peb kuj npaj yuav muab cov kev daws teeb meem rau kev xa tawm DataHub ntawm kev pabcuam huab huab xws li , los yog . Muab cov lus tshaj tawm tsis ntev los no ntawm LinkedIn txoj kev tsiv teb tsaws chaw mus rau Azure, qhov no yuav ua raws li pawg neeg metadata qhov tseem ceeb sab hauv.
Qhov kawg tab sis tsis kawg, ua tsaug rau txhua tus neeg siv khoom thaum ntxov ntawm DataHub hauv cov zej zog qhib uas tau ntsuas DataHub alphas thiab pab peb txheeb xyuas cov teeb meem thiab txhim kho cov ntaub ntawv.
Tau qhov twg los: www.hab.com