Open Source DataHub: Ang Metadata Search and Discovery Platform sa LinkedIn
Ang pagpangita sa datos nga imong gikinahanglan sa madali hinungdanon alang sa bisan unsang kompanya nga nagsalig sa daghang mga datos aron makahimo mga desisyon nga gipadagan sa datos. Dili lamang kini nakaapekto sa pagka-produktibo sa mga tiggamit sa datos (lakip ang mga analista, mga developer sa pagkat-on sa makina, mga siyentipiko sa datos, ug mga inhenyero sa datos), apan kini adunay direkta nga epekto sa mga produkto sa katapusan nga nagsalig sa usa ka kalidad nga pipeline sa pagkat-on sa makina (ML). Dugang pa, ang uso sa pag-implementar o paghimo sa mga platform sa pagkat-on sa makina natural nga nagpatunghag pangutana: unsa ang imong pamaagi alang sa internal nga pagdiskubre sa mga bahin, modelo, sukatan, mga datos, ug uban pa.
Niini nga artikulo maghisgot kami kung giunsa namon gipatik ang usa ka gigikanan sa datos sa ilawom sa usa ka bukas nga lisensya sa among metadata search and discovery platform, sugod sa unang mga adlaw sa proyekto . Ang LinkedIn nagmintinar sa kaugalingon nga bersyon sa DataHub nga gilain gikan sa open source nga bersyon. Magsugod kami pinaagi sa pagpatin-aw kung ngano nga kinahanglan namon ang duha nga magkalainlain nga mga palibot sa pag-uswag, dayon hisguti ang sayo nga mga pamaagi sa paggamit sa open source WhereHows ug itandi ang among internal (produksyon) nga bersyon sa DataHub sa bersyon sa . Ipaambit usab namo ang mga detalye bahin sa among bag-ong automated nga solusyon alang sa pagduso ug pagdawat sa open source updates aron mapadayon ang duha ka repositoryo nga magkadungan. Sa katapusan, maghatag kami mga panudlo kung giunsa pagsugod ang paggamit sa bukas nga gigikanan nga DataHub ug hisgutan sa kadali ang arkitektura niini.
WhereHows kay usa na ka DataHub!
Ang metadata team sa LinkedIn kaniadto gipresentar (kapuli sa WhereHows), ang pagpangita ug metadata nga plataporma sa pagdiskobre sa LinkedIn, ug gipaambit nga mga plano sa pag-abli niini. Wala madugay pagkahuman niini nga pahibalo, nagpagawas kami usa ka alpha nga bersyon sa DataHub ug gipaambit kini sa komunidad. Sukad niadto, padayon kami nga nag-amot sa repositoryo ug nagtrabaho kauban ang mga interesado nga tiggamit aron idugang ang labing gihangyo nga mga bahin ug pagsulbad sa mga problema. Nalipay kami karon nga ipahibalo ang opisyal nga pagpagawas .
Open Source nga mga Pamaagi
WhereHows, ang orihinal nga portal sa LinkedIn alang sa pagpangita sa datos ug diin kini gikan, nagsugod isip internal nga proyekto; giablihan kini sa metadata team . Sukad niadto, ang team kanunay nga nagmintinar sa duha ka lain-laing mga codebase-usa alang sa bukas nga tinubdan ug usa alang sa LinkedIn's internal nga paggamit-tungod kay dili tanan nga mga bahin sa produkto nga gihimo alang sa LinkedIn nga mga kaso sa paggamit sa kasagaran magamit sa mas lapad nga mamiminaw. Dugang pa, ang WhereHows adunay pipila ka mga internal nga dependency (imprastraktura, mga librarya, ug uban pa) nga dili bukas nga gigikanan. Sa misunod nga mga tuig, WhereHows miagi sa daghang mga pag-uli ug mga siklo sa pag-uswag, nga naghimo sa pagpadayon sa duha nga mga codebase nga nag-sync nga usa ka dako nga hagit. Gisulayan sa metadata team ang lainlaing mga pamaagi sa daghang mga tuig aron mapadayon ang pag-sync sa internal ug bukas nga gigikanan nga pag-uswag.
Unang pagsulay: "Open source una"
Sa sinugdanan misunod kami sa usa ka "open source first" development model, diin ang kadaghanang development mahitabo sa open source repository ug ang mga kausaban gihimo para sa internal deployment. Ang problema sa kini nga pamaagi mao nga ang code kanunay nga giduso sa GitHub una sa wala pa kini hingpit nga gisusi sa sulod. Hangtud nga gihimo ang mga pagbag-o gikan sa bukas nga gigikanan nga repository ug usa ka bag-ong internal nga pag-deploy ang gihimo, wala kami makit-an nga mga isyu sa produksiyon. Sa kaso sa dili maayo nga pagpadala, lisud usab ang pagtino sa hinungdan tungod kay ang mga pagbag-o gihimo sa mga batch.
Dugang pa, kini nga modelo nagpamenos sa produktibidad sa team sa dihang nag-develop og mga bag-ong feature nga nanginahanglan og paspas nga mga pag-uli, tungod kay gipugos niini ang tanan nga mga pagbag-o nga iduso una ngadto sa usa ka open source nga repository ug dayon giduso ngadto sa usa ka internal nga repository. Aron makunhuran ang oras sa pagproseso, ang gikinahanglan nga pag-ayo o pagbag-o mahimo una sa internal nga repositoryo, apan nahimo kini nga usa ka dako nga problema sa pag-abut sa paghiusa sa mga pagbag-o balik sa bukas nga gigikanan nga repository tungod kay ang duha nga mga repositoryo walaβy pag-sync.
Kini nga modelo labi ka dali nga ipatuman alang sa gipaambit nga mga plataporma, librarya, o mga proyekto sa imprastraktura kaysa sa hingpit nga gipakita nga naandan nga mga aplikasyon sa web. Dugang pa, kini nga modelo maayo alang sa mga proyekto nga nagsugod sa bukas nga gigikanan gikan sa usa ka adlaw, apan WhereHows gitukod ingon usa ka hingpit nga internal nga aplikasyon sa web. Lisud kaayo ang hingpit nga pag-absorb sa tanan nga mga internal nga dependency, mao nga kinahanglan namon nga itago ang internal nga tinidor, apan ang pagpadayon sa internal nga tinidor ug ang pag-uswag sa kadaghanan nga bukas nga gigikanan dili gyud molihok.
Ikaduha nga pagsulay: "Una sa sulod"
**Isip ikaduha nga pagsulay, mibalhin kami sa usa ka "internal nga una" nga modelo sa pag-uswag, diin ang kadaghanan sa pag-uswag mahitabo sa balay ug ang mga pagbag-o gihimo sa bukas nga gigikanan nga code sa kanunay. Bisan kung kini nga modelo labing angay alang sa among kaso sa paggamit, adunay kini nga mga problema. Ang direkta nga pagduso sa tanan nga mga kalainan sa open source repository ug unya pagsulay sa pagsulbad sa mga panagbangi sa ulahi usa ka kapilian, apan kini nag-usik sa oras. Ang mga nag-develop sa kadaghanan nga mga kaso naningkamot nga dili kini buhaton sa matag higayon nga ilang susihon ang ilang code. Ingon usa ka sangputanan, kini himuon nga dili kaayo kanunay, sa mga batch, ug sa ingon labi ka lisud ang pagsulbad sa mga panagbangi sa ulahi.
Sa ikatulo nga higayon kini nagtrabaho!
Ang duha ka napakyas nga pagsulay nga gihisgutan sa ibabaw miresulta sa WhereHows GitHub repository nga nagpabilin nga wala sa petsa sa dugay nga panahon. Ang team nagpadayon sa pagpalambo sa mga bahin ug arkitektura sa produkto, aron ang internal nga bersyon sa WhereHows para sa LinkedIn nahimong mas abante kaysa sa open source nga bersyon. Adunay pa kini bag-ong ngalan - DataHub. Base sa nangaging napakyas nga mga pagsulay, ang team nakahukom sa paghimo og usa ka scalable, long-term nga solusyon.
Alang sa bisan unsang bag-ong open source nga proyekto, ang grupo sa open source sa LinkedIn nagtambag ug nagsuporta sa usa ka modelo sa pag-uswag diin ang mga module sa proyekto hingpit nga gihimo sa bukas nga gigikanan. Ang mga bersyon nga artifact kay gipakatap sa usa ka publiko nga repository ug unya gisusi balik sa usa ka internal nga artifact sa LinkedIn nga gigamit . Ang pagsunod sa kini nga modelo sa pag-uswag dili lamang maayo alang sa mga naggamit sa open source, apan nagresulta usab sa usa ka mas modular, extensible, ug pluggable nga arkitektura.
Bisan pa, ang usa ka hamtong nga aplikasyon sa back-end sama sa DataHub nanginahanglan daghang oras aron maabot kini nga estado. Gipugngan usab niini ang posibilidad sa bukas nga pagpangita sa usa ka hingpit nga pagtrabaho nga pagpatuman sa wala pa ang tanan nga mga internal nga dependency hingpit nga makuha. Mao nga nakahimo kami og mga himan nga makatabang kanamo sa paghimo sa open source nga mga kontribusyon nga mas paspas ug uban ang dili kaayo kasakit. Kini nga solusyon nakabenepisyo sa metadata team (DataHub developer) ug sa open source nga komunidad. Ang mosunod nga mga seksyon maghisgot niining bag-ong paagi.
Open Source Publishing Automation
Ang pinakabag-o nga pamaagi sa Metadata team sa open source DataHub mao ang paghimo og himan nga awtomatik nga nag-sync sa internal codebase ug sa open source nga repository. Ang taas nga lebel nga mga bahin sa kini nga toolkit naglakip sa:
- I-sync ang LinkedIn code ngadto/gikan sa open source, susama .
- License header generation, susama sa .
- Awtomatikong makamugna og open source commit logs gikan sa internal commit logs.
- Paglikay sa internal nga mga pagbag-o nga makaguba sa open source builds pinaagi sa .
Ang mosunud nga mga subseksyon magsusi sa nahisgutan nga mga gimbuhaton nga adunay makapaikag nga mga problema.
Pag-synchronize sa source code
Dili sama sa open source nga bersyon sa DataHub, nga usa ka GitHub repository, ang LinkedIn nga bersyon sa DataHub usa ka kombinasyon sa daghang mga repository (gitawag nga internally). ). Ang DataHub interface, metadata model library, metadata warehouse backend nga serbisyo, ug streaming nga mga trabaho nagpuyo sa lain nga mga repository sa LinkedIn. Bisan pa, aron mas sayon ββββalang sa mga tiggamit sa open source, aduna kami usa ka repository alang sa open source nga bersyon sa DataHub.
Figure 1: Pag-synchronize tali sa mga repositoryo LinkedIn DataHub ug usa ka repositoryo DataHub bukas nga gigikanan
Aron suportahan ang automated nga pagtukod, pagduso, ug pagbitad sa mga workflow, ang among bag-ong himan awtomatik nga maghimo ug file-level mapping nga katumbas sa matag source file. Bisan pa, ang toolkit nanginahanglan inisyal nga pag-configure ug ang mga tiggamit kinahanglan maghatag usa ka taas nga lebel nga module mapping sama sa gipakita sa ubos.
{
"datahub-dao": [
"${datahub-frontend}/datahub-dao"
],
"gms/impl": [
"${dataset-gms}/impl",
"${user-gms}/impl"
],
"metadata-dao": [
"${metadata-models}/metadata-dao"
],
"metadata-builders": [
"${metadata-models}/metadata-builders"
]
}Ang module-level mapping usa ka yano nga JSON kansang mga yawe mao ang target modules sa open source repository ug ang values ββmao ang listahan sa source modules sa LinkedIn repository. Ang bisan unsang target nga module sa usa ka open source nga repository mahimong ipakaon sa bisan unsang gidaghanon sa source modules. Aron ipakita ang mga internal nga ngalan sa mga repository sa source modules, gamita sa estilo sa Bash. Gamit ang usa ka module-level mapping file, ang mga himan makahimo og file-level mapping file pinaagi sa pag-scan sa tanang mga file sa mga kaubang direktoryo.
{
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
"${metadata-models}/metadata-builders/build.gradle": null,
}Ang file level mapping awtomatik nga gihimo sa mga himan; bisan pa, mahimo usab kini nga mano-mano nga ma-update sa tiggamit. Kini usa ka 1:1 nga pagmapa sa usa ka LinkedIn source file sa usa ka file sa open source repository. Adunay ubay-ubay nga mga lagda nga nalangkit niining awtomatik nga paghimo sa mga asosasyon sa file:
- Sa kaso sa daghang mga source modules alang sa usa ka target module sa open source, ang mga panagbangi mahimong motumaw, e.g. , anaa sa labaw sa usa ka source module. Isip usa ka estratehiya sa pagsulbad sa panagbangi, ang among mga galamiton nag-default sa opsyon nga "katapusan nga daog".
- Ang "null" nagpasabot nga ang source file dili bahin sa open source repository.
- Human sa matag open source submission o extraction, kini nga mapping awtomatik nga gi-update ug usa ka snapshot ang gihimo. Gikinahanglan kini aron mahibal-an ang mga pagdugang ug pagtangtang gikan sa source code sukad sa katapusang aksyon.
Paghimo commit logs
Ang mga commit logs alang sa open source commits awtomatiko usab nga namugna pinaagi sa paghiusa sa commit logs sa internal nga mga repositoryo. Sa ubos usa ka sampol nga commit log aron ipakita ang istruktura sa commit log nga gihimo sa among himan. Ang usa ka commit tin-aw nga nagpakita kung unsang mga bersyon sa gigikanan nga mga repository ang giputos sa kana nga commit ug naghatag usa ka summary sa commit log. Susiha kini nga usa gamit ang tinuod nga pananglitan sa usa ka commit log nga gihimo sa among toolkit.
metadata-models 29.0.0 -> 30.0.0
Added aspect model foo
Fixed issue bar
dataset-gms 2.3.0 -> 2.3.4
Added rest.li API to serve foo aspect
MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0Pagsulay sa pagsalig
LinkedIn adunay , nga makatabang sa pagsiguro nga ang mga pagbag-o sa usa ka internal nga multiprodukto dili makaguba sa asembliya sa nagsalig nga daghang produkto. Ang open source DataHub repository dili multi-product, ug dili kini mahimong direktang dependency sa bisan unsang multi-product, pero sa tabang sa multi-product wrapper nga nagkuha sa open source DataHub source code, mahimo gihapon nato kining gamiton nga dependency testing. Busa, ang bisan unsang pagbag-o (nga mahimong ma-expose sa ulahi) sa bisan unsang daghang produkto nga nagpakaon sa bukas nga gigikanan nga tipiganan sa DataHub magpahinabog usa ka panghitabo sa pagtukod sa daghang produkto sa shell. Busa, ang bisan unsang pagbag-o nga napakyas sa paghimo sa usa ka produkto sa wrapper napakyas sa mga pagsulay sa wala pa i-commit ang orihinal nga produkto ug gibalik.
Kini usa ka mapuslanon nga mekanismo nga makatabang sa pagpugong sa bisan unsang internal nga pasalig nga makaguba sa open source nga pagtukod ug makamatikod niini sa oras sa pag-commit. Kung wala kini, lisud kaayo ang pagtino kung unsang internal commit ang hinungdan nga napakyas ang pagtukod sa open source repository, tungod kay nag-batch kami sa mga internal nga pagbag-o sa DataHub open source repository.
Mga kalainan tali sa open source DataHub ug sa among production version
Hangtud niini nga punto, among nahisgutan ang among solusyon alang sa pag-synchronize sa duha ka bersyon sa DataHub repository, apan wala gihapon namo gilatid ang mga rason nganong nagkinahanglan kami og duha ka lain-laing development stream sa unang dapit. Niini nga seksyon, among ilista ang mga kalainan tali sa publiko nga bersyon sa DataHub ug ang produksiyon nga bersyon sa mga server sa LinkedIn, ug ipasabut ang mga hinungdan niini nga mga kalainan.
Usa ka tinubdan sa kalainan naggikan sa kamatuoran nga ang atong produksiyon nga bersyon adunay mga dependency sa code nga dili pa bukas nga tinubdan, sama sa LinkedIn's Offspring (LinkedIn's internal dependency injection framework). Ang mga kaliwat kay kaylap nga gigamit sa internal nga mga codebase tungod kay kini ang gipalabi nga pamaagi sa pagdumala sa dinamikong configuration. Apan dili kini open source; mao nga kinahanglan namong mangita ug open source nga alternatibo sa open source DataHub.
Adunay ubang mga rason usab. Samtang nagmugna kami og mga extension sa metadata nga modelo alang sa mga panginahanglanon sa LinkedIn, kini nga mga extension kasagarang espesipiko kaayo sa LinkedIn ug mahimong dili direktang magamit sa ubang mga palibot. Pananglitan, kami adunay espesipiko kaayo nga mga label alang sa mga partisipante nga ID ug uban pang matang sa pagpares nga metadata. Busa, wala na namo iapil kini nga mga extension gikan sa open source metadata model sa DataHub. Samtang nakig-uban kami sa komunidad ug nakasabut sa ilang mga panginahanglanon, magtrabaho kami sa mga sagad nga open source nga bersyon sa kini nga mga extension kung gikinahanglan.
Ang kasayon ββsa paggamit ug mas sayon ββnga pagpahiangay alang sa open source nga komunidad nakadasig usab sa pipila sa mga kalainan tali sa duha ka bersyon sa DataHub. Ang mga kalainan sa imprastraktura sa pagproseso sa sapa usa ka maayong pananglitan niini. Bisan kung ang among internal nga bersyon naggamit sa usa ka gidumala nga balangkas sa pagproseso sa sapa, gipili namon nga gamiton ang built-in (standalone) nga pagproseso sa sapa alang sa open source nga bersyon tungod kay kini naglikay sa paghimo og lain nga pagsalig sa imprastraktura.
Ang laing pananglitan sa kalainan mao ang pagbaton ug usa ka GMS (Generalized Metadata Store) sa usa ka open source nga pagpatuman kay sa daghang GMS. Ang GMA (Generalized Metadata Architecture) mao ang ngalan sa back-end nga arkitektura para sa DataHub, ug ang GMS mao ang metadata store sa konteksto sa GMA. Ang GMA usa ka flexible kaayo nga arkitektura nga nagtugot kanimo sa pag-apod-apod sa matag data construct (e.g. datasets, users, etc.) ngadto sa kaugalingon nga metadata store, o magtipig og daghang mga data constructs sa usa ka metadata store basta ang registry adunay sulod nga data structure mapping sa Gi-update ang GMS. Alang sa kasayon ββsa paggamit, mipili kami ug usa ka instance sa GMS nga nagtipig sa tanang lain-laing mga konstruksyon sa datos sa open source nga DataHub.
Ang usa ka kompleto nga lista sa mga kalainan tali sa duha nga mga pagpatuman gihatag sa lamesa sa ubos.
Features Product
LinkedIn DataHub
Open Source DataHub
Gisuportahan nga Data Constructs
1) Mga Dataset 2) Mga Gumagamit 3) Mga Sukatan 4) Mga Feature sa ML 5) Mga Tsart 6) Mga Dashboard
1) Mga Dataset 2) Mga Gumagamit
Gisuportahan nga Mga Tinubdan sa Metadata alang sa Mga Dataset
1) 2) Couchbase 3) 4) 5) HDFS 6) Hive 7) Kafka 8) MongoDB 9) MySQL 10) Oracle 11) 12) Presto 12) 13) Teradata 13) Vector 14)
Hive Kafka RDBMS
Pub-sub
Konfluen Kafka
Pagproseso sa sapa
Madumala
Naka-embed (nag-inusara)
Dependency Injection ug Dynamic Configuration
LinkedIn nga Kaliwat
Paghimo Tooling
Ligradle (Internal nga Gradle wrapper sa LinkedIn)
CI / CD
CRT (Internal nga CI/CD sa LinkedIn)
ug
Mga Tindahan sa Metadata
Gipanagtag daghang GMS: 1) Dataset GMS 2) User GMS 3) Metric GMS 4) Feature GMS 5) Chart/Dashboard GMS
Usa ka GMS para sa: 1) Mga Dataset 2) Mga Gumagamit
Microservices sa mga sudlanan sa Docker
gipasimple ang pag-deploy ug pag-apod-apod sa aplikasyon gamit ang . Ang matag bahin sa serbisyo sa DataHub bukas nga gigikanan, lakip ang mga sangkap sa imprastraktura sama sa Kafka, , ΠΈ , adunay kaugalingon nga imahe sa Docker. Aron ma-orkestrate ang mga sudlanan sa Docker nga among gigamit .
Hulagway 2: Arkitektura DataHub *open source**
Imong makita ang taas nga lebel nga arkitektura sa DataHub sa hulagway sa ibabaw. Gawas sa mga sangkap sa imprastraktura, kini adunay upat nga lainlaing mga sulud sa Docker:
datahub-gms: serbisyo sa pagtipig sa metadata
datahub-frontend: aplikasyon , nagserbisyo sa interface sa DataHub.
datahub-mce-consumer: aplikasyon , nga naggamit sa metadata change event (MCE) stream ug nag-update sa metadata store.
datahub-mae-consumer: aplikasyon , nga naggamit ug metadata audit event stream (MAE) ug nagmugna og search index ug graph database.
Open source repository documentation ug Naglangkob sa mas detalyado nga kasayuran bahin sa mga gimbuhaton sa lainlaing mga serbisyo.
Ang CI/CD sa DataHub kay open source
Ang open source nga DataHub repository naggamit alang sa padayon nga paghiusa ug alang sa padayon nga pag-deploy. Ang duha adunay maayo nga GitHub integration ug sayon ββnga i-set up. Alang sa kadaghanan sa open source nga imprastraktura nga gihimo sa komunidad o pribadong mga kompanya (eg. ), Ang mga imahe sa Docker gihimo ug gi-deploy sa Docker Hub alang sa kadali sa paggamit sa komunidad. Ang bisan unsang imahe sa Docker nga makit-an sa Docker Hub dali nga magamit sa usa ka yano nga mando .
Sa matag pasalig sa DataHub open source repository, ang tanan nga mga imahe sa Docker awtomatik nga gitukod ug gi-deploy sa Docker Hub nga adunay "kabag-o" nga tag. Kung ang Docker Hub gi-configure sa pipila , ang tanan nga mga tag sa open source repository gipagawas usab nga adunay katugbang nga mga ngalan sa tag sa Docker Hub.
Paggamit sa DataHub
yano kaayo ug naglangkob sa tulo ka yano nga mga lakang:
- I-clone ang open source repository ug padagana ang tanang Docker containers nga adunay docker-compose gamit ang gihatag nga docker-compose script para sa dali nga pagsugod.
- I-download ang sample data nga gihatag sa repository gamit ang command line tool nga gihatag usab.
- Pag-browse sa DataHub sa imong browser.
Aktibo nga Gisubay gi-configure usab alang sa dali nga mga pangutana. Ang mga tiggamit makahimo usab og mga isyu direkta sa GitHub repository. Labing hinungdanon, among gidawat ug gipasalamatan ang tanan nga feedback ug mga sugyot!
Mga plano alang sa umaabot
Sa pagkakaron, ang matag imprastraktura o microservice alang sa open source nga DataHub gitukod isip usa ka sudlanan sa Docker, ug ang tibuok sistema gi-orkestra gamit ang . Tungod sa pagkapopular ug kaylap , gusto usab namon nga maghatag usa ka solusyon nga nakabase sa Kubernetes sa umaabot nga umaabot.
Nagplano usab kami nga maghatag usa ka solusyon sa turnkey alang sa pag-deploy sa DataHub sa usa ka serbisyo sa publiko nga panganod sama sa , o . Gihatag ang bag-o nga pahibalo sa paglalin sa LinkedIn sa Azure, ipahiangay kini sa mga prayoridad sa sulud sa metadata team.
Katapusan apan dili labing gamay, salamat sa tanan nga unang nagsagop sa DataHub sa open source nga komunidad nga nag-rate sa DataHub alphas ug mitabang kanamo sa pag-ila sa mga isyu ug pagpalambo sa dokumentasyon.
Source: www.habr.com