Open Source DataHub: LinkedIn's Metadata Search and Discovery Platform
Ko te rapu tere i nga raraunga e hiahia ana koe he mea nui mo tetahi kamupene e whakawhirinaki ana ki te nui o nga raraunga ki te whakatau i nga whakatau a te raraunga. Ehara i te mea ko tenei ka pa ki te hua o nga kaiwhakamahi raraunga (tae atu ki nga kaitätari, nga kaiwhakawhanake ako miihini, nga kaiputaiao raraunga, me nga miihini raraunga), engari he paanga tika ano ki nga hua mutunga e whakawhirinaki ana ki te paipa ako miihini (ML). I tua atu, ko te ahua ki te whakatinana, ki te hanga ranei i nga papaa ako miihini ka ara ake te patai: he aha to tikanga mo te rapu i roto i nga ahuatanga, tauira, inenga, huingararaunga, aha atu.
I roto i tenei tuhinga ka korero tatou mo te whakaputa i tetahi puna raraunga i raro i te raihana tuwhera i roto i ta maatau papaanga rapu me te rapunga metadata, timata mai i nga ra tuatahi o te kaupapa . Kei te pupuri a LinkedIn i tana ake putanga o DataHub motuhake mai i te putanga puna tuwhera. Ka timata tatou ma te whakamarama he aha e hiahia ana kia rua nga taiao whanaketanga motuhake, katahi ka matapaki i nga huarahi moata ki te whakamahi i te puna tuwhera WhereHows me te whakataurite i ta maatau putanga o roto (whakaputa) o DataHub me te putanga kei runga. . Ka tohatohahia ano e matou nga korero mo ta matou otinga aunoa hou mo te pana me te whiwhi whakahōu puna tuwhera kia noho tahi ai nga putunga e rua. Ka mutu, ka tukuna he tohutohu me pehea te tiimata ki te whakamahi i te puna tuwhera DataHub me te korero poto mo tona hoahoanga.
Ko WhereHows inaianei he DataHub!
Ko te roopu metadata a LinkedIn i whakaatuhia i mua (he kai-riiwhi ki WhereHows), te papaa rapu rapu me nga metadata a LinkedIn, me nga mahere tiritahi ki te whakatuwhera. I muri tata mai i tenei panui, i tukuna e matou he momo alpha o DataHub ka tohatoha ki te hapori. Mai i tera wa, kua koha tonu matou ki te putunga me te mahi tahi me nga kaiwhakamahi hiahia ki te taapiri i nga ahuatanga tino tono me te whakaoti rapanga. Kei te koa matou inaianei ki te whakapuaki i te tukunga mana .
Nga Huarahi Puna Tuwhera
WhereHows, te tomokanga taketake a LinkedIn mo te rapu raraunga me te wahi i ahu mai ai, i timata hei kaupapa o roto; i whakatuwheratia e te roopu metadata . Mai i tera wa, e rua tonu nga turanga waehere rereke e mau tonu ana te roopu—kotahi mo te puna tuwhera me tetahi mo te whakamahi o roto o LinkedIn—na te mea kaore nga ahuatanga hua katoa i whakawhanakehia mo nga keehi whakamahi LinkedIn i te nuinga o te waa e pa ana ki te hunga whakarongo whanui. I tua atu, Kei heaHows etahi o nga whakawhirinakitanga o roto (hanganga, whare pukapuka, me etahi atu) ehara i te puna tuwhera. I nga tau i muri mai, he maha nga huringa me nga huringa whanaketanga i haere a WhereHows, he wero nui te pupuri i nga turanga waehere e rua. Kua whakamatauhia e te roopu metadata etahi huarahi rereke i roto i nga tau ki te ngana ki te pupuri i te whanaketanga o roto me te tuwhera puna ki te tukutahi.
Ngana tuatahi: "Tuwhera puna tuatahi"
I te tuatahi i whai matou i tetahi tauira whanaketanga "puna tuatahi", kei reira te nuinga o nga whanaketanga ka puta i roto i te putunga puna tuwhera me nga huringa ka mahia mo te whakaurunga o roto. Ko te raruraru o tenei huarahi ka panaia te waehere ki GitHub i te tuatahi i mua i te arotakenga o roto. Kia puta ra ano nga huringa mai i te putunga puna tuwhera me te whakatakotoranga hou o roto, kare e kitea he take whakaputa. Mena he ngoikore te whakatakotoranga, he tino uaua ki te whakatau i te tangata hara na te mea i puta nga huringa i roto i nga roopu.
I tua atu, i whakaitihia e tenei tauira te hua o te roopu i te wa e whakawhanake ana i nga ahuatanga hou e hiahia ana kia tere haere, na te mea i akiakihia nga huringa katoa kia pana tuatahi ki roto i te putunga puna tuwhera, katahi ka panaia ki tetahi putunga o roto. Hei whakaiti i te wa tukatuka, ka taea te whakatika me te whakarereke i te tuatahi i roto i te putunga o roto, engari he raru nui tenei ina tae mai ki te whakakotahi i aua huringa ki roto i te putunga puna tuwhera na te mea kua kore nga putunga e rua i te tukutahi.
He maamaa ake tenei tauira ki te whakatinana mo nga papaahoa tiritiri, whare pukapuka, kaupapa hangahanga ranei mo nga tono tukutuku ritenga. I tua atu, he pai tenei tauira mo nga kaupapa ka timata i te puna tuwhera mai i te ra tuatahi, engari i hangaia a WhereHows hei tono tukutuku o roto katoa. He tino uaua ki te wetewete katoa i nga herenga o roto katoa, no reira me mau tonu te marau o roto, engari ko te pupuri i te marau o roto me te whakawhanake i te nuinga o te puna tuwhera kaore i tino pai.
Ngana tuarua: "I roto tuatahi"
** Hei nganatanga tuarua, i neke matou ki tetahi tauira whanaketanga "a-roto tuatahi", kei reira te nuinga o nga whanaketanga ka puta i roto i te whare, ka whakarereketia te waehere puna tuwhera i ia wa. Ahakoa he pai rawa atu tenei tauira mo ta tatou keehi whakamahi, he raru kei roto. Ko te pana tika i nga rereketanga katoa ki te putunga puna tuwhera katahi ka ngana ki te whakatau i nga papā hanumi a muri ake nei he whiringa, engari ka pau te waa. Ko nga kaiwhakawhanake i te nuinga o nga keehi ka ngana kia kaua e mahi i nga wa katoa ka arotakehia e ratou to raatau waehere. Ko te mutunga mai, ka iti ake te mahi, i roto i nga roopu, na reira ka uaua ake te whakatau i nga raruraru hanumi a muri ake nei.
Ko te tuatoru o nga wa ka whai hua!
Ko nga nganatanga e rua i rahua i whakahuahia i runga ake nei, ka mutu te waahi o WhereHows GitHub mo te wa roa. I haere tonu te kapa ki te whakapai ake i nga ahuatanga me te hoahoanga o te hua, kia pai ake ai te ahua o roto o WhereHows mo LinkedIn i te putanga puna tuwhera. He ingoa hou ano - DataHub. I runga i nga nganatanga o mua i rahua, i whakatau te roopu ki te whakawhanake i tetahi otinga tauineine, mo te wa roa.
Mo tetahi kaupapa puna tuwhera hou, ka tohutohuhia, ka tautokohia e te roopu puna tuwhera a LinkedIn tetahi tauira whanaketanga e whakawhanakehia katoatia ai nga waahanga o te kaupapa ki te puna tuwhera. Ka horahia nga taonga toi kua oti te whakaputa ki tetahi putunga a te iwi, katahi ka tirohia ano ki roto i te toi o roto o LinkedIn . Ko te whai i tenei tauira whanaketanga ehara i te mea pai mo te hunga e whakamahi ana i te puna tuwhera, engari ka puta mai he hoahoanga whakaraerae, whakawhanui, me te mono.
Heoi ano, he nui te wa o te tono whakamuri penei i a DataHub kia tae ki tenei ahuatanga. Ka aukati ano tenei i te whai waahi ki te whakatuwhera i tetahi whakatinanatanga mahi i mua i te whakakorenga katoa o nga whakawhirinakitanga o roto. Koinei te take i whakawhanakehia ai e matou nga taputapu hei awhina i a maatau ki te tuku i nga takoha puna tuwhera tere me te iti rawa o te mamae. Ka whai hua tenei otinga ki te roopu metadata (kaiwhakawhanake DataHub) me te hapori puna tuwhera. Ko nga waahanga e whai ake nei ka korero mo tenei huarahi hou.
Tuwhera Whakaputa Whakaputa Aunoatanga
Ko te huarahi hou a te roopu Metadata ki te puna tuwhera DataHub ko te whakawhanake i tetahi taputapu ka tukutahi aunoa i te turanga waehere-a-roto me te putunga puna tuwhera. Ko nga ahuatanga taumata teitei o tenei kete taputapu ko:
- Tukutahi waehere LinkedIn ki/mai i te puna tuwhera, he rite .
- Whakatupuranga pane Raihana, he rite ki .
- Hangaia aunoatia nga rangitaki commit puna tuwhera mai i nga rangitaki commit roto.
- Aukati i nga huringa o roto ka pakaru i nga hangahanga puna tuwhera na .
Ka rukuhia e nga waahanga e whai ake nei nga mahi kua whakahuahia ake nei he raru pai.
Tukutahi waehere puna
Kaore i rite ki te putanga puna tuwhera o DataHub, he putunga GitHub kotahi, ko te putanga LinkedIn o DataHub he huinga o nga putunga maha (e kiia ana i roto. ). Ko te atanga DataHub, te whare pukapuka tauira metadata, te ratonga backend whare putunga metadata, me nga mahi rerema kei roto i nga putunga motuhake i runga i LinkedIn. Heoi, kia maamaa ake mo nga kaiwhakamahi puna tuwhera, he putunga kotahi ta matou mo te putanga puna tuwhera o DataHub.
Whakaahua 1: Tukutahi i waenga i nga putunga LinkedIn DataHub me te putunga kotahi DataHub puna tuwhera
Hei tautoko i te hanga aunoa, te pana, me te kumea i nga rerengamahi, ka hanga aunoa e ta maatau taputapu hou he mahere taumata-kōnae e rite ana ki ia konae puna. Heoi, ko te kete taputapu me whirihoranga tuatahi, me whakarato nga kaiwhakamahi i te mapi o te taumata teitei e whakaatuhia ana i raro nei.
{
"datahub-dao": [
"${datahub-frontend}/datahub-dao"
],
"gms/impl": [
"${dataset-gms}/impl",
"${user-gms}/impl"
],
"metadata-dao": [
"${metadata-models}/metadata-dao"
],
"metadata-builders": [
"${metadata-models}/metadata-builders"
]
}Ko te mahere-taumata-waewae he JSON ngawari, ko ona ki nga waahanga whaainga kei roto i te putunga puna tuwhera me nga uara ko te rarangi o nga waahanga puna kei roto i nga whare pupuri LinkedIn. Ka taea e te maha o nga waahanga puna te whangai i nga waahanga whainga kei roto i te putunga puna tuwhera. Hei tohu i nga ingoa o roto o nga putunga i roto i nga waahanga puna, whakamahia i roto i te kāhua Bash. Ma te whakamahi i te konae mahere taumata-kowae, ka hangaia e nga taputapu he konae mapi taumata-kounga ma te karapa i nga konae katoa i roto i nga raarangi whai mana.
{
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
"${metadata-models}/metadata-builders/build.gradle": null,
}Ko te mahere taumata kōnae ka hangaia e nga taputapu; heoi, ka taea hoki te whakahōu ā-ringa e te kaiwhakamahi. He mahere 1:1 tenei o te konae puna LinkedIn ki tetahi konae kei te putunga puna tuwhera. He maha nga ture e pa ana ki tenei hanga aunoa o nga hononga konae:
- Mēnā he maha ngā kōwae mātāpuna mō tētahi kōwae whainga i roto i te puna tuwhera, ka ara ake pea nga papā, hei tauira. , kei roto neke atu i te kotahi te punaha puna. Hei rautaki whakatau papā, ka taunoa a maatau taputapu ki te whiringa "ko te toa whakamutunga".
- "null" te tikanga ko te konae puna ehara i te wahanga o te putunga puna tuwhera.
- Whai muri i ia tukunga puna tuwhera, tangohanga ranei, ka whakahou aunoatia tenei mapi ka hangaia he whakaahua. He mea tika tenei ki te tautuhi i nga taapiri me te whakakore i te waehere puna mai i te mahi whakamutunga.
Te hanga i nga raarangi mahi
Ko nga raarangi tuku mo nga mahi puna tuwhera ka hangaia aunoa ma te hanumi i nga raarangi tuunga o nga putunga o roto. Kei raro nei he tauira raakau tuku hei whakaatu i te hanganga o te raarangi commit i hangaia e to maatau taputapu. Ko te commit e whakaatu marama ana ko ehea nga putanga o nga putunga putunga ka whakaemihia i roto i taua commit me te whakarato whakarāpopototanga o te rangitaki tuku. Tirohia tenei ma te whakamahi i tetahi tauira tuuturu o te raarangi mahi i hangaia e to maatau kete taputapu.
metadata-models 29.0.0 -> 30.0.0
Added aspect model foo
Fixed issue bar
dataset-gms 2.3.0 -> 2.3.4
Added rest.li API to serve foo aspect
MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0Te whakamatautau whakawhirinaki
Kei a LinkedIn , e awhina ana kia kaua e pakaru nga huringa ki tetahi hua maha o roto i te huihuinga o nga hua maha whakawhirinaki. Ko te puna tuwhera puna DataHub ehara i te maha-hua, kaore e taea te whakawhirinaki tika ki tetahi hua-maha, engari ma te awhina o te takai maha-hua e tiki ana i te waehere puna DataHub puna tuwhera, ka taea tonu te whakamahi i tenei whakamatautau whakawhirinaki. Na, ko nga huringa (ka kitea i muri mai) ki tetahi o nga hua maha e whangai ana i te puna tuwhera puna raraunga DataHub, ka puta he takahanga hanga i roto i te anga hua maha. No reira, ko nga huringa karekau ki te hanga i tetahi hua takai ka rahua nga whakamatautau i mua i te mahi i te hua taketake ka hoki mai ano.
He tikanga whai hua tenei hei awhina i te aukati i nga mahi o roto ka pakaru i te hanga puna tuwhera ka kitea i te wa mahi. Ki te kore tenei, he tino uaua ki te whakatau ko tehea mahi a-roto i rahua ai te hanga putunga puna tuwhera, na te mea ka whakareri matou i nga huringa o roto ki te putunga puna tuwhera DataHub.
Nga rereketanga i waenga i te puna tuwhera DataHub me ta maatau putanga whakaputa
Tae atu ki tenei wa, kua korerohia e matou ta matou otinga mo te tukutahi i nga putanga e rua o nga putunga DataHub, engari kare ano matou i whakaatu i nga take i hiahia ai matou kia rua nga waahanga whanaketanga rereke i te tuatahi. I tenei wahanga, ka whakarārangihia e mātou ngā rerekētanga i waenga i te putanga tūmatanui o DataHub me te putanga whakaputa i runga i ngā tūmau LinkedIn, me te whakamārama i ngā take mō ēnei rerekētanga.
Ko tetahi take o te rerekee i ahu mai i te mea ko ta matou putanga whakaputanga kei te whakawhirinaki ki te waehere kaore ano kia tuwhera te puna, penei i a LinkedIn's Offspring (LinkedIn's internal dependency injection framework). Kei te whakamahia nuitia nga uri i roto i nga turanga waehere o roto na te mea koinei te tikanga pai mo te whakahaere whirihoranga hihiri. Engari ehara i te puna tuwhera; no reira me rapu tatou i etahi atu puna tuwhera ki te puna tuwhera DataHub.
Tera ano etahi atu take. I a matou e hanga ana i nga toronga ki te tauira metadata mo nga hiahia a LinkedIn, ko enei toronga he mea tino motuhake ki LinkedIn, kaore pea e pa ki etahi atu taiao. Hei tauira, kei a matou nga tapanga motuhake mo nga ID kaiuru me etahi atu momo metadata e rite ana. Na, kua whakakorehia e matou enei toronga mai i te tauira metadata puna tuwhera a DataHub. I a matou e mahi tahi ana me te hapori me te mohio ki o raatau hiahia, ka mahi matou i nga putanga tuwhera noa o enei toronga ina hiahiatia.
Ko te ngawari o te whakamahi me te ngawari o te urutau mo te hapori puna tuwhera i whakaawe i etahi o nga rereketanga i waenga i nga putanga e rua o DataHub. Ko nga rereketanga o nga hanganga tukatuka awa he tauira pai mo tenei. Ahakoa kei te whakamahi to maatau putanga o roto i te anga whakahaere roma whakahaere, i whiriwhiria e matou ki te whakamahi i te tukatuka awa hanga-i roto (motuhake) mo te putanga puna tuwhera na te mea ka karo i te hanga i tetahi atu hanganga hanganga.
Ko tetahi atu tauira o te rereketanga ko te whai i te GMS kotahi (Generalized Metadata Store) i roto i te whakatinanatanga puna tuwhera kaua i nga GMS maha. Ko te GMA (Generalized Metadata Architecture) te ingoa o te hoahoanga-muri mo DataHub, a ko GMS te toa metadata i roto i te horopaki o GMA. Ko te GMA he hoahoanga tino ngawari e taea ai e koe te tohatoha i ia hanga raraunga (hei tauira, nga huingararaunga, nga kaiwhakamahi, me etahi atu) ki roto i tana ake toa metadata, ki te rokiroki ranei i nga hanganga raraunga maha i roto i te toa metadata kotahi i te mea ko te rehita kei roto te whakatakotoranga raraunga kei roto Kua whakahoutia a GMS. Mo te ngawari ki te whakamahi, i whiriwhiria e matou he tauira GMS kotahi e pupuri ana i nga momo hanga raraunga katoa ki te puna tuwhera DataHub.
Ko te rarangi katoa o nga rereketanga i waenga i nga whakatinanatanga e rua kei te ripanga i raro nei.
Āhuatanga hua
LinkedIn DataHub
Tuwhera Puna RaraungaRaraunga
Nga Hanga Raraunga Tautoko
1) Raraunga Raraunga 2) Kaiwhakamahi 3) Inenga 4) ML Features 5) Tūtohi 6) Papatohu
1) Raraunga Raraunga 2) Kaiwhakamahi
Tautokohia nga Puna Raraunga Meta mo nga Raraunga Raraunga
1) 2) Tupapau 3) 4) 5) HDFS 6) Hive 7) Kafka 8) MongoDB 9) MySQL 10) Oracle 11) 12) Tuhinga o mua 12) 13) Teradata 13) Vector 14)
Hive Kafka RDBMS
Pub-sub
Kafka tautahi
Tukatuka awa
whakahaere
Kua tāmau (motuhake)
Werohanga Tiakitanga & Whirihoranga Hihiko
LinkedIn uri
Hanga Taputapu
Ligradle (te takai Gradle o roto o LinkedIn)
CI / CD
CRT (CI/CD o roto o LinkedIn)
a
Nga Taonga Metadata
He maha nga GMS kua tohatohahia: 1) Raraunga Raraunga GMS 2) Kaiwhakamahi GMS 3) Metric GMS 4) Whakaaturanga GMS 5) Tūtohi/Paatohu GMS
Kotahi GMS mo: 1) Raraunga Raraunga 2) Kaiwhakamahi
Microservices i roto i nga ipu Docker
whakangawari ake i te tuku tono me te tohatoha ki . Ko nga waahanga katoa o te ratonga i DataHub he puna tuwhera, tae atu ki nga waahanga hanganga penei i a Kafka, , и , kei a ia ake te ahua Docker. Hei whakarite i nga ipu Docker i whakamahia e matou .
Whakaahua 2: Hangahanga DataHub *tuwhera puna**
Ka taea e koe te kite i te hoahoanga taumata teitei o DataHub i te ahua o runga. I tua atu i nga waahanga hanganga, e wha nga ipu Docker rereke:
datahub-gms: ratonga rokiroki metadata
raraungahub-mua: tono , e mahi ana i te atanga DataHub.
datahub-mce-consumer: tono , e whakamahi ana i te awa takahanga huringa metadata (MCE) me te whakahou i te toa metadata.
datahub-mae-consumer: tono , e whakamahi ana i te awa takahanga arotake metadata (MAE) me te hanga i te taupū rapu me te papaa raraunga kauwhata.
Tuwhera nga tuhinga putunga puna me te kei roto i nga korero taipitopito mo nga mahi o nga momo ratonga.
Ko te CI/CD i runga i te DataHub he puna tuwhera
Ka whakamahia e te puna tuwhera DataHub putunga mo te whakauru tonu me te mo te tuku tonu. He pai te whakaurunga a GitHub e rua, he ngawari ki te whakarite. Mo te nuinga o nga hanganga puna tuwhera i whakawhanakehia e te hapori, e nga kamupene motuhake ranei (hei tauira. ), Ka hangaia nga whakaahua Docker ka tukuna ki te Docker Hub kia ngawari te whakamahi a te hapori. Ko nga ahua Docker e kitea ana i Docker Hub ka taea te whakamahi ma te tono ngawari .
Ma nga mahi katoa ki te puna puna tuwhera DataHub, ka hangaia nga whakaahua Docker katoa ka tukuna ki Docker Hub me te tohu "hou". Mena kua whirihorahia a Docker Hub me etahi , Ko nga tohu katoa kei roto i te putunga puna tuwhera ka tukuna ano me nga ingoa tohu e rite ana ki Docker Hub.
Te whakamahi i te DataHub
He tino ngawari, e toru nga waahanga ngawari:
- Kohia te puna puna tuwhera ka whakahaere i nga ipu Docker katoa me te docker-compose ma te whakamahi i te tuhinga docker-compose kua whakaratohia mo te tiimata tere.
- Tangohia nga raraunga tauira e whakaratohia ana i roto i te putunga ma te whakamahi i te taputapu raina whakahau e whakaratohia ana hoki.
- Tirotiro DataHub i roto i to kaitirotiro.
Aroturuki kaha i whirihora hoki mo nga patai tere. Ka taea hoki e nga kaiwhakamahi te hanga take tika ki te putunga putunga GitHub. Ko te mea nui, ka mihi, ka maioha ki nga urupare me nga whakaaro katoa!
Mahere mo te heke mai
I tenei wa, ko nga hanganga me nga ratonga moroiti mo te puna tuwhera DataHub ka hangaia hei ipu Docker, a ko te katoa o te punaha ka hangaia ma te whakamahi . Homai te rongonui me te whanui , kei te pirangi ano matou ki te tuku otinga i runga i te Kubernetes i roto i nga wa e heke mai nei.
Kei te whakamahere ano matou ki te whakarato i tetahi otinga turnkey mo te tuku i a DataHub ki runga i te ratonga kapua whanui penei i te , ranei . I runga i te panuitanga o te hekenga o LinkedIn ki Azure, ka hono tenei ki nga kaupapa matua o roto o te roopu metadata.
Ko te mea whakamutunga, engari ko te mea iti rawa, he mihi ki nga kaikawe moata katoa o DataHub i roto i te hapori tuwhera kua whakatauhia nga alphas DataHub me te awhina i a maatau ki te tautuhi i nga take me te whakapai ake i nga tuhinga.
Source: will.com