Open Source DataHub: LinkedIn's Metadata Search and Discovery Platform

Open Source DataHub: LinkedIn's Metadata Search and Discovery Platform

He mea nui ka ʻimi ʻana i ka ʻikepili āu e pono ai no kēlā me kēia hui e hilinaʻi nei i ka nui o ka ʻikepili e hana i nā hoʻoholo hoʻoholo i ka ʻikepili. ʻAʻole wale kēia e pili ana i ka huahana o nā mea hoʻohana ʻikepili (me nā mea loiloi, nā mea hoʻomohala aʻo mīkini, nā ʻepekema data, a me nā ʻenekini data), akā he hopena pololei nō hoʻi i nā huahana hopena e hilinaʻi nei i kahi pipeline aʻo mīkini maikaʻi (ML). Eia kekahi, ʻo ke ʻano o ka hoʻokō ʻana a i ʻole ke kūkulu ʻana i nā kahua aʻo mīkini e hoʻāla maoli i ka nīnau: he aha kāu ala e ʻike ai i loko o nā hiʻohiʻona, nā hiʻohiʻona, nā metric, nā ʻikepili, etc.

Ma kēia ʻatikala e kamaʻilio mākou e pili ana i kā mākou paʻi ʻana i kahi kumu ʻikepili ma lalo o kahi laikini hāmama DataHub i kā mākou ʻimi metadata a me ka ʻike ʻana, e hoʻomaka ana mai nā lā mua o ka papahana WhereHows. Mālama ʻo LinkedIn i kāna mana ponoʻī o DataHub ma kahi kaʻawale mai ka mana open source. E hoʻomaka mākou ma ka wehewehe ʻana i ke kumu e pono ai mākou i ʻelua mau kaiapuni hoʻomohala ʻokoʻa, a laila e kūkākūkā i nā ala mua i ka hoʻohana ʻana i ke kumu wehe WhereHows a hoʻohālikelike i kā mākou mana kūloko (hana) o DataHub me ka mana ma. GitHub. E kaʻana like pū mākou i nā kikoʻī e pili ana i kā mākou hoʻonā ʻokoʻa hou no ka paʻi ʻana a me ka loaʻa ʻana o nā mea hou i wehe ʻia e mālama i nā waihona ʻelua i ka sync. ʻO ka hope, e hāʻawi mākou i nā ʻōlelo aʻoaʻo e pili ana i ka hoʻomaka ʻana me ka hoʻohana ʻana i ke kumu wehe DataHub a kūkākūkā pōkole i kona hoʻolālā.

Open Source DataHub: LinkedIn's Metadata Search and Discovery Platform

Aia ʻo WhereHows i kēia manawa he DataHub!

Ua hōʻike mua ʻia ka hui metadata o LinkedIn DataHub (ka mea i pani iā ​​WhereHows), ka ʻimi a me ka ʻimi metadata ʻo LinkedIn, a me nā hoʻolālā e wehe ai. Ma hope koke iho o kēia hoʻolaha, ua hoʻokuʻu mākou i kahi mana alpha o DataHub a kaʻana like me ke kaiāulu. Mai ia manawa, ua hāʻawi mau mākou i ka waihona a hana pū me nā mea hoʻohana hoihoi e hoʻohui i nā hiʻohiʻona i noi ʻia a hoʻoponopono i nā pilikia. Ua hauʻoli mākou i kēia manawa e hoʻolaha i ka hoʻokuʻu kūhelu DataHub ma GitHub.

Nā Kūlana Open Source

WhereHows, ʻo ka puka mua o LinkedIn no ka ʻimi ʻana i ka ʻikepili a no hea mai ia, hoʻomaka ʻia ma ke ʻano he papahana kūloko; ua wehe ka hui metadata kumu kumu i ka makahiki 2016. Mai ia manawa, mālama mau ka hui i ʻelua codebases ʻokoʻa-hoʻokahi no ka open source a hoʻokahi no ka hoʻohana kūloko o LinkedIn-ʻoiai ʻaʻole nā ​​hiʻohiʻona huahana a pau i kūkulu ʻia no nā hihia hoʻohana LinkedIn i pili i ka lehulehu ākea. Eia hou, Aia i WhereHows kekahi mau hilinaʻi kūloko (infrastructure, hale waihona puke, etc.) ʻaʻole i wehe ʻia. I nā makahiki i hala aʻe nei, ua hele ʻo WhereHows i nā mea hou a me nā pōʻai hoʻomohala, e hana ana i ka mālama ʻana i nā codebase ʻelua i ka sync he paʻakikī nui. Ua hoʻāʻo ka hui metadata i nā ala like ʻole i nā makahiki e hoʻāʻo e mālama i ka hoʻomohala ʻana i loko a me ka wehe ʻana i ka hoʻomohala ʻana i ka sync.

E hoao mua: "E wehe i ke kumu mua"

Ua hahai mua mākou i kahi kumu hoʻomohala "open source first", kahi i hana ʻia ai ka hapa nui o ka hoʻomohala ʻana i kahi waihona waihona open source a ua hoʻololi ʻia no ka hoʻolālā kūloko. ʻO ka pilikia me kēia ala ʻo ia ka hoʻokuʻu ʻia ʻana o ke code i GitHub ma mua o ka loiloi piha ʻana i loko. A hiki i ka hoʻololi ʻia ʻana mai ka waihona waihona open source a hana ʻia kahi hoʻolālā kūloko hou, ʻaʻole mākou e ʻike i nā pilikia hana. I ka hihia o ka hoʻolālā maikaʻi ʻole, ua paʻakikī loa ka hoʻoholo ʻana i ka mea hewa no ka mea ua hoʻololi ʻia i nā pūʻulu.

Eia hou, ua hōʻemi kēia ʻano hoʻohālike i ka huahana o ka hui i ka wā e hoʻomohala ai i nā hiʻohiʻona hou e pono ai ka hoʻololi wikiwiki ʻana, ʻoiai ua koi ʻia nā hoʻololi āpau e hoʻokuʻu mua ʻia i loko o kahi waihona waihona open source a laila pana ʻia i kahi waihona kūloko. No ka hōʻemi ʻana i ka manawa kaʻina hana, hiki ke hana mua ʻia ka hoʻoponopono a i ʻole ka hoʻololi ʻana i loko o ka waihona kūloko, akā ua lilo kēia i pilikia nui i ka hoʻohui ʻana i kēlā mau hoʻololi i loko o ka waihona open source no ka mea ʻaʻole i hui pū nā waihona ʻelua.

ʻOi aku ka maʻalahi o ka hoʻokō ʻana i kēia ʻano hoʻohālike no nā paepae kaʻana like, nā hale waihona puke, a i ʻole nā ​​papahana hoʻolālā ma mua o nā noi pūnaewele maʻamau piha. Eia hou, kūpono kēia kŘkohu no nā papahana e hoʻomaka ana i ke kumu wehe mai ka lā hoʻokahi, akā ua kūkulu ʻia ʻo WhereHows ma ke ʻano he noi pūnaewele holoʻokoʻa. He mea paʻakikī loa ka hoʻokaʻawale ʻana i nā mea hilinaʻi āpau āpau, no laila pono mākou e mālama i ka fork kūloko, akā ʻaʻole i holo pono ka mālama ʻana i ka fork kūloko a me ka hoʻomohala ʻana i ka hapa nui.

ʻO ka hoʻāʻo ʻelua: "I loko mua"

** Ma ke ʻano he hoʻāʻo ʻelua, ua neʻe mākou i kahi kumu hoʻomohala "i loko mua", kahi e hana ʻia ai ka hapa nui o ka hoʻomohala ʻana i loko o ka hale a hoʻololi ʻia i ka code open source i kēlā me kēia manawa. ʻOiai ua kūpono kēia ʻano hoʻohālike no kā mākou hihia hoʻohana, aia nā pilikia kūlohelohe. ʻO ka hoʻokuke pololei ʻana i nā ʻokoʻa āpau i ka waihona open source a laila hoʻāʻo e hoʻoponopono i nā paio hoʻohui ma hope he koho, akā ʻo ia ka manawa. Ho'āʻo nā mea hoʻomohala i ka nui o nā hihia e hana ʻole i kēlā me kēia manawa e nānā lākou i kā lākou code. ʻO ka hopena, e hana pinepine ʻia kēia, ma nā pūʻulu, a pēlā e paʻakikī ai ka hoʻoponopono ʻana i nā paio hoʻohui ma hope.

ʻO ke kolu o ka hana ʻana!

ʻO nā hoʻāʻo ʻelua i hāʻule ʻole i ʻōlelo ʻia ma luna nei ka hopena o ka waihona WhereHows GitHub i waiho ʻia no ka manawa lōʻihi. Ua hoʻomau ka hui i ka hoʻomaikaʻi ʻana i nā hiʻohiʻona a me ka hoʻolālā ʻana o ka huahana, i ʻoi aku ka holomua o ka mana kūloko o WhereHows no LinkedIn ma mua o ka mana open source. He inoa hou kona - DataHub. Ma muli o nā ho'āʻo i hāʻule mua ʻole, ua hoʻoholo ka hui e hoʻomohala i kahi hopena scalable, lōʻihi.

No kēlā me kēia papahana open source hou, kākoʻo a kākoʻo ka hui open source o LinkedIn i kahi kumu hoʻomohala kahi i hoʻomohala ʻia ai nā modules o ka papahana ma ke kumu ākea. Hoʻokomo ʻia nā mea kiʻi i hoʻololi ʻia i kahi waihona lehulehu a laila nānā hou ʻia i loko o ka LinkedIn artifact kūloko me ka hoʻohana ʻana noi hale waihona waho (ELR). ʻAʻole maikaʻi ka hahai ʻana i kēia ʻano hoʻomohala no ka poʻe e hoʻohana ana i ka open source, akā ua hopena pū kekahi i kahi hoʻolālā modular, extensible, a pluggable.

Eia nō naʻe, ʻo kahi noi hope hope e like me DataHub e koi i kahi manawa nui e hiki ai i kēia mokuʻāina. ʻAʻole hoʻi kēia i ka hiki ke wehe i kahi hoʻokō hana holoʻokoʻa ma mua o ka pau ʻana o nā hilinaʻi kūloko. ʻO ia ke kumu i kūkulu ai mākou i nā mea hana e kōkua iā mākou e hāʻawi wikiwiki i nā kumu hāmama a me ka liʻiliʻi o ka ʻeha. Pono kēia hoʻonā i ka hui metadata (DataHub developer) a me ke kaiāulu open source. E kūkākūkā nā ʻāpana aʻe i kēia ala hou.

Open Source Publishing Automation

ʻO ke ala hou loa o ka hui Metadata i ke kumu wehe ʻo DataHub, ʻo ia ka hoʻomohala ʻana i kahi hāmeʻa e hoʻonohonoho maʻalahi i ka codebase kūloko a me ka waihona open source. ʻO nā hiʻohiʻona kiʻekiʻe o kēia pahu hana he:

  1. Hoʻopili i ka code LinkedIn i/mai ke kumu wehe, like rsync.
  2. Hoʻokumu poʻomanaʻo laikini, like me Iole Apache.
  3. Hoʻopuka 'akomi i nā moʻolelo commit source open mai nā log commit internal.
  4. Kāohi i nā hoʻololi i loko e uhaki i ka wehe ʻana o nā kumu i kūkulu ʻia e hoʻāʻo hilinaʻi.

E hoʻopaʻa ʻia nā ʻāpana ma lalo nei i nā hana i ʻōlelo ʻia ma luna nei me nā pilikia hoihoi.

Ka hoʻonohonoho hoʻonohonoho kumu

ʻAʻole like me ka mana open source o DataHub, ʻo ia kahi waihona GitHub hoʻokahi, ʻo ka mana LinkedIn o DataHub he hui pū ʻana o nā waihona he nui (i kapa ʻia i loko. hua nui). Aia ka DataHub interface, metadata model library, metadata warehouse backend service, a me nā hana hoʻoheheʻe e noho ana ma nā waihona ʻokoʻa ma LinkedIn. Eia naʻe, i mea e maʻalahi ai nā mea hoʻohana open source, loaʻa iā mākou kahi waihona hoʻokahi no ka mana open source o DataHub.

Open Source DataHub: LinkedIn's Metadata Search and Discovery Platform

Kiʻi 1: Ka hoʻonohonoho ʻana ma waena o nā waihona LinkedIn DataHub a me kahi waihona hoʻokahi DataHub puna hāmama

No ke kākoʻo ʻana i ke kūkulu ʻokoʻa, paʻi, a huki i nā kahe hana, hana ʻakomi kā mākou mea hana hou i kahi palapala kiʻekiʻe faila e pili ana i kēlā me kēia waihona kumu. Eia nō naʻe, pono ka mea hana i ka hoʻonohonoho mua ʻana a pono e hāʻawi nā mea hoʻohana i kahi palapala palapala kiʻekiʻe e like me ka hōʻike ʻana ma lalo nei.

{
  "datahub-dao": [
    "${datahub-frontend}/datahub-dao"
  ],
  "gms/impl": [
    "${dataset-gms}/impl",
    "${user-gms}/impl"
  ],
  "metadata-dao": [
    "${metadata-models}/metadata-dao"
  ],
  "metadata-builders": [
    "${metadata-models}/metadata-builders"
  ]
}

He JSON maʻalahi ka palapala kiʻekiʻe o ka module nona nā kī i nā modula i hoʻopaʻa ʻia i loko o ka waihona waihona open source a ʻo nā waiwai ka papa inoa o nā modules kumu ma nā waihona LinkedIn. Hiki ke hānai ʻia kēlā me kēia modula i hoʻopaʻa ʻia i loko o kahi waihona kumu wehe e kekahi helu o nā modula kumu. No ka hōʻike ʻana i nā inoa kūloko o nā waihona i nā modules kumu, hoʻohana hoʻopili kaula ma ke ʻano Bash. Me ka hoʻohana ʻana i kahi faila palapala kiʻekiʻe module, hana nā mea hana i kahi faila pae kiʻekiʻe ma ka nānā ʻana i nā faila āpau i nā papa kuhikuhi pili.

{
  "${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
  "${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
  "${metadata-models}/metadata-builders/build.gradle": null,
}

Hoʻokumu ʻia ka palapala kiʻekiʻe o ka faila e nā mea hana; akā naʻe, hiki ke hoʻonui lima ʻia e ka mea hoʻohana. He palapala 1:1 kēia o kahi waihona kumu LinkedIn i kahi faila ma ka waihona waihona open source. Nui nā lula e pili ana i kēia hana ʻakomi o nā hui faila:

  • I ka hihia o nā modula kumu he nui no kahi module i hoʻopaʻa ʻia ma ke kumu hāmama, hiki ke kū mai nā paio, e laʻa. FQCN, aia i loko o hoʻokahi kumu kumu. Ma ke ʻano he hoʻolālā hoʻoholo hakakā, paʻa kā mākou mau mea hana i ke koho "lanakila hope".
  • "null" 'o ia ho'i, 'a'ole 'o ia ka waihona kumu o ka waihona waihona open source.
  • Ma hope o kēlā me kēia hoʻouna ʻana a i ʻole ka unuhi ʻana, hoʻonui ʻia kēia palapala palapala a hana ʻia kahi kiʻi. Pono kēia e ʻike i nā hoʻohui a me nā holoi ʻana mai ka code kumu mai ka hana hope.

Ke hana ʻana i nā moʻolelo commit

Hoʻokumu ʻia nā logs commit no ka open source commit ma o ka hoʻohui ʻana i nā log commit o nā waihona kūloko. Aia ma lalo kahi laʻana commit log e hōʻike i ke ʻano o ka log commit i hana ʻia e kā mākou mea hana. Hōʻike maopopo ʻia kahi commit i nā mana o nā waihona waihona i hoʻopili ʻia i loko o kēlā commit a hāʻawi i kahi hōʻuluʻulu o ka log commit. E nānā i kēia hoʻopaʻa me ka hoʻohana ʻana i kahi laʻana maoli o kahi log commit i hana ʻia e kā mākou mea hana.

metadata-models 29.0.0 -> 30.0.0
    Added aspect model foo
    Fixed issue bar

dataset-gms 2.3.0 -> 2.3.4
    Added rest.li API to serve foo aspect

MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0

Hoʻāʻo hilinaʻi

Loaʻa iā LinkedIn ʻoihana hoʻāʻo hilinaʻi, e kōkua ana e hōʻoia i ka hoʻololi ʻana i kahi multiproduct i loko ʻaʻole e uhaʻi i ka hui ʻana o nā multiproduct hilinaʻi. ʻAʻole nui ka waihona waihona DataHub, a ʻaʻole hiki ke hilinaʻi pololei ʻia o nā huahana lehulehu, akā me ke kōkua o kahi ʻōwili huahana lehulehu e kiʻi ana i ka code source DataHub open source, hiki iā mākou ke hoʻohana i kēia hoʻāʻo hilinaʻi. No laila, ʻo kekahi hoʻololi (e ʻike ʻia paha ma hope) i kekahi o nā huahana lehulehu e hānai ana i ka waihona waihona DataHub open source e hoʻoulu i kahi hanana kūkulu i loko o ka shell multiproduct. No laila, ʻo ka hoʻololi ʻana i hiki ʻole ke kūkulu i kahi huahana wrapper e hāʻule i nā hoʻāʻo ma mua o ka hana ʻana i ka huahana kumu a hoʻihoʻi ʻia.

He hana pono kēia e kōkua ai i ka pale ʻana i nā hana kūloko e uhaʻi i ka kūkulu kumu wehe a ʻike iā ia i ka manawa hana. Inā ʻaʻole kēia, he mea paʻakikī loa ka hoʻoholo ʻana i ka hana kūloko i hoʻopau ʻole ʻia ka hale waihona waihona open source, no ka mea, ke hui nei mākou i nā loli kūloko i ka waihona waihona open source DataHub.

Nā ʻokoʻa ma waena o DataHub kumu wehe a me kā mākou mana hana

A hiki i kēia manawa, ua kūkākūkā mākou i kā mākou hoʻonā no ka hoʻonohonoho ʻana i ʻelua mau mana o DataHub repositories, akā ʻaʻole naʻe mākou i wehewehe i nā kumu e pono ai mākou i ʻelua mau kahawai hoʻomohala ʻokoʻa ma kahi mua. Ma kēia ʻāpana, e papa inoa mākou i nā ʻokoʻa ma waena o ka mana lehulehu o DataHub a me ka mana hana ma nā kikowaena LinkedIn, a wehewehe i nā kumu o kēia mau ʻokoʻa.

Hoʻokahi kumu o ka like ʻole ma muli o ka hilinaʻi ʻana o kā mākou mana hana i nā code i wehe ʻole ʻia, e like me LinkedIn's Offspring (LinkedIn's internal dependency injection framework). Hoʻohana nui ʻia nā keiki i nā codebases kūloko no ka mea ʻo ia ke ala i makemake ʻia no ka hoʻokele ʻana i ka hoʻonohonoho dynamic. Akā, ʻaʻole ia he kumu wehe; no laila pono mākou e ʻimi i nā mea ʻē aʻe i wehe ʻia i ka DataHub open source.

Aia kekahi mau kumu ʻē aʻe. Ke hana nei mākou i nā mea hoʻonui i ke kumu hoʻohālike metadata no nā pono o LinkedIn, ʻo kēia mau mea hoʻonui i kikoʻī loa i LinkedIn a ʻaʻole pili pono i nā kaiapuni ʻē aʻe. No ka laʻana, loaʻa iā mākou nā lepili kikoʻī loa no nā ID komo a me nā ʻano metadata like ʻole. No laila, ua hoʻokaʻawale mākou i kēia mau mea hoʻonui mai ke kumu hoʻohālike metadata open source o DataHub. I ko mākou hui pū ʻana me ke kaiāulu a hoʻomaopopo i ko lākou mau pono, e hana mākou i nā mana maʻamau maʻamau o kēia mau hoʻonui inā pono.

ʻO ka maʻalahi o ka hoʻohana a me ka maʻalahi o ka hoʻololi ʻana no ke kaiāulu open source i hoʻoikaika i kekahi o nā ʻokoʻa ma waena o nā mana ʻelua o DataHub. ʻO nā ʻokoʻa o ka ʻōnaehana hoʻoponopono kahawai he kumu hoʻohālike maikaʻi o kēia. ʻOiai ke hoʻohana nei kā mākou mana kūloko i kahi ʻōnaehana hoʻoponopono kahawai hoʻokele, ua koho mākou e hoʻohana i ka hoʻoponopono kahawai i kūkulu ʻia (kūʻokoʻa) no ka mana open source no ka mea e pale ana i ka hana ʻana i kahi hilinaʻi ʻoihana ʻē aʻe.

ʻO kekahi laʻana o ka ʻokoʻa ka loaʻa ʻana o hoʻokahi GMS (Generalized Metadata Store) i kahi hoʻokō open source ma mua o nā GMS he nui. ʻO GMA (Generalized Metadata Architecture) ka inoa o ka hoʻolālā hope no DataHub, a ʻo GMS ka hale kūʻai metadata ma ka pōʻaiapili o GMA. ʻO ka GMA kahi hoʻolālā maʻalahi loa e hiki ai iā ʻoe ke puʻunaue i kēlā me kēia kūkulu ʻikepili (e laʻa. Hōʻano hou ʻia ʻo GMS. No ka maʻalahi o ka hoʻohana ʻana, ua koho mākou i hoʻokahi laʻana GMS e mālama ana i nā hana ʻikepili like ʻole a pau ma ka DataHub kumu wehe.

Hāʻawi ʻia kahi papa inoa piha o nā ʻokoʻa ma waena o nā hoʻokō ʻelua ma ka papa ma lalo.

Nā Huahana Huahana
LinkedIn DataHub
Hāmama ka DataHub

Kākoʻo ʻia nā kūkulu ʻikepili
1) Nā ʻikepili 2) Nā mea hoʻohana 3) Metrics 4) Nā hiʻohiʻona ML 5) Nā palapala kiʻi 6) Nā papa kuhikuhi.
1) Nā ʻikepili 2) Nā mea hoʻohana

Kākoʻo ʻia nā kumu metadata no nā ʻikepili
1) Ambry 2) Couchbase 3) Dalid 4) espresso 5) HDFS 6) Hive 7) Kafka 8) MongoDB 9) MySQL 10) Oracle 11) Pinot 12) Ka mua 12) Be 13) Teradata 13) Vector 14) Venice
Hive Kafka RDBMS

Pub-sub
LinkedIn Kafka
Kafka huikau

Hoʻoponopono kahawai
e hoʻokele
Hoʻokomo ʻia (kūʻokoʻa)

Hoʻopili pili a me ka hoʻonohonoho ʻana
LinkedIn Keiki
Hao

Mea Hana Hana
Ligradle (ka mea hoʻopili Gradle kūloko o LinkedIn)
Gradlew

CI / CD
CRT (Ci/CD kūloko o LinkedIn)
TravisCI a Hub hoʻokau

Nā hale kūʻai metadata
Māhele ʻia nā GMS he nui: 1) GMS pūʻulu ʻikepili 2) GMS mea hoʻohana 3) GMS Metric 4) GMS hiʻohiʻona 5) GMS pakuhi/Dashboard
GMS hoʻokahi no: 1) Nā ʻikepili 2) Nā mea hoʻohana

Microservices i nā pahu Docker

Docker hoʻomāmā i ka hoʻolaha ʻana a me ka hāʻawi ʻana i ka noi hoʻopaʻa pahu. ʻO kēlā me kēia ʻāpana o ka lawelawe ma DataHub he kumu wehe, me nā ʻāpana ʻenehana e like me Kafka, Elasticsearch, neo4j и MySQL, loaʻa i kāna kiʻi Docker ponoʻī. No ka hoʻonohonoho ʻana i nā pahu Docker a mākou i hoʻohana ai Docker papa inoa.

Open Source DataHub: LinkedIn's Metadata Search and Discovery Platform

Kiʻi 2: Hoʻolālā DataHub *kumu wehe*

Hiki iā ʻoe ke ʻike i ka hoʻolālā kiʻekiʻe o DataHub ma ke kiʻi ma luna. Ma waho aʻe o nā ʻāpana waiwai, ʻehā mau pahu Docker ʻokoʻa:

datahub-gms: lawelawe mālama mālama metadata

datahub-frontend: noi Play, e lawelawe ana i ke kikowaena DataHub.

datahub-mce-consumer: noi Kahawai Kafka, ka mea e hoʻohana ana i ke kahawai metadata change event (MCE) a hōʻano hou i ka hale kūʻai metadata.

datahub-mae-consumer: noi Kahawai Kafka, ka mea e hoʻohana ana i ka metadata audit event stream (MAE) a hana i ka ʻikepili hulina a me ka pakuhi.

E wehe i ka waihona waihona palapala a me moʻomanaʻo moʻomanaʻo ʻo DataHub loaʻa nā ʻike kikoʻī hou aku e pili ana i nā hana o nā lawelawe like ʻole.

ʻO CI/CD ma DataHub he kumu hāmama

Ke hoʻohana nei ka waihona waihona DataHub open source TravisCI no ka hoohui mau a Hub hoʻokau no ka hoʻokau mau ʻana. Loaʻa iā lāua ka hoʻohui GitHub maikaʻi a maʻalahi ke hoʻonohonoho. No ka hapa nui o nā ʻōnaehana kumu i hoʻomohala ʻia e ke kaiāulu a i ʻole nā ​​hui pilikino (e.g. Hoʻohui), Hoʻokumu ʻia nā kiʻi Docker a kau ʻia i Docker Hub no ka maʻalahi o ka hoʻohana ʻana e ke kaiāulu. Hiki ke hoʻohana maʻalahi i nā kiʻi Docker i loaʻa ma Docker Hub me kahi kauoha maʻalahi huki moku.

Me kēlā me kēia hana i ka DataHub open source repository, kūkulu ʻia nā kiʻi Docker āpau a kau ʻia i Docker Hub me ka inoa "hou". Inā hoʻonohonoho ʻia ʻo Docker Hub me kekahi ka inoa ʻana i nā lālā hōʻike maʻamau, ua hoʻokuʻu ʻia nā hōʻailona āpau ma ka waihona waihona open source me nā inoa inoa pili i Docker Hub.

Ke hoʻohana nei i ka DataHub

Hoʻonohonoho i ka DataHub He mea maʻalahi loa a he ʻekolu mau ʻanuʻu maʻalahi:

  1. Hoʻopili i ka waihona waihona open source a holo i nā pahu Docker āpau me ka docker-compose me ka hoʻohana ʻana i ka palapala docker-compose i hāʻawi ʻia no ka hoʻomaka wikiwiki.
  2. Hoʻoiho i ka ʻikepili hāpana i hāʻawi ʻia i loko o ka waihona me ka hoʻohana ʻana i ka mea hana laina kauoha i hāʻawi pū ʻia.
  3. E nānā iā DataHub ma kāu polokalamu kele pūnaewele.

Mālama ʻia Kamaʻilio Gitter hoʻonohonoho pū ʻia no nā nīnau wikiwiki. Hiki i nā mea hoʻohana ke hana pololei i nā pilikia ma ka waihona GitHub. ʻO ka mea nui, mahalo mākou a mahalo i nā manaʻo a me nā manaʻo āpau!

Nā papa no ka wā e hiki mai ana

I kēia manawa, kūkulu ʻia kēlā me kēia ʻoihana a i ʻole microservice no ka open source DataHub i kahi pahu Docker, a ua hoʻonohonoho ʻia ka ʻōnaehana holoʻokoʻa me ka hoʻohana ʻana. pā · pili. Hāʻawi ʻia i ka kaulana a laha Kubernetes, makemake pū mākou e hāʻawi i kahi hoʻonā Kubernetes i ka wā e hiki mai ana.

Hoʻolālā pū mākou e hāʻawi i kahi hopena turnkey no ka lawe ʻana i DataHub ma kahi lawelawe kapuaʻi lehulehu e like me Azure, AWS ai ole ia, Google Kapua. Hāʻawi ʻia i ka hoʻolaha hou ʻana o ka neʻe ʻana o LinkedIn i Azure, e kūlike kēia me nā mea nui o loko o ka hui metadata.

ʻO ka mea hope akā ʻaʻole ka mea liʻiliʻi loa, mahalo i nā mea hoʻohana mua o DataHub i ke kaiāulu open source nāna i helu iā DataHub alphas a kōkua iā mākou e ʻike i nā pilikia a hoʻomaikaʻi i nā palapala.

Source: www.habr.com

Pākuʻi i ka manaʻo hoʻopuka