Open Source DataHub: LinkedIn Metadata Search and Discovery Platform

Open Source DataHub: LinkedIn Metadata Search and Discovery Platform

O le su'eina vave o fa'amaumauga e te mana'omia e mana'omia mo so'o se kamupani e fa'alagolago i le tele o fa'amaumauga e fai ai fa'ai'uga fa'atatau i fa'amaumauga. E le gata o lenei mea e aʻafia ai le gaosiga o tagata faʻaoga faʻamaumauga (e aofia ai tagata suʻesuʻe, masini aʻoaʻoga atinaʻe, saienitisi faʻamaumauga, ma inisinia faʻamaumauga), ae o loʻo i ai foi se aafiaga tuusaʻo i oloa faʻaiʻuga e faʻalagolago i le lelei o le aʻoaʻoina o masini (ML) paipa. E le gata i lea, o le agaʻi atu i le faʻatinoina poʻo le fausiaina o masini aʻoaʻoga faʻavae e masani lava ona tulaʻi mai le fesili: o le a lau metotia mo le mauaina i totonu o foliga, faʻataʻitaʻiga, metrics, datasets, ma isi.

I lenei tusiga o le a tatou talanoa e uiga i le auala na matou lolomiina ai se punaoa faʻamatalaga i lalo o se laisene tatala DataHub i la matou metadata suʻesuʻega ma suʻesuʻega faʻavae, amata mai aso muamua o le poloketi WhereHows. LinkedIn o lo'o tausia lana lava fa'amatalaga o DataHub ese'ese mai le fa'amatalaga tatala. Matou te amata i le faʻamatalaina pe aisea matou te manaʻomia ai ni siosiomaga atinaʻe eseese se lua, ona talanoaina lea o auala vave i le faʻaogaina o le punaoa tatala WhereHows ma faʻatusatusa la matou faʻaoga totonu (gaosiga) o le DataHub ma le faʻamatalaga i luga. GitHub. O le a matou fa'asoa atu fo'i fa'amatalaga e uiga i la matou fofo fa'autometi fou mo le tuleia ma le mauaina o fa'afouga matala e fa'atumauina uma faleteuoloa i le sync. Ma le mea mulimuli, matou te tuʻuina atu faʻamatalaga i le auala e amata ai le faʻaogaina o le punaoa tatala DataHub ma faʻatalanoa puupuu lona fausaga.

Open Source DataHub: LinkedIn Metadata Search and Discovery Platform

WhereHows ua avea nei ma DataHub!

LinkedIn's metadata team na tu'uina atu muamua DataHub (sui ia WhereHows), LinkedIn's search ma metadata discovery platform, ma fefa'asoaa'i fuafuaga e tatala ai. E le'i leva talu ona mae'a lenei fa'aaliga, na matou fa'asalalauina se fa'aaliga alpha o le DataHub ma fa'asoa atu i le nu'u. Talu mai lena taimi, matou te faʻaauau pea ona saofagā i le fale teu oloa ma galulue faʻatasi ma tagata faʻaoga fiafia e faʻaopoopo mea sili ona talosagaina ma foia faʻafitauli. Matou te fiafia nei e faʻasalalau le faʻamalolo aloaia DataHub ile GitHub.

Open Source Fa'alatalata

WhereHows, LinkedIn's ulua'i faitoto'a mo le su'eina o fa'amaumauga ma le mea e sau ai, na amata o se galuega fa'alotoifale; na tatalaina e le au metadata source code ile 2016. Talu mai lena taimi, o loʻo tausia pea e le 'au ni codebases eseese se lua-tasi mo punaoa tatala ma le tasi mo LinkedIn's faʻaoga i totonu-ona e le o mea uma o oloa na fausia mo LinkedIn faʻaoga mataupu e masani ona faʻaoga i le lautele lautele. E le gata i lea, WhereHows o loʻo i ai nisi faʻalagolago i totonu (fale tetele, faletusi, ma isi) e le o faʻamatalaga tatala. I tausaga na sosoʻo ai, WhereHows na uia le tele o faʻasologa ma atinaʻe taʻamilosaga, ma avea ai le tausia o codebases e lua i le sync o se luitau tele. Ua taumafai le au metadata i auala eseese i le tele o tausaga e taumafai e faʻaauau le atinaʻeina o totonu ma tatala punaoa i le sync.

Muamua taumafai: "Tatala puna muamua"

Na matou mulimulita'i muamua i se fa'ata'ita'iga fa'ata'ita'iga "open source first", lea o le tele o atina'e e tupu i totonu o se fale teu oloa matala ma faia suiga mo le fa'aogaina i totonu. O le faʻafitauli i lenei faiga o le faʻapipiʻiina lea o le code i GitHub muamua aʻo leʻi maeʻa ona toe iloiloina i totonu. Seiloga e faia suiga mai le fale teu oloa tatala ma faia se faʻaoga fou i totonu, matou te le maua ni faʻafitauli o le gaosiga. I le tulaga o le le lelei o le faʻapipiʻiina, sa matua faigata foi ona iloa le tagata solitulafono ona o suiga na faia i vaega.

E le gata i lea, o lenei faʻataʻitaʻiga na faʻaititia ai le gaosiga o le 'au pe a atiaʻe ni foliga fou e manaʻomia ai le vave faʻasolosolo, talu ai na faʻamalosia suiga uma e muamua tuleia i totonu o se fale teu oloa tatala ma tulei i se fale teu totonu. Ina ia faʻaitiitia le taimi o gaioiga, o le faʻaleleia manaʻomia poʻo le suiga e mafai ona faia muamua i totonu o le fale teu oloa, ae na avea ma faʻafitauli tele pe a oʻo mai i le toe tuʻufaʻatasia o na suiga i totonu o le fale teu oloa tatala ona o fale e lua e le o fetaui.

O lenei faʻataʻitaʻiga e sili atu ona faigofie le faʻatinoina mo faʻasalalauga faʻasoa, faletusi, poʻo galuega tetele nai lo le faʻaogaina atoatoa o talosaga i luga ole laiga. E le gata i lea, o lenei faʻataʻitaʻiga e lelei mo poloketi e amata tatala punaoa mai le aso muamua, ae o WhereHows na fausia e avea o se 'upega tafaʻilagi atoa i totonu. Sa matua faigata lava ona fa'amama ese uma fa'alagolago i totonu, o lea na matou mana'omia ai le tausia o le tui totonu, ae o le tausia o le tui totonu ma le atina'eina o le tele o punaoa tatala e le'i lelei.

Taumafai lona lua: “I totonu muamua”

** I le avea ai o se taumafaiga lona lua, na matou siitia atu i se faʻataʻitaʻiga faʻataʻitaʻiga "muamua totonu", lea o le tele o atinaʻe e tupu i totonu o le fale ma suiga e faia i le faʻamatalaga tatala punaoa i taimi masani. E ui lava o lenei faʻataʻitaʻiga e sili ona fetaui mo a tatou faʻaoga faʻaoga, e iai faʻafitauli faʻapitoa. Tu'i sa'o ese'esega uma i le fa'aputuga tatala ma taumafai e fo'ia fete'ena'iga mulimuli ane o se filifiliga, ae e alu ai le taimi. O tagata atiaʻe i le tele o tulaga e taumafai e aua le faia lenei mea i taimi uma latou te toe iloilo ai a latou code. O le i'uga, o lenei mea o le a fa'aitiitia soo, i vaega, ma fa'afaigata ai ona fo'ia fete'ena'iga tu'ufa'atasi mulimuli ane.

O le taimi lona tolu na aoga!

O taumafaiga le manuia e lua o loʻo taʻua i luga na iʻu ai i le WhereHows GitHub repository o loʻo tumau pea le aso mo se taimi umi. Na faʻaauau pea ona faʻaleleia e le 'au foliga o le oloa ma faʻataʻitaʻiga, ina ia sili atu le alualu i luma o le lomiga i totonu o WhereHows mo LinkedIn nai lo le faʻamatalaga tatala. Sa i ai foi se igoa fou - DataHub. Faʻavae i luga o taumafaiga le manuia muamua, na filifili le 'au e atiaʻe se fofo faʻalautele, umi.

Mo so'o se poloketi fou fou, o le LinkedIn's open source team e fautuaina ma lagolagoina se fa'ata'ita'iga fa'ata'ita'iga lea e fa'atupuina atoa ai modules a le poloketi i le fa'apogai matala. O lo'o fa'apipi'iina mea fa'aliliu i se faleteuoloa fa'alaua'itele ona toe siaki lea i totonu ole fa'aoga LinkedIn fa'aoga talosaga faletusi fafo (ELR). O le mulimuli i lenei fa'ata'ita'iga fa'ata'ita'iga e le gata e lelei mo i latou o lo'o fa'aogaina punaoa tatala, ae e maua ai fo'i se fausaga sili atu fa'apitoa, fa'alautele, ma fa'apipi'iina.

Ae ui i lea, o se talosaga tua-tua matutua pei o DataHub o le a manaʻomia se taimi tele e oʻo atu ai i lenei setete. O le mea lea e taofia ai le avanoa e tatala ai sourcing se fa'atinoga lelei atoatoa a'o le'i fa'amavae uma fa'alagolago i totonu. O le mafuaaga lena na matou fausia ai meafaigaluega e fesoasoani ia i matou e fai sao faʻamatalaga tatala vave ma faʻaitiitia ai le tiga. O lenei fofo e aoga uma i le metadata team (DataHub developer) ma le open source community. O vaega nei o le a talanoaina ai lenei faiga fou.

Open Source Publishing Automation

Ole auala lata mai a le Metadata team ile open source DataHub o le fausia lea o se meafaigaluega e otometi ona faʻafetaui le codebase i totonu ma le faʻamaumauga tatala punaoa. O tulaga maualuga o lenei meafaigaluega e aofia ai:

  1. Fa'atasi le code LinkedIn i/mai le puna tatala, tutusa rsync.
  2. Fa'atupu fa'auluuluga laisene, tutusa ma Iole Apache.
  3. Otometi ona fa'atupu fa'amatalaga tatala commit logs mai fa'amaufa'ailoga i totonu.
  4. Taofi suiga i totonu e motusia ai le fa'apupulaina o puna'oa su'ega fa'alagolago.

O vaega o lo'o mulimuli mai o le a su'esu'e i galuega ua ta'ua i luga o lo'o iai fa'afitauli mata'ina.

Fa'amaopoopo fa'ailoga puna

E le pei o le faʻamatalaga tatala o DataHub, o se tasi GitHub fale teu oloa, o le LinkedIn version o DataHub o se tuufaatasiga o le tele o faleoloa (taʻua i totonu. tele oloa). O le DataHub interface, metadata model library, metadata warehouse backend service, ma le tafega o galuega e nonofo i faleoloa eseese i LinkedIn. Ae ui i lea, ina ia faʻafaigofie mo tagata faʻaoga tatala, e tasi le matou fale teu oloa mo le faʻamatalaga tatala o le DataHub.

Open Source DataHub: LinkedIn Metadata Search and Discovery Platform

Ata 1: Fa'atasi i le va o fale teu oloa LinkedIn DataHub ma se fale teu oloa e tasi DataHub puna tatala

Ina ia lagolagoina le fauina otometi, tulei, ma toso le galuega, o le matou meafaigaluega fou e otometi lava ona fatuina se faafanua tulaga faila e fetaui ma faila puna taitasi. Ae ui i lea, o le meafaigaluega e manaʻomia le faʻatulagaina muamua ma e tatau i tagata faʻaoga ona tuʻuina atu se faʻafanua maualuga maualuga e pei ona faʻaalia i lalo.

{
  "datahub-dao": [
    "${datahub-frontend}/datahub-dao"
  ],
  "gms/impl": [
    "${dataset-gms}/impl",
    "${user-gms}/impl"
  ],
  "metadata-dao": [
    "${metadata-models}/metadata-dao"
  ],
  "metadata-builders": [
    "${metadata-models}/metadata-builders"
  ]
}

O le faʻafanua-tulaga faʻapipiʻi o se JSON faigofie o ana ki o faʻamaufaʻailoga autu i totonu o le fale teu oloa tatala ma o tau o le lisi o punaoa faʻapipiʻi i LinkedIn repositories. So'o se module fa'atatau i totonu o se fa'aputuga puna'oa e mafai ona fafaga e so'o se numera o fa'apogai puna'oa. Ina ia faʻaalia igoa i totonu o fale teu oloa i totonu o faʻaoga puna, faʻaoga fa'atasi o manoa i le faiga Bash. I le fa'aogaina o se faila fa'afanua tulaga-module, o mea faigaluega e fa'atupu ai se faila fa'afanua faila e ala i le su'eina o faila uma i totonu o fa'atonuga fa'atasi.

{
  "${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
  "${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
  "${metadata-models}/metadata-builders/build.gradle": null,
}

O le faʻafanua faila faila e otometi lava ona faia e meafaigaluega; ae ui i lea, e mafai foi ona faʻafouina ma le lima e le tagata faʻaoga. Ole fa'afanua lea ole 1:1 ole faila faila a LinkedIn ile faila ile faleteuoloa tatala. E tele tulafono e fesoʻotaʻi ma lenei faiga faʻapitoa o faila faila:

  • I le tulaga o le tele o fa'apogai fa'apogai mo se vaega fa'atatau ile fa'apogai tatala, e ono tula'i mai fete'ena'iga, fa'ata'ita'iga FQCN, o lo'o iai i le sili atu ma le tasi le fa'apogai puna. I le avea ai o se fuafuaga e foia ai feeseeseaiga, e le mafai e a tatou meafaigaluega i le filifiliga "manumalo mulimuli".
  • "null" o lona uiga o le faila faila e le o se vaega o le fale teu oloa tatala.
  • A mae'a ta'itasi tu'uina atu po'o fa'aputuga, e otometi lava le fa'afouina o lenei fa'afanua ma faia ai se ata. E mana'omia lenei mea e iloa ai fa'aopoopoga ma tape'ese mai le fa'ailoga puna talu mai le gaioiga mulimuli.

Fausia commit ogalaau

Commit logs mo open source commits e otometi fo'i ona fa'atupuina e ala i le tu'ufa'atasia o fa'amaumauga o lo'o tu'ufa'atasia i totonu. O loʻo i lalo se faʻataʻitaʻiga o loʻo tuʻuina atu e faʻaalia ai le fausaga o le commit log na gaosia e la matou meafaigaluega. O le ta'utinoga o lo'o fa'ailoa manino mai po'o fea fa'aliliuga o fa'aputuga fa'apogai o lo'o fa'apipi'iina i totonu o lena ta'utinoga ma tu'u mai ai se aotelega o le fa'amaumauga o le commit. Siaki le mea lea tautino fa'aaogaina o se fa'ata'ita'iga moni o se ogalaau tu'ufa'atasi na fa'atupuina e la matou pusa meafaigaluega.

metadata-models 29.0.0 -> 30.0.0
    Added aspect model foo
    Fixed issue bar

dataset-gms 2.3.0 -> 2.3.4
    Added rest.li API to serve foo aspect

MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0

Su'ega fa'alagolago

LinkedIn ei ai atina'e su'ega fa'alagolago, lea e fesoasoani e fa'amautinoaina o suiga i totonu o le tele o oloa e le motusia ai le fa'apotopotoga o oloa fa'alagolago. O le punaoa tatala o le DataHub repository e leʻo tele-oloa, ma e le mafai ona faʻalagolago saʻo o soʻo se tele-oloa, ae faʻatasi ai ma le fesoasoani a se afifi tele-oloa e maua mai ai le faʻamatalaga tatala DataHub source code, e mafai lava ona tatou faʻaogaina lenei suʻega faʻalagolago. system. O le mea lea, so'o se suiga (e ono fa'aalia mulimuli ane) i so'o se tele o oloa e fafaga ai le fa'aputuga o le DataHub e fa'aoso ai se mea fau i le atigi multiproduct. O le mea lea, so'o se suiga e le mafai ona fausia se oloa afifi e le mafai ona su'eina a'o le'i faia le oloa muamua ma toe fa'afo'i.

Ose faiga aoga lea e fesoasoani e puipuia ai so'o se faiga fa'alotoifale e malepe ai le fau matala ma iloa i le taimi e tu'u ai. A aunoa ma lea mea, e fai si faigata ona iloa po o le fea mea i totonu na mafua ai ona le manuia le fausiaina o le faleteuoloa matala, ona o loʻo matou faʻaputuina suiga i totonu i le DataHub open source repository.

Eseesega i le va o punaoa tatala DataHub ma a tatou lomiga gaosiga

E oʻo mai i le taimi nei, ua matou talanoaina le matou fofo mo le faʻamaopoopoina o faʻamaumauga e lua o le DataHub repositories, ae matou te leʻi faʻamatalaina mafuaʻaga matou te manaʻomia ai ni vaitafe atinaʻe se lua i le mea muamua. I totonu o lenei vaega, o le a matou lisiina le eseesega i le va o le lautele o le DataHub ma le gaosiga o faʻamaumauga i luga o LinkedIn servers, ma faʻamatalaina mafuaaga mo nei eseesega.

O se tasi o fa'apogai o fa'alavelave e afua mai i le mea moni e fa'atatau i le fa'asologa o la matou gaosiga i le fa'ailoga e le'i tatalaina, e pei o le LinkedIn's Offspring (LinkedIn's internal dependency injection framework). O fanau e faʻaaogaina lautele i totonu o codebases ona o le auala sili lea mo le puleaina o faʻatulagaga faʻamalosi. Ae e le o se punavai tatala; o lea na matou manaʻomia ai le suʻeina o punaoa tatala i le punaoa tatala DataHub.

E iai foʻi isi māfuaaga. A'o matou faia fa'aopoopoga i le metadata fa'ata'ita'iga mo mana'oga o LinkedIn, o nei fa'aopoopoga e masani lava ona fa'apitoa i LinkedIn ma atonu e le fa'aoga sa'o i isi si'osi'omaga. Mo se fa'ata'ita'iga, e iai a matou fa'ailoga fa'apitoa mo ID sui ma isi ituaiga o metadata fa'afetaui. O lea la, ua matou fa'ate'aina nei fa'aopoopoga mai le fa'ata'ita'iga metadata fa'amatalaga tatala a DataHub. A o matou fegalegaleai ma le alalafaga ma malamalama i o latou manaʻoga, o le a matou galulue i faʻamatalaga masani matala o nei faʻaopoopoga pe a manaʻomia.

O le faigofie o le fa'aoga ma le fa'afaigofieina o fetuutuuna'iga mo le fa'alapotopotoga fa'alaua'itele na fa'aosofia ai fo'i nisi o eseesega i le va o fa'aliliuga e lua o le DataHub. O ese'esega ile fa'agaioiina o galuega tetele o se fa'ata'ita'iga lelei lea. E ui lava ina fa'aogaina e le matou fa'alotoifale se fa'atonuga o le fa'aogaina o vaitafe, na matou filifili e fa'aogaina le fa'aogaina o le vaitafe fa'apipi'iina (tutoatasi) mo le fa'amatalaga tatala fa'apogai ona e 'alofia ai le faia o se isi fa'amoemoega tetele.

O le isi fa'ata'ita'iga o le 'ese'esega o le iai lea o se GMS (Generalized Metadata Store) i totonu o le fa'atinoga o fa'amatalaga matala nai lo le tele o GMS. GMA (Generalized Metadata Architecture) o le igoa o le fausaga pito i tua mo DataHub, ma o le GMS o le metadata store i le tala o le GMA. GMA o se fausaga fetuutuunai tele e mafai ai e oe ona tufatufa faʻamaumauga taʻitasi (eg datasets, tagata faʻaoga, ma isi) i totonu o lana lava faleoloa metadata, pe teuina ni faʻamaumauga e tele i totonu o se faleoloa metadata se tasi pe a fai o le resitala o loʻo i ai le faʻasologa o faʻamaumauga faʻafanua i totonu. GMS ua fa'afouina. Mo le faigofie o le fa'aoga, na matou filifilia se fa'ata'ita'iga GMS e tasi e teuina uma fa'amaumauga fa'amatalaga eseese i le puna tatala DataHub.

O se lisi atoa o eseesega i le va o faʻatinoga e lua o loʻo tuʻuina atu i le laulau i lalo.

Taunuuga o Mea
LinkedIn DataHub
Open Source DataHub

Fausia Fa'amaumauga Lagolago
1) Fa'amaumauga 2) Tagata fa'aoga 3) Fuafuaga 4) Fa'aaliga ML 5) Siata 6) Laupapa
1) Fa'amaumauga 2) Tagata fa'aoga

Lagolago Metadata Punaoa mo Fa'amaumauga
1) Ambry 2) Couchbase 3) Dalids 4) espresso 5) HDFS 6) Hive 7) Kafka 8) MongoDB 9) MySQL 10) Oracle 11) Pinot 12) Presto 12) Ia 13) Teradata 13) Vector 14) Venice
Hive Kafka RDBMS

Pub-sub
LinkedIn Kafka
Confluent Kafka

Fa'agasologa o Vaitafe
pulea
Fa'apipi'i (tu'atasi)

Fa'alagolago Injection & Dynamic Configuration
LinkedIn Fanau
vaipuna

Fau meafaigaluega
Ligradle (LinkedIn's i totonu Gradle afifi)
Gradlew

CI / CD
CRT (LinkedIn totonu CI/CD)
TravisCI ma Docker hub

Faleoloa Metadata
Fa'asoaina GMS e tele: 1) GMS Seti Fa'amatalaga 2) GMS Fa'aoga 3) GMS Metric 4) GMS Fa'apitoa 5) GMS Siata/Dashboard GMS
GMS nofofua mo: 1) Fa'amaumauga 2) Tagata fa'aoga

Microservices i pusa Docker

Docker fa'afaigofie le fa'atinoina ma le fa'asoaina atu o le talosaga containerization. O vaega uma o le auaunaga i le DataHub o se punaoa tatala, e aofia ai vaega tetele e pei o Kafka, Elasticsearch, neo4j и MySQL, e iai lana lava ata Docker. E faʻapipiʻi pusa Docker na matou faʻaaogaina Faila Faʻamau.

Open Source DataHub: LinkedIn Metadata Search and Discovery Platform

Ata 2: Fa'ata'ita'iga DataHub *otala tatala**

E mafai ona e vaʻaia le fausaga maualuga o le DataHub ile ata i luga. E ese mai i vaega tetele, e fa ni pusa Docker eseese:

datahub-gms: auaunaga teuina metadata

datahub-frontend: talosaga taaalo, tautuaina le DataHub interface.

datahub-mce-consumer: talosaga Alia o Kafka, lea e fa'aogaina ai le metadata change event (MCE) stream ma fa'afou le metadata store.

datahub-mae-consumer: talosaga Alia o Kafka, lea e fa'aogaina ai le metadata audit event stream (MAE) ma fa'atupu ai se fa'asinomaga su'esu'e ma fa'amaumauga kalafi.

Tatala fa'amaumauga fa'amaumauga ma ulua'i fa'amatalaga blog a DataHub o lo'o iai fa'amatalaga au'ili'ili e uiga i galuega a auaunaga eseese.

CI/CD i luga ole DataHub ole puna tatala

O lo'o fa'aogaina e le fa'amaumauga o le DataHub punaoa tatala TravisCI mo le tuufaatasia faifaipea ma Docker hub mo le fa'atinoina fa'aauau. O loʻo i ai uma le tuʻufaʻatasiga GitHub lelei ma e faigofie ona faʻatulagaina. Mo le tele o atina'e fa'apitoa e fausia e le nu'u po'o kamupani tumaoti (eg. Faʻasalaga), O ata o Docker e fausia ma faʻapipiʻi i Docker Hub mo le faʻaogaina e le alalafaga. Soʻo se ata Docker o loʻo maua i Docker Hub e mafai ona faigofie ona faʻaoga i se faʻatonuga faigofie toso a leoleo.

Faatasi ai ma tautinoga uma i le DataHub open source repository, o ata Docker uma e otometi lava ona fausia ma faʻapipiʻi i Docker Hub ma le "tala fou" tag. Afai o Docker Hub ua faʻatulagaina ma nisi fa'aigoaina o lala fa'amatalaga masani, o faʻailoga uma i totonu o le fale teu oloa tatala o loʻo tuʻuina atu foʻi ma igoa faʻailoga tutusa ile Docker Hub.

Fa'aaogā le DataHub

Seti DataHub e matua faigofie lava ma e aofia ai laasaga faigofie e tolu:

  1. Faʻapipiʻi le fale teu oloa tatala ma taʻavale uma pusa Docker ma docker-compose e faʻaaoga ai le docker-compose script mo se amataga vave.
  2. Faʻapipiʻi faʻamatalaga faʻataʻitaʻiga o loʻo tuʻuina atu i totonu o le fale teu oloa e faʻaaoga ai le meafaigaluega laina laina o loʻo tuʻuina atu foi.
  3. Su'e le DataHub i lau su'ega.

Mata'ituina lelei Gitter talatalanoaga configured foi mo fesili vave. E mafai foʻi e tagata faʻaoga ona fatuina faʻafitauli saʻo i le fale teu oloa GitHub. O le mea e sili ona taua, matou te faʻafeiloaʻi ma talisapaia manatu uma ma fautuaga!

Fuafuaga mo le lumanaʻi

I le taimi nei, o atinaʻe uma poʻo microservice mo punaoa tatala DataHub ua fausia e avea o se pusa Docker, ma o le polokalama atoa o loʻo faʻaogaina e faʻaaoga ai. fai fai-fai. Tuuina atu le lauiloa ma le salalau lautele Kubernetes, matou te fia tu'uina atu fo'i se fofo fa'avae Kubernetes i se taimi lata mai.

Matou te fuafua foi e tuʻuina atu se tali faʻaogaina mo le faʻapipiʻiina o DataHub i luga o se auaunaga ao lautele e pei o Azure, AWS poʻo Google Cloud. Talu ai ona o le faʻasalalauga lata mai o LinkedIn's migration i Azure, o le a fetaui ma le metadata team's faʻamuamua i totonu.

Mulimuli ae leai se mea itiiti, faʻafetai i tagata muamua na faʻaaogaina le DataHub i totonu o le faʻalapotopotoga faʻapitoa o loʻo faʻamauina le DataHub alphas ma fesoasoani ia i matou e iloa faʻafitauli ma faʻaleleia faʻamaumauga.

puna: www.habr.com

Faaopoopo i ai se faamatalaga