Ṣii Orisun DataHub: Iwadi Metadata ti LinkedIn ati Platform Awari
Wiwa data ti o nilo ni iyara jẹ pataki fun eyikeyi ile-iṣẹ ti o gbarale awọn oye nla ti data lati ṣe awọn ipinnu idari data. Kii ṣe nikan ni ipa yii ni iṣelọpọ ti awọn olumulo data (pẹlu awọn atunnkanka, awọn olupilẹṣẹ ikẹkọ ẹrọ, awọn onimọ-jinlẹ data, ati awọn ẹlẹrọ data), ṣugbọn o tun ni ipa taara lori awọn ọja ipari ti o dale lori opo gigun ti ẹrọ didara (ML). Ni afikun, aṣa si imuse tabi kikọ awọn iru ẹrọ ikẹkọ ẹrọ nipa ti n gbe ibeere naa dide: kini ọna rẹ fun wiwa awọn ẹya inu inu, awọn awoṣe, awọn metiriki, awọn ipilẹ data, ati bẹbẹ lọ.
Ninu nkan yii a yoo sọrọ nipa bii a ṣe ṣe atẹjade orisun data labẹ iwe-aṣẹ ṣiṣi ninu wiwa metadata wa ati pẹpẹ wiwa, bẹrẹ lati awọn ọjọ ibẹrẹ ti iṣẹ akanṣe naa . LinkedIn ṣe itọju ẹya tirẹ ti DataHub lọtọ lati ẹya orisun ṣiṣi. A yoo bẹrẹ nipa ṣiṣe alaye idi ti a nilo awọn agbegbe idagbasoke lọtọ meji, lẹhinna jiroro awọn isunmọ ni kutukutu si lilo orisun ṣiṣi WhereHows ati ṣe afiwe ẹya inu (igbejade) ti DataHub pẹlu ẹya lori . A yoo tun pin awọn alaye nipa ojutu adaṣe adaṣe tuntun wa fun titari ati gbigba awọn imudojuiwọn orisun ṣiṣi lati jẹ ki awọn ibi ipamọ mejeeji ṣiṣẹpọ. Ni ipari, a yoo pese awọn itọnisọna lori bi a ṣe le bẹrẹ lilo orisun ṣiṣi DataHub ati jiroro ni ṣoki nipa faaji rẹ.
WhereHows jẹ DataHub ni bayi!
Ẹgbẹ metadata ti LinkedIn ti gbekalẹ tẹlẹ (arọpo si WhereHows), wiwa LinkedIn ati ipilẹ wiwa metadata, ati awọn ero pinpin lati ṣii. Laipẹ lẹhin ikede yii, a ṣe ifilọlẹ ẹya alfa kan ti DataHub a si pin pẹlu agbegbe. Lati igbanna, a ti ṣe alabapin nigbagbogbo si ibi ipamọ ati ṣiṣẹ pẹlu awọn olumulo ti o nifẹ lati ṣafikun awọn ẹya ti o beere julọ ati yanju awọn iṣoro. Inu wa dun ni bayi lati kede itusilẹ osise .
Ṣii Orisun Awọn isunmọ
WhereHows, ọna abawọle atilẹba ti LinkedIn fun wiwa data ati ibiti o ti wa, bẹrẹ bi iṣẹ akanṣe inu; egbe metadata ṣi i . Lati igbanna, ẹgbẹ naa ti ṣetọju nigbagbogbo awọn ipilẹ koodu oriṣiriṣi meji — ọkan fun orisun ṣiṣi ati ọkan fun lilo inu inu LinkedIn - nitori kii ṣe gbogbo awọn ẹya ọja ti o dagbasoke fun awọn ọran lilo LinkedIn ni gbogbogbo wulo fun awọn olugbo gbooro. Ni afikun, WhereHows ni diẹ ninu awọn igbẹkẹle inu (awọn amayederun, awọn ile ikawe, ati bẹbẹ lọ) ti kii ṣe orisun ṣiṣi. Ni awọn ọdun ti o tẹle, WhereHows lọ nipasẹ ọpọlọpọ awọn iterations ati awọn akoko idagbasoke, ṣiṣe titọju awọn koodu koodu meji ni mimuuṣiṣẹpọ ipenija nla kan. Ẹgbẹ metadata ti gbiyanju awọn ọna oriṣiriṣi ni awọn ọdun lati gbiyanju lati tọju inu ati idagbasoke orisun ṣiṣi ni amuṣiṣẹpọ.
Gbiyanju akọkọ: "Ṣi orisun akọkọ"
A kọkọ tẹle awoṣe idagbasoke “orisun ṣiṣi akọkọ”, nibiti idagbasoke pupọ julọ waye ninu ibi ipamọ orisun ṣiṣi ati awọn ayipada ti ṣe fun imuṣiṣẹ inu. Iṣoro pẹlu ọna yii ni pe koodu nigbagbogbo ni titari si GitHub ni akọkọ ṣaaju ki o to ṣe atunyẹwo ni kikun ni inu. Titi awọn ayipada yoo fi ṣe lati ibi ipamọ orisun ṣiṣi ati imuṣiṣẹ inu inu tuntun, a kii yoo rii eyikeyi awọn ọran iṣelọpọ. Ni ọran ti imuṣiṣẹ ti ko dara, o tun ṣoro pupọ lati pinnu ẹniti o jẹbi nitori awọn iyipada ti ṣe ni awọn ipele.
Ni afikun, awoṣe yii dinku iṣelọpọ ẹgbẹ nigba idagbasoke awọn ẹya tuntun ti o nilo awọn aṣetunṣe iyara, niwọn bi o ti fi agbara mu gbogbo awọn ayipada lati wa ni titari akọkọ sinu ibi ipamọ orisun ṣiṣi ati lẹhinna titari si ibi ipamọ inu. Lati dinku akoko sisẹ, atunṣe ti a beere tabi iyipada le ṣee ṣe ni ibi ipamọ inu ni akọkọ, ṣugbọn eyi di iṣoro nla nigbati o wa lati dapọ awọn iyipada wọnyẹn pada si ibi ipamọ orisun ṣiṣi nitori awọn ibi ipamọ meji ko ni amuṣiṣẹpọ.
Awoṣe yii rọrun pupọ lati ṣe fun awọn iru ẹrọ ti a pin, awọn ile-ikawe, tabi awọn iṣẹ amayederun ju fun awọn ohun elo wẹẹbu aṣa ti o ni kikun. Ni afikun, awoṣe yii jẹ apẹrẹ fun awọn iṣẹ akanṣe ti o bẹrẹ orisun ṣiṣi lati ọjọ kan, ṣugbọn WhereHows ti kọ bi ohun elo wẹẹbu inu patapata. O nira gaan lati ṣe aibikita patapata kuro gbogbo awọn igbẹkẹle inu, nitorinaa a nilo lati tọju orita ti inu, ṣugbọn titọju orita inu ati idagbasoke orisun ṣiṣi julọ ko ṣiṣẹ daradara.
Igbiyanju keji: "Inu akọkọ"
** Gẹgẹbi igbiyanju keji, a gbe lọ si awoṣe idagbasoke "akọkọ ti inu", nibiti idagbasoke pupọ julọ waye ninu ile ati pe a ṣe awọn ayipada si koodu orisun ṣiṣi ni ipilẹ igbagbogbo. Botilẹjẹpe awoṣe yii dara julọ fun ọran lilo wa, o ni awọn iṣoro inherent. Titari gbogbo awọn iyatọ taara si ibi ipamọ orisun ṣiṣi ati lẹhinna igbiyanju lati yanju awọn ija-ija nigbamii jẹ aṣayan, ṣugbọn o jẹ akoko ti n gba. Awọn olupilẹṣẹ ni ọpọlọpọ igba gbiyanju lati ma ṣe eyi ni gbogbo igba ti wọn ba ṣayẹwo koodu wọn. Bi abajade, eyi yoo ṣee ṣe pupọ diẹ sii loorekoore, ni awọn ipele, ati nitorinaa jẹ ki o nira diẹ sii lati yanju awọn ija apapọ nigbamii.
Awọn kẹta akoko ti o sise!
Awọn igbiyanju ikuna meji ti a mẹnuba loke yorisi ibi ipamọ WhereHows GitHub ti o ku ti ọjọ fun igba pipẹ. Ẹgbẹ naa tẹsiwaju lati ni ilọsiwaju awọn ẹya ọja ati faaji, ki ẹya inu ti WhereHows fun LinkedIn di ilọsiwaju diẹ sii ju ẹya orisun ṣiṣi lọ. O paapaa ni orukọ tuntun - DataHub. Da lori awọn igbiyanju ti o kuna tẹlẹ, ẹgbẹ naa pinnu lati ṣe agbekalẹ iwọn, ojutu igba pipẹ.
Fun eyikeyi iṣẹ akanṣe orisun ṣiṣi tuntun, ẹgbẹ orisun ṣiṣi LinkedIn ni imọran ati ṣe atilẹyin awoṣe idagbasoke ninu eyiti awọn modulu iṣẹ akanṣe naa ti ni idagbasoke patapata ni orisun ṣiṣi. Awọn ohun-ọṣọ ti ikede ni a gbe lọ si ibi ipamọ ti gbogbo eniyan ati lẹhinna ṣayẹwo pada si inu ohun-ọṣọ LinkedIn ti inu nipa lilo . Atẹle awoṣe idagbasoke yii kii ṣe dara nikan fun awọn ti o lo orisun ṣiṣi, ṣugbọn tun ṣe abajade ni apọjuwọn diẹ sii, extensible, ati faaji pluggable.
Sibẹsibẹ, ohun elo ipari-pada ti ogbo gẹgẹbi DataHub yoo nilo iye akoko pataki lati de ipo yii. Eyi tun ṣe idiwọ iṣeeṣe ti ṣiṣi orisun imuse iṣẹ ni kikun ṣaaju ki gbogbo awọn igbẹkẹle inu ti jẹ abstrakt ni kikun. Ti o ni idi ti a ti ṣe agbekalẹ awọn irinṣẹ ti o ṣe iranlọwọ fun wa lati ṣe awọn ifunni orisun ṣiṣi ni iyara ati pẹlu irora ti o dinku pupọ. Ojutu yii ṣe anfani mejeeji ẹgbẹ metadata (Olugbese DataHub) ati agbegbe orisun ṣiṣi. Awọn apakan atẹle yoo jiroro lori ọna tuntun yii.
Ṣii Orisun Titajade Adaṣiṣẹ
Ọna tuntun ti ẹgbẹ Metadata si orisun ṣiṣi DataHub ni lati ṣe agbekalẹ ohun elo kan ti o muṣiṣẹpọ laifọwọyi koodu inu inu ati ibi ipamọ orisun ṣiṣi. Awọn ẹya ipele giga ti ohun elo irinṣẹ yii pẹlu:
- Mu koodu LinkedIn ṣiṣẹpọ si/lati orisun ṣiṣi, iru .
- Iran akọsori iwe-aṣẹ, iru si .
- Laifọwọyi ṣe ipilẹṣẹ orisun ṣiṣi silẹ awọn iforukọsilẹ lati awọn iforukọsilẹ ifaramọ inu.
- Dena awọn iyipada inu ti o fọ orisun ṣiṣi silẹ nipasẹ .
Awọn abala atẹle wọnyi yoo lọ sinu awọn iṣẹ ti a mẹnuba loke eyiti o ni awọn iṣoro ti o nifẹ.
Amuṣiṣẹpọ koodu orisun
Ko dabi ẹya orisun orisun ti DataHub, eyiti o jẹ ibi ipamọ GitHub kan, ẹya LinkedIn ti DataHub jẹ apapo awọn ibi ipamọ pupọ (ti a pe ni inu. ). Ni wiwo DataHub, ile-ikawe awoṣe awoṣe metadata, iṣẹ ẹhin ile itaja metadata, ati awọn iṣẹ ṣiṣanwọle ngbe ni awọn ibi ipamọ lọtọ lori LinkedIn. Sibẹsibẹ, lati jẹ ki o rọrun fun awọn olumulo orisun ṣiṣi, a ni ibi ipamọ kan fun ẹya orisun orisun ti DataHub.
Nọmba 1: Amuṣiṣẹpọ laarin awọn ibi ipamọ LinkedIn DataHub ati ki o kan nikan ibi ipamọ DataHub ìmọ orisun
Lati ṣe atilẹyin kikọ adaṣe adaṣe, titari, ati fa awọn ṣiṣan iṣẹ, ohun elo tuntun wa laifọwọyi ṣẹda aworan aworan ipele-faili ti o baamu si faili orisun kọọkan. Bibẹẹkọ, ohun elo irinṣẹ nilo iṣeto ni ibẹrẹ ati awọn olumulo gbọdọ pese maapu module ipele giga bi a ṣe han ni isalẹ.
{
"datahub-dao": [
"${datahub-frontend}/datahub-dao"
],
"gms/impl": [
"${dataset-gms}/impl",
"${user-gms}/impl"
],
"metadata-dao": [
"${metadata-models}/metadata-dao"
],
"metadata-builders": [
"${metadata-models}/metadata-builders"
]
}Aworan aworan ipele- module jẹ JSON ti o rọrun ti awọn bọtini rẹ jẹ awọn modulu ibi-afẹde ni ibi ipamọ orisun ṣiṣi ati awọn iye jẹ atokọ ti awọn modulu orisun ni awọn ibi ipamọ LinkedIn. Eyikeyi module ibi-afẹde ninu ibi ipamọ orisun ṣiṣi le jẹ ifunni nipasẹ nọmba eyikeyi ti awọn modulu orisun. Lati tọka awọn orukọ inu ti awọn ibi ipamọ ninu awọn modulu orisun, lo ni Bash ara. Lilo faili aworan aworan ipele-module, awọn irinṣẹ ṣẹda faili aworan aworan ipele-faili nipa ṣiṣe ọlọjẹ gbogbo awọn faili ni awọn ilana ti o somọ.
{
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
"${metadata-models}/metadata-builders/build.gradle": null,
}Awọn maapu ipele faili ni a ṣẹda laifọwọyi nipasẹ awọn irinṣẹ; sibẹsibẹ, o tun le ṣe imudojuiwọn pẹlu ọwọ nipasẹ olumulo. Eyi jẹ aworan agbaye 1:1 ti faili orisun LinkedIn si faili kan ni ibi ipamọ orisun ṣiṣi. Awọn ofin pupọ wa ti o ni nkan ṣe pẹlu ṣiṣẹda adaṣe adaṣe ti awọn ẹgbẹ faili:
- Ninu ọran ti awọn modulu orisun pupọ fun module ibi-afẹde ni orisun ṣiṣi, awọn ija le dide, fun apẹẹrẹ kanna , tẹlẹ ninu siwaju ju ọkan module orisun. Gẹgẹbi ilana ipinnu rogbodiyan, awọn irinṣẹ wa aiyipada si aṣayan “aṣeyọri ikẹhin”.
- "asan" tumọ si pe faili orisun kii ṣe apakan ti ibi ipamọ orisun ṣiṣi.
- Lẹhin ifisilẹ orisun ṣiṣi kọọkan tabi isediwon, maapu yii ti ni imudojuiwọn laifọwọyi ati pe o ṣẹda aworan kan. Eyi jẹ pataki lati ṣe idanimọ awọn afikun ati awọn piparẹ lati koodu orisun lati igba iṣe ti o kẹhin.
Ṣiṣẹda ṣẹ àkọọlẹ
Awọn iforukọsilẹ ifaramo fun awọn iṣẹ orisun ṣiṣi tun jẹ ipilẹṣẹ laifọwọyi nipasẹ sisọpọ awọn iforukọsilẹ ifaramo ti awọn ibi ipamọ inu. Ni isalẹ ni iwe adehun ifarabalẹ kan lati ṣafihan eto ti iwe adehun ti ipilẹṣẹ nipasẹ irinṣẹ wa. Iṣeduro ni kedere tọkasi iru awọn ẹya ti awọn ibi ipamọ orisun ti wa ni akopọ ninu ifaramo yẹn ati pese akopọ ti iwe adehun naa. Ṣayẹwo eyi jade lilo apẹẹrẹ gidi ti iwe adehun ti ipilẹṣẹ nipasẹ ohun elo irinṣẹ wa.
metadata-models 29.0.0 -> 30.0.0
Added aspect model foo
Fixed issue bar
dataset-gms 2.3.0 -> 2.3.4
Added rest.li API to serve foo aspect
MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0Idanwo igbẹkẹle
LinkedIn ni , eyi ti o ṣe iranlọwọ rii daju pe awọn iyipada si multiproduct ti inu ko ṣe adehun apejọ ti awọn ọja-ọja ti o gbẹkẹle. Ibi ipamọ dataHub orisun ṣiṣi kii ṣe ọja-ọpọlọpọ, ati pe ko le jẹ igbẹkẹle taara ti eyikeyi ọja-ọja lọpọlọpọ, ṣugbọn pẹlu iranlọwọ ti iwe-ipamọ ọja pupọ ti o mu koodu orisun orisun DataHub, a tun le lo idanwo igbẹkẹle yii. Nitorinaa, eyikeyi iyipada (eyiti o le ṣafihan nigbamii) si eyikeyi awọn ọja lọpọlọpọ ti o jẹ ifunni orisun ṣiṣi aaye ibi ipamọ DataHub nfa iṣẹlẹ kikọ ninu ikarahun multiproduct. Nitorinaa, eyikeyi iyipada ti o kuna lati kọ ọja ipari kan kuna awọn idanwo ṣaaju ṣiṣe ọja atilẹba ati pe o pada.
Eyi jẹ ẹrọ ti o wulo ti o ṣe iranlọwọ fun idiwọ eyikeyi ifaramọ inu ti o fọ orisun orisun ṣiṣi ati ṣe awari ni akoko ifaramọ. Laisi eyi, yoo jẹ ohun ti o ṣoro pupọ lati pinnu iru iṣẹ inu ti o fa ki ibi ipamọ orisun ṣiṣi kuna, nitori a ṣe ipele awọn ayipada inu si ibi ipamọ orisun orisun DataHub.
Awọn iyatọ laarin orisun ṣiṣi DataHub ati ẹya iṣelọpọ wa
Titi di aaye yii, a ti jiroro ojutu wa fun mimuuṣiṣẹpọ awọn ẹya meji ti awọn ibi ipamọ dataHub, ṣugbọn a ko ti ṣe alaye awọn idi ti a nilo awọn ṣiṣan idagbasoke oriṣiriṣi meji ni ibẹrẹ. Ni apakan yii, a yoo ṣe atokọ awọn iyatọ laarin ẹya gbangba ti DataHub ati ẹya iṣelọpọ lori awọn olupin LinkedIn, ati ṣalaye awọn idi fun awọn iyatọ wọnyi.
Orisun aiṣedeede kan wa lati otitọ pe ẹya iṣelọpọ wa ni awọn igbẹkẹle lori koodu ti ko tii ṣiṣi silẹ, gẹgẹbi Awọn ọmọ LinkedIn (ilana abẹrẹ igbẹkẹle inu LinkedIn). Awọn ọmọ ni lilo pupọ ni awọn koodu koodu inu nitori pe o jẹ ọna ti o fẹ julọ fun ṣiṣakoso iṣeto ni agbara. Ṣugbọn kii ṣe orisun ṣiṣi; nitorinaa a nilo lati wa awọn omiiran orisun ṣiṣi si orisun orisun DataHub.
Awọn idi miiran tun wa. Bi a ṣe ṣẹda awọn amugbooro si awoṣe metadata fun awọn iwulo LinkedIn, awọn amugbooro wọnyi jẹ pato pato si LinkedIn ati pe o le ma kan taara si awọn agbegbe miiran. Fun apẹẹrẹ, a ni awọn aami kan pato fun awọn ID alabaṣe ati awọn iru miiran ti metadata tuntun. Nitorinaa, a ti yọkuro awọn amugbooro wọnyi lati inu awoṣe metadata orisun ṣiṣi ti DataHub. Bi a ṣe n ṣepọ pẹlu agbegbe ati loye awọn iwulo wọn, a yoo ṣiṣẹ lori awọn ẹya orisun ṣiṣi ti o wọpọ ti awọn amugbooro wọnyi nibiti o nilo.
Irọrun ti lilo ati irọrun rọrun fun agbegbe orisun ṣiṣi tun ṣe atilẹyin diẹ ninu awọn iyatọ laarin awọn ẹya meji ti DataHub. Awọn iyatọ ninu awọn amayederun iṣelọpọ ṣiṣan jẹ apẹẹrẹ ti o dara fun eyi. Botilẹjẹpe ẹya inu inu wa nlo ilana iṣakoso ṣiṣan ti iṣakoso, a yan lati lo iṣelọpọ ṣiṣan sinu (iduroṣinṣin) fun ẹya orisun ṣiṣi nitori pe o yago fun ṣiṣẹda igbẹkẹle amayederun miiran.
Apeere miiran ti iyatọ ni nini GMS kan ṣoṣo (Itaja Metadata Gbogbogbo) ni imuse orisun ṣiṣi kuku ju awọn GMS lọpọlọpọ. GMA (Aṣapapọ Metadata Architecture) jẹ orukọ faaji-ipari fun DataHub, ati GMS jẹ ibi-itaja metadata ni aaye GMA. GMA jẹ faaji ti o rọ pupọ ti o fun ọ laaye lati pin kaakiri idasile data kọọkan (fun apẹẹrẹ awọn datasets, awọn olumulo, ati bẹbẹ lọ) sinu ile itaja metadata tirẹ, tabi tọju awọn idasile data lọpọlọpọ ni ile itaja metadata kan niwọn igba ti iforukọsilẹ ti o ni aworan aworan igbekalẹ data ninu GMS ti ni imudojuiwọn. Fun irọrun ti lilo, a yan apẹẹrẹ GMS kan ti o tọju gbogbo awọn itumọ data oriṣiriṣi ni orisun ṣiṣi DataHub.
Atokọ pipe ti awọn iyatọ laarin awọn imuse meji ni a fun ni tabili ni isalẹ.
ọja Awọn ẹya ara ẹrọ
LinkedIn DataHub
Ṣii Orisun DataHub
Awọn ikole Data atilẹyin
1) Awọn iwe data 2) Awọn olumulo 3) Awọn iwọn 4) Awọn ẹya ML 5) Awọn aworan atọka 6) Dashboards
1) Datasets 2) Awọn olumulo
Awọn orisun Metadata ti o ṣe atilẹyin fun Awọn ipilẹ data
1) 2) ijoko 3) 4) 5) HDFS 6) Ile Agbon 7) Kafka 8) MongoDB 9) MySQL 10) Oracle 11) 12) Presto 12) 13) Teradata 13) Vector 14)
Ile Agbon Kafka RDBMS
Pub-sub
Confluent Kafka
Ṣiṣan ṣiṣan
isakoso
Ti a fi sii (ni imurasilẹ)
Abẹrẹ Igbẹkẹle & Atunto Yiyi
LinkedIn ọmọ
Kọ Irinṣẹ
Ligradle (apapọ Gradle inu LinkedIn)
CI / CD
CRT (CI/CD inu LinkedIn)
ati
Metadata Stores
Pinpin ọpọ GMS: 1) Dataset GMS 2) GMS olumulo 3) Metric GMS 4) Ẹya GMS 5) Chart/Dashboard GMS
GMS Nikan fun: 1) Awọn iwe data 2) Awọn olumulo
Microservices ni Docker awọn apoti
simplifies imuṣiṣẹ ohun elo ati pinpin pẹlu . Gbogbo apakan ti iṣẹ ni DataHub jẹ orisun ṣiṣi, pẹlu awọn paati amayederun bii Kafka, , и , ni aworan Docker tirẹ. Lati orchestrate awọn apoti Docker ti a lo .
olusin 2: Architecture DataHub * orisun ṣiṣi ***
O le wo faaji ipele giga ti DataHub ni aworan loke. Yato si awọn paati amayederun, o ni awọn apoti Docker mẹrin mẹrin:
datahub-gms: iṣẹ ipamọ metadata
datahub-frontend: ohun elo , sìn DataHub ni wiwo.
datahub-mce-onibara: ohun elo , eyiti o nlo iṣẹlẹ iyipada metadata (MCE) ṣiṣan ati ṣe imudojuiwọn itaja metadata.
datahub-mae-onibara: ohun elo , eyiti o nlo ṣiṣan iṣẹlẹ iṣayẹwo metadata (MAE) ati ṣẹda atọka wiwa ati aaye data aworan.
Ṣii awọn iwe ipamọ orisun ati ni alaye alaye diẹ sii nipa awọn iṣẹ ti awọn iṣẹ oriṣiriṣi.
CI/CD lori DataHub jẹ orisun ṣiṣi
Orisun ṣiṣi ibi ipamọ DataHub nlo fun lemọlemọfún Integration ati fun lemọlemọfún imuṣiṣẹ. Mejeeji ni isọpọ GitHub to dara ati pe o rọrun lati ṣeto. Fun ọpọlọpọ awọn amayederun orisun ṣiṣi ni idagbasoke nipasẹ agbegbe tabi awọn ile-iṣẹ aladani (fun apẹẹrẹ. ), Awọn aworan Docker ni a ṣẹda ati gbe lọ si Docker Hub fun irọrun ti lilo nipasẹ agbegbe. Eyikeyi aworan Docker ti a rii ni Ipele Docker le ṣee lo ni irọrun pẹlu aṣẹ ti o rọrun .
Pẹlu gbogbo ifaramo si ibi ipamọ orisun ṣiṣi DataHub, gbogbo awọn aworan Docker ni a kọ laifọwọyi ati ran lọ si Docker Hub pẹlu aami “titun” naa. Ti o ba jẹ tunto Ipele Docker pẹlu diẹ ninu , gbogbo awọn afi ni ibi ipamọ orisun ṣiṣi tun jẹ idasilẹ pẹlu awọn orukọ tag ti o baamu ni Docker Hub.
Lilo DataHub
rọrun pupọ ati pe o ni awọn igbesẹ ti o rọrun mẹta:
- Dii ibi ipamọ orisun ṣiṣi ati ṣiṣe gbogbo awọn apoti Docker pẹlu docker-compose nipa lilo iwe afọwọkọ docker-compose ti a pese fun ibẹrẹ iyara.
- Ṣe igbasilẹ data ayẹwo ti a pese ni ibi ipamọ nipa lilo ọpa laini aṣẹ ti o tun pese.
- Ṣawakiri DataHub ninu ẹrọ aṣawakiri rẹ.
Ti tọpinpin lọwọ tun tunto fun awọn ibeere ni kiakia. Awọn olumulo tun le ṣẹda awọn ọran taara ni ibi ipamọ GitHub. Ni pataki julọ, a ṣe itẹwọgba ati riri gbogbo awọn esi ati awọn imọran!
Eto fun ojo iwaju
Lọwọlọwọ, gbogbo awọn amayederun tabi microservice fun orisun ṣiṣi DataHub ti wa ni itumọ bi apoti Docker kan, ati pe gbogbo eto ti wa ni eto nipa lilo . Fi fun awọn gbale ati ni ibigbogbo , a yoo tun fẹ lati pese orisun orisun Kubernetes ni ọjọ iwaju to sunmọ.
A tun gbero lati pese ojutu bọtini bọtini kan fun gbigbe DataHub sori iṣẹ awọsanma ti gbogbo eniyan bii , tabi . Fi fun ikede aipẹ ti ijira LinkedIn si Azure, eyi yoo ṣe deede pẹlu awọn pataki inu ti ẹgbẹ metadata.
Ni ikẹhin ṣugbọn kii kere ju, o ṣeun si gbogbo awọn olutẹtisi akọkọ ti DataHub ni agbegbe orisun ṣiṣi ti wọn ti ṣe iwọn DataHub alphas ati ṣe iranlọwọ fun wa lati ṣe idanimọ awọn ọran ati ilọsiwaju awọn iwe.
orisun: www.habr.com