Open Source DataHub: Àrd-ùrlar Rannsachadh Meata-dàta agus Lorg LinkedIn
Tha a bhith a’ lorg an dàta a dh’ fheumas tu gu sgiobalta deatamach do chompanaidh sam bith a tha an urra ri mòran dàta gus co-dhùnaidhean stèidhichte air dàta a dhèanamh. Chan e a-mhàin gu bheil seo a’ toirt buaidh air cinneasachd luchd-cleachdaidh dàta (a’ toirt a-steach sgrùdairean, luchd-leasachaidh ionnsachadh innealan, luchd-saidheans dàta, agus innleadairean dàta), ach tha buaidh dhìreach aige cuideachd air na toraidhean deireannach a tha an urra ri loidhne-phìoban ionnsachadh inneal càileachd (ML). A bharrachd air an sin, tha an gluasad gu bhith a’ buileachadh no a’ togail àrd-ùrlaran ionnsachaidh innealan gu nàdarrach a’ togail na ceist: dè an dòigh a th’ agad airson feartan, modailean, meatrach, dàta, msaa a lorg a-staigh.
San artaigil seo bruidhnidh sinn mu mar a dh’ fhoillsich sinn stòr dàta fo chead fosgailte anns an àrd-ùrlar sgrùdaidh is lorg meata-dàta againn, a’ tòiseachadh bho làithean tràtha a’ phròiseict . Bidh LinkedIn a’ cumail an dreach aige fhèin de DataHub air leth bhon dreach stòr fosgailte. Tòisichidh sinn le bhith a’ mìneachadh carson a tha feum againn air dà àrainneachd leasachaidh fa-leth, agus an uairsin bruidhnidh sinn mu dhòighean-obrach tràth airson a bhith a’ cleachdadh an tùs fhosgailte WhereHows agus dèan coimeas eadar an dreach a-staigh (riochdachaidh) againn de DataHub agus an dreach air . Bidh sinn cuideachd a’ roinn mion-fhiosrachadh mun fhuasgladh fèin-ghluasadach ùr againn airson a bhith a’ putadh agus a’ faighinn ùrachaidhean le còd fosgailte gus an dà stòr a chumail ann an sioncranachadh. Mu dheireadh, bheir sinn seachad stiùireadh air mar a thòisicheas tu a’ cleachdadh an stòr fosgailte DataHub agus bruidhnidh sinn gu h-aithghearr air an ailtireachd aige.
Tha WhereHows a-nis na DataHub!
Nochd sgioba meata-dàta LinkedIn roimhe seo (neach-leantainn WhereHows), àrd-ùrlar lorg agus meata-dàta LinkedIn, agus planaichean co-roinnte airson fhosgladh. Goirid às deidh an naidheachd seo, leig sinn a-mach dreach alpha de DataHub agus roinneadh sinn leis a’ choimhearsnachd e. Bhon uairsin, tha sinn air a bhith an-còmhnaidh a’ cur ris an stòr agus ag obair le luchd-cleachdaidh le ùidh gus na feartan as motha a chaidh iarraidh a chuir ris agus fuasgladh fhaighinn air duilgheadasan. Tha sinn a-nis toilichte an fhoillseachadh oifigeil ainmeachadh .
Modhan stòr fosgailte
Thòisich WhereHows, portal tùsail LinkedIn airson dàta a lorg agus cò às a thàinig e, mar phròiseact a-staigh; dh'fhosgail an sgioba meata-dàta e . Bhon uairsin, tha an sgioba an-còmhnaidh air dà chòd eadar-dhealaichte a chumail - aon airson stòr fosgailte agus aon airson cleachdadh a-staigh LinkedIn - leis nach robh a h-uile feart toraidh a chaidh a leasachadh airson cùisean cleachdaidh LinkedIn iomchaidh don luchd-èisteachd san fharsaingeachd. A bharrachd air an sin, tha cuid de eisimeileachd a-staigh aig WhereHows (bun-structar, leabharlannan, msaa) nach eil nan stòr fosgailte. Anns na bliadhnaichean às deidh sin, chaidh WhereHows tro iomadh ath-aithris agus cuairtean leasachaidh, a ’dèanamh dùbhlan mòr a bhith a’ cumail an dà bhun-còd ann an sioncranachadh. Tha an sgioba meata-dàta air diofar dhòighean-obrach fheuchainn thar nam bliadhnaichean gus feuchainn ri leasachadh taobh a-staigh agus stòr fosgailte a chumail co-shìnte.
Feuch an toiseach: "Fosgail an tùs an toiseach"
Lean sinn an toiseach modal leasachaidh “fosgailte an toiseach”, far a bheil a’ mhòr-chuid de leasachadh a’ tachairt ann an stòr fosgailte agus atharraichean gan dèanamh airson cleachdadh a-staigh. Is e an duilgheadas leis an dòigh-obrach seo gu bheil an còd an-còmhnaidh air a phutadh gu GitHub an-toiseach mus tèid ath-sgrùdadh iomlan a dhèanamh air a-staigh. Gus an tèid atharrachaidhean a dhèanamh bhon stòr fosgailte agus gun tèid cleachdadh ùr a-staigh a dhèanamh, chan fhaigh sinn cùisean toraidh sam bith. Air eagal droch chleachdadh, bha e cuideachd gu math duilich an neach a bha ciontach a dhearbhadh leis gun deach atharrachaidhean a dhèanamh ann an batches.
A bharrachd air an sin, lughdaich am modail seo cinneasachd na sgioba nuair a bha iad a’ leasachadh feartan ùra a dh’ fheumadh ath-aithrisean luath, leis gun tug e air a h-uile atharrachadh a bhith air a phutadh an toiseach gu stòr fosgailte agus an uairsin air a phutadh gu stòr a-staigh. Gus an ùine giollachd a lughdachadh, dh’ fhaodadh an suidheachadh no an t-atharrachadh a bha a dhìth a bhith air a dhèanamh anns an ionad-tasgaidh a-staigh an toiseach, ach dh’ fhàs seo na dhuilgheadas mòr nuair a thàinig e gu bhith a’ ceangal nan atharrachaidhean sin air ais dhan stòr fosgailte leis gu robh an dà stòr a-mach à sioncranachadh.
Tha am modail seo mòran nas fhasa a chuir an gnìomh airson àrd-ùrlaran co-roinnte, leabharlannan, no pròiseactan bun-structair na airson tagraidhean lìn àbhaisteach làn-nochdadh. A bharrachd air an sin, tha am modail seo air leth freagarrach airson pròiseactan a thòisicheas stòr fosgailte bhon chiad latha, ach chaidh WhereHows a thogail mar thagradh lìn gu tur a-staigh. Bha e uamhasach duilich a h-uile eisimeileachd a-staigh a thoirt air falbh gu tur, agus mar sin dh'fheumadh sinn am forc a-staigh a chumail, ach cha do dh'obraich a 'mhòr-chuid den fhorc a-staigh agus a bhith a' leasachadh stòr fosgailte mar as trice.
An dàrna oidhirp: “A-staigh an toiseach”
** Mar dhàrna oidhirp, ghluais sinn gu modal leasachaidh “a-staigh an toiseach”, far a bheil a’ mhòr-chuid de leasachadh a’ tachairt a-staigh agus a’ dèanamh atharrachaidhean air a’ chòd stòr fosgailte gu cunbhalach. Ged a tha am modail seo nas freagarraiche airson ar cùis cleachdaidh, tha duilgheadasan gnèitheach aige. Tha e na roghainn gu dìreach a bhith a’ putadh a h-uile eadar-dhealachadh chun stòr fosgailte agus an uairsin a ’feuchainn ri còmhstrithean aonaidh fhuasgladh nas fhaide air adhart, ach bheir e ùine. Bidh luchd-leasachaidh sa mhòr-chuid a’ feuchainn gun a bhith a’ dèanamh seo a h-uile uair a nì iad ath-sgrùdadh air a’ chòd aca. Mar thoradh air an sin, bidh seo air a dhèanamh mòran nas trice, ann an baidsean, agus mar sin ga dhèanamh nas duilghe còmhstrithean fhuasgladh nas fhaide air adhart.
An treas uair a dh’ obraich e!
Mar thoradh air an dà oidhirp a dh’ fhàillig air an ainmeachadh gu h-àrd, dh’ fhan an stòr WhereHows GitHub a-mach à ceann airson ùine mhòr. Lean an sgioba air adhart ag adhartachadh feartan agus ailtireachd an toraidh, gus am biodh an dreach a-staigh de WhereHows airson LinkedIn air fàs nas adhartaiche na an dreach stòr fosgailte. Bha eadhon ainm ùr aige - DataHub. Stèidhichte air oidhirpean air fàiligeadh roimhe, cho-dhùin an sgioba fuasgladh scalable, fad-ùine a leasachadh.
Airson pròiseact còd fosgailte ùr sam bith, tha sgioba còd fosgailte LinkedIn a’ comhairleachadh agus a’ toirt taic do mhodail leasachaidh anns a bheil modalan a’ phròiseict air an leasachadh gu tur ann an còd fosgailte. Bithear a’ cleachdadh artifacts dreachaichte gu stòr poblach agus an uairsin gan sgrùdadh air ais a-steach don artifact LinkedIn a-staigh a’ cleachdadh . Tha a bhith a’ leantainn a’ mhodail leasachaidh seo chan ann a-mhàin math dhaibhsan a bhios a’ cleachdadh stòr fosgailte, ach tha e cuideachd a’ leantainn gu ailtireachd nas modular, leudachail agus pluggable.
Ach, feumaidh tagradh deireadh-cùil aibidh leithid DataHub tòrr ùine gus an stàit seo a ruighinn. Tha seo cuideachd a’ cur casg air a’ chomas a bhith ann a bhith a’ faighinn fosgladh làn-ghnìomhachd mus bi a h-uile eisimeileachd air an taobh a-staigh air a thoirt a-mach gu h-iomlan. Sin as coireach gu bheil sinn air innealan a leasachadh a chuidicheas sinn gus tabhartasan stòr fosgailte a dhèanamh nas luaithe agus le mòran nas lugha de phian. Tha am fuasgladh seo na bhuannachd don sgioba meata-dàta (leasaiche DataHub) agus don choimhearsnachd stòr fosgailte. Bruidhnidh na h-earrannan a leanas mun dòigh-obrach ùr seo.
Automation foillseachaidh stòr fosgailte
Is e an dòigh-obrach as ùire aig an sgioba Metadata a thaobh an stòr fosgailte DataHub inneal a leasachadh a bhios gu fèin-obrachail a’ sioncronadh a’ chòd-chòd a-staigh agus an stòr fosgailte. Am measg nam feartan àrd-ìre den inneal seo tha:
- Sioncronaich còd LinkedIn gu / bho stòr fosgailte, coltach ris .
- Gineadh bann-cinn ceadachais, coltach ri .
- Cruthaich gu fèin-ghluasadach logaichean gealltanas stòr fosgailte bho logaichean gealltanas a-staigh.
- Cuir casg air atharrachaidhean taobh a-staigh a bhriseas togalaichean stòr fosgailte .
Bheir na fo-roinnean a leanas a-steach do na gnìomhan gu h-àrd aig a bheil duilgheadasan inntinneach.
Sioncronadh còd stòr
Eu-coltach ris an dreach stòr fosgailte de DataHub, a tha na aon stòr GitHub, tha an tionndadh LinkedIn de DataHub na mheasgachadh de dh'iomadh stòr (ris an canar taobh a-staigh). ). Tha an eadar-aghaidh DataHub, leabharlann modal meata-dàta, seirbheis cùl-taic stòr-dàta meata-dàta, agus obraichean sruthadh a’ fuireach ann an stòran air leth air LinkedIn. Ach, gus a dhèanamh nas fhasa do luchd-cleachdaidh le còd fosgailte, tha aon stòr againn airson an tionndadh stòr fosgailte de DataHub.
Figear 1: Sioncronadh eadar stòran Dèan DàtaHub agus aon ionad-tasgaidh DàtaHub stòr fosgailte
Gus taic a thoirt do shruth-obrach togail, putadh is tarraing fèin-ghluasadach, bidh an inneal ùr againn gu fèin-ghluasadach a’ cruthachadh mapadh ìre faidhle a fhreagras air gach faidhle stòr. Ach, tha feum aig an inneal air rèiteachadh tùsail agus feumaidh luchd-cleachdaidh mapa modal àrd-ìre a thoirt seachad mar a chithear gu h-ìosal.
{
"datahub-dao": [
"${datahub-frontend}/datahub-dao"
],
"gms/impl": [
"${dataset-gms}/impl",
"${user-gms}/impl"
],
"metadata-dao": [
"${metadata-models}/metadata-dao"
],
"metadata-builders": [
"${metadata-models}/metadata-builders"
]
}Is e JSON sìmplidh a th’ anns a’ mhapadh aig ìre modal agus is e na h-iuchraichean na modalan targaid anns an stòr fosgailte agus is e na luachan an liosta de mhodalan stòr ann an stòran LinkedIn. Faodar modal targaid sam bith ann an stòr fosgailte a bhith air a bhiadhadh le àireamh sam bith de mhodalan stòr. Gus ainmean taobh a-staigh stòran a chomharrachadh ann am modalan stòr, cleachd ann an stoidhle Bash. A’ cleachdadh faidhle mapaidh aig ìre modal, bidh na h-innealan a’ cruthachadh faidhle mapaidh ìre faidhle le bhith a’ sganadh a h-uile faidhle ann an clàran co-cheangailte riutha.
{
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
"${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
"${metadata-models}/metadata-builders/build.gradle": null,
}Tha am mapadh ìre faidhle air a chruthachadh gu fèin-ghluasadach leis na h-innealan; ge-tà, faodaidh an neach-cleachdaidh ùrachadh le làimh cuideachd. Is e seo mapadh 1: 1 de fhaidhle stòr LinkedIn gu faidhle san stòr fosgailte. Tha grunn riaghailtean co-cheangailte ris an cruthachadh fèin-ghluasadach seo de chomainn fhaidhlichean:
- A thaobh mhodalan ioma-thùs airson modal targaid ann an stòr fosgailte, faodaidh còmhstri èirigh, me an aon rud , a tha ann am barrachd air aon mhodal stòr. Mar ro-innleachd fuasglaidh còmhstri, tha na h-innealan againn bunaiteach don roghainn “am fear mu dheireadh a bhuannaicheas”.
- Tha "null" a' ciallachadh nach eil am faidhle tùsail mar phàirt den stòras fhosgailte.
- Às deidh gach tagradh no às-tharraing le còd fosgailte, thèid am mapadh seo ùrachadh gu fèin-ghluasadach agus thèid dealbh a chruthachadh. Tha seo riatanach gus cur-ris agus sguabadh às a’ chòd stòr a chomharrachadh bhon ghnìomh mu dheireadh.
A 'cruthachadh chlàran cosnaidh
Bithear cuideachd a’ cruthachadh logaichean gealltanas airson geallaidhean le còd fosgailte gu fèin-obrachail le bhith a’ ceangal nan logaichean gealltanas de stòran a-staigh. Gu h-ìosal tha sampall de log gealltanas gus structar an log gealltanas a chruthaich an inneal againn a nochdadh. Tha gealltanas a’ nochdadh gu soilleir dè na dreachan de na stòran-stòrais a tha air am pacadh san ghealladh sin agus a’ toirt seachad geàrr-chunntas den log gealltanas. Thoir sùil air an fhear seo a’ cleachdadh fìor eisimpleir de log gealltanas a chaidh a chruthachadh leis an inneal againn.
metadata-models 29.0.0 -> 30.0.0
Added aspect model foo
Fixed issue bar
dataset-gms 2.3.0 -> 2.3.4
Added rest.li API to serve foo aspect
MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0Deuchainn eisimeileachd
Tha aig LinkedIn , a chuidicheas le bhith a’ dèanamh cinnteach nach bi atharrachaidhean air ioma-thoradh a-staigh a’ briseadh co-chruinneachadh ioma-bhathar an eisimeil. Chan e ioma-thoradh a th’ ann an stòr fosgailte DataHub, agus chan urrainn dha a bhith an urra gu dìreach ri ioma-toradh sam bith, ach le cuideachadh bho phasgan ioma-thoradh a gheibh an còd stòr fosgailte DataHub, is urrainn dhuinn fhathast an deuchainn eisimeileachd seo a chleachdadh Mar sin, bidh atharrachadh sam bith (a dh’ fhaodadh a bhith fosgailte nas fhaide air adhart) air gin de na h-ioma-thoraidhean a bhios a’ biathadh stòr fosgailte DataHub a’ piobrachadh tachartas togail anns an ioma-thoradh sligean. Mar sin, bidh atharrachadh sam bith a dh ’fhàilnich air toradh còmhdach a thogail a’ fàiligeadh nan deuchainnean mus tèid an toradh tùsail a ghealltainn agus thèid a thilleadh air ais.
Is e inneal feumail a tha seo a chuidicheas le bhith a’ cuir casg air gealltanas taobh a-staigh sam bith a bhriseas an togalach stòr fosgailte agus a lorgas e aig àm dealas. Às aonais seo, bhiodh e gu math duilich faighinn a-mach dè an gealltanas taobh a-staigh a dh’ adhbhraich fàilligeadh air togail an stòr fosgailte, leis gu bheil sinn a’ cruinneachadh atharrachaidhean a-staigh gu stòr fosgailte DataHub.
Diofar eadar DataHub stòr fosgailte agus an dreach riochdachaidh againn
Gu ruige seo, tha sinn air ar fuasgladh a dheasbad airson a bhith a’ sioncronadh dà dhreach de stòran DataHub, ach chan eil sinn fhathast air mìneachadh carson a tha feum againn air dà shruth leasachaidh eadar-dhealaichte sa chiad àite. Anns an earrainn seo, nì sinn liosta de na h-eadar-dhealachaidhean eadar an dreach poblach de DataHub agus an dreach riochdachaidh air frithealaichean LinkedIn, agus mìnichidh sinn na h-adhbharan airson na h-eadar-dhealachaidhean sin.
Tha aon thùs eadar-dhealachaidh a’ tighinn bhon fhìrinn gu bheil eisimeileachd aig an dreach riochdachaidh againn air còd nach eil fhathast fosgailte, leithid Offspring LinkedIn (frèam in-stealladh eisimeileachd a-staigh LinkedIn). Tha sìol air a chleachdadh gu farsaing ann an stòran còd a-staigh oir is e seo an dòigh as fheàrr airson rèiteachadh fiùghantach a riaghladh. Ach chan e stòr fosgailte a th’ ann; mar sin dh'fheumadh sinn roghainnean stòr fosgailte eile a lorg seach an stòr fosgailte DataHub.
Tha adhbharan eile ann cuideachd. Mar a bhios sinn a’ cruthachadh leudachaidhean air a’ mhodail meata-dàta airson feumalachdan LinkedIn, mar as trice tha na leudachaidhean sin gu math sònraichte do LinkedIn agus is dòcha nach eil iad a’ buntainn gu dìreach ri àrainneachdan eile. Mar eisimpleir, tha bileagan fìor shònraichte againn airson IDan chom-pàirtichean agus seòrsachan eile de mheata-dàta co-ionnan. Mar sin, tha sinn a-nis air na leudachaidhean sin a chuir a-mach à modal meata-dàta stòr fosgailte DataHub. Mar a bhios sinn a’ conaltradh leis a’ choimhearsnachd agus a’ tuigsinn am feumalachdan, obraichidh sinn air dreachan cumanta fosgailte de na leudachaidhean sin far a bheil feum air.
Bhrosnaich furasta cleachdadh agus atharrachadh nas fhasa don choimhearsnachd stòr fosgailte cuid de na h-eadar-dhealachaidhean eadar an dà dhreach de DataHub. Tha eadar-dhealachaidhean ann am bun-structar giollachd sruthan nan deagh eisimpleir de seo. Ged a tha an dreach a-staigh againn a’ cleachdadh frèam giullachd sruthan stiùirichte, roghnaich sinn giollachd sruthan togte (fa leth) a chleachdadh airson an dreach stòr fosgailte leis gu bheil e a’ seachnadh eisimeileachd bun-structair eile a chruthachadh.
Is e eisimpleir eile den eadar-dhealachadh gu bheil aon GMS (Stòr Metadata Coitcheann) ann am buileachadh stòr fosgailte seach ioma GMS. Is e GMA (Ailtireachd Metadata Coitcheann) ainm an ailtireachd deireadh cùil airson DataHub, agus is e GMS an stòr meata-dàta ann an co-theacsa GMA. Is e ailtireachd gu math sùbailte a th’ ann an GMA a leigeas leat gach togail dàta a sgaoileadh (m.e. stòran-dàta, luchd-cleachdaidh, msaa) a-steach don stòr meata-dàta aige fhèin, no iomadh togail dàta a stòradh ann an aon stòr meata-dàta fhad ‘s a tha an clàr anns a bheil structar an dàta a’ mapadh a-steach. Tha GMS air ùrachadh. Airson a bhith furasta a chleachdadh, thagh sinn aon eisimpleir GMS a bhios a’ stòradh a h-uile cruth dàta eadar-dhealaichte anns an stòr fosgailte DataHub.
Tha liosta iomlan de na h-eadar-dhealachaidhean eadar an dà bhuileachadh air a thoirt seachad sa chlàr gu h-ìosal.
Feartan airson bathar
Ionad Dàta LinkedIn
Open Source DataHub
Togail dàta le taic
1) Seataichean dàta 2) Luchd-cleachdaidh 3) Metrics 4) Feartan ML 5) Clàran 6) Clàran-obrach
1) Stòran-dàta 2) Luchd-cleachdaidh
Stòran Metadata le taic airson seataichean dàta
1) 2) Couchbase 3) 4) 5) HDFS 6) Hive 7) Kafka 8) MongoDB 9) MySQL 10) Oracle 11) 12) Presto 12) 13) Teradata 13) Vector 14)
Hive Kafka RDBMS
Taigh-seinnse
Kafka confluent
Pròiseas Sruth
stiùireadh
Air a chur a-steach (air leth)
In-stealladh eisimeileachd & rèiteachadh dinamic
Sliochd LinkedIn
Togail innealan
Ligradle (còmhdaich Gradle a-staigh LinkedIn)
CI / CD
CRT (CI/CD a-staigh LinkedIn)
agus
Stòran Metadata
Iomadh GMS air a chuairteachadh: 1) Dataset GMS 2) Cleachdaiche GMS 3) Metric GMS 4) Feart GMS 5) GMS cairt / deas-bhòrd
GMS singilte airson: 1) Seataichean-dàta 2) Luchd-cleachdaidh
Microservices ann an soithichean Docker
a’ sìmpleachadh cleachdadh agus sgaoileadh thagraidhean le . Tha a h-uile pàirt den t-seirbheis ann an DataHub na stòr fosgailte, a’ toirt a-steach pàirtean bun-structair leithid Kafka, , и , tha an ìomhaigh Docker aige fhèin. Gus soithichean Docker a chuir air dòigh chleachd sinn .
Figear 2: Ailtireachd DàtaHub *stòr fosgailte**
Chì thu ailtireachd àrd-ìre DataHub san ìomhaigh gu h-àrd. A bharrachd air na pàirtean bun-structair, tha ceithir soithichean Docker eadar-dhealaichte ann:
datahub-gms: seirbheis stòraidh meata-dàta
datahub-frontend: iarrtas , a 'frithealadh eadar-aghaidh DataHub.
datahub-mce-consumer: iarrtas , a chleachdas an t-sruth tachartas atharrachadh meata-dàta (MCE) agus a bhios ag ùrachadh stòr a’ mheata-dàta.
datahub-mae-consumer: iarrtas , a chleachdas sruth tachartas sgrùdaidh meata-dàta (MAE) agus a chruthaicheas clàr-amais sgrùdaidh agus stòr-dàta graf.
Sgrìobhainnean stòr fosgailte agus tha fiosrachadh nas mionaidiche ann mu ghnìomhan diofar sheirbheisean.
Tha CI / CD air DataHub na stòr fosgailte
Bidh an stòr fosgailte DataHub a’ cleachdadh airson amalachadh leantainneach agus airson cleachdadh leantainneach. Tha deagh amalachadh GitHub aig an dithis agus tha iad furasta an stèidheachadh. Airson a’ mhòr-chuid de bhun-structar le còd fosgailte a chaidh a leasachadh leis a’ choimhearsnachd no companaidhean prìobhaideach (m.e. ), Tha ìomhaighean docker air an cruthachadh agus air an cur gu Docker Hub airson a bhith furasta an cleachdadh leis a’ choimhearsnachd. Faodar ìomhaigh Docker sam bith a lorgar ann an Docker Hub a chleachdadh gu furasta le òrdugh sìmplidh .
Leis a h-uile gealladh airson stòr fosgailte DataHub, thèid a h-uile dealbh Docker a thogail gu fèin-ghluasadach agus a chuir gu Docker Hub leis an taga “as ùire”. Ma tha Docker Hub air a rèiteachadh le cuid , tha a h-uile taga anns an stòr fosgailte cuideachd air an leigeil ma sgaoil le ainmean taga co-fhreagarrach ann an Docker Hub.
A’ cleachdadh DataHub
tha e gu math sìmplidh agus tha trì ceumannan sìmplidh ann:
- Clone an stòr fosgailte agus ruith a h-uile inneal Docker le docker-compose a ’cleachdadh an sgriobt docker-compose a chaidh a thoirt seachad airson tòiseachadh sgiobalta.
- Luchdaich sìos an dàta sampall a chaidh a thoirt seachad san stòr a’ cleachdadh an inneal loidhne-àithne a tha cuideachd air a thoirt seachad.
- Dèan brobhsadh air DataHub sa bhrobhsair agad.
Air a leantainn gu gnìomhach cuideachd air a rèiteachadh airson ceistean sgiobalta. Faodaidh luchd-cleachdaidh cuideachd cùisean a chruthachadh gu dìreach ann an stòr GitHub. Nas cudromaiche, tha sinn a 'cur fàilte air agus a' cur luach air a h-uile fios air ais agus molaidhean!
Planaichean airson an ama ri teachd
An-dràsta, tha a h-uile bun-structar no microservice airson DataHub stòr fosgailte air a thogail mar inneal Docker, agus tha an siostam gu lèir air a chuir air dòigh le bhith a’ cleachdadh . Air sgàth cho mòr-chòrdte agus farsaing , bu mhath leinn cuideachd fuasgladh stèidhichte air Kubernetes a thoirt seachad a dh'aithghearr.
Tha sinn cuideachd an dùil fuasgladh turnkey a thoirt seachad airson a bhith a’ cleachdadh DataHub air seirbheis sgòthan poblach leithid , no . Leis an naidheachd o chionn ghoirid mu imrich LinkedIn gu Azure, bidh seo a rèir prìomhachasan taobh a-staigh na sgioba meata-dàta.
Mu dheireadh ach chan e as ìsle, le taing don a h-uile neach-uchd-mhacachd tràth aig DataHub anns a ’choimhearsnachd stòr fosgailte a tha air DataHub alphas a mheas agus a chuidich sinn le bhith ag aithneachadh chùisean agus a’ leasachadh sgrìobhainnean.
Source: www.habr.com