Çavkaniya Vekirî DataHub: Platforma Lêgerîn û Vedîtina Metadata LinkedIn

Çavkaniya Vekirî DataHub: Platforma Lêgerîn û Vedîtina Metadata LinkedIn

Dîtina daneyên ku hûn zû hewce ne ji bo her pargîdaniyek ku xwe dispêre mîqdarên mezin ên daneyê da ku biryarên dane-rêvebirinê bigire, pêdivî ye. Ev ne tenê bandorê li hilberîna bikarhênerên daneyê dike (tevî analîst, pêşdebirên fêrbûna makîneyê, zanyarên daneyê, û endezyarên daneyê), lê ew di heman demê de bandorek rasterast li ser hilberên paşîn ên ku bi boriyek fêrbûna makîneya kalîteyê (ML) ve girêdayî ne jî heye. Wekî din, meyla ber bi bicihkirin an avakirina platformên fêrbûna makîneyê bi xwezayî pirsê derdixe holê: rêbaza we ji bo vedîtina hundurîn taybetmendî, model, metrîk, danehev, hwd çi ye.

Di vê gotarê de em ê biaxivin ka me çawa çavkaniyek daneyê di bin lîsansek vekirî de weşand DataHub di platforma lêgerîn û vedîtina metadata me de, ku ji rojên destpêkê yên projeyê dest pê dike Where Hows. LinkedIn guhertoya xweya DataHub ji guhertoya çavkaniya vekirî ji hev cuda diparêze. Em ê bi ravekirina çima hewceyê du hawîrdorên pêşkeftinê yên cihêreng bidin dest pê bikin, dûv re nêzîkatiyên destpêkê yên karanîna çavkaniya vekirî WhereHows nîqaş bikin û guhertoya xweya navxweyî (hilberîn) ya DataHub bi guhertoya li ser re bidin ber hev. GitHub. Di heman demê de em ê hûrguliyên di derbarê çareseriya xweya nû ya otomatîkî de jî parve bikin ji bo pêlkirin û wergirtina nûvekirinên çavkaniya vekirî da ku her du depoyan bi hev re bihêlin. Di dawiyê de, em ê rêwerzan bidin ka meriv çawa dest bi karanîna çavkaniya vekirî DataHub-ê dike û bi kurtî mîmariya wê nîqaş bike.

Çavkaniya Vekirî DataHub: Platforma Lêgerîn û Vedîtina Metadata LinkedIn

WhereHows naha DataHub e!

Tîma metadata LinkedIn berê pêşkêş kir DataHub (serkêşê WhereHows), platforma lêgerîn û vedîtina metadata LinkedIn, û plansaziyên vekirina wê yên hevbeş. Demek kin piştî vê daxuyaniyê, me guhertoyek alpha ya DataHub derxist û bi civakê re parve kir. Ji hingê ve, me bi domdarî beşdarî depoyê kir û bi bikarhênerên eleqedar re xebitîn ku taybetmendiyên herî daxwazkirî zêde bikin û pirsgirêkan çareser bikin. Em niha kêfxweş in ku serbestberdana fermî ragihînin DataHub li ser GitHub.

Nêzîktêdayînên Çavkaniya Vekirî

WhereHows, portala bingehîn a LinkedIn ji bo dîtina daneyan û ji ku tê, wekî projeyek navxweyî dest pê kir; tîma metadata ew vekir koda çavkaniyê di 2016 de. Ji hingê ve, tîmê her gav du bingehên kodê yên cihêreng diparêze -yek ji bo çavkaniya vekirî û yek jî ji bo karanîna navxweyî ya LinkedIn-ji ber ku ne hemî taybetmendiyên hilberê yên ku ji bo dozên karanîna LinkedIn hatine pêşve xistin bi gelemperî ji temaşevanên berfireh re têne sepandin. Wekî din, WhereHows hin pêgirêdanên hundurîn (binesaz, pirtûkxane, hwd.) hene ku ne çavkaniya vekirî ne. Di salên li dûv de, WhereHows di gelek dubarekirin û çerxên pêşkeftinê re derbas bû, girtina du bingehên kodê bi hevrêziyek mezin kir. Tîma metadata bi salan nêzîkatiyên cihêreng ceribandiye da ku hewl bide ku pêşkeftina çavkaniya hundurîn û vekirî di hevdem de bimîne.

Yekem biceribîne: "Pêşî çavkaniya vekirî"

Me di destpêkê de modelek pêşkeftinê ya "yekçavkaniya vekirî" şopand, ku pir pêşkeftin di depoyek çavkaniyek vekirî de pêk tê û guhertin ji bo bicîhkirina hundurîn têne çêkirin. Pirsgirêka vê nêzîkbûnê ev e ku kod her gav pêşî li GitHub tê kişandin berî ku ew bi tevahî hundurîn were vekolandin. Heya ku guhertin ji depoya çavkaniya vekirî neyên çêkirin û veguheztinek navxweyî ya nû neyê çêkirin, em ê ti pirsgirêkên hilberînê nebînin. Di bûyera belavkirina nebaş de, ji ber ku guhertin di koman de hatin kirin, destnîşankirina sûcdar jî pir dijwar bû.

Digel vê yekê, vê modelê dema ku taybetmendiyên nû yên ku hewceyê dubarekirina bilez hewce dike, hilberîna tîmê kêm kir, ji ber ku ew neçar kir ku pêşî li depoyek çavkaniyek vekirî were avêtin û dûv re jî berbi depoyek hundurîn ve were avêtin. Ji bo kêmkirina dema pêvajoyê, rastkirin an guheztina pêwîst dikaribû pêşî li depoya hundurîn were kirin, lê ev bû pirsgirêkek mezin dema ku ew hate yekhevkirina wan guhertinan dîsa di depoya çavkaniya vekirî de ji ber ku her du depo ji hevdeng bûn.

Ev model ji bo platformên hevbeş, pirtûkxane, an projeyên binesaziyê ji bo sepanên tevna xwerû yên tev-taybet pir hêsantir e. Wekî din, ev model ji bo projeyên ku ji roja yekem ve çavkaniya vekirî dest pê dikin îdeal e, lê WhereHows wekî serîlêdanek tevnvî ya hundurîn hate çêkirin. Bi rastî dijwar bû ku meriv hemî girêdanên hundurîn bi tevahî veqetîne, ji ber vê yekê me hewce bû ku forka hundurîn bihêlin, lê girtina forka hundurîn û bi piranî çavkaniya vekirî pêşvebirina bi tevahî bi ser neket.

Hewldana duyemîn: "Pêşî hundurîn"

**Wek hewildanek duyemîn, em çûn modela pêşkeftina "yekemîn hundurîn", ku pir pêşkeftin di hundurê hundurê de çêdibe û guhertin li koda çavkaniya vekirî bi rêkûpêk têne çêkirin. Her çend ev model ji bo doza karanîna me çêtirîn e, ew pirsgirêkên xwerû hene. Rasterast kişandina hemî cûdahiyan berbi depoya çavkaniya vekirî û dûv re hewldana çareserkirina nakokiyên hevgirtinê paşê vebijarkek e, lê ew dem dixwe. Pêşdebir di pir rewşan de hewl didin ku her gava ku koda xwe binirxînin vê yekê nekin. Wekî encamek, ev ê pir kêm caran, di koman de were kirin, û bi vî rengî çareserkirina nakokiyên hevgirtinê paşê dijwartir dike.

Cara sêyemîn kar kir!

Du hewildanên têkçûyî yên ku li jor hatine destnîşan kirin encam da ku depoya WhereHows GitHub ji bo demek dirêj ji mêj ve bimîne. Tîm berdewam kir ku taybetmendî û mîmariya hilberê çêtir bike, da ku guhertoya navxweyî ya WhereHows ji bo LinkedIn ji guhertoya çavkaniya vekirî pêşkeftîtir bû. Tewra navek nû hebû - DataHub. Li ser bingeha hewildanên têkçûyî yên berê, tîmê biryar da ku çareseriyek berbiçav, demdirêj pêş bixe.

Ji bo her projeyek çavkaniya vekirî ya nû, tîmê çavkaniya vekirî ya LinkedIn modelek pêşkeftinê şîret dike û piştgirî dike ku tê de modulên projeyê bi tevahî di çavkaniya vekirî de têne pêşve xistin. Berhemên guhertokirî li depoyek giştî têne bicîh kirin û dûv re vedigerin nav hunera LinkedIn ya hundurîn ku bikar tînin. Daxwaza pirtûkxaneya derve (ELR). Şopandina vê modela pêşkeftinê ne tenê ji bo kesên ku çavkaniya vekirî bikar tînin baş e, lê di heman demê de mîmariyek modulartir, berfirehtir û pêvekirî jî encam dide.

Lêbelê, serîlêdanek paşîn a gihîştî ya wekî DataHub dê demek girîng hewce bike ku bigihîje vê rewşê. Ev di heman demê de rê li ber îhtîmala vekirina çavkaniyek vekirî vedike, berî ku hemî girêdayiyên hundurîn bi tevahî werin jêbirin. Ji ber vê yekê me amûrên ku ji me re dibin alîkar pêşkeftî kirine ku tevkariyên çavkaniya vekirî zûtir û bi êşek pir kêmtir bikin. Ev çareserî hem ji tîmê metadata (pêşdebirê DataHub) hem jî ji civaka çavkaniya vekirî sûd werdigire. Di beşên jêrîn de dê li ser vê nêzîkatiya nû nîqaş bikin.

Otomasyona Weşana Çavkaniya Vekirî

Nêzîkatiya herî paşîn a tîmê Metadata ji çavkaniya vekirî DataHub ev e ku amûrek pêşve bibe ku bixweber bingeha koda hundurîn û depoya çavkaniya vekirî hevdeng dike. Taybetmendiyên asta bilind ên vê amûrê ev in:

  1. Koda LinkedIn bi/ji çavkaniya vekirî, bi heman rengî hevdeng bikin rsync.
  2. nifşê header License de, dişibin Apache Rat.
  3. Ji têketinên commit navxweyî bixweber têketinên komîteya çavkaniya vekirî biafirînin.
  4. Guhertinên hundurîn ên ku avahîyên çavkaniya vekirî dişkînin asteng bikin ceribandina girêdayîbûnê.

Binbeşên jêrîn dê li fonksiyonên jorîn ên ku pirsgirêkên balkêş hene vebikin.

Hevdemkirina koda çavkaniyê

Berevajî guhertoya çavkaniya vekirî ya DataHub, ku depoyek GitHub-ê yekane ye, guhertoya LinkedIn ya DataHub berhevokek depoyên pirjimar e (navê hundurîn tê gotin. multiproducts). Navbera DataHub, pirtûkxaneya modela metadata, karûbarê paşîn a wargeha metadata, û karên streaming li depoyên cihêreng ên li ser LinkedIn dimînin. Lêbelê, ji bo ku bikarhênerên çavkaniya vekirî hêsantir bikin, me ji bo guhertoya çavkaniya vekirî ya DataHub depoyek yek heye.

Çavkaniya Vekirî DataHub: Platforma Lêgerîn û Vedîtina Metadata LinkedIn

Wêne 1: Hevdemkirina di navbera depoyan de LinkedIn DataHub û depoyek yekane DataHub çavkaniya vekirî

Ji bo piştgirîkirina çêkirina otomatîk, pêlkirin û kişandina karûbaran, amûra meya nû bixweber nexşeyek asta pelê ya ku bi her pelê çavkaniyê re têkildar diafirîne. Lêbelê, toolkit konfigurasyona destpêkê hewce dike û bikarhêner pêdivî ye ku nexşeyek modulek asta bilind wekî ku li jêr tê xuyang kirin peyda bikin.

{
  "datahub-dao": [
    "${datahub-frontend}/datahub-dao"
  ],
  "gms/impl": [
    "${dataset-gms}/impl",
    "${user-gms}/impl"
  ],
  "metadata-dao": [
    "${metadata-models}/metadata-dao"
  ],
  "metadata-builders": [
    "${metadata-models}/metadata-builders"
  ]
}

Nexşeya-asta modulê JSONek hêsan e ku bişkojkên wê modulên mebest di depoya çavkaniya vekirî de ne û nirx navnîşa modulên çavkaniyê di depoyên LinkedIn de ne. Modulek armancek di depoyek çavkaniyek vekirî de dikare ji hêla hejmarek modulên çavkaniyê ve were xwarin. Ji bo ku navên navxweyî yên depoyan di modulên çavkaniyê de destnîşan bikin, bikar bînin string interpolation bi şêwaza Bash. Bi karanîna pelê nexşeyê-asta modulê, amûr bi şopandina hemî pelan di pelrêçên têkildar de pelek nexşeyê-asta pelê diafirînin.

{
  "${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
  "${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
  "${metadata-models}/metadata-builders/build.gradle": null,
}

Nexşeya asta pelê bixweber ji hêla amûran ve tê çêkirin; lebê, ew jî dikare bi destan ji aliyê bikarhêner nûvekirin. Ev nexşeyek 1:1 ya pelê çavkaniyek LinkedIn bi pelek di depoya çavkaniya vekirî de ye. Bi vê çêkirina otomatîkî ya komeleyên pelan re çend qaîdeyên têkildar hene:

  • Di mijara modulên pir çavkaniyê de ji bo modulek armancê di çavkaniya vekirî de, dibe ku nakokî derkevin, mînakî heman FQCN, di zêdetirî yek modulek çavkaniyê de heye. Wekî stratejiyek çareseriya pevçûnê, amûrên me vebijarka "Ya dawîn bi ser dikeve" vedihewîne.
  • "null" tê vê wateyê ku pelê çavkanî ne beşek ji depoya çavkaniya vekirî ye.
  • Piştî her radestkirin an derxistina çavkaniya vekirî, ev nexşe bixweber tê nûve kirin û wêneyek tê çêkirin. Ev pêdivî ye ku ji çalakiya paşîn ve zêdekirin û jêbirinên ji koda çavkaniyê nas bikin.

Afirandina têketinên commit

Têketinên pejirandî yên ji bo peywirên çavkaniya vekirî jî bixweber bi yekkirina têketinên pevrabûnê yên depoyên hundurîn têne çêkirin. Li jêr mînakek têketinek peywirdarkirinê heye ku strukturên têketinê ku ji hêla amûra me ve hatî çêkirin nîşan bide. Peymanek bi zelalî destnîşan dike ka kîjan guhertoyên depoyên çavkaniyê di wê komîteyê de têne pak kirin û kurteyek têketinê peyda dike. Vê yekê kontrol bikin bikaranîn bi karanîna mînakek rastîn a têketinek ku ji hêla amûra me ve hatî çêkirin.

metadata-models 29.0.0 -> 30.0.0
    Added aspect model foo
    Fixed issue bar

dataset-gms 2.3.0 -> 2.3.4
    Added rest.li API to serve foo aspect

MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0

Testkirina girêdayîbûnê

LinkedIn heye binesaziya ceribandina girêdayîbûnê, ku alîkar dike ku guheztinên pirhilberek hundurîn kombûna pirhilberên girêdayî naşkînin. Depoya çavkaniya vekirî ya DataHub ne pir-hilberek e, û ew nikare rasterast bi pir-hilberek ve girêdayî be, lê bi arîkariya pêlavek pir-hilberek ku koda çavkaniya vekirî ya DataHub digire, em hîn jî dikarin vê ceribandina girêdayîbûnê bikar bînin. sîstem. Ji ber vê yekê, her guhertinek (ku dibe ku paşê were xuyang kirin) li ser yek ji pirhilberên ku depoya çavkaniya vekirî ya DataHub dixwin, bûyerek çêkirinê di pirhilbera şêlê de çêdike. Ji ber vê yekê, her guhertinek ku nekare hilberek pêçandî ava bike, berî ku hilbera orîjînal bike ceribandinan têk diçe û vedigere.

Ev mekanîzmayek bikêr e ku arîkariya pêşîlêgirtina her berpirsiyariyek navxweyî ye ku avakirina çavkaniya vekirî dişkîne û wê di wextê danûstendinê de tespît dike. Bêyî vê, ew ê pir dijwar be ku meriv diyar bike ka kîjan peywira hundurîn bûye sedema têkçûna avakirina depoya çavkaniya vekirî, ji ber ku em guheztinên hundurîn li depoya çavkaniya vekirî ya DataHub berhev dikin.

Cûdahî di navbera çavkaniya vekirî DataHub û guhertoya hilberîna me de

Heya vê gavê, me çareseriya xwe ji bo hevdengkirina du guhertoyên depoyên DataHub nîqaş kiriye, lê me hîn jî sedemên ku di rêza yekem de hewcedariya me bi du pêlên pêşkeftinê yên cûda heye diyar nekirine. Di vê beşê de, em ê cûdahiyên di navbera guhertoya giştî ya DataHub û guhertoya hilberîna li ser serverên LinkedIn de navnîş bikin, û sedemên van cûdahiyan rave bikin.

Çavkaniyek cûdahiyê ji vê yekê derdikeve ku guhertoya hilberîna me bi koda ku hîn ne çavkaniyek vekirî ye ve girêdayî ye, wek mînak LinkedIn's Offspring (çarçoveya derzîlêdana pêwendiya navxweyî ya LinkedIn). Offspring bi berfirehî di bingehên kodên hundurîn de tê bikar anîn ji ber ku ew rêbaza bijartî ye ji bo birêvebirina veavakirina dînamîkî. Lê ew ne çavkaniya vekirî ye; ji ber vê yekê me hewce kir ku em alternatîfên çavkaniya vekirî ji DataHub-a çavkaniya vekirî bibînin.

Sedemên din jî hene. Gava ku em ji bo hewcedariyên LinkedIn pêvekên modela metadata diafirînin, ev pêvek bi gelemperî ji LinkedIn-ê re pir taybetî ne û dibe ku rasterast li hawîrdorên din bicîh neyên. Mînakî, ji bo Nasnameyên beşdaran û celebên din ên metadaneyên lihevhatî etîketên me yên pir taybetî hene. Ji ber vê yekê, me naha van pêvekan ji modela metadata çavkaniya vekirî ya DataHub derxistiye. Gava ku em bi civakê re têkildar dibin û hewcedariyên wan fam dikin, em ê li cîhê ku hewce be li ser guhertoyên çavkaniya vekirî ya hevpar a van dirêjkirinan bixebitin.

Hêsaniya karanînê û adaptasyona hêsantir ji bo civaka çavkaniya vekirî di heman demê de hin cûdahiyên di navbera her du guhertoyên DataHub de jî îlham kir. Cûdahî di binesaziya hilberandina çem de mînakek baş a vê yekê ye. Her çend guhertoya meya hundurîn çarçoveyek pêvajoyek tîrêjê ya birêkûpêk bikar tîne, me hilbijart ku ji bo guhertoya çavkaniya vekirî pêvajoyek pêvekirî ya çêkirî (serbixwe) bikar bînin ji ber ku ew ji afirandina girêdanek binesaziyek din dûr dixe.

Nimûneyek din a cûdahiyê ev e ku di pêkanîna çavkaniyek vekirî de ji gelek GMS-an yek GMS (Fikangeha Metadata Giştî) heye. GMA (Mimariya Metadata Giştî) navê mîmariya paşîn a DataHub e, û GMS di çarçoveya GMA de dikana metadata ye. GMA mîmariyek pir maqûl e ku destûrê dide te ku hûn her avahiyek daneyê (mînak daneyên daneyan, bikarhêner, hwd.) li dikana metadata xwe belav bikin, an jî gelek avahiyên daneyê di yek dikanek metadata de hilînin heya ku qeyda ku nexşeya avahiya daneyê tê de heye. GMS tê nûve kirin. Ji bo karanîna hêsan, me mînakek GMS-ya yekane hilbijart ku hemî avahiyên daneya cihêreng di çavkaniya vekirî ya DataHub de hilîne.

Navnîşek bêkêmasî ya cûdahiyên di navbera her du pêkanînan de di tabloya jêrîn de tê dayîn.

Dengûbas Product
LinkedIn DataHub
Çavkaniya Vekirî DataHub

Avakirinên Daneyên Piştevan
1) Daneyên 2) Bikarhêner 3) Metrîk 4) Taybetmendiyên ML 5) Nexşe 6) Dashboard
1) Daneyên 2) Bikarhêner

Çavkaniyên Metadata ji bo Daneyên Destekkirî
1) Ambry 2) Couchbase 3) Dalids 4) espresso 5) HDFS 6) Hive 7) Kafka 8) MongoDB 9) MySQL 10) Oracle 11) pinot 12) Presto 12) Bibe 13) Teradata 13) Vektor 14) Venice
Hive Kafka RDBMS

Pub-sub
LinkedIn Kafka
Kafka lihevhatî

Stream Processing
bi rêve
Pêvekirî (serbixwe)

Derzkirina Girêdanê & Veavakirina Dînamîk
LinkedIn Offspring
Bihar

Build Tooling
Ligradle (Gradle ya navxweyî ya LinkedIn)
Gradlew

CI / CD
CRT (CI/CD-ya navxweyî ya LinkedIn)
TravisCI û Navenda docker

Firotgehên Metadata
GMS-ya pirjimar hatî belav kirin: 1) GMS-ya daneyan 2) GMS-ya bikarhêner 3) GMS-ya metrîk 4) GMS-ya taybetmendiyê 5) GMS-ya nexşe/Dashboard
Yek GMS ji bo: 1) Daneyên 2) Bikarhêner

Microservices di konteynerên Docker de

Docker bicihkirin û belavkirina serîlêdanê bi hêsan dike konteynirkirin. Her beşek karûbarê li DataHub çavkaniyek vekirî ye, tevî pêkhateyên binesaziyê yên wekî Kafka, Elasticsearch, neo4j и MySQL, wêneya xweya Docker heye. Ji bo organîzekirina konteynerên Docker me bikar anîn Docker Compose.

Çavkaniya Vekirî DataHub: Platforma Lêgerîn û Vedîtina Metadata LinkedIn

Wêne 2: Mîmarî DataHub *çavkaniya vekirî **

Hûn dikarin mîmariya asta bilind a DataHub di wêneya jorîn de bibînin. Ji bilî hêmanên binesaziyê, çar konteynerên Docker-ê yên cûda hene:

datahub-gms: karûbarê hilanîna metadata

datahub-frontend: sepan Bazî, ji navbeynkariya DataHub re xizmetê dike.

datahub-mce-serfkaran: sepan Kafka Streams, ku herikîna bûyera guherîna metadata (MCE) bikar tîne û dikana metadata nûjen dike.

datahub-mae-serfkaran: sepan Kafka Streams, ku herikîna bûyera kontrolê ya metadata (MAE) bikar tîne û navnîşek lêgerîn û databasa grafîkê diafirîne.

Belgekirina depoya çavkaniya vekirî û posta blogê ya orjînal ya DataHub di derbarê fonksiyonên karûbarên cûrbecûr de agahdariya berfirehtir heye.

CI/CD li ser DataHub çavkaniyek vekirî ye

Depoya çavkaniya vekirî ya DataHub bikar tîne TravisCI ji bo entegrasyonê berdewam û Navenda docker ji bo belavkirina berdewam. Her du jî xwedan entegrasyona GitHub-ê baş in û sazkirina wan hêsan e. Ji bo piraniya binesaziya çavkaniya vekirî ya ku ji hêla civat an pargîdaniyên taybet ve hatî pêşve xistin (mînak. Tevlihev), Wêneyên Docker têne afirandin û li Docker Hub ji bo karanîna hêsan ji hêla civakê ve têne şandin. Her wêneyek Docker ku di Docker Hub de tê dîtin dikare bi fermanek hêsan re bi hêsanî were bikar anîn docker pull.

Digel her pabendbûna depoya çavkaniya vekirî ya DataHub, hemî wêneyên Docker bixweber têne çêkirin û bi nîşana "paşîn" li Docker Hub têne bicîh kirin. Ger Docker Hub bi hinan ve hatî mîheng kirin binavkirina şaxên îfadeya rêkûpêk, hemî etîketên di depoya çavkaniya vekirî de jî bi navên tagên têkildar ên li Docker Hub têne berdan.

Bikaranîna DataHub

Sazkirina DataHub pir hêsan e û ji sê gavên hêsan pêk tê:

  1. Depoya çavkaniya vekirî klon bikin û hemî konteynerên Docker-ê bi docker-compose bi karanîna skrîpta docker-compose ya peydakirî ji bo destpêkek bilez bimeşînin.
  2. Daneyên nimûneyên ku di depoyê de hatine peyda kirin bi karanîna amûra rêzika fermanê ya ku jî tê peyda kirin dakêşin.
  3. Di geroka xwe de DataHub bigerin.

Bi awayekî çalak hat şopandin Gitter chat ji bo pirsên bilez jî hatine mîheng kirin. Bikarhêner her weha dikarin pirsgirêkan rasterast di depoya GitHub de biafirînin. Ya herî girîng, em hemî bersiv û pêşniyaran pêşwazî dikin û teqdîr dikin!

Plana pêşerojê

Heya nuha, her binesaziyek an mîkroxizmetek ji bo çavkaniya vekirî DataHub wekî konteynirek Docker-ê hatî çêkirin, û tevahiya pergalê bi karanîna rêve dibe. docker-berhevkirin. Ji ber populerbûn û berbelavbûnê Kubernetes, em jî dixwazin di demek nêzîk de çareseriyek bingehîn a Kubernetes peyda bikin.

Di heman demê de em plan dikin ku ji bo bicîhkirina DataHub li ser karûbarek cloudê ya gelemperî wekî çareseriyek kilît peyda bikin çerm, AWS an Google Cloud. Ji ber ragihandina vê dawiyê ya koçberiya LinkedIn a Azure, ev ê bi pêşiyên hundurîn ên tîmê metadata re hevaheng be.

Di dawiyê de, lê ne hindik, spas ji hemî pejirên destpêkê yên DataHub re di civata çavkaniya vekirî de ku alfayên DataHub nirxandibûn û ji me re bûn alîkar ku pirsgirêkan nas bikin û belgekirinê baştir bikin.

Source: www.habr.com

Add a comment