Kev tsim lub chaw cia khoom yog ib qho kev ua haujlwm ntev thiab loj heev.
Ntau npaum li cas hauv lub neej ntawm ib qhov project nyob ntawm seb qhov zoo ntawm cov khoom qauv thiab cov qauv hauv paus tau xav txog thaum pib.
Txoj kev lees paub feem ntau tau ua thiab tseem muaj ntau yam sib txawv ntawm kev sib txuas lub hnub qub scheme nrog peb daim ntawv ib txwm. Raws li txoj cai, raws li txoj cai: thawj cov ntaub ntawv - 3NF, showcases - hnub qub. Txoj hauv kev no, lub sijhawm sim thiab txhawb nqa los ntawm ntau qhov kev tshawb fawb, yog thawj zaug (thiab qee zaum tsuas yog) yam uas los rau hauv lub siab ntawm tus kws paub txog DWH tshwj xeeb thaum xav txog qhov kev txheeb xyuas qhov chaw khaws cia yuav tsum zoo li cas.
Ntawm qhov tod tes, kev lag luam feem ntau thiab cov neeg siv khoom xav tau tshwj xeeb yuav hloov pauv sai, thiab cov ntaub ntawv nyiam loj hlob ob qho tib si "hauv qhov tob" thiab "hauv dav". Thiab qhov no yog qhov teeb meem loj ntawm lub hnub qub tshwm - txwv yooj.
Thiab yog tias hauv koj lub neej nyob ntsiag to thiab xis nyob raws li DWH tus tsim tawm tam sim ntawd:
- txoj hauj lwm tshwm sim "yuav tsum ua yam tsawg kawg yog ib yam sai sai, thiab tom qab ntawd peb yuav pom";
- ib qhov kev tsim kho sai sai tau tshwm sim, nrog rau kev sib txuas ntawm cov peev txheej tshiab thiab rov ua haujlwm ntawm cov qauv kev lag luam tsawg kawg ib zaug ib lub lim tiam;
- tus neeg siv khoom tau tshwm sim uas tsis muaj lub tswv yim tias lub kaw lus yuav tsum zoo li cas thiab lub luag haujlwm nws yuav tsum tau ua thaum kawg, tab sis tau npaj txhij los sim thiab ua kom zoo dua cov txiaj ntsig xav tau thaum nyob ze rau nws;
- Tus thawj tswj hwm qhov project tau poob rau hauv xov xwm zoo: "Thiab tam sim no peb muaj agile!"
Los yog koj tsuas yog xav paub seb yuav ua li cas ntxiv koj tuaj yeem tsim cov chaw cia khoom - txais tos rau kev txiav!
"flexibility" txhais li cas?
Ua ntej, cia peb txhais cov khoom uas yuav tsum muaj nyob rau hauv thiaj li yuav hu ua "flexible".
Cais, nws tsim nyog hais tias cov khoom piav qhia yuav tsum muaj feem cuam tshuam rau lub system, tsis yog txheej txheem nws txoj kev loj hlob. Yog li ntawd, yog tias koj xav nyeem txog Agile raws li txoj kev txhim kho, nws yog qhov zoo dua los nyeem lwm cov ntawv. Piv txwv li, nyob ntawd, ntawm Habre, muaj ntau cov ntaub ntawv nthuav dav (xws li ΠΈ , thiab ).
Qhov no tsis tau txhais hais tias txoj kev txhim kho thiab cov qauv ntawm cov ntaub ntawv warehouse yog kiag li unrelated. Zuag qhia tag nrho, nws yuav tsum yooj yim dua los tsim kom muaj Agile repository rau qhov agile architecture. Txawm li cas los xij, hauv kev xyaum, feem ntau muaj kev xaiv nrog Agile txoj kev loj hlob ntawm classic DWH raws li Kimbal thiab DataVault - raws li dej tsaws tsag, zoo siab coincidences ntawm saj zawg zog nyob rau hauv nws ob daim ntawv ntawm ib qhov project.
Yog li, dab tsi muaj peev xwm yuav tsum tau hloov pauv tau muaj? Muaj peb lub ntsiab lus ntawm no:
- Kev xa khoom ntxov thiab xa rov qab sai - qhov no txhais tau hais tias thawj qhov kev lag luam tshwm sim (piv txwv li, thawj cov ntawv tshaj tawm ua haujlwm) yuav tsum tau txais sai li sai tau, uas yog, txawm tias ua ntej tag nrho cov txheej txheem tsim thiab siv tag nrho. Ntxiv mus, txhua qhov kev hloov kho tom ntej yuav tsum siv sij hawm tsawg li tsawg tau.
- Rov ua dua tshiab - qhov no txhais tau hais tias txhua qhov kev txhim kho tom ntej yuav tsum tsis txhob cuam tshuam rau kev ua haujlwm uas twb ua haujlwm lawm. Nws yog lub sijhawm no uas feem ntau dhau los ua npau suav phem tshaj plaws ntawm cov phiaj xwm loj - sai lossis tom qab, cov khoom ib tus neeg pib tau txais ntau qhov kev sib txuas uas nws yooj yim dua los ua kom tiav cov logic hauv ib daim ntawv nyob ze dua li ntxiv ib daim teb rau lub rooj uas twb muaj lawm. Thiab yog tias koj xav tsis thoob tias kev txheeb xyuas qhov cuam tshuam ntawm kev txhim kho ntawm cov khoom uas twb muaj lawm tuaj yeem siv sijhawm ntau dua li kev txhim kho lawv tus kheej, feem ntau koj yuav tsis tau ua haujlwm nrog cov ntaub ntawv loj hauv tuam txhab nyiaj lossis xov tooj.
- Tsis tu ncua hloov mus rau kev hloov pauv kev ua lag luam - tag nrho cov khoom qauv yuav tsum tau tsim tsis tsuas yog coj mus rau hauv tus account qhov nthuav dav, tab sis nrog kev cia siab tias qhov kev taw qhia ntawm qhov kev nthuav dav ntxiv no tsis tuaj yeem ua npau suav ntawm theem tsim.
Thiab yog, ua tau raws li tag nrho cov kev cai no hauv ib qho system yog ua tau (tau kawg, nyob rau qee kis thiab nrog qee qhov kev tshwj tseg).
Hauv qab no kuv yuav xav txog ob qhov nrov tshaj plaws agile tsim qauv rau cov ntaub ntawv warehouses - Anchor qauv ΠΈ Data Vault. Sab laug tawm ntawm cov brackets yog cov tswv yim zoo xws li, piv txwv li, EAV, 6NF (hauv nws daim ntawv dawb huv) thiab txhua yam ntsig txog NoSQL cov kev daws teeb meem - tsis yog vim tias lawv qee zaus zuj zus, thiab tsis yog vim qhov no tsab xov xwm yuav hem kom tau txais. qhov ntim ntawm qhov nruab nrab disser. Nws tsuas yog hais tias tag nrho cov no muaj feem xyuam rau cov kev daws teeb meem ntawm cov chav kawm sib txawv me ntsis - xws li cov tswv yim uas koj tuaj yeem siv rau hauv cov xwm txheej tshwj xeeb, tsis hais txog tag nrho cov qauv ntawm koj qhov project (xws li EAV), lossis thoob ntiaj teb lwm cov ntaub ntawv khaws cia paradigms (xws li graph databases thiab lwm yam kev xaiv NoSQL).
Cov teeb meem ntawm "classical" mus kom ze thiab lawv cov kev daws teeb meem hauv cov txheej txheem hloov pauv
Los ntawm "classical" mus kom ze kuv txhais tau hais tias lub hnub qub zoo (tsis hais txog kev siv cov txheej txheem tshwj xeeb, thov kom cov thwjtim ntawm Kimball, Inmon thiab CDM zam txim rau kuv).
1. Rigid cardinality ntawm kev sib txuas
Cov qauv no yog ua raws li kev faib cov ntaub ntawv kom meej Dimension ΠΈ qhov tseeb. Thiab qhov no, damn nws, yog qhov laj thawj - tom qab tag nrho, cov ntaub ntawv tsom xam hauv feem ntau ntawm cov xwm txheej los mus rau kev tsom xam ntawm qee qhov ntsuas tus lej (qhov tseeb) hauv qee ntu (qhov ntev).
Hauv qhov no, kev sib txuas ntawm cov khoom raug tsim los ntawm kev sib raug zoo ntawm cov ntxhuav siv tus yuam sij txawv teb chaws. Qhov no zoo nkaus li ntuj, tab sis tam sim ntawd ua rau thawj qhov kev txwv ntawm kev hloov pauv - nruj txhais ntawm cardinality ntawm kev sib txuas.
Qhov no txhais tau hais tias nyob rau theem tsim lub rooj, koj yuav tsum txiav txim siab kom raug rau txhua khub ntawm cov khoom muaj feem cuam tshuam seb lawv puas tuaj yeem cuam tshuam ntau-rau-ntau, lossis tsuas yog 1-rau-ntau, thiab "nyob rau qhov twg". Qhov no ncaj qha txiav txim siab lub rooj twg yuav muaj tus yuam sij tseem ceeb thiab qhov twg yuav muaj tus yuam sij txawv teb chaws. Hloov tus cwj pwm no thaum tau txais cov kev xav tau tshiab yuav ua rau muaj kev rov ua haujlwm ntawm lub hauv paus.
Piv txwv li, thaum tsim cov khoom "daim ntawv txais nyiaj ntsuab", koj, tso siab rau cov lus cog tseg ntawm lub tuam txhab muag khoom, tau tso tseg qhov ua tau. ib qho kev nce qib rau ntau txoj haujlwm tshawb xyuas (tab sis tsis vice versa):
Thiab tom qab qee lub sijhawm, cov npoj yaig tau qhia txog kev lag luam tshiab uas lawv tuaj yeem ua rau tib txoj haujlwm ob peb promotions tib lub sij hawm. Thiab tam sim no koj yuav tsum hloov kho cov ntxhuav los ntawm kev sib cais kev sib raug zoo rau hauv ib qho khoom cais.
(Tag nrho cov khoom tau muab los ntawm qhov kev kuaj xyuas qib siab tau koom nrog tam sim no kuj yuav tsum tau txhim kho).
Kev sib raug zoo hauv Cov Ntaub Ntawv Vault thiab Anchor Model
Kev zam qhov xwm txheej no ua tau yooj yim heev: koj tsis tas yuav tso siab rau lub chaw muag khoom ua qhov no. tag nrho cov kev sib txuas tau pib muab cia rau hauv cov rooj sib cais thiab ua nws li ntau-rau-ntau.
Txoj kev no tau npaj Dan Linstedt raws li ib feem ntawm lub paradigm Data Vault thiab txhawb nqa Lars RΓΆnnbΓ€ck Π² Anchor Model.
Yog li ntawd, peb tau txais thawj qhov tshwj xeeb ntawm cov txheej txheem hloov tau yooj yim:
Kev sib raug zoo ntawm cov khoom tsis yog khaws cia rau hauv cov cwj pwm ntawm niam txiv cov koom haum, tab sis yog ib hom khoom sib cais.
Π Data Vault cov rooj sib txuas no hu ua txuas, thiab hauv Anchor Model - khi. Thaum xub thawj siab ib muag, lawv zoo sib xws, txawm hais tias lawv qhov sib txawv tsis xaus nrog lub npe (uas yuav tau tham hauv qab no). Hauv ob qho tib si architectures, cov rooj sib txuas tuaj yeem txuas txhua qhov chaw (tsis tas 2).
Qhov redundancy no, thaum xub thawj siab ib muag, muab qhov yooj yim rau kev hloov kho. Cov qauv zoo li no ua siab ntev tsis yog rau kev hloov pauv hauv cardinality ntawm cov kev sib txuas uas twb muaj lawm, tab sis kuj ntxiv rau cov tshiab - yog tias tam sim no ib qho chaw kuaj xyuas kuj muaj qhov txuas mus rau tus neeg txais nyiaj uas tau tawg los ntawm nws, qhov tshwm sim ntawm qhov txuas yuav yooj yim. ua ib qho add-on tshaj cov ntxhuav uas twb muaj lawm yam tsis muaj kev cuam tshuam cov khoom thiab cov txheej txheem uas twb muaj lawm.
2. Cov ntaub ntawv luam tawm
Qhov teeb meem thib ob daws tau los ntawm kev hloov pauv tau yooj yim yog qhov pom tseeb tsawg dua thiab muaj nyob hauv thawj qhov chaw. SCD2 hom kev ntsuas (hloov pauv qhov ntev ntawm hom thib ob), txawm tias tsis yog lawv xwb.
Hauv ib lub tsev khaws khoom qub, qhov loj me feem ntau yog ib lub rooj uas muaj tus yuam sij surrogate (raws li PK) thiab cov txheej txheem lag luam thiab cov cwj pwm hauv cov kab sib cais.
Yog hais tias ib tug dimension txhawb versioning, version validity ciam teb yog ntxiv rau cov txheej txheem ntawm teb, thiab ob peb versions tshwm nyob rau hauv lub repository rau ib kab nyob rau hauv lub qhov chaw (ib qho rau txhua qhov kev hloov hauv versioned attributes).
Yog tias qhov loj me muaj tsawg kawg ib qho kev hloov pauv hloov pauv hloov pauv, tus naj npawb ntawm cov qauv ntawm qhov loj me yuav zoo siab (txawm tias cov yam ntxwv tseem ceeb tsis tau hloov kho lossis tsis hloov), thiab yog tias muaj ntau yam zoo li no, tus lej ntawm cov qauv tuaj yeem ua tau. loj hlob exponentially los ntawm lawv tus lej. Qhov loj me no tuaj yeem siv ntau qhov chaw disk, txawm hais tias ntau ntawm cov ntaub ntawv nws khaws cia tsuas yog duplicates ntawm immutable attribute qhov tseem ceeb los ntawm lwm cov kab.
Nyob rau tib lub sijhawm, nws kuj yog siv ntau heev denormalization - Qee tus cwj pwm yog txhob txwm khaws cia ua tus nqi, thiab tsis yog qhov txuas rau phau ntawv siv lossis lwm qhov loj me. Txoj hauv kev no ua kom ceev cov ntaub ntawv nkag, txo cov naj npawb ntawm cov koom nrog thaum nkag mus rau qhov loj me.
Feem ntau qhov no ua rau tib cov ntaub ntawv khaws cia ib txhij hauv ntau qhov chaw. Piv txwv li, cov ntaub ntawv hais txog thaj tsam ntawm qhov chaw nyob thiab cov neeg siv khoom tuaj yeem khaws cia ib txhij hauv qhov "Client" qhov ntev thiab "Purchase", "Delivery" thiab "Call Center Calls" qhov tseeb, nrog rau hauv "Client - Client Manager. β link table.
Feem ntau, cov lus piav qhia saum toj no siv rau qhov tsis tu ncua (tsis yog-versioned) qhov ntev, tab sis nyob rau hauv versioned sawv daws yuav muaj ib tug txawv scale: qhov tsos ntawm ib tug tshiab version ntawm ib yam khoom (tshwj xeeb tshaj yog nyob rau hauv retrospect) ua tsis tau tsuas yog rau qhov hloov tshiab ntawm tag nrho cov muaj feem xyuam. cov rooj, tab sis mus rau qhov zoo li cascading ntawm cov tshiab versions ntawm cov khoom muaj feem xyuam - thaum Table 1 yog siv los tsim Table 2, thiab Table 2 yog siv los tsim Table 3, thiab lwm yam. Txawm hais tias tsis yog ib tus cwj pwm ntawm Table 1 tau koom nrog hauv kev tsim kho ntawm Table 3 (thiab lwm yam khoom ntawm Table 2 tau los ntawm lwm qhov chaw koom nrog), versioning qhov kev tsim kho no yuav ua rau tsawg kawg ua rau cov nyiaj siv ua haujlwm ntxiv, thiab ntawm qhov siab tshaj plaws rau ntxiv. versions nyob rau hauv Table 3. uas tsis muaj dab tsi ua nrog nws nyob rau hauv tag nrho, thiab ntxiv mus rau cov saw.
3. Nonlinear complexity ntawm rework
Nyob rau tib lub sijhawm, txhua lub khw muag khoom tshiab tsim los ntawm lwm qhov nce ntxiv ntawm qhov chaw uas cov ntaub ntawv tuaj yeem "diverge" thaum hloov pauv rau ETL. Qhov no, nyob rau hauv lem, ua rau muaj kev nce nyob rau hauv complexity (thiab ntev) ntawm txhua qhov kev hloov kho tom ntej.
Yog hais tias saum toj no piav qhia txog cov txheej txheem uas tsis tshua muaj kev hloov kho ETL cov txheej txheem, koj tuaj yeem nyob hauv qhov kev coj ua zoo li no - koj tsuas yog xav kom paub tseeb tias cov kev hloov kho tshiab raug ua kom raug rau txhua yam khoom muaj feem xyuam. Yog tias kev kho dua tshiab tshwm sim ntau zaus, qhov tshwm sim ntawm kev ua yuam kev "tsis ploj" ntau qhov kev sib txuas tau nce ntau.
Yog tias, ntxiv rau, peb suav nrog qhov "versioned" ETL yog qhov nyuaj ntau dua li "tsis-versioned", nws nyuaj heev kom tsis txhob ua yuam kev thaum nquag hloov kho tag nrho cov chaw no.
Khaws cov khoom thiab cov cwj pwm hauv Cov Ntaub Ntawv Vault thiab Anchor Model
Txoj kev qhia los ntawm cov kws sau ntawv ntawm cov qauv hloov pauv tuaj yeem tsim raws li hauv qab no:
Nws yog ib qho tsim nyog los cais cov kev hloov pauv ntawm qhov uas tseem zoo li qub. Ntawd yog, khaws cov yuam sij cais los ntawm cov cwj pwm.
Txawm li cas los, ib tug yuav tsum tsis txhob confuse tsis versioned attribute nrog tsis hloov: thawj tus tsis khaws keeb kwm ntawm nws cov kev hloov pauv, tab sis tuaj yeem hloov pauv (piv txwv li, thaum kho qhov yuam kev nkag lossis tau txais cov ntaub ntawv tshiab); qhov thib ob tsis hloov pauv.
Cov ntsiab lus ntawm kev pom txawv ntawm qhov tseeb uas tuaj yeem suav tias tsis hloov pauv hauv Cov Ntaub Ntawv Vault thiab Anchor Model.
Los ntawm qhov pom ntawm architectural Data Vault, tuaj yeem suav tias tsis hloov pauv tag nrho cov yuam sij - ntuj (TIN ntawm lub koom haum, cov khoom code hauv qhov system, thiab lwm yam) thiab surrogate. Hauv qhov no, cov yam ntxwv tseem ceeb tuaj yeem muab faib ua pawg raws li lub hauv paus thiab / lossis zaus ntawm kev hloov pauv thiab Khaws ib lub rooj sib cais rau txhua pab pawg nrog ib qho kev ywj pheej ntawm cov versions.
Nyob rau hauv paradigm Anchor Model suav tias tsis hloov tsuas yog surrogate key essence. Txhua yam ntxiv (nrog rau cov yuam sij ntuj) tsuas yog qhov tshwj xeeb ntawm nws cov cwj pwm. Qhov twg tag nrho cov cwj pwm yog ywj siab ntawm ib leeg los ntawm lub neej ntawd, yog li ntawd rau txhua tus cwj pwm a cais rooj.
Π Data Vault cov rooj uas muaj cov yuam sij ntawm qhov chaw raug hu Hubami. hubs yeej ib txwm muaj cov txheej txheem ruaj khov:
- Natural Entity Keys
- Surrogate tus yuam sij
- Txuas mus rau qhov chaw
- Sau sijhawm ntxiv
Cov ntawv hauv Hubs yeej tsis hloov thiab tsis muaj versions. Sab nraud, hubs zoo ib yam li ID-daim ntawv qhia hom rooj siv nyob rau hauv qee lub tshuab los tsim cov surrogates, txawm li cas los xij, nws raug nquahu kom siv lub hash los ntawm cov txheej txheem lag luam raws li surrogates hauv Data Vault. Txoj hauv kev no ua kom yooj yim thauj cov kev sib raug zoo thiab cov cwj pwm los ntawm cov peev txheej (tsis tas yuav koom nrog lub hub kom tau txais tus neeg sawv cev, tsuas yog xam qhov hash ntawm tus yuam sij ntuj), tab sis tuaj yeem ua rau lwm yam teeb meem (xws li, piv txwv li, kev sib tsoo, rooj plaub thiab tsis luam tawm. cov cim nyob rau hauv txoj hlua yuam sij, thiab lwm yam.p.), yog li nws tsis yog feem ntau txais.
Tag nrho lwm cov khoom ntiag tug tau muab khaws cia rau hauv cov rooj tshwj xeeb hu ua satellites. Ib lub hub tuaj yeem muaj ntau lub satellites khaws cov khoom sib txawv.
Kev faib cov cwj pwm ntawm cov satellites tshwm sim raws li lub hauv paus ntsiab lus kev sib koom ua ke hloov - nyob rau hauv ib tug satellite tsis-versioned cwj pwm yuav muab khaws cia (piv txwv li, hnub yug thiab SNILS rau ib tug neeg), nyob rau hauv lwm yam - tsis tshua hloov versioned sawv daws yuav (piv txwv li, lub xeem lub npe thiab passport tooj), nyob rau hauv peb - ββnquag hloov. (piv txwv li, chaw nyob xa khoom, qeb, hnub kawg ntawm kev txiav txim, thiab lwm yam). Nyob rau hauv cov ntaub ntawv no, versioning yog nqa tawm nyob rau hauv lub theem ntawm ib tug satellites, thiab tsis yog lub koom haum raws li ib tug tag nrho, yog li ntawd nws yog advisable mus faib cov yam ntxwv thiaj li hais tias cov kev sib tshuam ntawm versions nyob rau hauv ib tug satellite yog tsawg heev (uas yuav txo tau tag nrho cov naj npawb ntawm khaws cia versions. ).
Tsis tas li ntawd, txhawm rau txhim kho cov txheej txheem thauj khoom, cov yam ntxwv tau los ntawm ntau qhov chaw feem ntau suav nrog hauv ib tus neeg satellites.
Satellites sib txuas lus nrog Hub ntawm txawv teb chaws key (uas sib haum rau 1-rau-ntau yam cardinality). Qhov no txhais tau hais tias ntau tus cwj pwm tseem ceeb (piv txwv li, ntau tus xov tooj hu rau ib tus neeg siv khoom) tau txais kev txhawb nqa los ntawm qhov "default" architecture.
Π Anchor Model cov rooj uas khaws cov yuam sij raug hu Anchors. Thiab lawv khaws:
- Tsuas yog tus yuam sij surrogate
- Txuas mus rau qhov chaw
- Sau sijhawm ntxiv
Cov yuam sij ntuj los ntawm qhov pom ntawm Anchor Model raug txiav txim siab yam ntxwv zoo tib yam. Qhov kev xaiv no yuav zoo li nyuaj rau kev nkag siab, tab sis nws muab ntau npaum li cas rau kev txheeb xyuas qhov khoom.
Piv txwv li, yog tias cov ntaub ntawv hais txog tib lub koom haum tuaj yeem los ntawm cov tshuab sib txawv, txhua tus siv nws tus kheej qhov tseem ceeb. Nyob rau hauv Cov Ntaub Ntawv Vault, qhov no tuaj yeem ua rau cov qauv cumbersome ntawm ntau lub hubs (ib qho ntawm ib qho + kev sib koom ua ke master version), thaum nyob rau hauv Anchor qauv, qhov tseem ceeb ntawm txhua qhov chaw poob rau hauv nws tus cwj pwm thiab tuaj yeem siv thaum thauj khoom ntawm nws tus kheej. tag nrho lwm tus.
Tab sis kuj muaj ib qho insidious point ntawm no: yog hais tias tus cwj pwm los ntawm cov tshuab sib txawv tau ua ke hauv ib qho chaw, feem ntau yuav muaj qee qhov. cov cai ntawm "gluing", los ntawm qhov system yuav tsum nkag siab tias cov ntaub ntawv los ntawm ntau qhov chaw sib raug rau ib qho piv txwv ntawm qhov chaw.
Π Data Vault cov cai no feem ntau yuav txiav txim siab tsim "surrogate hub" ntawm tus tswv chaw thiab tsis nyob hauv ib txoj kev cuam tshuam rau Hubs uas khaws cov yuam sij ntuj thiab lawv cov yam ntxwv qub. Yog tias qee lub sijhawm cov kev cai sib koom ua ke hloov pauv (lossis cov yam ntxwv uas nws tau ua tau hloov kho), nws yuav txaus los hloov kho cov hubs surrogate.
Π Anchor qauv xws li ib qho chaw yuav feem ntau yuav khaws cia rau hauv lub thauj tog rau nkoj nkaus xwb. Qhov no txhais tau hais tias txhua tus cwj pwm, txawm tias lawv los ntawm qhov twg los, yuav raug khi rau tib tus neeg sawv cev. Kev sib cais cov ntaub ntawv tsis raug cai thiab, feem ntau, kev saib xyuas qhov cuam tshuam ntawm kev sib koom ua ke hauv cov txheej txheem no tuaj yeem nyuaj dua, tshwj xeeb tshaj yog tias cov kev cai yog qhov nyuaj heev thiab hloov ntau zaus, thiab tib tus cwj pwm tuaj yeem tau txais los ntawm ntau qhov chaw (txawm tias nws yog qhov tseeb. ua tau, txij li txhua tus cwj pwm version khaws qhov txuas mus rau nws qhov chaw).
Txawm li cas los xij, yog tias koj lub kaw lus yuav tsum siv qhov kev ua haujlwm deduplication, sib sau cov ntaub ntawv thiab lwm yam MDM cov ntsiab lus, nws tsim nyog them nyiaj tshwj xeeb rau cov yam ntxwv ntawm kev khaws cov yuam sij ntuj hauv cov txheej txheem agile. Nws zoo li qhov bulkier Data Vault tsim yuav dheev muaj kev nyab xeeb dua nyob rau hauv cov nqe lus ntawm kev sib koom ua ke yuam kev.
Anchor qauv kuj muab ib yam khoom ntxiv hu ua Knot nws yog qhov tseem ceeb tshwj xeeb degenerate hom thauj tog rau nkoj, uas muaj peev xwm tsuas muaj ib tug cwj pwm. Cov nodes yuav tsum tau siv los khaws cov ntaub ntawv tiaj tus (piv txwv li, poj niam txiv neej, poj niam txiv neej, qeb kev pabcuam neeg siv khoom, thiab lwm yam). Tsis zoo li lub Anchor, lub Knot tsis muaj cov rooj sib txuam, thiab nws tsuas yog tus cwj pwm (lub npe) ib txwm khaws cia rau hauv tib lub rooj nrog tus yuam sij. Nodes txuas nrog Anchors los ntawm khi rooj (Tie) tib yam li Anchors txuas rau ib leeg.
Tsis muaj kev pom meej meej txog kev siv Nodes. Piv txwv li, , uas nquag txhawb nqa kev siv Anchor Model nyob rau hauv Russia, ntseeg (tsis yog tsis tsim nyog) tias tsis yog ib phau ntawv siv nws tuaj yeem hais nrog qhov tseeb tias nws yeej ib txwm yuav zoo li qub thiab ib-theem, yog li nws yog qhov zoo dua rau tam sim ntawd siv lub thauj tog rau nkoj tag nrho rau txhua yam khoom.
Lwm qhov sib txawv tseem ceeb ntawm Data Vault thiab Anchor qauv yog qhov muaj cwj pwm ntawm kev sib txuas:
Π Data Vault Cov ntawv txuas yog tib yam khoom siv puv nkaus li Hubs, thiab tuaj yeem muaj tus cwj pwm. Cov Anchor qauv Txuas tsuas yog siv los txuas Anchors thiab tsis tuaj yeem muaj lawv tus cwj pwm. Qhov sib txawv no ua rau muaj qhov sib txawv ntawm kev ua qauv zoo heev qhov tseeb, uas yuav tau tham ntxiv.
Qhov tseeb cia
Ua ntej no, peb tham feem ntau hais txog kev ntsuas ntsuas. Qhov tseeb me ntsis tsis meej.
Π Data Vault ib yam khoom siv khaws cia qhov tseeb yog Txuas, nyob rau hauv uas nws satellites tiag qhia tau ntxiv.
Txoj kev no zoo li intuitive. Nws muab kev nkag tau yooj yim rau cov ntsuas ntsuas thiab feem ntau zoo ib yam li cov lus tseeb ib txwm muaj (tsuas yog cov ntsuas ntsuas tsis nyob hauv lub rooj nws tus kheej, tab sis nyob rau hauv "neeg nyob ze" ib qho). Tab sis kuj tseem muaj pitfalls: ib qho ntawm cov kev hloov kho ntawm tus qauv - nthuav qhov tseeb qhov tseem ceeb - yuav tsum tau ntxiv tus yuam sij txawv teb chaws tshiab rau Link. Thiab qhov no, nyob rau hauv lem, "lov" lub modularity thiab tej zaum yuav ua rau qhov xav tau kev hloov kho rau lwm yam khoom.
Π Anchor qauv Ib qho kev sib txuas tsis tuaj yeem muaj nws tus yam ntxwv, yog li txoj hauv kev no yuav tsis ua haujlwm - tag nrho cov cwj pwm thiab cov cim qhia yuav tsum tau txuas rau ib qho tshwj xeeb thauj tog rau nkoj. Qhov xaus ntawm qhov no yog qhov yooj yim - Txhua qhov tseeb kuj xav tau nws tus kheej thauj tog rau nkoj. Rau qee qhov peb tau siv los lees paub qhov tseeb, qhov no yuav zoo li ntuj - piv txwv li, qhov tseeb ntawm kev yuav khoom tuaj yeem txo qis rau cov khoom "kev txiav txim" lossis "daim ntawv txais", mus saib lub vev xaib rau kev sib tham, thiab lwm yam. Tab sis kuj tseem muaj qhov tseeb uas nws tsis yooj yim los nrhiav xws li "cov khoom thauj khoom" - piv txwv li, cov khoom seem hauv cov tsev khaws khoom thaum pib ntawm txhua hnub.
Raws li, teeb meem nrog modularity thaum nthuav qhov tseeb qhov tseem ceeb hauv Anchor qauv tsis tshwm sim (nws yog txaus los tsuas yog ntxiv kev sib raug zoo tshiab rau lub thauj tog rau nkoj coj), tab sis tsim qauv los qhia qhov tseeb yog tsawg unambiguous; "Artificial" Anchors yuav tshwm sim. uas tso saib cov khoom lag luam qauv hauv txoj kev tsis meej.
Yuav ua li cas hloov tau
Qhov tshwm sim tsim nyob rau hauv ob qho tib si muaj tseem ceeb ntau roojdua li kev ntsuas ib txwm muaj. Tab sis nws yuav siv sij hawm tsawg dua qhov chaw disk nrog tib txheej versioned attributes raws li ib txwm dimension. Lawm, tsis muaj khawv koob ntawm no - nws yog txhua yam hais txog normalization. Los ntawm kev faib cov cwj pwm thoob plaws Satellites (hauv Cov Ntaub Ntawv Vault) lossis cov rooj ntawm tus kheej (Anchor Model), peb txo (lossis tshem tawm tag nrho) duplication ntawm qhov tseem ceeb ntawm qee tus cwj pwm thaum hloov lwm tus.
rau Data Vault cov kev yeej yuav nyob ntawm qhov kev faib tawm ntawm cov cwj pwm ntawm Satellites, thiab rau Anchor qauv - yog yuav luag ncaj qha proportional rau nruab nrab tus naj npawb ntawm versions rau ib qho khoom ntsuas.
Txawm li cas los xij, qhov chaw txuag yog qhov tseem ceeb, tab sis tsis yog lub ntsiab, kom zoo dua ntawm kev khaws cov khoom sib cais. Ua ke nrog kev sib cais ntawm kev sib raug zoo, txoj hauv kev no ua rau lub khw modular tsim. Qhov no txhais tau hais tias ntxiv ob qho tib si tus cwj pwm thiab tag nrho cov kev kawm tshiab hauv cov qauv zoo li no superstructure dhau ntawm cov khoom uas twb muaj lawm yam tsis hloov pauv. Thiab qhov no yog qhov ua rau cov txheej txheem piav qhia hloov pauv tau.
Qhov no kuj zoo ib yam li kev hloov pauv ntawm cov khoom tsim tawm mus rau kev tsim khoom loj - yog tias nyob rau hauv ib txwm mus kom ze txhua lub rooj ntawm tus qauv yog qhov tshwj xeeb thiab xav tau kev saib xyuas tshwj xeeb, tom qab ntawd hauv cov txheej txheem hloov pauv nws twb yog cov txheej txheem "qhov". Ntawm qhov tod tes, muaj ntau lub rooj, thiab cov txheej txheem ntawm kev thauj khoom thiab khaws cov ntaub ntawv yuav tsum saib nyuaj dua. Ntawm qhov tod tes, lawv ua yam. Qhov ntawd txhais tau tias yuav muaj automated thiab metadata tsav. Lo lus nug "peb yuav ua li cas?", cov lus teb uas tuaj yeem ua haujlwm tseem ceeb ntawm kev tsim kho, tam sim no tsuas yog tsis tsim nyog (nrog rau cov lus nug txog qhov cuam tshuam ntawm kev hloov cov qauv ntawm cov txheej txheem ua haujlwm. ).
Qhov no tsis tau txhais hais tias cov kws tshuaj ntsuam tsis xav tau nyob rau hauv xws li ib tug system ntawm tag nrho cov - ib tug neeg tseem yuav tsum tau ua hauj lwm los ntawm cov txheej txheem ntawm cov khoom uas muaj cwj pwm thiab xam seb qhov twg thiab yuav ua li cas thauj nws tag nrho. Tab sis tus nqi ntawm kev ua haujlwm, nrog rau qhov ua tau thiab tus nqi ntawm qhov yuam kev, tau txo qis heev. Ob qho tib si nyob rau theem kev tshuaj ntsuam thiab thaum lub sij hawm kev loj hlob ntawm ETL, uas nyob rau hauv ib tug tseem ceeb ib feem yuav raug txo kom kho metadata.
Tsaus sab
Tag nrho cov saum toj no ua rau ob qho tib si kev hloov pauv tau tiag tiag, thev naus laus zis siab thiab tsim nyog rau kev txhim kho rov qab. Tau kawg, kuj tseem muaj "lub thoob hauv cov tshuaj pleev", uas kuv xav tias koj tuaj yeem twv tau txog.
Cov ntaub ntawv decomposition, uas underlies lub modularity ntawm saj zawg zog architectures, ua rau ib tug ntau ntawm cov ntxhuav thiab, raws li, nyiaj siv ua haujlwm mus koom thaum sampling. Txhawm rau kom yooj yim tau txais tag nrho cov yam ntxwv ntawm qhov loj me, hauv lub khw classic ib qho kev xaiv yog txaus, tab sis ib qho kev hloov pauv hloov pauv yuav xav tau tag nrho cov kev sib koom ua ke. Ntxiv mus, yog tias tag nrho cov no koom nrog rau cov ntawv ceeb toom tuaj yeem sau ua ntej, cov kws tshuaj ntsuam xyuas uas tau siv los sau SQL ntawm tes yuav raug kev txom nyem ob npaug.
Muaj ntau qhov tseeb uas ua rau qhov xwm txheej no yooj yim dua:
Thaum ua haujlwm nrog qhov loj me, tag nrho nws cov cwj pwm yuav luag tsis siv ib txhij. Qhov no txhais tau tias tej zaum yuav muaj kev koom nrog tsawg dua li nws zoo nkaus li thaum xub thawj siab ib muag ntawm tus qauv. Cov ntaub ntawv Vault tseem tuaj yeem suav nrog qhov xav tau ntau zaus ntawm kev sib koom thaum faib cov cwj pwm rau satellites. Nyob rau tib lub sijhawm, Hubs lossis Anchors lawv tus kheej yog qhov xav tau tshwj xeeb rau kev tsim thiab kos npe tus neeg sawv cev ntawm lub sijhawm thauj khoom thiab tsis tshua muaj siv hauv cov lus nug (qhov no yog qhov tseeb tshwj xeeb rau Anchors).
Txhua qhov kev koom ua ke yog los ntawm qhov tseem ceeb. Tsis tas li ntawd, ib txoj hauv kev "compressed" ntau dua ntawm kev khaws cov ntaub ntawv txo cov nyiaj siv ua haujlwm ntawm cov ntxhuav scanning qhov twg nws xav tau (piv txwv li, thaum lim los ntawm tus nqi tsim nyog). Qhov no tuaj yeem ua rau qhov tseeb tias kev ua piv txwv los ntawm cov ntaub ntawv ib txwm muaj nrog ntau pawg ntawm kev koom ua ke yuav nrawm dua li luam theej ib qhov hnyav nrog ntau cov qauv hauv ib kab.
Piv txwv li, ntawm no hauv Cov kab lus muaj cov ncauj lus kom ntxaws sib piv ntawm kev ua tau zoo ntawm Anchor qauv nrog cov qauv ntawm ib lub rooj.
Muaj ntau nyob ntawm lub cav. Ntau lub platforms niaj hnub muaj kev koom nrog kev ua kom zoo dua qub. Piv txwv li, MS SQL thiab Oracle tuaj yeem "hla" koom nrog cov ntxhuav yog tias lawv cov ntaub ntawv tsis siv nyob qhov twg tsuas yog rau lwm qhov kev koom nrog thiab tsis cuam tshuam rau qhov kev xaiv zaum kawg (lub rooj / koom nrog tshem tawm), thiab MPP Vertica , tau ua pov thawj tias yog lub cav zoo tshaj plaws rau Anchor Model, muab qee qhov kev ua kom zoo ntawm cov lus nug. Ntawm qhov tod tes, khaws cia rau Anchor Model, piv txwv li, ntawm Click House, uas muaj kev txwv tsis pub koom nrog, tseem tsis tau zoo li lub tswv yim zoo heev.
Tsis tas li ntawd, rau ob qho tib si architectures muaj tshwj xeeb txav, ua kom cov ntaub ntawv nkag tau yooj yim dua (ob qho tib si los ntawm cov lus nug kev ua tau zoo thiab rau cov neeg siv kawg). Piv txwv li, Point-In-Time tables hauv Data Vault los yog cov lus tshwj xeeb ua haujlwm hauv Anchor qauv.
Tag nrho
Lub ntsiab tseem ceeb ntawm cov kev xav tau hloov pauv tau zoo yog qhov hloov pauv ntawm lawv "tsim".
Nws yog cov cuab yeej no uas tso cai rau:
- Tom qab qee qhov kev npaj pib cuam tshuam txog kev xa tawm metadata thiab sau ntawv ETL algorithms yooj yim, sai sai muab cov neeg siv khoom nrog thawj qhov tshwm sim nyob rau hauv daim ntawv ntawm ob peb daim ntawv qhia uas muaj cov ntaub ntawv los ntawm tsuas yog ob peb qhov khoom. Nws tsis yog tsim nyog los xav txog tag nrho (txawm tias nyob rau theem sab saum toj) tag nrho cov khoom qauv.
- Cov qauv ntaub ntawv tuaj yeem pib ua haujlwm (thiab muaj txiaj ntsig) tsuas yog 2-3 yam khoom, thiab tom qab ntawd loj hlob zuj zus (hais txog Anchor qauv Nikolai zoo sib piv nrog mycelium).
- Kev txhim kho feem ntau, suav nrog kev nthuav dav cov ncauj lus thiab ntxiv cov peev txheej tshiab tsis cuam tshuam rau kev ua haujlwm uas twb muaj lawm thiab tsis ua rau muaj kev pheej hmoo ntawm kev tawg qee yam uas twb ua haujlwm lawm.
- Ua tsaug rau decomposition rau hauv cov txheej txheem, ETL cov txheej txheem hauv cov tshuab zoo li qub, lawv cov ntawv sau qiv nws tus kheej rau algorithmization thiab, thaum kawg, automation.
Tus nqi ntawm qhov kev hloov pauv no yog kev ua tau zoo. Qhov no tsis tau txhais hais tias nws yog tsis yooj yim sua kom ua tiav kev ua tau zoo ntawm cov qauv zoo li no. Ntau zaus tshaj qhov tsis, koj tsuas yog xav tau kev siv zog ntau ntxiv thiab saib xyuas kom meej kom ua tiav cov kev ntsuas koj xav tau.
ΠΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΡ
Hom chaw Data Vault
Xav paub ntau ntxiv txog Data Vault:
Hom chaw Anchor Model
Xav paub ntau ntxiv txog Anchor Model:
Cov lus qhia luv luv nrog cov yam ntxwv zoo sib xws thiab qhov sib txawv ntawm cov kev xav tau:
Tau qhov twg los: www.hab.com