He hana lōʻihi a koʻikoʻi ka hoʻomohala ʻana i kahi hale mālama.
ʻO ka nui o ke ola o kahi papahana e pili ana i ka maikaʻi o ka noʻonoʻo ʻana o ke kumu hoʻohālike a me ke ʻano kumu i ka hoʻomaka.
ʻO ke ala i ʻae ʻia a mau nā koho like ʻole no ka hoʻohui ʻana i ka hoʻolālā hōkū me ke ʻano maʻamau ʻekolu. E like me ke kānāwai, e like me ka loina: ʻikepili mua - 3NF, hōʻikeʻike - hōkū. ʻO kēia ala, i hoʻāʻo ʻia a kākoʻo ʻia e ka nui o ka noiʻi, ʻo ia ka mea mua (a i kekahi manawa wale nō) i hiki i ka manaʻo o kahi loea DWH ʻike i ka wā e noʻonoʻo ai i ke ʻano o kahi waihona analytical.
Ma ka ʻaoʻao ʻē aʻe, ʻoi aku ka wikiwiki o ka ʻoihana a me nā koi o nā mea kūʻai aku, a ulu ka ʻikepili i ka "hohonu" a me ka "ākea". A ʻo kēia kahi i ʻike ʻia ai ka hemahema nui o kahi hōkū - palena palupalu.
A inā i kou noho mālie a ʻoluʻolu hoʻi ma ke ʻano he mea hoʻomohala DWH:
- ua ala ka hana "e hana wikiwiki i kekahi mea, a laila e ʻike mākou";
- ua ʻike ʻia kahi papahana e ulu wikiwiki ana, me ka hoʻopili ʻana i nā kumu hou a me ka hana hou ʻana o ke ʻano ʻoihana ma ka liʻiliʻi hoʻokahi i ka pule;
- ua ʻike ʻia kahi mea kūʻai aku ʻaʻole maopopo i ke ʻano o ka ʻōnaehana a me kāna mau hana e hana ai, akā ua mākaukau e hoʻokolohua a hoʻomaʻemaʻe mau i ka hopena i makemake ʻia me ka hoʻokokoke mau ʻana iā ia;
- Ua hāʻule ka luna papahana me ka nūhou maikaʻi: "A i kēia manawa ua agile mākou!"
A i ʻole inā makemake wale ʻoe e ʻike pehea e hiki ai iā ʻoe ke kūkulu i nā hale mālama - aloha i ka ʻoki!
He aha ke ʻano o ka "flexibility"?
ʻO ka mea mua, e wehewehe kākou i nā waiwai i loaʻa i ka ʻōnaehana i mea e kapa ʻia ai ʻo “flexible”.
Ma kahi kaʻawale, pono e haʻi ʻia e pili pono nā waiwai i wehewehe ʻia ʻōnaehana, aole e kaʻina hana kona ulu ana. No laila, inā makemake ʻoe e heluhelu e pili ana iā Agile ma ke ʻano he ʻano hoʻomohala, ʻoi aku ka maikaʻi o ka heluhelu ʻana i nā ʻatikala ʻē aʻe. No ka laʻana, aia ma laila, ma Habré, nui nā mea hoihoi (e like me и , a ).
ʻAʻole kēia manaʻo ʻaʻole pili loa ke kaʻina hana hoʻomohala a me ke ʻano o ka waihona ʻikepili. Ma ka holoʻokoʻa, pono e maʻalahi ka hoʻomohala ʻana i kahi waihona Agile no kahi hoʻolālā agile. Eia nō naʻe, i ka hoʻomaʻamaʻa, ʻoi aku ka nui o nā koho me ka Agile hoʻomohala o ka DWH maʻamau e like me Kimbal a me DataVault - e like me ka Waterfall, ma mua o ka hauʻoli coincidences o ka maʻalahi i kāna mau ʻano ʻelua ma kahi papahana.
No laila, he aha nā mea hiki ke loaʻa i kahi waihona maʻalahi? ʻEkolu mau wahi ma ʻaneʻi:
- ʻO ka lawe mua ʻana a me ka hoʻohuli wikiwiki ʻana - 'o ia ho'i, 'o ka hopena o ka 'oihana mua (no ka la'ana, nā hō'ike hana mua) pono e loa'a i ka hikiwawe loa, 'o ia ho'i, ma mua o ka ho'olālā 'ana a ho'okō 'ia ka 'ōnaehana holo'oko'a. Eia kekahi, ʻo kēlā me kēia hoʻoponopono hou e lawe i ka manawa liʻiliʻi e like me ka hiki.
- Hoʻomaʻamaʻa hou - ʻo ia hoʻi, ʻaʻole pono kēlā me kēia hoʻomaikaʻi hou e pili i ka hana e hana nei. ʻO kēia ka manawa e lilo pinepine ai i mea pōʻino nui loa ma nā papahana nui - ma hope a ma hope paha, hoʻomaka nā mea pilikino e loaʻa i nā pilina he nui e lilo i mea maʻalahi ke hana hou i ka loiloi i kahi kope kokoke ma mua o ka hoʻohui ʻana i kahi kahua i kahi papaʻaina. A inā paha ʻoe e kahaha i ka nānā ʻana i ka hopena o ka hoʻomaikaʻi ʻana i nā mea i loaʻa i hiki ke hoʻonui i ka manawa ma mua o ka hoʻomaikaʻi ʻana iā lākou iho, ʻaʻole paha ʻoe i hana pū me nā hale kūʻai ʻikepili nui ma ka waihona kālā a i ʻole kelepona.
- Hoʻololi mau i ka hoʻololi ʻana i nā koi ʻoihana - pono e hoʻolālā ʻia ka hoʻolālā mea holoʻokoʻa ʻaʻole e noʻonoʻo wale i ka hoʻonui ʻia ʻana, akā me ka manaʻolana ʻaʻole hiki ke manaʻo ʻia ke kuhikuhi o kēia hoʻonui hou ʻana ma ka pae hoʻolālā.
A ʻae, hiki ke hoʻokō i kēia mau koi āpau i hoʻokahi ʻōnaehana (ʻoiaʻiʻo, i kekahi mau hihia a me kekahi mau hoʻomaha).
Ma lalo e noʻonoʻo wau i ʻelua o nā ʻano hana hoʻolālā agile kaulana loa no nā hale waihona ʻikepili - kumu hoʻohālike heleuma и Waihona ʻIkepili. ʻO ka waiho ʻana ma waho o nā brackets he mau ʻenehana maikaʻi loa e like me, no ka laʻana, EAV, 6NF (ma kona ʻano maʻemaʻe) a me nā mea āpau e pili ana i nā hoʻonā NoSQL - ʻaʻole no ka mea ʻoi aku ka maikaʻi, ʻaʻole hoʻi no ka mea ma kēia hihia e hoʻoweliweli ka ʻatikala e loaʻa. ka nui o ka disser maʻamau. ʻO kēia wale nō e pili ana i nā hoʻonā o kahi papa ʻokoʻa - i nā ʻenehana hiki iā ʻoe ke hoʻohana i nā hihia kikoʻī, me ka nānā ʻole i ka hoʻolālā holoʻokoʻa o kāu papahana (e like me EAV), a i ʻole i nā paradigms mālama ʻike ʻē aʻe o ka honua (e like me ka graph databases. a me nā koho ʻē aʻe NoSQL).
ʻO nā pilikia o ka "classical" approach and their solutions in flexible methodologies
Ma ke ʻano "maʻamau" ke ʻōlelo nei au i ka hōkū kahiko maikaʻi (me ka ʻole o ka hoʻokō pono ʻana o nā papa lalo, e kala mai ka poʻe hahai o Kimball, Inmon a me CDM iaʻu).
1. Paʻa paʻa o nā pilina
Hoʻokumu ʻia kēia ʻano hoʻohālike ma kahi māhele ʻikepili i loko Anana и ʻoiaʻiʻo. A ʻo kēia, damn, he logical - ma hope o nā mea a pau, ʻike ka ʻikepili i ka hapa nui o nā hihia i ka nānā ʻana i kekahi mau hōʻailona helu (ʻoiaʻiʻo) i kekahi mau ʻāpana (nā ʻāpana).
I kēia hihia, hoʻokumu ʻia nā pilina ma waena o nā mea ma ke ʻano o nā pilina ma waena o nā papa me ka hoʻohana ʻana i kahi kī haole. ʻIke maoli kēia, akā alakaʻi koke i ka palena mua o ka maʻalahi - wehewehe paʻa o ka cardinality o nā pilina.
ʻO ia hoʻi, ma ka papa hoʻolālā papa, pono ʻoe e hoʻoholo pololei no kēlā me kēia pālua o nā mea pili inā hiki iā lākou ke pili i ka nui-i-nui, a i ʻole 1-i-nui wale nō, a "ma ke ala hea". Hoʻoholo pololei kēia i ka pākaukau e loaʻa ke kī mua a loaʻa ke kī haole. ʻO ka hoʻololi ʻana i kēia ʻano i ka wā e loaʻa ai nā koi hou e alakaʻi i ka hana hou ʻana o ke kumu.
No ka laʻana, i ka hoʻolālā ʻana i ka mea "cash receipt", ʻo ʻoe, e hilinaʻi nei i nā hoʻohiki o ka ʻoihana kūʻai, waiho i ka hiki ke hana. hoʻokahi hoʻolaha no kekahi mau kūlana hoʻopaʻa (akā ʻaʻole hoʻololi):
A ma hope o kekahi manawa, hoʻolauna nā hoa hana i kahi hoʻolālā kūʻai hou e hiki ai iā lākou ke hana ma ke kūlana like mau hoʻolaha i ka manawa like. A i kēia manawa pono ʻoe e hoʻololi i nā papa ma ka hoʻokaʻawale ʻana i ka pilina i kahi mea ʻokoʻa.
(Pono e hoʻomaikaʻi ʻia nā mea i loaʻa mai kahi i hui ʻia ai ka loiloi hoʻolaha i kēia manawa).
Nā pilina ma ka Data Vault a me ka Anachor Model
ʻO ka pale ʻana i kēia kūlana i lilo i mea maʻalahi: ʻaʻole pono ʻoe e hilinaʻi i ka ʻoihana kūʻai e hana i kēia. mālama ʻia nā pilina a pau ma nā papa ʻokoʻa a hana ia e like me ka nui-a-nui.
Ua noi ʻia kēia ʻano hana ʻO Dan Linstedt ma ke ʻano he ʻāpana o ka paradigm Waihona ʻIkepili a kākoʻo piha ʻia Lars Rönnbäck в Hoʻohālike heleuma.
ʻO ka hopena, loaʻa iā mākou ka hiʻohiʻona kūʻokoʻa mua o nā ʻano hana maʻalahi:
ʻAʻole mālama ʻia nā pilina ma waena o nā mea i nā ʻano o nā mea makua, akā he ʻano ʻokoʻa o ka mea.
В Waihona ʻIkepili ua kapaia ia mau papa hookui Link, a in Hoʻohālike heleuma - Ka Hawai i. I ka nānā muaʻana, ua like loa lākou,ʻoiaiʻaʻole i pau ko lākouʻokoʻa me ka inoa (e kūkākūkāʻia ma lalo). Ma nā papa hana ʻelua, hiki i nā papa loulou ke loulou kekahi helu o nā hui (ʻaʻole pono 2).
ʻO kēia redundancy, i ka nānā mua ʻana, hāʻawi i ka loli nui no nā hoʻololi. E ʻae ʻia kēlā ʻano hana ʻaʻole wale i ka hoʻololi ʻana i ka cardinality o nā loulou i kēia manawa, akā i ka hoʻohui ʻana i nā mea hou - inā i kēia manawa ke loaʻa nei kahi kūlana loiloi i kahi loulou i ka cashier nāna i uhaʻi, ʻo ke ʻano o ia loulou e maʻalahi. lilo i mea hoʻohui ma luna o nā papa ʻaina me ka hoʻopilikia ʻole i nā mea a me nā kaʻina hana.
2. Hoʻopili hou i ka ʻikepili
ʻO ka lua o ka pilikia i hoʻoholo ʻia e nā hale hoʻolālā maʻalahi, ʻaʻole i maopopo a ʻike ʻia ma kahi mua. Nā ana ʻano SCD2 (hoʻololi lohi i nā ana o ke ʻano ʻelua), ʻoiai ʻaʻole lākou wale nō.
I loko o kahi hale kūʻai maʻamau, ʻo kahi ana he papaʻaina i loaʻa kahi kī pani (ma ke ʻano he PK) a me kahi pūʻulu o nā kī pāʻoihana a me nā ʻano ma nā kolamu ʻokoʻa.
Inā kākoʻo kekahi ana i ka hoʻololi ʻana, hoʻohui ʻia nā palena mana o ka mana i ka pūʻulu maʻamau o nā kahua, a ʻike ʻia kekahi mau mana i loko o ka waihona no hoʻokahi lālani ma ke kumu (hoʻokahi no kēlā me kēia hoʻololi i nā ʻano hoʻololi).
Inā loaʻa i kahi ana i hoʻokahi ʻano hoʻololi pinepine ʻia, e mahalo nui ʻia ka helu o nā mana o ia ʻano (ʻoiai inā ʻaʻole i hoʻololi ʻia nā ʻano i koe a ʻaʻole loli paha), a inā he nui nā ʻano like, hiki i ka helu o nā mana. e ulu nui mai ko lakou heluna. Hiki i kēia ʻāpana ke lawe i kahi nui o ka disk space, ʻoiai ʻo ka hapa nui o ka ʻikepili i mālama ʻia he mau kope wale nō o nā waiwai waiwai ʻole mai nā lālani ʻē aʻe.
I ka manawa like, hoʻohana pinepine ʻia denormalization - mālama ʻia kekahi mau ʻano ma ke ʻano he waiwai, ʻaʻole ma ke ʻano he loulou i kahi puke kuhikuhi a i ʻole kekahi ʻano. Hoʻonui kēia ala i ka loaʻa ʻana o ka ʻikepili, e hōʻemi ana i ka nui o nā hui i ka wā e komo ai i kahi ana.
ʻO ka maʻamau, alakaʻi kēia i mālama ʻia ka ʻike like i ka manawa like ma kekahi mau wahi. No ka laʻana, hiki ke mālama ʻia ka ʻike e pili ana i ka ʻāina o ka noho ʻana a me ka ʻāpana o ka mea kūʻai aku i ka manawa like i nā ʻāpana "Client" a me nā ʻike "kūʻai", "Delivery" a me "Call Center Calls", a me ka "Client - Client Manager". ” pākaukau loulou.
Ma keʻano laulā, pili ka mea i ho'ākākaʻia ma luna nei i nā ana maʻamau (ʻaʻole i hoʻololiʻia), akā i nā mea i hoʻololiʻia heʻano likeʻole ko lākou:ʻo keʻano o kahi mana hou o kahi mea (ʻoi loa i ka nānāʻana) ke alakaʻiʻaʻole i ka hoʻohou o nā mea a pau e pili ana. nā papaʻaina, akā i ka hiʻohiʻona o nā mana hou o nā mea pili - ke hoʻohana ʻia ka Papa 1 e kūkulu i ka Papa 2, a hoʻohana ʻia ka Papa 2 e kūkulu i ka Papa 3, etc. ʻOiai ʻaʻole i komo kekahi ʻano o ka Papa 1 i ke kūkulu ʻana i ka Papa 3 (a ʻo nā ʻano ʻē aʻe o ka Papa 2 i loaʻa mai nā kumu ʻē aʻe e pili ana), ʻo ka hoʻololi ʻana i kēia kūkulu ʻana e alakaʻi liʻiliʻi i ke poʻo o luna, a ma kahi kiʻekiʻe i keu. nā mana ma ka Papa 3. ʻaʻohe mea pili me ia, a ma lalo o ke kaulahao.
3. Paʻakikī nonlinear o ka hana hou
I ka manawa like, ʻo kēlā me kēia hale kūʻai hou i kūkulu ʻia ma ke kumu o kahi mea ʻē aʻe e hoʻonui i ka helu o nā wahi i hiki ai i ka ʻikepili ke "hoʻololi" ke hoʻololi ʻia ka ETL. ʻO kēia, ke alakaʻi nei i ka piʻi ʻana o ka paʻakikī (a me ka lōʻihi) o kēlā me kēia hoʻoponopono hou.
Inā wehewehe ʻia nā ʻōnaehana me nā kaʻina ETL liʻiliʻi i hoʻololi ʻia, hiki iā ʻoe ke noho i kahi paradigm - pono ʻoe e hōʻoia i ka hana pololei ʻana o nā hoʻololi hou i nā mea pili āpau. Inā hoʻololi pinepine ʻia, piʻi nui ka manaʻo o ka "nalo" i kekahi mau pilina.
Inā, eia kekahi, e noʻonoʻo mākou he ʻoi aku ka paʻakikī o ka "versioned" ETL ma mua o ka "non-versioned", lilo ia i mea paʻakikī ke pale aku i nā hewa i ka wā e hoʻonui pinepine ai i kēia hale holoʻokoʻa.
Ke mālama nei i nā mea a me nā ʻano i loko o Data Vault a me Anchor Model
ʻO ke ala i manaʻo ʻia e nā mea kākau o ka hoʻolālā ʻano hiki ke hana ʻia penei:
Pono e hoʻokaʻawale i nā mea e hoʻololi ai i nā mea i koe. ʻO ia hoʻi, mālama i nā kī ma kahi kaʻawale mai nā ʻano.
Eia naʻe, mai huikau kekahi ʻaʻole i hoʻololi ʻia ʻano me hoololi ole: ʻAʻole mālama ka mea mua i ka mōʻaukala o kāna mau hoʻololi, akā hiki ke loli (no ka laʻana, i ka wā e hoʻoponopono ai i kahi hewa komo a i ʻole ka loaʻa ʻana o ka ʻikepili hou); ʻaʻole loli ka lua.
ʻOkoʻa nā manaʻo i ka mea hiki ke manaʻo ʻia ʻaʻole hiki ke hoʻololi ʻia ma ka Data Vault a me ka Anchor Model.
Mai ka manaʻo hoʻolālā Waihona ʻIkepili, hiki ke noʻonoʻo ʻia ʻaʻole i loli holoʻokoʻa o nā kī - kūlohelohe (TIN o ka hui, code huahana ma ka ʻōnaehana kumu, etc.) a me ke pani. I kēia hihia, hiki ke hoʻokaʻawale ʻia nā ʻano i koe i nā pūʻulu e like me ke kumu a/a i ʻole ka pinepine o nā loli a E mālama i kahi papa ʻokoʻa no kēlā me kēia hui me kahi hoʻonohonoho kūʻokoʻa o nā mana.
I ka paradigm Hoʻohālike heleuma manaʻo ʻia ʻaʻole i loli kī pani wale kumu. ʻO nā mea ʻē aʻe a pau (me nā kī kūlohelohe) he hihia kūikawā wale nō o kona mau ʻano. Ma kahi kūʻokoʻa nā ʻano ʻokoʻa a pau i kekahi i kekahi, no laila no kēlā me kēia ʻano a papaʻaina kaʻawale.
В Waihona ʻIkepili kapa ʻia nā papa i loaʻa nā kī hui Hubami. Loaʻa i nā Hubs kahi hoʻonohonoho paʻa o nā kahua:
- Nā Kiʻi Kūlohelohe
- Ki pani
- loulou i ke kumu
- E hoʻopaʻa i ka manawa hoʻohui
Nā leka ma nā Hubs ʻaʻole loa e hoʻololi a ʻaʻohe mana. Ma waho, ua like loa nā hubs me nā papa ʻano ID-map i hoʻohana ʻia i kekahi mau ʻōnaehana e hoʻohua i nā mea pani, akā naʻe, ʻōlelo ʻia e hoʻohana i kahi hash mai kahi pūʻulu o nā kī pāʻoihana ma ke ʻano he pani i ka Data Vault. Hoʻomaʻamaʻa kēia ala i ka hoʻouka ʻana i nā pilina a me nā ʻano mai nā kumu (ʻaʻole pono e hui i ka hub e kiʻi i kahi pani, e helu wale i ka hash o kahi kī kūlohelohe), akā hiki ke hoʻopilikia i nā pilikia ʻē aʻe (e pili ana, no ka laʻana, i ka hui ʻana, ka hihia a me ka paʻi ʻole. nā huapalapala ma nā kī kaula, a pēlā aku. .p.), no laila ʻaʻole ʻae ʻia.
Mālama ʻia nā ʻano mea ʻē aʻe a pau i nā papa kūikawā i kapa ʻia Nā Satelita. Hiki i hoʻokahi hub ke loaʻa i kekahi mau satelite e mālama ana i nā ʻano ʻano like ʻole.
ʻO ka māhele ʻana o nā ʻano ma waena o nā satelite e like me ke kumu hoololi hui - i loko o hoʻokahi satellite hiki ke mālama ʻia nā ʻano like ʻole (no ka laʻana, ka lā hānau a me ka SNILS no ke kanaka), ma kahi ʻē aʻe - hiki ʻole ke hoʻololi i nā mea i hoʻololi ʻia (e like me ka inoa hope a me ka helu passport), ma ke kolu - hoʻololi pinepine i nā mea. (no ka laʻana, ka helu hoʻouna, ka waeʻano, ka lā o ke kauoha hope, a pēlā aku). I kēia hihia, lawe ʻia ka hoʻololi ʻana ma ka pae o nā satelite hoʻokahi, ʻaʻole ka hui holoʻokoʻa, no laila e ʻōlelo ʻia e puʻunaue i nā ʻano i mea liʻiliʻi ka intersection o nā mana i loko o hoʻokahi satellite (e hōʻemi ana i ka nui o nā mana i mālama ʻia. ).
Eia kekahi, no ka hoʻonui ʻana i ke kaʻina hana hoʻoili ʻikepili, hoʻokomo pinepine ʻia nā ʻano i loaʻa mai nā kumu like ʻole i nā satelite pākahi.
Kūkākūkā nā Satellites me ka Hub ma o kī haole (e pili ana me 1-a-nui ka cardinality). ʻO ia hoʻi, kākoʻo ʻia nā waiwai waiwai he nui (no ka laʻana, nā helu kelepona hoʻokaʻaʻike lehulehu no hoʻokahi mea kūʻai aku) e kākoʻo ʻia e kēia hale hana "paʻamau".
В Hoʻohālike heleuma kapa ʻia nā papa e mālama ai i nā kī Nā heleuma. A mālama lākou:
- Nā kī pani wale nō
- loulou i ke kumu
- E hoʻopaʻa i ka manawa hoʻohui
Manaʻo ʻia nā kī kūlohelohe mai ke ʻano o ka Anchor Model ʻano maʻamau. ʻOi aku ka paʻakikī o kēia koho i ka hoʻomaopopo ʻana, akā hāʻawi ia i kahi ākea hou aʻe no ka ʻike ʻana i ka mea.
No ka laʻana, inā hiki mai nā ʻikepili e pili ana i ka hui like mai nā ʻōnaehana like ʻole, hoʻohana kēlā me kēia i kāna kī kūlohelohe. I ka Data Vault, hiki i kēia ke alakaʻi i nā hale paʻakikī o kekahi mau hubs (hoʻokahi no kēlā me kēia kumu + kahi kumu hoʻohui hoʻohui), ʻoiai i ke kumu hoʻohālike Anchor, hāʻule ke kī maoli o kēlā me kēia kumu i kona ʻano ponoʻī a hiki ke hoʻohana ʻia ke hoʻouka kūʻokoʻa. nā mea ʻē aʻe a pau.
Akā, aia kekahi wahi hoʻopunipuni ma ʻaneʻi: inā hoʻohui ʻia nā ʻano mai nā ʻōnaehana like ʻole i hoʻokahi hui, aia paha kekahi. nā lula o ka "gluing", kahi e hoʻomaopopo ai ka ʻōnaehana e pili ana nā moʻolelo mai nā kumu like ʻole i hoʻokahi laʻana o ka hui.
В Waihona ʻIkepili ʻo kēia mau lula e hoʻoholo i ka hoʻokumu ʻana "hoʻokuʻu ʻia" o ka hui haku a ʻaʻole hoʻi e hoʻohuli i nā Hubs nāna e mālama i nā kī kumu maoli a me ko lākou mau ʻano kumu. Inā hoʻololi nā lula hoʻohui i kekahi manawa (a i ʻole e hoʻonui ʻia nā ʻano i hana ʻia ai), lawa ia e hoʻoponopono hou i nā hubs surrogate.
В kumu hoʻohālike heleuma e mālama ʻia kēlā ʻano mea i loko ka heleuma hookahi. 'O ia ho'i, e ho'opa'a 'ia nā 'ano a pau, 'a'ohe kumu e hele mai ai. ʻO ka hoʻokaʻawale ʻana i nā moʻolelo i hoʻohui hewa ʻia a, ma ke ʻano laulā, ʻoi aku ka paʻakikī o ka nānā ʻana i ka pili o ka hoʻohui ʻana i loko o ia ʻōnaehana, ʻoiai inā paʻakikī a loli pinepine nā lula, a hiki ke loaʻa ka ʻano like mai nā kumu like ʻole (ʻoiai ʻoiaʻiʻo. hiki, no ka mea e paʻa ana kēlā me kēia mana i kahi loulou i kona kumu).
I kēlā me kēia hihia, inā pono kāu ʻōnaehana e hoʻokō i ka hana deduplication, hoʻohui ʻana i nā moʻolelo a me nā mea MDM ʻē aʻe, pono e nānā pono i nā ʻano o ka mālama ʻana i nā kī kūlohelohe i nā ʻano agile. Malia paha e ʻoi aku ka palekana o ka hoʻolālā Data Vault nui ma ke ʻano o ka hoʻohui ʻana i nā hewa.
kumu hoʻohālike heleuma hāʻawi pū kekahi ʻano mea ʻē aʻe i kapa ʻia Knot he mea kūikawā ʻano heleuma degenerate, hiki ke loaʻa hoʻokahi wale nō ʻano. Pono e hoʻohana ʻia nā nodes no ka mālama ʻana i nā papa kuhikuhi palahalaha (e laʻa, ke kāne, ke kūlana male, ka ʻāpana lawelawe mea kūʻai aku, etc.). ʻAʻole like me ka heleuma, ka Knot ʻaʻohe papa ʻano pili, a mālama mau ʻia kona ʻano (inoa) ma ka papa like me ke kī. Hoʻopili ʻia nā Nodes i nā Anchors e nā papa nakinaki (Tie) ma ke ʻano like me ka pili ʻana o Anchors kekahi i kekahi.
ʻAʻohe manaʻo maopopo e pili ana i ka hoʻohana ʻana i nā Nodes. ʻo kahi laʻana, , ka mea e paipai ikaika ana i ka hoohana ana i ka Anchor Model ma Rusia, ke manao nei (aole no ke kumu ole) no ka hiki ole ke hai ia aku me ka maopopo. i nā manawa a pau e static a hoʻokahi pae, no laila ʻoi aku ka maikaʻi o ka hoʻohana koke ʻana i kahi Anchor piha no nā mea āpau.
ʻO kekahi ʻokoʻa koʻikoʻi ma waena o Data Vault a me ke kumu hoʻohālike Anchor ka loaʻa nā ʻano pili:
В Waihona ʻIkepili ʻO nā loulou nā mea piha like me Hubs, a hiki ke loaʻa ʻano ponoʻī. ka kumu hoʻohālike heleuma Hoʻohana wale ʻia nā loulou e hoʻohui i nā heleuma a me ʻaʻole hiki ke loaʻa i kā lākou mau ʻano ponoʻī. ʻO kēia ʻokoʻa ka hopena i nā ʻano hoʻohālike like ʻole ʻoiaʻiʻo, e kūkākūkā hou ana.
Waihona ʻike
Ma mua o kēia, ua kamaʻilio nui mākou e pili ana i ke ana ʻana. Ua emi iki ka maopopo.
В Waihona ʻIkepili he mea maʻamau no ka mālama ʻana i nā ʻike loulou, i loko o nā satelite i hoʻohui ʻia nā hōʻailona maoli.
ʻIke ʻia kēia ʻano intuitive. Hāʻawi maʻalahi ia i nā mea hōʻailona i hoʻopaʻa ʻia a ʻano like ia me kahi papa ʻike kuʻuna (ʻaʻole mālama ʻia nā mea hōʻailona ma ka papa ponoʻī, akā ma ka "hoa noho"). Akā aia kekahi mau pitfalls: ʻo kekahi o nā hoʻololi maʻamau o ke kumu hoʻohālike - hoʻonui i ke kī ʻoiaʻiʻo - pono. hoʻohui i kahi kī haole hou i ka Link. A ʻo kēia, ʻo ia hoʻi, "haʻi" i ka modularity a hiki ke kumu i ka pono no ka hoʻololi ʻana i nā mea ʻē aʻe.
В kumu hoʻohālike heleuma ʻAʻole hiki ke loaʻa i kahi pilina kona mau ʻano ponoʻī, no laila ʻaʻole e holo kēia ala - pono e hoʻopili ʻia nā ʻano a me nā hōʻailona a pau i kahi heleuma kikoʻī. He maʻalahi ka hopena mai kēia - Pono nō hoʻi kēlā me kēia ʻoiaʻiʻo i kona heleuma ponoʻī. No kekahi o nā mea a mākou e ʻike ai he ʻoiaʻiʻo, ʻike maoli paha kēia - no ka laʻana, hiki ke hoʻemi ʻia ka ʻoiaʻiʻo o ke kūʻai ʻana i ka mea "kauoha" a i ʻole "loaʻa", ke kipa ʻana i kahi pūnaewele i kahi hālāwai, etc. Akā aia kekahi mau ʻike no ka mea ʻaʻole maʻalahi ka loaʻa ʻana o kahi "mea lawe" kūlohelohe - no ka laʻana, nā koena o nā waiwai i nā hale kūʻai i ka hoʻomaka o kēlā me kēia lā.
No laila, ʻaʻole e kū mai nā pilikia me ka modularity i ka wā e hoʻonui ai i kahi kī ʻoiaʻiʻo i ka ʻano Anchor (ua lawa ka hoʻohui ʻana i kahi pilina hou i ka Anchor e pili ana), akā ʻaʻole maopopo ka hoʻolālā ʻana i kahi kumu hoʻohālike e hōʻike i nā ʻike; e hōʻike ana i ke kumu hoʻohālike ʻoihana ma ke ʻano maopopo ʻole.
Pehea e loaʻa ai ka maʻalahi
Loaʻa ka hopena o ke kūkulu ʻana i nā hihia ʻelua ʻoi aku ka nui o nā papama mua o ke ana kuʻuna. Akā hiki ke lawe ʻoi aku ka liʻiliʻi o ka hakahaka disk me ka pūʻulu o nā ʻano hoʻololi like me ke ana kuʻuna. ʻO ka mea maʻamau, ʻaʻohe mea kilokilo ma aneʻi - e pili ana i ka normalization. Ma ka hāʻawi ʻana i nā hiʻohiʻona ma nā Satellites (ma ka Data Vault) a i ʻole nā papa pākahi (Anchor Model), hoʻemi mākou (a hoʻopau loa paha) ka hoʻololi ʻana i nā waiwai o kekahi mau ʻano i ka wā e hoʻololi ai i nā mea ʻē aʻe.
no ka mea, Waihona ʻIkepili e hilinaʻi ka lanakila ma ka māhele ʻana o nā ʻano i waena o nā Satellites, a no kumu hoʻohālike heleuma — aneane pili pono i ka helu awelika o na mana no ke ana mea.
Eia naʻe, he mea koʻikoʻi ka mālama ʻana i ka lewa, akā ʻaʻole ka mea nui, pono o ka mālama ʻana i nā ʻano ʻokoʻa. Me ka waiho ʻokoʻa o nā pilina, hana kēia ala i ka hale kūʻai hoʻolālā modular. ʻO ia ke ʻano o ka hoʻohui ʻana i nā ʻano pilikino a me nā wahi kumuhana hou i loko o ia ʻano hoʻohālike hale kiʻekiʻe ma luna o kahi pūʻulu o nā mea e kū nei me ka hoʻololi ʻole iā lākou. A ʻo kēia ka mea e maʻalahi ai nā ʻano hana i wehewehe ʻia.
Hoʻohālikelike kēia i ka hoʻololi ʻana mai ka hana ʻāpana i ka hana nui - inā ma ke ʻano kuʻuna ʻokoʻa kēlā me kēia papa ʻaina o ke kumu hoʻohālike a koi ʻia ka nānā kūikawā, a laila ma nā ʻano hana maʻalahi ua hoʻonohonoho ʻia nā "'āpana" maʻamau. Ma kekahi ʻaoʻao, ʻoi aku ka nui o nā papa, a ʻoi aku ka paʻakikī o nā kaʻina o ka hoʻouka ʻana a me ka lawe ʻana i ka ʻikepili. Ma kekahi ʻaoʻao, lilo lākou maʻamau. ʻO ia hoʻi, aia paha hoʻohana ʻia a me ka metadata. ʻO ka nīnau "pehea mākou e waiho ai?", ʻO ka pane i hiki ke lawe i kahi hapa nui o ka hana i ka hoʻolālā ʻana i ka hoʻomaikaʻi ʻana, ʻaʻole pono i kēia manawa (a me ka nīnau e pili ana i ka hopena o ka hoʻololi ʻana i ke kumu hoʻohālike i nā kaʻina hana. ).
ʻAʻole kēia manaʻo ʻaʻole pono nā mea loiloi i loko o ia ʻōnaehana - pono kekahi e hana i ka hoʻonohonoho o nā mea me nā ʻano a ʻike i kahi a pehea e hoʻouka ai i nā mea āpau. Akā ʻo ka nui o ka hana, a me ka likelike a me ke kumukūʻai o kahi hewa, ua hoʻemi nui ʻia. Ma ke kaʻina loiloi a i ka wā o ka hoʻomohala ʻana o ETL, hiki ke hoʻemi ʻia i kahi hapa nui i ka hoʻoponopono metadata.
ʻAoʻao ʻeleʻele
ʻO nā mea a pau i luna e hana i nā ala ʻelua i maʻalahi maoli, ʻenehana holomua a kūpono no ka hoʻomaikaʻi ʻana. ʻOiaʻiʻo, aia kekahi "barela i loko o ka ʻaila", aʻu i manaʻo ai hiki iā ʻoe ke koho mua.
ʻO ka decomposition ʻikepili, ka mea i hoʻopaʻa ʻia i ka modularity o nā hoʻolālā maʻalahi, alakaʻi i ka hoʻonui ʻana i ka helu o nā papa a, no laila, ma luna o ke poʻo e hui i ka la'ana. I mea e kiʻi wale ai i nā ʻano a pau o kahi ana, i loko o kahi hale kūʻai maʻamau ua lawa kahi koho, akā pono ka hoʻolālā maʻalahi i kahi hui holoʻokoʻa. Eia kekahi, inā hiki ke kākau mua ʻia kēia mau hui ʻana no nā hōʻike, a laila e palua ka poʻe loiloi i maʻa i ke kākau ʻana iā SQL me ka lima.
Nui nā ʻike e maʻalahi ai kēia kūlana:
I ka hana ʻana me nā ana nui, ʻaneʻane ʻaʻole hoʻohana ʻia kona mau ʻano āpau i ka manawa like. ʻO ia ke ʻano he liʻiliʻi paha nā hui ʻana ma mua o ka mea i ʻike mua ʻia i ke kumu hoʻohālike. Hiki i ka Data Vault ke noʻonoʻo i ka alapine i manaʻo ʻia e kaʻana like i ka wā e hoʻokaʻawale ai i nā ʻano i nā satelite. Ma ka manawa like, pono pono nā Hubs a i ʻole Anchors no ka hana ʻana a me ka palapala ʻana i nā mea pani ma ke kahua hoʻouka a ʻaʻole i hoʻohana ʻia i nā nīnau (ʻoiaʻiʻo kēia no nā Anchors).
ʻO nā hui a pau ma ke kī. Eia kekahi, ʻoi aku ka "compressed" o ka mālama ʻana i nā ʻikepili e hōʻemi ana i ke poʻo o ka nānā ʻana i nā papa kahi e pono ai (no ka laʻana, ke kānana ʻana e ka waiwai waiwai). Hiki i kēia ke alakaʻi i ka ʻoiaʻiʻo e ʻoi aku ka wikiwiki o ka hōʻiliʻili ʻana mai kahi waihona maʻamau me kahi hui o nā hui e ʻoi aku ka wikiwiki ma mua o ka nānā ʻana i hoʻokahi ana kaumaha me nā mana he nui i kēlā me kēia lālani.
Eia kekahi laʻana, maʻaneʻi ma Aia ka ʻatikala i kahi hōʻike hoʻohālikelike kikoʻī o ka hana ʻana o ke kumu Anchor me kahi laʻana mai kahi papa.
Nui ka hilinaʻi i ka ʻenekini. Nui nā paepae hou i loaʻa nā mīkini hoʻohui i loko. No ka laʻana, hiki i ka MS SQL a me Oracle ke "hoʻokuʻu" i ka hui ʻana i nā papa inā ʻaʻole hoʻohana ʻia kā lākou ʻikepili ma nā wahi ʻē aʻe koe wale no nā hui ʻē aʻe a ʻaʻole pili i ka koho hope loa (papa/hui hoʻopau), a me MPP Vertica , ua hōʻike ʻia he ʻenekini maikaʻi loa no ka Anchor Model, i hāʻawi ʻia i kekahi mau manual optimization o ka hoʻolālā nīnau. Ma kekahi ʻaoʻao, ʻo ka mālama ʻana i ka Anchor Model, no ka laʻana, ma Click House, i kaupalena ʻia i ke kākoʻo hui, ʻaʻole ia he manaʻo maikaʻi loa.
Eia kekahi, no nā hale hana ʻelua aia nā neʻe kūikawā, e maʻalahi ka loaʻa ʻana o ka ʻikepili (mai ka manaʻo hana nīnau a no nā mea hoʻohana hope). ʻo kahi laʻana, Nā papa kuhikuhi kiko-In-Time i loko o Data Vault a i ʻole nā hana papaʻaina kūikawā i ke kumu hoʻohālike heleuma.
Hōʻuluʻulu
ʻO ke kumu nui o nā hale hoʻolālā maʻalahi i manaʻo ʻia ʻo ka modularity o kā lākou "hoʻolālā".
ʻO kēia waiwai e hiki ai:
- Ma hope o kekahi hoʻomākaukau mua e pili ana i ka hoʻolaha metadata a kākau i nā algorithm ETL maʻamau, hāʻawi wikiwiki i ka mea kūʻai aku i ka hopena mua ma ke ʻano o nā hōʻike ʻelua i loaʻa ka ʻikepili mai kekahi mau mea kumu. ʻAʻole pono e noʻonoʻo pono (ʻoiai ma ka pae kiʻekiʻe) i ke kumu hoʻohālike holoʻokoʻa.
- Hiki ke hoʻomaka ka hana ʻikepili (a pono) me nā mea 2-3 wale nō, a laila e ulu mālie (e pili ana i ka Anchor model Nikolai hoʻohālikelike maikaʻi me ka mycelium).
- ʻO ka hapa nui o nā hoʻomaikaʻi, me ka hoʻonui ʻana i ke kumuhana a me ka hoʻohui ʻana i nā kumu hou ʻaʻole pili i ka hana o kēia manawa a ʻaʻole ia e pilikia i ka haki ʻana i kahi mea e hana nei.
- Mahalo i ka hoʻoheheʻe ʻana i nā mea maʻamau, ʻano like nā kaʻina hana ETL i ia ʻōnaehana, hāʻawi kā lākou kākau ʻana iā ia iho i ka algorithmization a, i ka hopena, mīkini hana.
ʻO ke kumukūʻai o kēia maʻalahi kūlike. ʻAʻole kēia manaʻo he hiki ʻole ke hoʻokō i ka hana ʻae ʻia ma ia mau hiʻohiʻona. ʻO ka pinepine ma mua o ka ʻole, pono paha ʻoe i ka hoʻoikaika a me ka nānā ʻana i nā kikoʻī e hoʻokō i nā metric āu e makemake ai.
Apps
ʻAno hui Waihona ʻIkepili
ʻIke hou aku e pili ana i Data Vault:
ʻAno hui Hoʻohālike heleuma
Nā kikoʻī hou aku e pili ana i ka Anachor Model:
Papa hōʻuluʻulu me nā hiʻohiʻona maʻamau a me nā ʻokoʻa o nā ala i manaʻo ʻia:
Source: www.habr.com