Ho theha sebaka sa polokelo ke mosebetsi o molelele le o tebileng.
Ho hongata bophelong ba morero ho itšetlehile ka hore na mohlala oa ntho le sebopeho sa motheo li nahanoa hantle hakae qalong.
Mokhoa o amoheloang ka kakaretso e bile mefuta e fapaneng ea ho kopanya leano la linaleli le mofuta oa boraro o tloaelehileng. E le molao, ho ea ka molao-motheo: data ea pele - 3NF, lipontšo - naleli. Mokhoa ona, o lekiloeng ka nako le o tšehetsoeng ke lipatlisiso tse ngata, ke ntho ea pele ('me ka linako tse ling e le' ngoe feela) e tlang kelellong ea setsebi sa DWH se nang le phihlelo ha se nahana ka hore na polokelo ea ho hlahloba e lokela ho shebahala joang.
Ka lehlakoreng le leng, khoebo ka kakaretso le litlhoko tsa bareki ka ho khetheha li atisa ho fetoha ka potlako, 'me data e atisa ho hōla "ka botebo" le "ka bophara". 'Me mona ke moo bofokoli bo ka sehloohong ba naleli bo hlahang - bo fokolang fetoha le maemo.
'Me haeba bophelong ba hau bo khutsitseng le bo monate joaloka moqapi oa DWH ka tšohanyetso:
- mosebetsi o ile oa hlaha "ho etsa bonyane ntho e itseng kapele, 'me joale re tla bona";
- morero o ntseng o tsoela pele ka potlako o ile oa hlaha, ka ho hokahanya ha mehloli e mecha le ho tsosolosoa ha mokhoa oa khoebo bonyane hang ka beke;
- ho hlahile moreki ea sa tsebeng hore na sistimi e lokela ho shebahala joang le hore na e tlameha ho etsa mesebetsi efe qetellong, empa a ikemiselitse ho etsa liteko le ho lula a ntlafatsa sephetho se lakatsehang ha a ntse a atamela ho eona;
- Mookameli oa morero o ile a tla ka litaba tse molemo: “’Me joale re mafolo-folo!”
Kapa haeba u thahasella ho tseba hore na u ka haha mehaho ea polokelo joang hape - u amohelehe ho sehiloeng!
"Ho tenyetseha" ho bolela eng?
Pele, ha re hlalose hore na sistimi e tlameha ho ba le thepa efe e le hore e ka bitsoa "flexible".
Ka lehlakoreng le leng, ke habohlokoa ho bolela hore thepa e hlalositsoeng e lokela ho amana ka ho khetheha le sistimi, eseng ho tshebetso ntshetsopele ya yona. Ka hona, haeba u ne u batla ho bala ka Agile joalo ka mokhoa oa nts'etsopele, ho molemo ho bala lingoliloeng tse ling. Mohlala, hona moo, ho Habré, ho na le lisebelisoa tse ngata tse khahlisang (joalo ka и le ).
Sena ha se bolele hore ts'ebetso ea nts'etsopele le sebopeho sa polokelo ea data ha li amane ka ho feletseng. Ka kakaretso, ho lokela ho ba bonolo haholo ho nts'etsapele polokelo ea Agile bakeng sa meralo ea khale. Leha ho le joalo, ka ts'ebetso, hangata ho na le likhetho tse nang le nts'etsopele ea Agile ea DWH ea khale ho latela Kimbal le DataVault - ho latela Waterfall, ho feta ho iketsahalla ha maemo a monate ka mefuta ea eona e 'meli morerong o le mong.
Joale, ke bokhoni bofe bo lokelang ho bolokoa habonolo? Ho na le lintlha tse tharo mona:
- Ho tsamaisoa pele ho nako le ho fetola kapele - sena se bolela hore ka nepo sephetho sa pele sa khoebo (mohlala, litlaleho tsa pele tsa tšebetso) se lokela ho fumanoa kapele kamoo ho ka khonehang, ke hore, le pele tsamaiso eohle e raloa le ho sebelisoa ka botlalo. Ho feta moo, phetoho e 'ngoe le e' ngoe e latelang e lokela ho nka nako e nyane kamoo ho ka khonehang.
- Ntlafatso e pheta-phetoang - sena se bolela hore ntlafatso e 'ngoe le e 'ngoe e latelang ha ea lokela ho ama ts'ebetso e seng e ntse e sebetsa. Ke motsotso ona oo hangata e bang toro e kholo ka ho fetisisa mererong e meholo - kapele kapa hamorao, lintho ka bomong li qala ho fumana likhokahano tse ngata hoo ho bang bonolo ho pheta mohopolo ka botlalo kopi e haufi ho feta ho eketsa tšimo tafoleng e teng. 'Me haeba u makatsoa ke hore ho hlahloba tšusumetso ea lintlafatso linthong tse teng ho ka nka nako e telele ho feta lintlafatso ka botsona, mohlomong ha u e-so sebetse le libaka tse kholo tsa polokelo ea data bankeng kapa mehala ea thelefono.
- Kamehla ho ikamahanya le maemo a fetohang a litlhoko tsa khoebo - Sebopeho sa ntho ka kakaretso se lokela ho raloa eseng feela ho ela hloko katoloso e ka bang teng, empa ka tebello ea hore tataiso ea katoloso ena e latelang e ke ke ea lora le mothating oa moralo.
E, ho finyella litlhoko tsena tsohle tsamaisong e le 'ngoe hoa khoneha (ehlile, maemong a itseng le ka lipeeletso tse ling).
Ka tlase ke tla nahana ka mekhoa e 'meli e tsebahalang ea meralo ea khale bakeng sa polokelo ea data - Mohlala oa Anchor и Data Vault. Ka ntle ho mabakete ho na le mekhoa e metle joalo ka mohlala, EAV, 6NF (ka sebopeho sa eona se hloekileng) le ntho e 'ngoe le e' ngoe e amanang le tharollo ea NoSQL - eseng hobane e mpe ka tsela e itseng, esita le hobane tabeng ena sengoloa se ka tšosa ho fumana. bophahamo ba modumo ya motho ya tloaelehileng. Ke feela hore sena sohle se amana le litharollo tsa sehlopha se fapaneng hanyane - ebang ke mekhoa eo u ka e sebelisang maemong a ikhethileng, ho sa tsotelehe sebopeho sa projeke ea hau (joalo ka EAV), kapa liparadigm tse ling tsa lefats'e tsa polokelo ea tlhaiso-leseling (joalo ka li-database tsa graph. le likhetho tse ling tsa NoSQL).
Mathata a mokhoa oa "classical" le tharollo ea bona ka mekhoa e feto-fetohang
Ka mokhoa oa "classical" ke bolela naleli e ntle ea khale (ho sa tsotellehe ts'ebetsong e khethehileng ea lihlopha tse ka tlaase, eka balateli ba Kimball, Inmon le CDM ba ntšoarele).
1. Rigid cardinality ea dikgokelo
Mohlala ona o ipapisitse le karohano e hlakileng ea data ho Boemo и lintlha. 'Me sena, ka bomalimabe, sea utloahala - ka mor'a tsohle, tlhahlobo ea data maemong a mangata haholo e theoha ho hlahloba lintlha tse itseng tsa linomoro (linnete) likarolong tse itseng (litekanyo).
Tabeng ena, likamano pakeng tsa lintho li thehoa ka mokhoa oa likamano pakeng tsa litafole ho sebelisa senotlolo sa kantle ho naha. Sena se shebahala e le sa tlhaho, empa hang-hang se lebisa moeling oa pele oa ho feto-fetoha ha maemo - tlhaloso e tiileng ea cardinalality of connections.
Sena se bolela hore sethaleng sa moralo oa litafole, u tlameha ho etsa qeto e nepahetseng bakeng sa para e 'ngoe le e 'ngoe ea lintho tse amanang hore na li ka amana ho tloha ho tse ngata ho tse ngata, kapa ho tloha ho 1 ho isa ho tse ngata, le "ka tsela efe". Sena se etsa qeto ka kotloloho hore na ke tafole efe e tla ba le senotlolo sa mantlha le hore na ke efe e tla ba le senotlolo sa kantle ho naha. Ho fetola maikutlo ana ha litlhoko tse ncha li amoheloa ho ka 'na ha lebisa ho tsosolosoeng ha setsi.
Ka mohlala, ha u qapa ntho ea "receipt ea chelete", uena, u itšetlehile ka likano tsa lefapha la thekiso, u behile monyetla oa ho nka khato. papatso e le 'ngoe bakeng sa maemo a' maloa a cheke (empa eseng ka tsela e fapaneng):
'Me ka mor'a nako e itseng, basebetsi-'moho ba ile ba hlahisa leano le lecha la ho bapatsa leo ba ka sebetsang ka lona boemong bo tšoanang lipapatso tse ngata ka nako e le 'ngoe. 'Me joale o hloka ho fetola litafole ka ho arola kamano ka ntho e fapaneng.
(Lintho tsohle tse nkiloeng tseo cheke ea papatso e kopantsoeng ho tsona hona joale le tsona li hloka ho ntlafatsoa).
Likamano ho Data Vault le Anchor Model
Ho qoba boemo bona ho bile bonolo haholo: ha ua tlameha ho tšepa lefapha la thekiso ho etsa sena. likhokahano tsohle li qala ho bolokoa ka litafole tse arohaneng le ho e sebetsa joalo ka bongata ho isa ho ba bangata.
Mokhoa ona o ile oa sisinngoa Dan Linstedt joalo ka karolo ea paradigm Data Vault le ho tshehetswa ka botlalo Lars Rönnbäck в Mohlala oa Anchor.
Ka lebaka leo, re fumana tšobotsi ea pele e ikhethang ea mekhoa e feto-fetohang:
Likamano pakeng tsa lintho ha li bolokoe ho litšobotsi tsa mekhatlo ea batsoali, empa ke mofuta o fapaneng oa ntho.
В Data Vault litafole tse joalo tsa ho hokahanya li bitsoa Linkle ho Mohlala oa Anchor - thae. Ha u sheba ka lekhetlo la pele, li tšoana haholo, le hoja liphapang tsa tsona li sa felle ka lebitso (le tla tšohloa ka tlase). Meahong ka bobeli, litafole tsa lihokela li ka hokela palo efe kapa efe ea mekhatlo (ha ho hlokahale 2).
Redundancy ena, ha u habanya feela, e fana ka phetoho e kholo bakeng sa liphetoho. Sebopeho se joalo ha se mamelle feela liphetoho tsa lik'hadinari tsa lihokelo tse teng, empa hape le ho eketsoa ha tse ncha - haeba hona joale boemo ba cheke bo boetse bo na le sehokelo ho mofani oa chelete ea ileng a se senya, ponahalo ea sehokelo se joalo e tla ba bonolo. fetoha tlatsetso holim'a litafole tse teng ntle le ho ama lintho le lits'ebetso tse teng.
2. Tšebeliso ea lintlha
Bothata ba bobeli bo rarollotsoeng ke meaho e feto-fetohang ha bo totobala ebile ke tlhaho ea pele. Litekanyo tsa mofuta oa SCD2 (ho fetoha butle-butle litekanyo tsa mofuta oa bobeli), le hoja e se tsona feela.
Ka ntlong ea polokelo ea khale, boholo ke tafole e nang le senotlolo sa surrogate (joalo ka PK) le sete ea linotlolo tsa khoebo le litšoaneleho ka likholomo tse arohaneng.
Haeba tekanyo e tšehetsa phetolelo, meeli ea ho nepahala ha mofuta e eketsoa ho sete e tloaelehileng ea likarolo, 'me bakeng sa mola o le mong mohloling, liphetolelo tse' maloa li hlaha sebakeng sa polokelo (e le 'ngoe bakeng sa phetoho e' ngoe le e 'ngoe ea litšobotsi tse fetoletsoeng).
Haeba boholo bo na le bonyane tšobotsi e le 'ngoe e fetoloang khafetsa, palo ea liphetolelo tsa boholo bo joalo e tla ba monate (le haeba litšoaneleho tse setseng li sa fetoloe kapa li sa fetohe), 'me haeba ho na le litšoaneleho tse joalo tse' maloa, palo ea liphetolelo e ka ba teng. hola haholo ho tloha palong ea bona. Boemo bona bo ka nka sebaka se seholo sa disk, leha boholo ba data eo bo e bolokang e le likopi tsa boleng bo ke keng ba fetoha ho tsoa mela e meng.
Ka nako e ts'oanang, e boetse e sebelisoa hangata haholo denormalization - litšobotsi tse ling li bolokoa ka boomo e le boleng, eseng e le sehokelo sa buka ea litšupiso kapa tekanyo e 'ngoe. Mokhoa ona o potlakisa phihlello ea data, o fokotsa palo ea maqhama ha o fihlella boholo.
Hangata sena se lebisa ho boitsebiso bo tšoanang bo bolokoa ka nako e le ’ngoe libakeng tse ’maloa. Mohlala, tlhahisoleseling mabapi le sebaka sa bolulo le sehlopha sa moreki e ka bolokoa ka nako e le 'ngoe ho "Client" le lintlha tsa "Purchase", "Delivery" le "Call Center Calls", hammoho le "Client - Client Manager". ” tafole ea khokahano.
Ka kakaretso, tse hlalositsoeng ka holimo li sebetsa ho litekanyo tse tloaelehileng (tse sa fetoheng), empa ho tse fetoletsoeng li ka 'na tsa e-ba le sekala se fapaneng: ponahalo ea mofuta o mocha oa ntho (haholo-holo ka morao) ha e lebise feela ntlafatsong ea tsohle tse amanang. litafole, empa ho ea ka ponahalo e khahlehang ea liphetolelo tse ncha tsa lintho tse amanang le tsona - ha Letlapa la 1 le sebelisoa ho aha Letlapa la 2, 'me Letlapa la 2 le sebelisetsoa ho aha Letlapa la 3, joalo-joalo. Leha ho se tšobotsi e le 'ngoe ea Letlapa la 1 e amehang kahong ea Letlapa la 3 (le litšobotsi tse ling tsa Letlapa la 2 tse fumanoeng mehloling e meng li ameha), ho fetolela kaho ena ho tla lebisa ho tse ling tse eketsehileng, 'me ka bongata ho isa ho tse ling. liphetolelo ho Lethathamo la 3. e sa amane le eona ho hang, le ho feta ho theosa le ketane.
3. Ho rarahana ho sa tloaelehang ha rework
Ka nako e ts'oanang, sebaka se seng le se seng se secha sa lebenkele se hahiloeng motheong oa se seng se eketsa palo ea libaka tseo data e ka "phapanyetsang" ha liphetoho li etsoa ho ETL. Sena, le sona, se lebisa keketsehong ea ho rarahana (le nako) ea tokiso e 'ngoe le e 'ngoe e latelang.
Haeba tse kaholimo li hlalosa lits'ebetso tse nang le lits'ebetso tsa ETL tse sa fetoheng hangata, u ka phela ka har'a paradigm e joalo - u hloka feela ho etsa bonnete ba hore liphetoho tse ncha li etsoa ka nepo ho lintho tsohle tse amanang. Haeba lintlafatso li etsahala khafetsa, monyetla oa "ho lahleheloa" ke likhokahano tse 'maloa ka phoso o eketseha haholo.
Haeba, ho feta moo, re ela hloko hore "versioned" ETL e rarahane haholo ho feta "e seng ea mofuta", ho ba thata haholo ho qoba liphoso ha o nchafatsa setsi sena kaofela khafetsa.
Ho boloka lintho le litšobotsi ho Data Vault le Anchor Model
Mokhoa o hlahisitsoeng ke bangoli ba meaho e feto-fetohang e ka etsoa ka tsela e latelang:
Hoa hlokahala ho arola hore na ke liphetoho life ho tse lulang li le joalo. Ke hore, boloka linotlolo ka thoko ho litšobotsi.
Leha ho le joalo, motho ha aa lokela ho ferekanya ha e fetoletsoe tšobotsi ka e sa fetoheng: ea pele ha e boloke nalane ea liphetoho tsa eona, empa e ka fetoha (mohlala, ha e lokisa phoso ea ho kenya kapa ho amohela data e ncha); ea bobeli ha e fetohe.
Lintlha tsa pono li fapana ka hore na hantle-ntle ke eng e ka nkoang e sa fetohe ho Data Vault le Anchor Model.
Ho tloha ponong ea meralo Data Vault, e ka nkoa e sa fetohe kakaretso ea linotlolo - tlhaho (TIN ea mokhatlo, khoutu ea sehlahisoa tsamaisong ea mohloli, joalo-joalo) le moemeli. Tabeng ena, litšobotsi tse setseng li ka aroloa ka lihlopha ho latela mohloli le / kapa makhetlo a mangata a liphetoho le Boloka tafole e arohaneng bakeng sa sehlopha ka seng e nang le sete e ikemetseng ea liphetolelo.
Ka paradigm Mohlala oa Anchor e nkoang e sa fetohe senotlolo sa surrogate feela moelelo. Ntho e 'ngoe le e' ngoe (ho kenyeletsoa linotlolo tsa tlhaho) ke mohlala o ikhethang oa litšobotsi tsa eona. Moo litšoaneleho tsohle li ikemetse ho tse ling ka ho sa feleng, kahoo bakeng sa tšobotsi ka 'ngoe a tafole e arohaneng.
В Data Vault litafole tse nang le linotlolo tsa mokhatlo li bitsoa Hubami. Li-Hubs li lula li na le likarolo tse tsitsitseng:
- Linotlolo tsa Sebopeho sa Tlhaho
- Senotlolo sa Surrogate
- Khokahano ho mohloli
- Rekota nako ea ho eketsa
Melaetsa ho Hubs ha e fetohe ebile ha e na liphetolelo. Ka ntle, li-hubs li ts'oana haholo le litafole tsa mofuta oa ID-mapa tse sebelisoang lits'ebetsong tse ling ho hlahisa li-surrogates, leha ho le joalo, ho khothaletsoa ho sebelisa hash ho tsoa ho sete ea linotlolo tsa khoebo joalo ka li-surrogates ho Data Vault. Mokhoa ona o nolofatsa likamano le litšobotsi tse tsoang mehloling (ha ho hlokahale hore u ikopanye le hub ho fumana motho e mong, feela ho bala hashe ea senotlolo sa tlhaho), empa ho ka baka mathata a mang (a amanang, mohlala, ho thulana, linyeoe le tse sa hatisoang. litlhaku ka linotlolo tsa likhoele, joalo-joalo .p.), ka hona ha e amoheloe ka kakaretso.
Litšobotsi tse ling tsohle tsa mekhatlo li bolokiloe litafoleng tse khethehileng tse bitsoang Lisathelaete. Sebaka se le seng se ka ba le li-satellite tse 'maloa tse bolokang likarolo tse fapaneng tsa litšobotsi.
Kabo ea litšobotsi har'a lisathelaete e etsahala ho latela molao-motheo phetoho e kopanetsoeng - ho sathelaete e le 'ngoe litšoaneleho tse sa fetoloang li ka bolokoa (mohlala, letsatsi la tsoalo le SNILS bakeng sa motho ka mong), ho e' ngoe - e sa fetoleng liphetolelo (mohlala, lebitso la ho qetela le nomoro ea pasepoto), ea boraro - e fetohang khafetsa. (mohlala, aterese ea thomello, sehlopha, letsatsi la ho qetela la odara, joalo-joalo). Tabeng ena, phetolelo e etsoa boemong ba lisathelaete ka bomong, eseng mokhatlo ka kakaretso, kahoo ho bohlokoa ho aba litšoaneleho e le hore mateano a liphetolelo ka har'a sathelaete e le 'ngoe a fokotsehe (e leng ho fokotsa palo eohle ea liphetolelo tse bolokiloeng. ).
Hape, ho ntlafatsa ts'ebetso ea ho kenya data, litšoaneleho tse fumanoang mehloling e fapaneng hangata li kenyeletsoa ho lisathelaete ka bomong.
Lisathelaete li buisana le Hub ka senotlolo sa kantle (e tsamaellanang le 1 ho isa ho tse ngata tsa cardinality). Sena se bolela hore boleng ba litšoaneleho tse ngata (mohlala, linomoro tsa mohala tse ngata bakeng sa moreki a le mong) li tšehetsoa ke meralo ena ea "default".
В Mohlala oa Anchor litafole tse bolokang linotlolo li bitsoa Liankora. 'Me ba boloka:
- Ke linotlolo tsa surrogate feela
- Khokahano ho mohloli
- Rekota nako ea ho eketsa
Linotlolo tsa tlhaho ho tloha ponong ea Mohlala oa Anchor li nkoa ditshobotsi tse tlwaelehileng. Khetho ena e ka 'na ea bonahala e le thata ho feta ho e utloisisa, empa e fana ka sebaka se eketsehileng sa ho khetholla ntho.
Mohlala, haeba lintlha tse mabapi le setheo se le seng li ka tsoa lits'ebetsong tse fapaneng, e 'ngoe le e' ngoe e sebelisa senotlolo sa eona sa tlhaho. Ho Data Vault, sena se ka lebisa ho meaho e boima ea li-hubs tse 'maloa (e le' ngoe ka mohloli + mofuta o mong le o mong o kopanyang), ha e le mohlala oa Anchor, senotlolo sa tlhaho sa mohloli o mong le o mong se oela ho semelo sa sona mme se ka sebelisoa ha se jarolloa ntle le ts'ebetso. ba bang kaofela.
Empa ho boetse ho na le ntlha e le 'ngoe e bolotsana mona: haeba litšoaneleho tse tsoang lits'ebetsong tse fapaneng li kopantsoe mokhatlong o le mong, mohlomong ho na le tse ling. melao ea "gluing", eo tsamaiso e tlamehang ho utloisisa hore litlaleho tse tsoang mehloling e fapaneng li lumellana le ketsahalo e le 'ngoe ea mokhatlo.
В Data Vault melao ena e tla ka etsahala hore ebe etsa qeto ea sebopeho “morero wa sebaka” wa ntho e ka sehloohong 'me ka tsela efe kapa efe ha e susumetse Li-Hubs tse bolokang linotlolo tsa mohloli oa tlhaho le litšobotsi tsa tsona tsa mantlha. Haeba ka nako e 'ngoe melao ea ho kopanya e fetoha (kapa litšoaneleho tseo e etsoang ka tsona li nchafalitsoe), ho tla lekana ho fetola li-hubs tsa surrogate.
В Anchor ea mohlala setheo se joalo se tla bolokoa ka har'a ankora feela. Sena se bolela hore litšoaneleho tsohle, ho sa tsotelehe hore na li tsoa mohloling ofe, li tla tlamelloa ho moemeli ea tšoanang. Ho arola lirekoto tse kopantsoeng ka phoso, 'me, ka kakaretso, ho lekola bohlokoa ba ho kopanya tsamaisong e joalo ho ka ba thata haholo, haholo haeba melao e rarahane ebile e fetoha khafetsa, mme tšobotsi e ts'oanang e ka fumanoa mehloling e fapaneng (le hoja e hlile e le joalo. ho khoneha, kaha mofuta o mong le o mong oa semelo o boloka sehokelo ho mohloli oa ona).
Boemong bofe kapa bofe, haeba sistimi ea hau e tlameha ho kenya ts'ebetsong ts'ebetso ho fokotsa, ho kopanya lirekoto le likarolo tse ling tsa MDM, ho bohlokoa ho ela hloko ka ho khetheha likarolo tsa ho boloka linotlolo tsa tlhaho ka mekhoa ea khale. Ho ka etsahala hore moralo oa "bulkier Data Vault" o tla sireletseha ka tšohanyetso mabapi le liphoso tsa ho kopanya.
Anchor ea mohlala e boetse e fana ka mofuta oa ntho e eketsehileng e bitsoang Lefito ha e le hantle e khethehile mofuta o fokolang oa ankora, e ka bang le tšobotsi e le 'ngoe feela. Li-node li tlameha ho sebelisoa ho boloka libuka tse bataletseng (mohlala, bong, boemo ba lenyalo, sehlopha sa litšebeletso tsa bareki, joalo-joalo). Ho fapana le Ankora, Lefito ha e na litafole tsa litšobotsi tse amanang, 'me tšobotsi ea eona feela (lebitso) e lula e bolokiloe tafoleng e tšoanang le senotlolo. Li-node li hokahane le Li-Anchors ka litafole tsa thae (Tie) ka mokhoa o ts'oanang le Li-anchors li kopantsoe.
Ha ho na maikutlo a hlakileng mabapi le tšebeliso ea Nodes. Ka mohlala, , ea khothalletsang ka mafolofolo tšebeliso ea Anchor Model Russia, o lumela (eseng ka mokhoa o sa utloahaleng) hore ha ho buka e le 'ngoe ea litšupiso ho ka boleloang ka tieo hore kamehla e tla ba e tsitsitseng le ea boemo bo le bong, kahoo ho molemo ho sebelisa hang-hang Anchor e feletseng bakeng sa lintho tsohle.
Phapang e 'ngoe ea bohlokoa pakeng tsa Data Vault le mohlala oa Anchor ke ho fumaneha litšobotsi tsa likamano:
В Data Vault Lihokelo ke lintho tse tšoanang tse felletseng joalo ka Hubs, 'me li ka ba le litšobotsi tsa hae. The Anchor ea mohlala Lihokelo li sebelisoa feela ho hokela Anchors le ba ke ke ba ba le litšobotsi tsa bona. Phapang ena e fella ka mekhoa e fapaneng haholo ea mohlala lintlha, tse tla tšohloa ka ho eketsehileng.
Ho boloka lintlha
Pele ho mona, re buile haholo ka mohlala oa ho lekanya. Lintlha ha lia hlaka hanyane.
В Data Vault ntho e tloaelehileng bakeng sa ho boloka lintlha ke Sehokelo, eo lisathelaete tsa eona ho kenyelletsoang lipontšo tsa sebele.
Mokhoa ona o bonahala o utloahala. E fana ka phihlelo e bonolo ho matšoao a hlahlobiloeng 'me ka kakaretso e tšoana le tafole ea' nete ea setso (lipontšo feela li bolokiloe eseng tafoleng ka boeona, empa tafoleng ea "moahelani"). Empa ho boetse ho na le maraba: e 'ngoe ea liphetoho tse tloaelehileng tsa mohlala - ho atolosoa ha senotlolo sa' nete - hoa hlokahala. ho eketsa senotlolo se secha sa kantle ho Link. 'Me sena, le sona, "se senya" modularity mme se ka baka tlhokahalo ea liphetoho linthong tse ling.
В Anchor ea mohlala Khokahano e ke ke ea ba le litšoaneleho tsa eona, ka hona mokhoa ona o ke ke oa sebetsa - litšoaneleho tsohle le matšoao li tlameha ho hokahana le ankora e le 'ngoe. Qeto ea sena e bonolo - Taba e 'ngoe le e 'ngoe e boetse e hloka ankora ea eona. Bakeng sa tse ling tsa seo re tloaetseng ho se bona e le lintlha, sena se ka shebahala e le sa tlhaho - ka mohlala, 'nete ea ho reka e ka fokotsoa ka mokhoa o phethahetseng ho "taelo" kapa "risiti", ho etela sebaka sa thuto, joalo-joalo. Empa ho boetse ho na le lintlha tseo ho seng bonolo ho fumana "ntho e tsamaisang thepa" e joalo ea tlhaho - mohlala, masala a thepa libakeng tsa polokelo qalong ea letsatsi le leng le le leng.
Ka hona, mathata a modularity ha a holisa senotlolo sa 'nete mofuteng oa Anchor ha a hlahe (ho lekane ho eketsa Kamano e ncha ho Anchor e lumellanang), empa ho rala mohlala ho bonts'a lintlha ha hoa hlaka; Li-ankora "tsa maiketsetso" li ka hlaha. e bonts'ang mofuta oa ntho ea khoebo ka tsela e sa hlakang.
Kamoo ho tenyetseha ho finyelloang
Kaho e hlahisoang maemong ana ka bobeli e na le haholo litafole ho fetahofeta tekanyo ya moetlo. Empa ho ka nka sebaka se fokolang haholo sa disk ka sete e tšoanang ea litšoaneleho tse fetoletsoeng joalo ka boholo ba moetlo. Ka tlhaho, ha ho na boselamose mona - tsohle li mabapi le ho tloaeleha. Ka ho aba litšoaneleho ho Lisathelaete (ka Data Vault) kapa litafole ka bomong (Anchor Model), re fokotsa (kapa re felisa ka ho feletseng) phetiso ea boleng ba litšobotsi tse ling ha u fetola tse ling.
etsoe Data Vault meputso e tla itšetleha ka kabo ea litšobotsi har'a Satellite, le bakeng sa Anchor ea mohlala - e batla e lekana ka ho toba le palohare ya palo ya diphetolelo ho ya ka ntho ya tekanyo.
Leha ho le joalo, ho boloka sebaka ke molemo oa bohlokoa, empa eseng oa mantlha oa ho boloka litšobotsi ka thoko. Hammoho le polokelo e arohaneng ea likamano, mokhoa ona o etsa lebenkele moralo oa modular. Sena se bolela hore ho kenyelletsa litšobotsi tsa motho ka mong le likarolo tse ncha tsa thuto mofuteng o joalo ho shebahala joalo superstructure hodima sehlopha se teng sa dintho ntle le ho di fetola. 'Me sena ke sona se etsang hore mekhoa e hlalositsoeng e feto-fetohe.
Sena se boetse se tšoana le phetoho ea ho tloha ho tlhahiso ea likotoana ho ea ho tlhahiso ea bongata - haeba ka mokhoa oa setso tafole e 'ngoe le e' ngoe ea mohlala e ikhethile 'me e hloka tlhokomelo e khethehileng, joale ka mekhoa e feto-fetohang e se e le "likarolo" tse tloaelehileng. Ka lehlakoreng le leng, ho na le litafole tse ngata, 'me mekhoa ea ho kenya le ho khutlisa data e lokela ho shebahala e le thata haholoanyane. Ka lehlakoreng le leng, ba fetoha tloaelehileng. Ho bolelang hore ho ka ba teng e tsamaellanang le metadata. Potso "re tla e beha joang?", Karabo e ka nkang karolo ea bohlokoa ea mosebetsi oa ho etsa lintlafatso, joale ha e na thuso (hammoho le potso mabapi le phello ea ho fetola mohlala lits'ebetsong tsa ts'ebetso. ).
Sena ha se bolele hore bahlahlobisisi ha ba hlokehe tsamaisong e joalo ho hang - motho o ntse a tlameha ho sebetsa ka sete ea lintho tse nang le litšoaneleho le ho tseba hore na a ka li jarisa kae le joang. Empa palo ea mosebetsi, hammoho le monyetla le litšenyehelo tsa phoso, li fokotsehile haholo. Ka bobeli sethaleng sa tlhahlobo le nakong ea nts'etsopele ea ETL, eo ka karolo ea bohlokoa e ka fokotsoang ho metadata ea ho hlophisa.
Lehlakoreng le lefifi
Tsena tsohle tse ka holimo li etsa hore mekhoa ka bobeli e fetohe, e be e tsoetseng pele ea thekenoloji 'me e lokele ntlafatso e pheta-phetoang. Ha e le hantle, ho boetse ho na le "barrel ka setlolo", eo ke nahanang hore u se u ntse u ka inahanela ka eona.
Ho senyeha ha data, e leng motheo oa modularity ea meralo e feto-fetohang, e lebisa ho keketseho ea palo ea litafole mme, ka hona, ka holimo ho kopanya ha ho etsoa sampole. E le hore u fumane feela litšobotsi tsohle tsa tekanyo, ka lebenkeleng la khale khetho e le 'ngoe e lekane, empa mohaho o feto-fetohang o tla hloka lihlopha tse ngata tsa ho kopanya. Ho feta moo, haeba tsena tsohle li kopanya bakeng sa litlaleho li ka ngoloa esale pele, joale bahlahlobisisi ba tloaetseng ho ngola SQL ka letsoho ba tla utloa bohloko ka makhetlo a mabeli.
Ho na le lintlha tse 'maloa tse nolofatsang boemo bona:
Ha o sebetsa ka litekanyo tse kholo, litšobotsi tsohle tsa eona ha li sebelisoe ka nako e le 'ngoe. Sena se bolela hore ho ka 'na ha e-ba le lihlopha tse fokolang ho feta kamoo ho bonahalang kateng ha u habanya mohlala. Data Vault e ka boela ea nahana ka makhetlo a lebelletsoeng a ho arolelana ha a fana ka litšobotsi ho lisathelaete. Ka nako e ts'oanang, Li-Hubs kapa Anchors ka botsona lia hlokahala bakeng sa ho hlahisa le ho etsa limmapa boemong ba ho kenya 'me ha li sebelisoe hangata lipotsong (sena ke' nete haholo bakeng sa Anchors).
Likopano tsohle li entsoe ka senotlolo. Ho feta moo, mokhoa o "petelitsoeng" oa ho boloka data o fokotsa bokaholimo ba litafole tsa ho hlahloba moo ho hlokahalang (mohlala, ha u sefa ka boleng ba boleng). Sena se ka lebisa 'neteng ea hore sampole ho tsoa ho database e tloaelehileng e nang le lihlopha tse ngata e tla potlaka ho feta ho lekola boholo bo boima ka liphetolelo tse ngata ka mola.
Ka mohlala, mona Sengoliloeng se na le tlhahlobo e qaqileng ea papiso ea ts'ebetso ea mohlala oa Anchor ka sampole e tsoang tafoleng e le 'ngoe.
Ho hongata ho itšetlehile ka enjene. Li-platform tse ngata tsa sejoale-joale li na le mekhoa ea ho ntlafatsa ho kenella ka hare. Mohlala, MS SQL le Oracle li ka "tlola" lihokela ho litafole haeba data ea bona e sa sebelisoe kae kapa kae ntle le tse ling tse kopanyang 'me e sa ame khetho ea ho qetela (ho tlosoa ha tafole/join), le MPP Vertica. , e ipakile e le enjene e ntle haholo bakeng sa Mohlala oa Anchor, ho fanoe ka ntlafatso e itseng ea moralo oa lipotso. Ka lehlakoreng le leng, ho boloka Mohlala oa Anchor, ka mohlala, ho Click House, e nang le tšehetso e fokolang ea ho kopanya, ha e e-s'o shebahale e le khopolo e ntle haholo.
Ho phaella moo, bakeng sa meralo ka bobeli ho na le metsamao e khethehileng, ho etsa hore phihlello ea data e be bonolo (ka bobeli ho tsoa ponong ea ts'ebetso ea potso le bakeng sa basebelisi ba ho qetela). Ka mohlala, Litafole tsa Nako-ka-Nako ho Data Vault kapa mesebetsi e khethehileng ea tafole ka mohlala oa Anchor.
Kakaretso
Ntho e ka sehloohong ea meralo e nkoang e le bonolo ke mokhoa oa "moqapi" oa bona.
Ke thepa ena e lumellang:
- Kamora boitokiso ba pele bo amanang le ho tsamaisoa ha metadata le ho ngola li-algorithms tsa mantlha tsa ETL, ka potlako fa moreki sephetho sa pele ka mokhoa oa litlaleho tse 'maloa tse nang le data ho tsoa mehloling e seng mekae feela. Ha ho hlokahale ho nahana ka ho feletseng (esita le boemong bo ka holimo) mokhoa oohle oa ntho.
- Mohlala oa data o ka qala ho sebetsa ('me oa ba molemo) ka lintho tse 2-3 feela, ebe joale hola butle butle (mabapi le mohlala oa Anchor Nikolai papiso e ntle le mycelium).
- Lintlafatso tse ngata, ho kenyelletsa ho holisa sebaka sa thuto le ho eketsa mehloli e mecha ha e ame ts'ebetso e teng 'me ha e behe kotsi ea ho senya ntho e seng e ntse e sebetsa.
- Ka lebaka la ho bola ka likarolo tse tloaelehileng, lits'ebetso tsa ETL lits'ebetsong tse joalo li shebahala li ts'oana, ho ngola ha tsona ho fana ka algorithmization mme, qetellong, boiketsetso.
Theko ea ho tenyetseha ena ke tshebetso. Sena ha se bolele hore ho ke ke ha khoneha ho finyella ts'ebetso e amohelehang mefuteng e joalo. Hangata ho feta moo, o kanna oa hloka boikitlaetso bo eketsehileng le tlhokomelo ea lintlha ho fihlela metrics eo u e batlang.
ditiriso
Mefuta ea mekhatlo Data Vault
Lintlha tse ling ka Data Vault:
Mefuta ea mekhatlo Mohlala oa Anchor
Lintlha tse ling ka Anchor Model:
Tafole ea kakaretso e nang le likarolo tse tloaelehileng le liphapang tsa mekhoa e nahanoang:
Source: www.habr.com