Dagbasoke ibi ipamọ jẹ iṣẹ pipẹ ati pataki.
Pupọ ninu igbesi aye iṣẹ akanṣe kan da lori bii awoṣe ohun ti o dara ati ipilẹ ipilẹ ti ronu ni ibẹrẹ.
Ọna ti a gba ni gbogbogbo ti jẹ ati pe o wa ọpọlọpọ awọn iyatọ ti apapọ ero irawọ pẹlu fọọmu deede kẹta. Bi ofin, ni ibamu si awọn opo: ni ibẹrẹ data - 3NF, showcases - star. Ọna yii, idanwo-akoko ati atilẹyin nipasẹ iye nla ti iwadii, jẹ akọkọ (ati nigbakan nikan) ohun ti o wa si ọkan ti alamọja DWH ti o ni iriri nigbati o n ronu nipa kini ibi ipamọ itupalẹ yẹ ki o dabi.
Ni apa keji, iṣowo ni gbogbogbo ati awọn ibeere alabara ni pato maa n yipada ni iyara, ati pe data duro lati dagba mejeeji “ni ijinle” ati “ni ibú”. Ati pe eyi ni ailanfani akọkọ ti irawọ kan - opin irọrun.
Ati pe ti o ba wa ni idakẹjẹ ati igbesi aye itunu bi idagbasoke DWH kan lojiji:
- iṣẹ naa dide "lati ṣe o kere ju ohun kan ni kiakia, lẹhinna a yoo ri";
- iṣẹ akanṣe idagbasoke ni kiakia han, pẹlu asopọ ti awọn orisun titun ati atunṣe ti awoṣe iṣowo ni o kere lẹẹkan ni ọsẹ kan;
- alabara kan ti han ti ko ni imọran kini eto yẹ ki o dabi ati awọn iṣẹ wo ni o yẹ ki o ṣe nikẹhin, ṣugbọn o ṣetan lati ṣe idanwo ati ṣatunṣe abajade ti o fẹ nigbagbogbo lakoko ti o sunmọ ọdọ rẹ nigbagbogbo;
- Ọ̀gá ilé iṣẹ́ náà sọ ìhìn rere náà pé: “Àti ní báyìí a ti yára!”
Tabi ti o ba nifẹ si wiwa bi ohun miiran ṣe le kọ awọn ohun elo ibi ipamọ - kaabọ si ge!
Kini "iyipada" tumọ si?
Ni akọkọ, jẹ ki a ṣalaye kini awọn ohun-ini ti eto gbọdọ ni lati le pe ni “rọrun”.
Lọtọ, o tọ lati darukọ pe awọn ohun-ini ti a ṣalaye yẹ ki o ni ibatan si pataki si eto, kii ṣe lati ilana idagbasoke rẹ. Nitorinaa, ti o ba fẹ ka nipa Agile bi ọna idagbasoke, o dara lati ka awọn nkan miiran. Fun apẹẹrẹ, ọtun nibẹ, lori Habré, ọpọlọpọ awọn ohun elo ti o nifẹ si wa (bii и , ati ).
Eyi ko tumọ si pe ilana idagbasoke ati eto ile-ipamọ data ko ni ibatan patapata. Ni apapọ, o yẹ ki o rọrun pupọ lati ṣe agbekalẹ ibi ipamọ Agile fun faaji agile. Bibẹẹkọ, ni iṣe, nigbagbogbo awọn aṣayan wa pẹlu idagbasoke Agile ti DWH Ayebaye ni ibamu si Kimbal ati DataVault - ni ibamu si Waterfall, ju awọn isọdọkan idunnu ti irọrun ni awọn fọọmu meji rẹ lori iṣẹ akanṣe kan.
Nitorinaa, awọn agbara wo ni o yẹ ki ibi ipamọ rọ ni? Awọn aaye mẹta wa nibi:
- Tete ifijiṣẹ ati ki o yara yipada - Eyi tumọ si pe apere ni abajade iṣowo akọkọ (fun apẹẹrẹ, awọn ijabọ iṣẹ akọkọ) yẹ ki o gba ni ibẹrẹ bi o ti ṣee, iyẹn, paapaa ṣaaju apẹrẹ gbogbo eto ati imuse. Pẹlupẹlu, atunyẹwo atẹle kọọkan yẹ ki o tun gba akoko diẹ bi o ti ṣee.
- Isọdọtun aṣetunṣe - Eyi tumọ si pe ilọsiwaju kọọkan ti o tẹle ko yẹ ki o kan iṣẹ ṣiṣe ti o ti n ṣiṣẹ tẹlẹ. O jẹ akoko yii ti igbagbogbo di alaburuku nla julọ lori awọn iṣẹ akanṣe nla - laipẹ tabi ya, awọn ohun elo kọọkan bẹrẹ lati gba ọpọlọpọ awọn asopọ ti o rọrun lati tun tun ọgbọn naa ṣe ni ẹda kan nitosi ju lati ṣafikun aaye kan si tabili ti o wa tẹlẹ. Ati pe ti o ba yà ọ lẹnu pe itupalẹ ipa ti awọn ilọsiwaju lori awọn nkan ti o wa tẹlẹ le gba akoko diẹ sii ju awọn ilọsiwaju funrararẹ, o ṣeeṣe ki o ko tii ṣiṣẹ pẹlu awọn ile itaja data nla ni ile-ifowopamọ tabi awọn tẹlifoonu.
- Ibadọgba nigbagbogbo si iyipada awọn ibeere iṣowo - eto ohun elo gbogbogbo yẹ ki o ṣe apẹrẹ kii ṣe akiyesi imugboroosi ti o ṣeeṣe nikan, ṣugbọn pẹlu ireti pe itọsọna ti imugboroja atẹle yii ko le paapaa ni ala ni ipele apẹrẹ.
Ati bẹẹni, pade gbogbo awọn ibeere wọnyi ni eto kan ṣee ṣe (dajudaju, ni awọn ọran kan ati pẹlu awọn ifiṣura diẹ).
Ni isalẹ Emi yoo gbero meji ninu awọn ilana apẹrẹ agile olokiki julọ fun awọn ile itaja data - Anchor awoṣe и Ifinkan data. Osi kuro ninu awọn biraketi jẹ iru awọn ilana ti o dara julọ bi, fun apẹẹrẹ, EAV, 6NF (ni fọọmu mimọ rẹ) ati ohun gbogbo ti o ni ibatan si awọn solusan NoSQL - kii ṣe nitori wọn buru bakan, ati paapaa nitori ninu ọran yii nkan naa yoo halẹ lati gba. awọn iwọn didun ti awọn apapọ disser. O kan jẹ pe gbogbo eyi ni ibatan si awọn ojutu ti kilasi ti o yatọ diẹ - boya si awọn imọ-ẹrọ ti o le lo ni awọn ọran kan, laibikita faaji gbogbogbo ti iṣẹ akanṣe rẹ (bii EAV), tabi si awọn paragile ipamọ alaye miiran agbaye (gẹgẹbi awọn apoti isura infomesonu ayaworan ati awọn aṣayan miiran NoSQL).
Awọn iṣoro ti ọna “kilasika” ati awọn ojutu wọn ni awọn ilana rọ
Nipa ọna “kilasika” Mo tumọ si irawọ atijọ ti o dara (laibikita imuse kan pato ti awọn ipele ti o wa labẹ, le awọn ọmọlẹyin Kimball, Inmon ati CDM dariji mi).
1. Kosemi cardinality ti awọn isopọ
Awoṣe yi wa ni da lori kan ko pipin ti data sinu Iwọn и awọn otitọ. Ati pe eyi, egan, jẹ ọgbọn - lẹhinna, itupalẹ data ni ọpọlọpọ awọn ọran ti o wa ni isalẹ si igbekale awọn itọkasi nọmba kan (awọn otitọ) ni awọn apakan kan (awọn iwọn).
Ni idi eyi, awọn asopọ laarin awọn ohun ti wa ni idasilẹ ni irisi awọn ibasepọ laarin awọn tabili nipa lilo bọtini ajeji. Eyi dabi ohun adayeba, ṣugbọn lẹsẹkẹsẹ yori si aropin akọkọ ti irọrun - ti o muna definition ti awọn cardinality ti awọn isopọ.
Eyi tumọ si pe ni ipele apẹrẹ tabili, o gbọdọ pinnu ni deede fun bata kọọkan ti awọn nkan ti o jọmọ boya wọn le ni ibatan bi ọpọlọpọ-si-ọpọlọpọ, tabi 1-si-ọpọlọpọ, ati “ninu itọsọna wo”. Eyi taara pinnu iru tabili yoo ni bọtini akọkọ ati eyiti yoo ni bọtini ajeji. Yiyipada ihuwasi yii nigbati awọn ibeere tuntun ba gba yoo ṣeese julọ ja si atunṣiṣẹ ipilẹ.
Fun apẹẹrẹ, nigbati o ba n ṣe apẹrẹ ohun “ gbigba owo ”, iwọ, ti o gbẹkẹle awọn ibura ti ẹka tita, gbekale ṣeeṣe iṣe. ọkan igbega fun orisirisi awọn ipo ayẹwo (ṣugbọn kii ṣe idakeji):
Ati lẹhin igba diẹ, awọn ẹlẹgbẹ ṣe agbekalẹ ilana titaja tuntun kan ninu eyiti wọn le ṣe lori ipo kanna orisirisi awọn igbega ni akoko kanna. Ati ni bayi o nilo lati yi awọn tabili pada nipa yiya sọtọ ibatan si nkan lọtọ.
(Gbogbo awọn nkan ti a mu ninu eyiti iṣayẹwo igbega ti darapo ni bayi tun nilo lati ni ilọsiwaju).
Awọn ibatan ni Data ifinkan ati Awoṣe oran
Yẹra fun ipo yii yipada lati jẹ ohun ti o rọrun: o ko ni lati gbẹkẹle ẹka tita lati ṣe eyi. gbogbo awọn asopọ ti wa lakoko ti o ti fipamọ ni lọtọ tabili ati lọwọ rẹ bi ọpọlọpọ-si-ọpọlọpọ.
Ilana yii ni a dabaa Dan Linstedt gẹgẹ bi ara ti awọn paradigm Ifinkan data ati atilẹyin ni kikun Lars Rönnbäck в Awoṣe oran.
Bi abajade, a gba ẹya akọkọ ti awọn ilana iyipada:
Awọn ibatan laarin awọn nkan ko ni ipamọ si awọn abuda ti awọn nkan obi, ṣugbọn jẹ oriṣi ohun elo lọtọ.
В Ifinkan data iru sisopọ tabili ti a npe ni asopọati ninu Awoṣe oran - tai. Ni wiwo akọkọ, wọn jọra pupọ, botilẹjẹpe awọn iyatọ wọn ko pari pẹlu orukọ (eyiti yoo jiroro ni isalẹ). Ninu awọn ile-iṣẹ mejeeji, awọn tabili ọna asopọ le sopọ eyikeyi nọmba ti oro ibi (kii ṣe dandan 2).
Apọju yii, ni iwo akọkọ, pese irọrun pataki fun awọn iyipada. Iru eto yii di ọlọdun kii ṣe si awọn ayipada ninu kadinality ti awọn ọna asopọ ti o wa tẹlẹ, ṣugbọn tun si afikun ti awọn tuntun - ti o ba jẹ bayi ipo ayẹwo tun ni ọna asopọ kan si cashier ti o fọ nipasẹ rẹ, irisi iru ọna asopọ kan yoo rọrun. di afikun lori awọn tabili ti o wa laisi ni ipa eyikeyi awọn nkan ti o wa tẹlẹ ati awọn ilana.
2. Data išẹpo
Iṣoro keji ti o yanju nipasẹ awọn ile-iṣọrọ rọ ko han gbangba ati pe o jẹ atorunwa ni aye akọkọ. SCD2 iru wiwọn (laiyara iyipada awọn iwọn ti iru keji), botilẹjẹpe kii ṣe wọn nikan.
Ninu ile-itaja Ayebaye, iwọn kan jẹ deede tabili ti o ni bọtini aropo kan (bii PK) ati ṣeto awọn bọtini iṣowo ati awọn abuda ni awọn ọwọn lọtọ.
Ti iwọn kan ba ṣe atilẹyin ẹya, awọn aala ifọwọsi ẹya jẹ afikun si eto awọn aaye boṣewa, ati fun ọna kan ninu orisun, awọn ẹya pupọ han ninu ibi ipamọ (ọkan fun iyipada kọọkan ni awọn ẹya ti ikede).
Ti iwọn kan ba ni o kere ju ẹya ti ikede iyipada nigbagbogbo, nọmba awọn ẹya ti iru iwọn kan yoo jẹ iwunilori (paapaa ti awọn abuda ti o ku ko ba ni ikede tabi ko yipada), ati pe ti ọpọlọpọ awọn abuda ba wa, nọmba awọn ẹya le dagba exponentially lati wọn nọmba. Iwọn yii le gba iye pataki ti aaye disk, botilẹjẹpe pupọ ti data ti o tọju jẹ awọn ẹda-ẹda ti awọn iye abuda ti ko yipada lati awọn ori ila miiran.
Ni akoko kanna, o tun jẹ igbagbogbo lo deormalization - diẹ ninu awọn eroja ti wa ni imomose ti o fipamọ bi iye kan, kii ṣe bi ọna asopọ si iwe itọkasi tabi iwọn miiran. Ọna yii ṣe iyara wiwọle data, dinku nọmba awọn idapọ nigbati o wọle si iwọn kan.
Ojo melo yi nyorisi si Alaye kanna ti wa ni ipamọ nigbakanna ni awọn aaye pupọ. Fun apẹẹrẹ, alaye nipa agbegbe ti ibugbe ati ẹka alabara le wa ni ipamọ nigbakanna ni awọn iwọn “Onibara” ati awọn otitọ “Ra”, “Ifijiṣẹ” ati “Awọn ipe ile-iṣẹ ipe”, bakanna ninu “Onibara - Oluṣakoso Onibara” ” tabili ọna asopọ.
Ni gbogbogbo, eyi ti a ṣe apejuwe loke kan si awọn iwọn lasan (ti kii ṣe ti ikede), ṣugbọn ni awọn ẹya ti ikede wọn le ni iwọn ti o yatọ: irisi ẹya tuntun ti ohun kan (paapaa ni ifẹhinti) nyorisi kii ṣe si imudojuiwọn gbogbo awọn ibatan. tabili, ṣugbọn si awọn cascading hihan titun awọn ẹya ti o ni ibatan ohun - nigbati Table 1 ti lo lati kọ Table 2, ati Table 2 ti wa ni lo lati kọ Table 3, ati be be lo. Paapaa ti ko ba jẹ ẹya ẹyọkan ti Tabili 1 ni ipa ninu ikole ti Table 3 (ati awọn abuda miiran ti Table 2 ti o gba lati awọn orisun miiran ni ipa), ti ikede ikole yii yoo ni ilọsiwaju ti o kere ju si afikun afikun, ati ni iwọn si afikun. awọn ẹya ni Table 3. eyi ti o ni nkankan lati se pẹlu ti o ni gbogbo, ati siwaju si isalẹ pq.
3. Alailẹgbẹ idiju ti atunṣe
Ni akoko kanna, ile itaja tuntun kọọkan ti a ṣe lori ipilẹ ti omiiran pọ si nọmba awọn aaye nibiti data le “yaya” nigbati awọn ayipada ba ṣe si ETL. Eyi, ni ọna, nyorisi ilosoke ninu idiju (ati iye akoko) ti atunyẹwo atẹle kọọkan.
Ti eyi ba ṣe apejuwe awọn ọna ṣiṣe pẹlu awọn ilana ETL ti a ko yipada, o le gbe ni iru paragile kan - o kan nilo lati rii daju pe awọn iyipada tuntun ti ṣe deede si gbogbo awọn nkan ti o jọmọ. Ti awọn atunwo ba waye loorekoore, o ṣeeṣe ti lairotẹlẹ “sonu” awọn asopọ pọ si ni pataki.
Ti, ni afikun, a ṣe akiyesi pe “ẹda” ETL jẹ idiju pupọ diẹ sii ju “ti kii ṣe ẹya” ọkan, o nira pupọ lati yago fun awọn aṣiṣe nigba mimuṣe imudojuiwọn gbogbo ohun elo yii nigbagbogbo.
Titoju awọn nkan ati awọn abuda ni Data Vault ati Awoṣe oran
Ọna ti a dabaa nipasẹ awọn onkọwe ti awọn ile-iṣọ ti o ni irọrun le ṣe agbekalẹ bi atẹle:
O jẹ dandan lati ya awọn ohun ti o yipada lati ohun ti o ku kanna. Iyẹn ni, awọn bọtini itaja lọtọ lati awọn abuda.
Sibẹsibẹ, ọkan ko yẹ ki o daamu ko ti ikede ikalara pẹlu ko yipada: akọkọ ko tọju itan-akọọlẹ awọn ayipada rẹ, ṣugbọn o le yipada (fun apẹẹrẹ, nigba atunṣe aṣiṣe titẹ sii tabi gbigba data tuntun); ekeji ko yipada.
Ojuami ti wo yato lori ohun ti gangan le wa ni kà aileyipada ninu awọn Data ifinkan ati awọn Anchor awoṣe.
Lati ẹya ayaworan ojuami ti wo Ifinkan data, le ṣe akiyesi ko yipada gbogbo ṣeto ti awọn bọtini - adayeba (TIN ti ajo, ọja koodu ni awọn eto orisun, ati be be lo) ati surrogate. Ni idi eyi, awọn abuda ti o ku le pin si awọn ẹgbẹ gẹgẹbi orisun ati / tabi igbohunsafẹfẹ ti awọn iyipada ati Ṣetọju tabili lọtọ fun ẹgbẹ kọọkan pẹlu ohun ominira ṣeto ti awọn ẹya.
Ninu apẹrẹ Awoṣe oran kà ko yipada nikan surrogate bọtini koko. Ohun gbogbo miiran (pẹlu awọn bọtini adayeba) jẹ ọran pataki kan ti awọn abuda rẹ. Ninu gbogbo awọn eroja ti wa ni ominira ti kọọkan miiran nipa aiyipada, ki fun kọọkan ikalara a lọtọ tabili.
В Ifinkan data awọn tabili ti o ni awọn bọtini nkankan ni a npe ni Hubami. Awọn ibudo nigbagbogbo ni ṣeto awọn aaye ti o wa titi:
- Adayeba nkankan Keys
- Bọtini igbakeji
- Ọna asopọ si orisun
- Ṣe igbasilẹ akoko fifi kun
Awọn ifiweranṣẹ ni Awọn ibudo ko yipada ati ki o ni ko si awọn ẹya. Ni ita, awọn ibudo jọra pupọ si awọn tabili iru maapu ID ti a lo ninu diẹ ninu awọn eto lati ṣe ipilẹṣẹ awọn alaṣẹ, sibẹsibẹ, o gba ọ niyanju lati lo hash kan lati inu awọn bọtini iṣowo kan bi awọn aropo ni Data Vault. Ọna yii ṣe irọrun awọn ibatan ikojọpọ ati awọn abuda lati awọn orisun (ko si iwulo lati darapọ mọ ibudo naa lati gba aropo kan, kan ṣe iṣiro hash ti bọtini adayeba), ṣugbọn o le fa awọn iṣoro miiran (jẹmọ, fun apẹẹrẹ, si awọn ikọlu, ọran ati ti kii ṣe titẹ sita). awọn ohun kikọ ninu awọn bọtini okun, ati be be lo.p.), Nitorina o ti wa ni ko gba gbogbo.
Gbogbo awọn abuda ẹya miiran ti wa ni ipamọ ni awọn tabili pataki ti a pe Awọn satẹlaiti. Ibudo kan le ni awọn satẹlaiti pupọ ti o tọju awọn oriṣiriṣi awọn abuda.
Pipin awọn eroja laarin awọn satẹlaiti waye ni ibamu si ipilẹ iyipada apapọ - ninu ọkan satẹlaiti awọn abuda ti kii ṣe ẹya le wa ni ipamọ (fun apẹẹrẹ, ọjọ ibi ati SNILS fun ẹni kọọkan), ni omiiran - kii ṣe iyipada awọn ẹya (fun apẹẹrẹ, orukọ idile ati nọmba iwe irinna), ni kẹta - awọn iyipada nigbagbogbo. (fun apẹẹrẹ, adirẹsi ifijiṣẹ, ẹka, ọjọ ti aṣẹ to kẹhin, ati bẹbẹ lọ). Ni ọran yii, a ṣe ikede ni ipele ti awọn satẹlaiti kọọkan, kii ṣe nkan naa lapapọ, nitorinaa o ni imọran lati kaakiri awọn abuda ki ikorita ti awọn ẹya laarin satẹlaiti kan jẹ iwonba (eyiti o dinku nọmba lapapọ ti awọn ẹya ti o fipamọ). ).
Paapaa, lati mu ilana ikojọpọ data pọ si, awọn abuda ti a gba lati awọn orisun pupọ nigbagbogbo wa ninu awọn satẹlaiti kọọkan.
Awọn satẹlaiti ibasọrọ pẹlu Ipele nipasẹ ajeji bọtini (eyi ti o ni ibamu si 1-si-ọpọlọpọ cardinality). Eyi tumọ si pe awọn iye abuda pupọ (fun apẹẹrẹ, awọn nọmba foonu olubasọrọ pupọ fun alabara kan) ni atilẹyin nipasẹ faaji “aiyipada” yii.
В Awoṣe oran awọn tabili ti o tọju awọn bọtini ni a npe ni ìdákọ̀ró. Ati pe wọn tọju:
- Awọn bọtini aropo nikan
- Ọna asopọ si orisun
- Ṣe igbasilẹ akoko fifi kun
Awọn bọtini adayeba lati oju wiwo ti Awoṣe Anchor ni a gbero arinrin eroja. Aṣayan yii le dabi ẹni pe o nira lati ni oye, ṣugbọn o funni ni aaye pupọ diẹ sii fun idamo nkan naa.
Fun apẹẹrẹ, ti data nipa nkan kanna le wa lati awọn ọna ṣiṣe oriṣiriṣi, ọkọọkan eyiti o lo bọtini adayeba tirẹ. Ni Data Vault, eyi le ja si kuku awọn ẹya ti o lewu ti ọpọlọpọ awọn ibudo (ọkan fun orisun + ẹya tuntun ti iṣọkan), lakoko ti o wa ninu awoṣe Anchor, bọtini adayeba ti orisun kọọkan ṣubu sinu abuda tirẹ ati pe o le ṣee lo nigbati o ba nṣe ikojọpọ ni ominira ti gbogbo awọn miiran.
Ṣugbọn aaye arekereke kan tun wa nibi: ti awọn abuda lati oriṣiriṣi awọn ọna ṣiṣe ni idapo ni nkan kan, o ṣee ṣe diẹ ninu Awọn ofin ti "gluing", nipasẹ eyiti eto gbọdọ loye pe awọn igbasilẹ lati oriṣiriṣi awọn orisun ni ibamu si apẹẹrẹ kan ti nkan naa.
В Ifinkan data awọn ofin wọnyi yoo ṣeese pinnu iṣeto naa "surrogate ibudo" ti titunto si nkankan ati pe kii ṣe ni ọna eyikeyi ni ipa awọn Hubs ti o tọju awọn bọtini orisun adayeba ati awọn abuda atilẹba wọn. Ti o ba jẹ pe ni aaye kan awọn ofin idapọmọra yipada (tabi awọn abuda nipasẹ eyiti o ṣe imudojuiwọn), yoo to lati tun ṣe awọn ibudo surrogate.
В Anchor awoṣe iru ohun kan yoo seese wa ni ipamọ ninu awọn nikan oran. Eyi tumọ si pe gbogbo awọn abuda, laibikita orisun ti wọn ti wa, yoo jẹ somọ si aropo kanna. Iyapa awọn igbasilẹ ti o dapọ ni aṣiṣe ati, ni gbogbogbo, ibojuwo ibaramu ti iṣọpọ ni iru eto yii le nira pupọ sii, paapaa ti awọn ofin ba jẹ eka pupọ ati yipada nigbagbogbo, ati pe abuda kanna ni a le gba lati awọn orisun oriṣiriṣi (botilẹjẹpe o jẹ esan. ṣee ṣe, niwọn igba ti ẹya ikalara kọọkan ṣe idaduro ọna asopọ kan si orisun rẹ).
Ni eyikeyi idiyele, ti eto rẹ ba yẹ lati ṣe iṣẹ ṣiṣe naa yiyọkuro, awọn igbasilẹ idapọpọ ati awọn eroja MDM miiran, o tọ lati san ifojusi pataki si awọn aaye ti titoju awọn bọtini adayeba ni awọn ilana agile. O ṣeese pe apẹrẹ Ile ifinkan data bulkier yoo jẹ ailewu lojiji ni awọn ofin ti awọn aṣiṣe apapọ.
Anchor awoṣe pese tun ẹya afikun ohun iru ti a npe ni Sorapo o jẹ pataki pataki degenerate iru oran, eyi ti o le ni awọn abuda kan nikan. Awọn apa yẹ ki o lo lati tọju awọn ilana alapin (fun apẹẹrẹ, akọ-abo, ipo igbeyawo, ẹka iṣẹ alabara, ati bẹbẹ lọ). Ko awọn Anchor, awọn sorapo ko ni awọn tabili abuda ti o ni nkan ṣe, ati awọn ẹya ara ẹrọ nikan (orukọ) ti wa ni ipamọ nigbagbogbo ni tabili kanna pẹlu bọtini. Awọn apa ti wa ni asopọ si Awọn ìdákọró nipasẹ awọn tabili tai (Tie) ni ọna kanna bi Anchors ti sopọ si ara wọn.
Ko si ero ti o daju nipa lilo awọn Nodes. Fun apere, , ẹniti o ṣe agbega lilo ti Anchor Model ni Russia, gbagbọ (kii ṣe lainidi) pe kii ṣe iwe itọkasi kan o le sọ pẹlu dajudaju pe o nigbagbogbo yoo jẹ aimi ati ipele ẹyọkan, nitorinaa o dara lati lo Anchor ti o ni kikun lẹsẹkẹsẹ fun gbogbo awọn nkan.
Iyatọ pataki miiran laarin Data Vault ati awoṣe Anchor jẹ wiwa eroja ti awọn isopọ:
В Ifinkan data Awọn ọna asopọ jẹ awọn ohun elo ti o ni kikun kanna bi Hubs, ati pe o le ni ti ara eroja. awọn Anchor awoṣe Awọn ọna asopọ ti wa ni lilo nikan lati so Anchors ati ko le ni awọn eroja ti ara wọn. Iyatọ yii ṣe abajade ni awọn ọna ṣiṣe awoṣe ti o yatọ pupọ awọn otitọ, eyi ti a yoo jiroro siwaju sii.
Ibi ipamọ otitọ
Ṣaaju eyi, a sọrọ nipataki nipa awoṣe wiwọn. Awọn otitọ jẹ diẹ kere si kedere.
В Ifinkan data a aṣoju ohun fun titoju mon ni Ọna asopọ, ninu ẹniti awọn satẹlaiti awọn afihan gidi ti wa ni afikun.
Ọna yii dabi ogbon inu. O pese iraye si irọrun si awọn itọka atupale ati pe o jọra ni gbogbogbo si tabili otitọ ibile (awọn itọkasi nikan ni a tọju kii ṣe si tabili funrararẹ, ṣugbọn ni “aladugbo” ọkan). Ṣugbọn awọn ipalara tun wa: ọkan ninu awọn iyipada aṣoju ti awoṣe - imugboroosi ti bọtini otitọ - awọn iwulo fifi bọtini ajeji titun kan si Ọna asopọ. Ati pe eyi, ni ọna, "fifọ" modularity ati pe o le fa iwulo fun awọn iyipada si awọn ohun miiran.
В Anchor awoṣe Asopọmọra ko le ni awọn abuda tirẹ, nitorinaa ọna yii kii yoo ṣiṣẹ - Egba gbogbo awọn abuda ati awọn afihan gbọdọ ni asopọ si oran kan pato. Ipari lati eyi jẹ rọrun - Otitọ kọọkan tun nilo oran tirẹ. Fun diẹ ninu ohun ti a lo lati ṣe akiyesi bi awọn ododo, eyi le dabi adayeba - fun apẹẹrẹ, otitọ ti rira le dinku ni pipe si ohun “ibere” tabi “ gbigba”, ṣabẹwo si aaye kan si igba kan, ati bẹbẹ lọ. Ṣugbọn awọn otitọ tun wa fun eyiti ko rọrun pupọ lati wa iru “ohun ti ngbe” adayeba - fun apẹẹrẹ, awọn ku ti awọn ọja ni awọn ile itaja ni ibẹrẹ ọjọ kọọkan.
Nitorinaa, awọn iṣoro pẹlu modularity nigbati o ba faagun bọtini otitọ kan ninu awoṣe Anchor ko dide (o to lati ṣafikun Ibasepo tuntun kan si Anchor ti o baamu), ṣugbọn ṣiṣe apẹrẹ awoṣe kan lati ṣafihan awọn ododo ko jẹ aibikita; Awọn ìdákọró “artificial” le han ti o ṣe afihan awoṣe ohun-elo iṣowo ni ọna ti ko mọ.
Bawo ni irọrun ti waye
Abajade ikole ni igba mejeeji ni awọn significantly diẹ tabiliju ibile wiwọn. Ṣugbọn o le gba significantly kere disk aaye pẹlu eto kanna ti awọn ẹya ara ẹrọ ti ikede bi iwọn ibile. Nipa ti, ko si idan nibi - gbogbo rẹ jẹ nipa isọdọtun. Nipa pinpin awọn abuda kọja awọn satẹlaiti (ninu Data Vault) tabi awọn tabili kọọkan (Awoṣe oran), a dinku (tabi yọkuro patapata) išẹpo ti awọn iye ti diẹ ninu awọn abuda nigba iyipada awọn miiran.
fun Ifinkan data awọn winnings yoo dale lori pinpin awọn eroja laarin awọn satẹlaiti, ati fun Anchor awoṣe — fẹrẹẹ taara taara si nọmba apapọ ti awọn ẹya fun ohun wiwọn.
Sibẹsibẹ, awọn ifowopamọ aaye jẹ pataki, ṣugbọn kii ṣe akọkọ, anfani ti titoju awọn eroja lọtọ. Paapọ pẹlu ibi ipamọ lọtọ ti awọn ibatan, ọna yii ṣe ile itaja naa apọjuwọn oniru. Eyi tumọ si pe fifi awọn ẹya ara ẹni kọọkan kun ati gbogbo awọn agbegbe koko-ọrọ tuntun ni iru awoṣe kan dabi superstructure lori ohun ti wa tẹlẹ ṣeto ti ohun lai yi pada wọn. Ati pe eyi ni deede ohun ti o jẹ ki awọn ilana ti a ṣalaye ni rọ.
Eyi tun dabi iyipada lati iṣelọpọ nkan si iṣelọpọ pupọ - ti o ba jẹ pe ni ọna ibile ti tabili kọọkan ti awoṣe jẹ alailẹgbẹ ati nilo akiyesi pataki, lẹhinna ni awọn ilana rọ o ti jẹ eto “awọn apakan” boṣewa tẹlẹ. Ni apa kan, awọn tabili diẹ sii wa, ati awọn ilana ti ikojọpọ ati gbigba data yẹ ki o wo diẹ sii idiju. Ni apa keji, wọn di aṣoju. Eyi ti o tumọ si pe o le wa aládàáṣiṣẹ ati metadata ìṣó. Ibeere naa “bawo ni a ṣe le gbe?”, Idahun si eyiti o le gba apakan pataki ti iṣẹ lori ṣiṣe awọn ilọsiwaju, ni bayi ko tọ si (bii ibeere nipa ipa ti iyipada awoṣe lori awọn ilana ṣiṣe ).
Eyi ko tumọ si pe awọn atunnkanka ko nilo ni iru eto bẹ rara - ẹnikan tun ni lati ṣiṣẹ nipasẹ ṣeto awọn nkan pẹlu awọn abuda ati rii ibiti ati bii o ṣe le gbe gbogbo rẹ. Ṣugbọn iye iṣẹ, bakanna bi o ṣeeṣe ati idiyele aṣiṣe, dinku ni pataki. Mejeeji ni ipele onínọmbà ati lakoko idagbasoke ETL, eyiti o jẹ apakan pataki le dinku si awọn metadata ṣiṣatunkọ.
Okun Dudu
Gbogbo awọn ti o wa loke jẹ ki awọn ọna mejeeji rọ nitootọ, ilọsiwaju ti imọ-ẹrọ ati pe o dara fun ilọsiwaju aṣetunṣe. Nitoribẹẹ, tun wa “agba ninu ikunra”, eyiti Mo ro pe o le gboju nipa rẹ tẹlẹ.
Jije data, eyiti o ṣe agbekalẹ modularity ti awọn ile-itumọ ti o rọ, yori si ilosoke ninu nọmba awọn tabili ati, ni ibamu, lori oke lati darapo nigbati iṣapẹẹrẹ. Ni ibere lati nirọrun gba gbogbo awọn abuda ti iwọn kan, ni ile itaja Ayebaye kan yan ti to, ṣugbọn faaji rọ yoo nilo gbogbo lẹsẹsẹ awọn akojọpọ. Jubẹlọ, ti o ba ti gbogbo awọn wọnyi parapo fun awọn iroyin le wa ni kikọ ni ilosiwaju, ki o si atunnkanka ti o wa ni saba lati kikọ SQL nipa ọwọ yoo jiya ni ilopo.
Awọn otitọ pupọ wa ti o jẹ ki ipo yii rọrun:
Nigbati o ba n ṣiṣẹ pẹlu awọn iwọn nla, gbogbo awọn abuda rẹ ko fẹrẹ lo ni nigbakannaa. Eyi tumọ si pe o le jẹ awọn idapọ diẹ sii ju ti o dabi ni wiwo akọkọ ni awoṣe. Ile ifinkan data le tun ṣe akiyesi igbohunsafẹfẹ ti a nireti ti pinpin nigbati o ba pin awọn abuda si awọn satẹlaiti. Ni akoko kanna, Awọn Hubs tabi Awọn ìdákọró funraawọn ni a nilo nipataki fun ti ipilẹṣẹ ati aworan agbaye ni ipele ikojọpọ ati kii ṣe lo ninu awọn ibeere (eyi jẹ otitọ paapaa fun Awọn Anchors).
Gbogbo awọn akojọpọ jẹ nipasẹ bọtini. Ni afikun, ọna “fisinu” diẹ sii ti titoju data dinku oke ti awọn tabili ibojuwo nibiti o ti nilo (fun apẹẹrẹ, nigba sisẹ nipasẹ iye ikasi). Eyi le ja si otitọ pe iṣapẹẹrẹ lati ibi ipamọ data ti o ṣe deede pẹlu opo awọn akojọpọ yoo yara paapaa ju ṣiṣayẹwo iwọn iwuwo kan pẹlu ọpọlọpọ awọn ẹya ni ọna kan.
Fun apẹẹrẹ, nibi ni Nkan naa ni idanwo afiwe alaye ti iṣẹ ti awoṣe Anchor pẹlu apẹẹrẹ lati tabili kan.
Pupọ da lori ẹrọ naa. Ọpọlọpọ awọn iru ẹrọ igbalode ni awọn ọna ṣiṣe iṣapeye ti inu. Fun apẹẹrẹ, MS SQL ati Oracle le “fo” darapọ mọ awọn tabili ti a ko ba lo data wọn nibikibi ayafi fun awọn akojọpọ miiran ati pe ko ni ipa lori yiyan ipari (tabili / imukuro idapọ), ati MPP Vertica. , ti fihan pe o jẹ ẹrọ ti o tayọ fun Awoṣe Anchor, ti a fun ni diẹ ninu iṣapeye afọwọṣe ti ero ibeere. Ni apa keji, titoju Awoṣe Anchor, fun apẹẹrẹ, lori Tẹ Ile, eyiti o ni opin atilẹyin apapọ, ko sibẹsibẹ dabi imọran ti o dara pupọ.
Ni afikun, fun awọn mejeeji faaji ni o wa pataki e, ṣiṣe wiwọle data rọrun (mejeeji lati oju-ọna iṣẹ ṣiṣe ibeere ati fun awọn olumulo ipari). Fun apere, Point-Ni-Time tabili ni Data ifinkan tabi pataki tabili awọn iṣẹ ni awoṣe Anchor.
Lapapọ
Ohun pataki ti awọn ile-iṣẹ ti o ni irọrun ti a ro ni modularity ti “apẹrẹ” wọn.
O jẹ ohun-ini yii ti o gba laaye:
- Lẹhin igbaradi akọkọ ti o ni ibatan si imuṣiṣẹ metadata ati kikọ awọn algoridimu ETL ipilẹ, yarayara pese alabara pẹlu abajade akọkọ ni irisi awọn ijabọ tọkọtaya ti o ni data lati awọn nkan orisun diẹ. Ko ṣe pataki lati ronu patapata nipasẹ (paapaa ni ipele oke) gbogbo awoṣe ohun.
- Awoṣe data le bẹrẹ ṣiṣẹ (ati pe o wulo) pẹlu awọn nkan 2-3 nikan, ati lẹhinna dagba diėdiė (nipa awoṣe Anchor Nikolai dara lafiwe pẹlu mycelium).
- Pupọ awọn ilọsiwaju, pẹlu fifẹ agbegbe koko-ọrọ ati fifi awọn orisun tuntun kun ko ni ipa lori iṣẹ ṣiṣe ti o wa tẹlẹ ati pe ko ṣe eewu ti fifọ nkan ti o ti n ṣiṣẹ tẹlẹ.
- Ṣeun si jijẹ sinu awọn eroja boṣewa, awọn ilana ETL ni iru awọn ọna ṣiṣe wo kanna, kikọ wọn ya ararẹ si algorithmization ati, nikẹhin, adaṣiṣẹ.
Awọn owo ti yi ni irọrun ni iṣẹ. Eyi ko tumọ si pe ko ṣee ṣe lati ṣe aṣeyọri iṣẹ itẹwọgba lori iru awọn awoṣe. Ni igbagbogbo ju bẹẹkọ, o le nirọrun nilo igbiyanju diẹ sii ati akiyesi si awọn alaye lati ṣaṣeyọri awọn metiriki ti o fẹ.
Приложения
Awọn iru nkan elo Ifinkan data
Alaye siwaju sii nipa Data Vault:
Awọn iru nkan elo Awoṣe oran
Awọn alaye diẹ sii nipa Awoṣe Anchor:
Tabili Lakotan pẹlu awọn ẹya ti o wọpọ ati awọn iyatọ ti awọn ilana ti a gbero:
orisun: www.habr.com