Facilitas tabulariorum enucleandi inceptum longum et grave est.
Multum in vita rei dependet quam bene objectum exemplar et turpis structura initio excogitata sunt.
Communiter acceptus aditus fuit et manet varias variantes componendi cum tertia forma normali schema. Pro regula, secundum principium: notitia initialis - 3NF, showcases - star. Hic accessus, probatus et confirmatus magna inquisitionis copia, est primus (et interdum solus) quod in mentem venit perito DWH specialist cum cogitans quid repositum analyticum spectare debet.
Ex altera parte, negotia generatim ac mos exigentias in particulari celeriter mutare tendunt et notitia tendit et crescere et "in profundum" et "in latitudinem". Et hoc est, ubi maxime incommodum apparet stellae limitatae flexibilitate.
Et si in quiete et intimo vitae tuae sicut DWH elit subito:
- munus "aliquid saltem cito facere, et tunc videbimus";
- consilium celerius progressum apparebat, cum nexu novorum fontium et exemplar negotii renovandi saltem semel in hebdomada;
- emptor apparuit, qui nesciebat quid ratio quaerere deberet et quae munera tandem praestare deberet, sed paratus est ad experimentum et constanter expolire optatum exitum constanter appropinquare;
- Procurator consilii instillatur cum evangelio: "Et nunc agiles habemus!"
Aut si iustus es interested in inveniendo quomodo aliud quam facultates repositas aedificare potes - grata incisis!
Quid est flexibilitas?
Prius definiamus quas proprietates ratio habere debeat ad vocandum flexibile.
Separatim memorabile est proprietates descriptas nominatim referre rationon to processus progressus. Si ergo de Agile in progressionem methodi legere voluisti, melius est alios articulos legere. Exempli gratia, illic, in HabrΓ©, multum interest in materia (like ΠΈ autem ).
Hoc non significat progressionem processus et structuram notitiarum horreis prorsus alienas esse. Altiore, signanter facilior erit repositorium agilis ad architecturam agilem explicandam. Sed in praxi, saepius optiones sunt cum progressione agili classici DWH secundum Kimbal et DataVault - secundum cataracta, quam laetae coincidentia flexibilitatis in duabus formis in uno incepto.
Quaenam igitur facultates habere debent flexibiles repono? Tria hic notantur;
- Mane traditio et ieiunium turnaround - Hoc significat specimen primae negotii consequentis (exempli gratia primae operationis nuntiationis) quamprimum obtineri debet, id est etiam antequam tota ratio plene designata et perficiatur. Quaelibet autem recognitio subsequentis etiam quam minimum temporis accipere debet.
- Iterative elegantia - Hoc significat, ut quaelibet sequens emendatio specimen prae se ferat functionem quae iam operatur. Hoc momentum saepe fit maximus insomnium in magnis inceptis - ocius vel serius, singulae res tot nexus acquirere incipiunt ut facilius fiat logicam in propinquo exemplar repetere quam agrum exsistenti tabulae addere. Et si miraris quod ictum meliorationis in rebus existentibus analysis plus temporis quam ipsae emendationes capere possunt, verisimile non es nondum magnis data horreis in argentariis vel telecomis operata.
- Constanter accommodans ad mutandas res necessarias - Suprema objecti structura debet esse non modo habita ratione expansionis possibilis, sed exspectatione ut directio huius proximae expansionis ne somniari quidem possit in scaena consilio.
Et sic, omnia haec requisita in unum systema convenire potest (scilicet in quibusdam casibus et quibusdam reservationibus).
Infra considerabo duas methodologias agibilium consiliorum pro notitia apothecarum - Anchora exemplar ΠΈ Data Vault. Ex uncis omittuntur artes tam optimae ut, exempli gratia, EAV, 6NF (in pura forma) et omnia ad solutiones NoSQL pertinentia β non quia aliquo modo deteriores sunt, ac ne quidem quia in hoc casu articulum acquirere comminatur. tomo mediocri disser. Iustum est haec omnia referre ad solutiones paulo diversi generis - vel ad technicas quibus in casibus specificis uti potes, cuiuscumque altioris incepti tui architecturae (sicut EAV), vel ad globally alia paradigmata informationum repositionis (ut graphorum databases et alia bene NoSQL).
Problemata "classicae" accedunt earumque solutiones methodologiae flexibiles
Per "classicam" accessisse dico stellam bonam antiquam (neglegentis exsequendis stratis subiectarum, sectatores Kimball, Inmon et CDM mihi ignoscere possunt).
1. cardinality de necessitudines Rigidum
Hoc exemplum in clara divisione datarum fundatur Dimension ΠΈ veritates. Et hoc, mehercule, logicum est - tamen, analysin data in pluribus casibus superantibus, descendit ad analysin quarundam indiciorum numerorum in quibusdam sectionibus (dimensiones).
Hoc in casu, nexus inter obiecta constituuntur in specie relationum inter mensas utentes clavis externis. Hoc satis naturale spectat, sed statim ad primam flexibilitatem ducit. stricte definitio cardinalitatis necessitudines.
Hoc significat quod in scaena designationis mensae accurate definire debes singulas res relatas sive quot-ad-multos, an tantum 1-ad-multos, et "in utram partem". Hoc directe determinat quae mensa primarium clavem habeat et quae clavem externam habebit. Hunc habitum mutans cum nova requisita recipiuntur, verisimile plus ducet ad basis retractationem.
Exempli gratia, cum designans "receptationem pecuniae" obiecisti, tu, iuramentis fretus venditorum venditorum, pones agendi facultatem. unum promotionem pluribus locis reprehendo (sed non vice versa);
Et post aliquod tempus, collegae novum consilium venalicium intulerunt in quo idem agere possunt plures promotiones simul. Et nunc debes mutare tabulas separando relationem in objectum separatum.
(Omnes obiecti derivati ββquibus perscriptio promovenda coniungitur, nunc quoque emendari opus est).
Relationes in Data Vault et anchor Model
Haec condicio vitans evasit admodum simplex: venditori venditori hoc facere non debes. initio omnes nexus tabulae separatae conditae sunt et processus ut-totidem ad multos.
Accessus ad propositum Dan Linstedt ut pars exemplar Data Vault et plene confirmaverunt Lars RΓΆnnbΓ€ck Π² Anchora Model.
Quam ob rem primum notam methodologiae flexibilium obtinemus:
Relationes inter obiecta non reponuntur in attributis entium parentum, sed sunt species obiecti separatae.
Π Data Vault tales conjunctiones tabulae vocantur Linket in Anchora Model - faucibus. In primo aspectu valde similes sunt, licet differentiae non desinant nomine (de quo infra dicetur). In utraque architecturae tabulae nexus ligare possunt quis numerus entium (non necessario 2).
Haec redundantia, primo aspectu, praebet flexibilitatem modificationum significantium. Talis structura tolerabilis fit non solum mutationes in cardinalitate nexuum exsistentium, sed etiam novorum additorum - si nunc positio perscriptio nexum habet cum fiscario qui perrupit, species talis nexus simpliciter erit. fis additamentum super tabulis exsistentibus sine afficiens res et processuum existentium.
2. Data duplicatione
Secunda quaestio solvitur de architecturae flexibilibus minus perspicuis et primo loco inhaeret. SCD2 genus mensurae sed non solum eas.
In CELLA classica, dimensio proprie est mensa quae clavem surrogatam (sicut PK) continet et clavium negotiationum et attributa in distinctis columnis continet.
Si dimensio versionem sustinet, versio validitatis limites ad mensuram agrorum adduntur, et variae versiones apparent in reposito unius ordinis in fonte (una pro singulis mutationibus attributorum versionum).
Si dimensio contineat saltem unum attributum saepissime mutatum mutatum, numerus versionum talis dimensionis erit impressivus (etiamsi reliqua attributa non sunt versione vel nunquam mutata), et si plures tales attributi sunt, numerus versionum potest. crescunt exponentially ex numero. Haec dimensio notabilem quantitatem spatii orbis capere potest, quamvis multa e notitiarum copiarum simpliciter duplicatae immutabilium attributorum sint valorum aliorum ordinum.
Eodem tempore etiam saepissime adhibetur denormalization - quaedam attributa ex intentione reposita sunt ut valor, et non ut nexus cum relatione libri vel alterius dimensionis. Hic accessus notitiae accessus accelerat, numerum coniunctionum cum accessu dimensionis minuit.
Typice hoc ducit ad eadem indicia pluribus locis simul reponuntur. Exempli gratia, informationes de regione commorationis et praedicamentorum huius simul in dimensionibus "Client" et "Purchase", "Delivery" et "Crentium" facta, et in "Client-Cliente" Manager "Tabula link.
In genere praedictae rationes regulares (non-versitas) dimensiones valent, sed in versionibus versionatis aliam scalam habere possunt: ββspecies novae obiecti (praesertim in retrospecti) non solum ad renovationem omnium relatarum ducit. Tabulae, sed ad cascading species novarum versionum objectorum relatarum β cum Tabula 1 adhibetur Tabulam 2 construere, et Tabulam 2 construere Tabulam 3 adhibetur, etc. Etsi non unum attributum Tabulae I in constructione Tabulae 1 involvitur (et alia attributa Tabulae II ex aliis fontibus involvuntur), haec constructio versionem ad minimum ducet ad additamentum supra caput, et ad maximum ad extra. versiones in Tabula 3. quae omnino nihil ad rem, et infra catenam.
3 Nonlinear multiplicitate rework
Eodem tempore, unumquodque novum promptuarium secundum alterum aedificatum numerum locorum auget in quibus notitiae "divergentes" possunt cum mutationes in ETL fiunt. Hoc vicissim augetur in multiplicitate (et diuturnitate) uniuscuiusque recognitionis subsequentis.
Si praedicta systemata describit cum processibus ETL raro mutatis, in tali paradigma vivere potes - tantum debes efficere ut novae modificationes recte factae sint omnibus obiectis affinibus. Si emendationes saepe occurrunt, verisimilitudo per accidens "absentis" plures nexus significanter auget.
Si, praeterea, consideremus "versionem" ETL insigniter magis implicatam quam unam "non-versitatis", admodum difficilis evadit errata, cum totam hanc facilitatem saepe adaequat.
Thesaurizantes res et attributa in Data Vault et anchor Model
Accessus architecturae flexibilium ab auctoribus propositae sic inscribi potest;
quod ab eodem manente, necesse est discedere. Hoc est, reponunt claves distincte a attributis.
Sed non debet confundere non versioned attributum est immutatusprima historia suarum mutationum non refert, sed mutare potest (exempli gratia cum errorem initus corrigens vel novas notitias recipiens), secunda numquam mutat.
Punctae opiniones differunt ab eo quod prorsus immutabile in Data Vault et Anchorae exemplar considerari potest.
Ex architecturae parte Data Vault, possunt immutata considerari omni copia clavium β naturalia (codices tin regiminis, producti codicis in fonte systema, etc.) et vicaria. Hoc in casu, reliqua attributa dividi possunt in coetus secundum fontem et/vel frequentiam mutationum et Separatam mensam ponere pro singulis versiones cum independentibus a paro.
In paradigma Anchora Model considerandum mutatum nisi vicaria clavis essentia. Cetera omnia (inclusa clavibus naturalibus) est casus peculiaris suorum attributorum. in quo Omnia attributa sunt independenter ab invicem per defaltamut cuique attributum a . separatum mensam.
Π Data Vault Tabulae quae entitatis claves dicuntur Hubami. Cantus semper certos agros continent;
- Natural Entity Keys
- Vicaria clavis
- Link to source
- Record addit tempus
Stipes in Hubs numquam mutant et non versiones. Externe axibus simillimae sunt tabulae speciei ID-mapticae in quibusdam systematibus ad surrogatos generales adhibitis, commendatur tamen uti clavium praefinito negotiorum surrogatorum in Data Vault detrahere. Hic accessus simplices relationes et attributa ex fontibus onerantia (non opus est centrum ut surrogatum iungere, tantum opus est clavem naturalem computare), sed alias difficultates (relatas, exempli gratia collisiones causare potest) , casus et characteres non printables in clavibus chordis etc. .p.), ergo generaliter non accipitur.
Omnia alia entitatum attributa in tabulis specialibus appellatis condita sunt Satellites. Una centrum plures satellites habere potest accommodare diversorum locorum attributorum.
Distributio attributorum inter satellites fit secundum principium iuncturam mutatio β in uno satellite attributa non versionata condi possunt (exempli gratia natalitium et NILS pro individuo), in alio - raro mutatis versionibus (exempli gratia, nomen ultimum et numerus passport), in tertio - saepe mutatis; (exempli gratia: traditio inscriptionis, praedicamenti, date ultimi ordinis, etc.). In hoc casu, translatio exercetur in singulis satellitibus et non entitate ut totum, ita visum est attributa distribuere ut intersectio versionum intra unum satelles minima sit (quae totum numerum versionum reconditarum minuit. ).
Etiam, ad optimizes notitias onerandas processus, attributa ex variis fontibus consecuta saepe in singulis satellitibus comprehenduntur.
Satellites communicant cum Hub via aliena clavis (qui cum 1-ad-multis cardinalitatibus respondet). Hoc significat quod multiplices valores attributi (exempli gratia, multi numeri telephonici contactus unius clientis) hac architectura "default" sustentantur.
Π Anchora Model tabulae quae claves copia dicuntur Anchorae. et servant;
- Tantum claves vicaria
- Link to source
- Record addit tempus
Claves naturales ex parte exemplar anchorae considerantur Ordinarius attributa. Haec optio difficilior intellectu videri potest, sed multo maiorem dat copiam obiecti cognoscendi.
Verbi gratia, si notitia de eadem entitate ex diversis systematibus venire potest, quarum unaquaeque clavibus naturali suo utitur. In Data Vault, hoc ducere potest ad structuras gravia plurium axium (unum per fontem + versionis magistri uniens), dum in archetypo, clavis naturalis cuiuslibet fontis in proprium attributum cadit et adhiberi potest cum oneratione independenter a. ceteri omnes.
Sed insidiosum etiam est unum: si attributa ex diversis systematibus componantur in uno ente, verisimile est esse aliqua. praecepta de "gluing"per quam ratio intelligenda est, quod ex variis auctoribus monumentis respondeat uni instantia entitatis.
Π Data Vault hae regulae formationem maxime verisimile determinant "Hub vicaria" magistri entitatis neque ullo modo influant Cantus, qui claves rerum naturalium fontem reponunt et earum attributa originalia. Si regulae mutandae in aliquo puncto bus (vel attributa a quibus agitur renovantur), satis erit cantae vicariae reformare.
Π Anchora exemplar talis ens maxime probabile reponitur in solus ancoris. Hoc significat quod omnia attributa, ex quacumque causa sint, eidem vicario tenebuntur. Distinctio erronee coalescit et, generatim, vigilantia momentum in tali systemate multo difficilius esse potest, praesertim si regulae satis implicatae sunt et saepe mutationis, idemque attributum ex diversis fontibus obtineri potest (quamvis certe est. fieri potest, quandoquidem singula versionis attributa nexum suo fonte retinent).
In quolibet casu, si ratio tua ad munus functionis efficiendum putatur deduplicatio, bus monumentis aliisque elementis MDMpeculiariter intendendum est ad aspectus clavium naturales in agili methodologia recondendis. Verisimile est molimen Data Vault consilium subito tutiorem fore secundum errores mergendi.
Anchora exemplar etiam praebet aliquid addito genus dicitur Nodum per se est speciale degeneres genus ancoraequae unum tantum attributum continere potest. Nodi supponuntur utendum est ad directoria plana reponenda (exempli gratia genus, status matrimonialis, categoriae servitutis mos, etc.). Dissimilis anchoram, Nodum non habet adiuncti attributi tableset unicum eius attributum semper in eadem tabula cum clavibus reponitur. Nodi ancoris per tabulas ligatas eodem modo quo ancorae inter se connexae sunt.
Nulla est clara opinio de usu Nodis. Exempli gratia qui usum anchorae Exemplaris in Russia active promovet, (non absurde) credit eum non uno libro referente certo affirmari posse. semper erit stabilis et singularis gradus, quo melius est statim utere ancora ancora plena pro omnibus obiectis.
Alia magna differentia inter Data Vault et Ancora exemplar est promptibilitas attributa hospites:
Π Data Vault Vincula sunt eaedem objecta mobilia plena ac Hubs, et habere possunt propria attributa. Quod Anchora exemplar Vincula sunt tantum ad ancoras coniungere et non possunt suis attributis. Haec differentia consequitur in signanter diversis exemplaribus accessibus veritatesde quo infra dicetur.
Hoc repono
Antea hoc maxime de mensurae sculpturae locuti sumus. Res paulo minus clarae sunt.
Π Data Vault typicam rem nendae res est Linkin quorum satellites indices reales accedunt.
Accessus hic intuitivus videtur. Facilem aditum praebet ad enucleatis indicibus et fere similis cum facto tralaticio tabulae (tantum indices non in ipsa mensa, sed in tabula "propinqua" reponuntur. Sed etiam foveae sunt: ββuna e modificationibus typicis exemplaris - expansionis clavis facti - necessitates. addit novam clavem alienam ad Link. Et hoc vicissim modularitate et potentia necessitatem causat modificationibus ad alia obiecta.
Π Anchora exemplar Connexio proprietates suas habere non potest, aditus ergo non laborabit - absolute omnia attributa et indices uni certae anchorae coniungi debent. Conclusio ex hoc est simplex. Unumquodque factum etiam eget anchora sua. Nam quaedam ex iis quae in factis percipiendis adhibentur, hoc spectare potest naturale - exempli gratia, facto emptionis perfecte reduci ad obiectum "ordinis" vel "receptio", locum sessionis visitans, etc. Sed exstant etiam res pro quibus non tam facile est invenire tale obiectum naturale "tabellarius", verbi gratia, reliquiae bonorum in horreis initio cuiusque diei.
Itaque problemata modulari- tate cum expansionem rei clavem in archetypo in Anchora oriantur (satis est simpliciter novam relationem ad Anchoram respondentem addere), sed exemplar designans ad res proponendas minus ambiguum est: "artificialis" ancorae apparere potest. rem rem exemplar obscurum ostentant.
Quomodo flexibilitas fit
Constructio inde in utroque casu continet significantly magis tablesquam traditam mensuram. Sed potest accipere significantly minus orbis tractus cum eadem copia versionum attributorum ac traditionum. Naturaliter non est hic magia - tota est circa ordinationem. Tributis per Satellitum (in Data Vault) vel singulas tabulas (Anchorae Exemplar) distribuendo, minuimus (vel omnino eliminamus) duplicatio valorum aliquorum attributorum mutatis aliis.
Ad Data Vault lucrationes pendent ex tributorum distributione inter Satellites et for Anchora exemplar β Prope directe proportionalis est objecti mensurae mediocris numerus versionum per.
Sed spatium peculi magni ponderis sunt, sed non principale, utilitas repono attributa separatim. Hic accessus una cum coniunctionibus separatis facit promptuarium modularis design. Hoc significat addere tam singularia attributa et integras areas novas subiectas in tali exemplari formare quod superaedificavit, super existens rerum sine mutatione. Atque hoc ipsum est quod methodologiam describit flexibilem.
Hoc quoque simile est transitus a parte productionis ad massam productionis -, si in traditione unaquaeque mensa exemplaris est unica ac peculiarem attentionem requirit, iam in flexibilibus methodis iam norma "partium" constituta est. In altera parte, plures tabulae sunt, et processus notitiarum onerantium et recuperandorum plura inspicere debent. E contrario fiunt typicam. Quod modo non potest esse automated et metadata deiectus. Interrogatio "quomodo eam ponemus?", responsio ad quam notabilem partem operis in melius excogitandi capere posset, nunc tantum non valet (sicut quaestio de impulsu mutandi exemplar in processibus operantibus. ).
Hoc non significat analystae in tali systemate omnino non esse opus - necesse est aliquem operari per ordinem rerum cum attributis et figuratis, ubi et quomodo onerant omnia. Sed moles laboris, sicut verisimilitudo et sumptus erroris, signanter reducuntur. Tam in scaena analysi quam in evolutione ETL, quae in notabili parte reduci potest ad metadata emendi.
IIT
Haec omnia pariter accedunt, vere flexibilem, technicim progressum et aptam ad iterativam emendationem. Nimirum est etiam "dolium in unguento", quod ego te iam de eo suspicari posse arbitror.
Data compositione, quae modulationi architecturarum flexibilium subest, numerum tabularum auget ac proinde supra caput to joins cum sampling. Ut omnia dimensionis attributa simpliciter consequamur, in copia classic una sufficit selecta, sed architectura flexilis totam compagum seriem requiret. Praeterea, si omnes hae relationes pro relationibus prae- scribi possunt, tunc analystae, qui manu SQL scribere consueverunt, duplum patientur.
Plures sunt res quae hanc condicionem faciliorem reddunt;
Cum magnis dimensionibus laborat, omnia attributa eius fere numquam eodem tempore ponuntur. Id est, ut pauciores sint iunctiones quam prima specie ad exemplar videtur. Data Vault rationem habere potest etiam frequentiam exspectationem communicandi cum satellitibus collocandis tribuit. Eodem tempore, ipsae Hubs vel Anchorae imprimis ad surrogatas generandas et destinandas in oneratione scaenarum requiruntur et raro in quaestionibus adhibentur (praesertim vero in Anchors).
Omnes nexus per clavem sunt. Praeterea modus recondendi notitia magis "compressa" reducit supra caput tabularum scandendi ubi opus est (exempli gratia, cum eliquare per valorem attributum). Hoc perducere potest quod sampling ex database normalized cum fasciculo iunctorum etiam velocius erit quam unam dimensionem gravem cum multis versionibus per ordinem intuens.
Exempli gratia hic in Articulus singillatim comparativam probationem continet exemplaris anchorae perficiendi cum specimen ex una tabula.
Multus pendet a machina. Multa moderna suggesta interna optimizationem machinarum iungunt. Exempli gratia, MS SQL et Oraculum cum tabulis "omit" iungi possunt si eorum notitia alicubi usus non est nisi in aliis iunctis et finalem electionem (mens/coniunctionem eliminationem) et MPP Vertica non afficit. Egregiam machinam esse pro Anchor Exemplar probavit, data quadam optimizatione manuali consilii interrogationis. Ex altera parte, exemplar anchorae reponendae, exempli gratia, in Domo Click, quae subsidia iungi limitata est, nondum tamquam optimam notionem habes.
Praeterea utriusque architecturae sunt speciale movet, accessum faciliorem reddens notitias (sive ex notione quaesita perficientur et pro fine usorum). Exempli gratia Point-in-time tables in Data Buy or peculiari mensa munera in anchoris exemplar.
in summa
Praecipua essentia architecturae flexibilium consideratarum est modularitas earum "consilii".
Hoc proprium est, quod concedit;
- Post nonnullam praeparationem initialem ad metadata instruere et scribere algorithmos fundamentales ETL; cito providere elit cum primo effectus in forma duorum relationum continens notitia ex paucis aliunde obiectis. Non necesse est ut totum exemplar obiectum (vel in summo gradu) cogitet.
- Exemplar datae potest incipere opus (et utilem esse) cum obiectis tantum 2-3, et tunc paulatim crescere (De Anchorae exemplar Nikolai nice comparationem cum mycelio).
- Pleraque emendamenta, in quibus area subiecti dilatantur et novos fontes addit non afficit functionality exsistentem et periculum non ponit fractionis aliquid quod iam operatur.
- Propter compositionem in regulas normas, ETL processus in huiusmodi systematis idem spectant, scriptura eorum se dat ad algorithmizationem et tandem; automation.
Pretium huius flexibilitatis est productivity. Hoc non significat fieri posse ut in talibus exemplaribus acceptabile perficiatur. Saepius quam non, solum maiore opera et attentione opus est ut metrica quae vis consequi.
apps
Entity types Data Vault
Plura de Data Buy:
Entity types Anchora Model
Plura de Anchor Exemplar:
Tabulae summariae cum communibus notis et differentiis perpensis accedit;
Source: www.habr.com