{"id":84189,"date":"2020-06-05T19:42:34","date_gmt":"2020-06-05T17:42:34","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/razvitie-data-vault-i-perehod-k-business-data-vault"},"modified":"2020-06-05T19:42:34","modified_gmt":"2020-06-05T17:42:34","slug":"razvitie-data-vault-i-perehod-k-business-data-vault","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/razvitie-data-vault-i-perehod-k-business-data-vault","title":{"rendered":"De ontwikkeling van DATA VAULT en de overgang naar BUSINESS DATA VAULT","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>In het vorige artikel heb ik de basisprincipes van DATA VAULT besproken, waarin ik de belangrijkste elementen van DATA VAULT en hun doeleinden heb beschreven. Dit maakt het onderwerp DATA VAULT echter niet volledig, we moeten het hebben over de volgende stappen in de evolutie van DATA VAULT.<\/p>\n<p>In dit artikel zal ik mij concentreren op de ontwikkeling van DATA VAULT en de overgang naar BUSINESS DATA VAULT of simpelweg BUSINESS VAULT.<\/p>\n<h3>Redenen voor de komst van BUSINESS DATA VAULT<\/h3>\n<p>\nEr moet worden opgemerkt dat DATA VAULT, ondanks bepaalde sterke punten, niet zonder tekortkomingen is. Een van deze tekortkomingen is de complexiteit van het schrijven van analytische queries. Queries hebben een aanzienlijke hoeveelheid JOIN\u2019s, waardoor de code lang en onoverzichtelijk wordt. Bovendien ondergaan gegevens die in DATA VAULT terechtkomen geen enkele transformatie, waardoor DATA VAULT in zijn pure vorm vanuit zakelijk oogpunt geen onvoorwaardelijke waarde heeft.<br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nSpecifiek om deze tekortkomingen te verhelpen, is de METHODIEK DATA VAULT uitgebreid met elementen zoals:<\/p>\n<ul>\n<li>PIT (point in time) tabellen;<\/li>\n<li>BRIDGE tabellen;<\/li>\n<li>PREDEFINED DERIVATIONS.<\/li>\n<\/ul>\n<p>\nLaten we de functies van deze elementen in meer detail bekijken.<\/p>\n<h3>PIT tabellen<\/h3>\n<p>\nOver het algemeen kan \u00e9\u00e9n zakelijke object (HUB) gegevens bevatten met een verschillende frequentie van updates. Bijvoorbeeld, als we het hebben over gegevens die een persoon karakteriseren, kunnen we zeggen dat informatie over een telefoonnummer, adres of e-mailadres een hogere updatefrequentie heeft dan bijvoorbeeld de volledige naam, paspoortgegevens, burgerlijke staat of geslacht.<\/p>\n<p>Bij het defini\u00ebren van satellieten moet rekening worden gehouden met de frequentie van hun updates. Waarom is dit belangrijk? <\/p>\n<p>Als we in \u00e9\u00e9n tabel attributen met verschillende updatefrequenties opslaan, moet er bij elke update van het vaakst veranderende attribuut een rij aan de tabel worden toegevoegd. Dit leidt tot een groei in de benodigde schijfruimte en een toename van de uitvoeringstijd van queries.<\/p>\n<p>Nu we de satellieten hebben verdeeld op basis van updatefrequentie en we gegevens onafhankelijk in hen kunnen laden, moet worden gezorgd voor de mogelijkheid om actuele gegevens te verkrijgen. Het liefst zonder overmatige JOIN\u2019s.<\/p>\n<p>Ik zal uitleggen: het is bijvoorbeeld nodig om actuele informatie (op basis van de laatste update datum) uit satellieten te krijgen die een verschillende update frequentie hebben. Hiervoor is het niet alleen nodig om een JOIN te maken, maar ook om verschillende geneste queries te cre\u00ebren (voor elke satelliet die informatie bevat) met de keuze van de maximale update datum MAX(Datum van update). Met elke nieuwe JOIN groeit zo'n code, en wordt het al snel moeilijk verstaanbaar.<\/p>\n<p>De PIT-tabel is bedoeld om dergelijke queries te vereenvoudigen. PIT-tabellen worden gelijktijdig gevuld met de registratie van nieuwe gegevens in de DATA VAULT. PIT-tabel:<\/p>\n<p><img decoding=\"async\" alt=\"De ontwikkeling van DATA VAULT en de overgang naar BUSINESS DATA VAULT\" src=\"\/wp-content\/uploads\/2020\/06\/f3e0c2068e075cd5fba5321c47d755fa.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nZo hebben we informatie over de actualiteit van gegevens van alle satellieten op elk moment in de tijd. Door gebruik te maken van JOINs naar de PIT-tabel, kunnen we geneste queries volledig uitsluiten, uiteraard onder de voorwaarde dat de PIT dagelijks wordt gevuld en zonder onderbrekingen. Zelfs als er onderbrekingen in de PIT zijn, kunnen actuele gegevens alleen verkregen worden met \u00e9\u00e9n geneste query naar de PIT zelf. E\u00e9n geneste query werkt sneller dan geneste queries naar elke satelliet.<\/p>\n<h3>BRIDGE<\/h3>\n<p>\nBRIDGE-tabellen worden ook gebruikt om analytische queries te vereenvoudigen. Het verschil met PIT is echter dat ze dienen ter vereenvoudiging en versnelling van queries tussen verschillende hubs, links en hun satellieten.<\/p>\n<p>De tabel bevat alle benodigde sleutels voor alle satellieten die vaak worden gebruikt in queries. Bovendien kunnen, indien nodig, gehashte businesssleutels worden aangevuld met sleutels in tekstvorm, als de benamingen van de sleutels nodig zijn voor analyse.<\/p>\n<p>Het probleem is dat zonder het gebruik van BRIDGE, bij het verkrijgen van gegevens die zich in satellieten bevinden die tot verschillende hubs behoren, een JOIN nodig is van niet alleen de satellieten zelf, maar ook van de links die de hubs verbinden.<\/p>\n<p>De aanwezigheid of afwezigheid van BRIDGE wordt bepaald door de configuratie van het opslagmechanisme en de noodzaak tot optimalisatie van de snelheid van query-uitvoering. Een universeel voorbeeld van BRIDGE is moeilijk te bedenken.<\/p>\n<h3>VOORAF GEDEFINIEERDE AFLEIDINGEN<\/h3>\n<p>\nEen ander type object dat ons dichter bij de BUSINESS DATA VAULT brengt, zijn tabellen die vooraf berekende metrics bevatten. Dergelijke tabellen zijn werkelijk belangrijk voor het bedrijfsleven; ze bevatten informatie die is geaggregeerd op basis van vastgestelde regels en bieden relatief eenvoudige toegang tot deze informatie.<\/p>\n<p>Architecturale PREDEFINED DERIVATIONS zijn niets anders dan een andere satelliet van een bepaalde hub. Deze satelliet bevat net als een gewone satelliet een zakelijke sleutel en de datum van het aanmaken van de registratie in de satelliet. Daarmee eindigen echter de overeenkomsten. De verdere samenstelling van de attributen van deze 'gespecialiseerde' satelliet wordt bepaald door zakelijke gebruikers op basis van de meest gevraagde, vooraf berekende indicatoren.<\/p>\n<p>Een hub die informatie over een medewerker bevat, kan bijvoorbeeld een satelliet omvatten met de volgende indicatoren:<\/p>\n<ul>\n<li>Minimaal salaris;<\/li>\n<li>Maximaal salaris;<\/li>\n<li>Gemiddeld salaris;<\/li>\n<li>Totaal opgebouwde salaris, enzovoort.<\/li>\n<\/ul>\n<p>\nHet is logisch om PREDEFINED DERIVATIONS op te nemen in de PIT-tabel van dezelfde hub, zodat je eenvoudig gegevenssnedes van de medewerker op een specifieke datum kunt krijgen.<\/p>\n<h3>CONCLUSIES<\/h3>\n<p>\nUit de praktijk blijkt dat het gebruik van DATA VAULT door zakelijke gebruikers enigszins moeilijk is om verschillende redenen:<\/p>\n<ul>\n<li>De code voor de aanvragen is complex en omvangrijk;<\/li>\n<li>De overvloed aan JOINs be\u00efnvloedt de prestaties van de aanvragen;<\/li>\n<li>Voor het schrijven van analytische aanvragen is uitstekende kennis van de structuur van het gegevensmagazijn vereist.<\/li>\n<\/ul>\n<p>\nOm de toegang tot gegevens te vereenvoudigen, wordt DATA VAULT uitgebreid met extra objecten:<\/p>\n<ul>\n<li>PIT (point in time) tabellen;<\/li>\n<li>BRIDGE tabellen;<\/li>\n<li>PREDEFINED DERIVATIONS.<\/li>\n<\/ul>\n<p>\nIn de volgende <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/505292\/\">artikel<\/a><\/noindex> ben ik van plan om het interessantste te bespreken, naar mijn mening, voor degenen die met BI werken. Ik zal manieren presenteren om feitentabellen en dimensietabellen te cre\u00ebren op basis van DATA VAULT.<\/p>\n<p>Het materiaal van het artikel is gebaseerd op:<\/p>\n<ul>\n<li>Op <noindex><a rel=\"nofollow\" href=\"https:\/\/www.vertabelo.com\/blog\/data-vault-series-the-business-data-vault\/\">de publicatie<\/a><\/noindex> Kent Graziano, waarin naast een gedetailleerde beschrijving schema's van het model zijn opgenomen;<\/li>\n<li>Boek: \"Building a Scalable Data Warehouse with DATA VAULT 2.0\";<\/li>\n<li>Artikel <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/502968\/\">Basisprincipes van Data Vault<\/a><\/noindex>.<\/li>\n<\/ul>\n<p>Bron: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/504214\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b \u043e\u0431 \u043e\u0441\u043d\u043e\u0432\u0430\u0445 DATA VAULT, \u043e\u043f\u0438\u0441\u0430\u043b \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b DATA VAULT \u0438 \u0438\u0445 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. \u041d\u0430 \u044d\u0442\u043e\u043c \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u0435\u043c\u0443 DATA VAULT \u0438\u0441\u0447\u0435\u0440\u043f\u0430\u043d\u043d\u043e\u0439, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0443\u043f\u0435\u043d\u044f\u0445 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438 DATA VAULT. \u0418 \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0441\u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u044e\u0441\u044c \u043d\u0430 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0438 DATA VAULT \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0443 \u043a BUSINESS DATA VAULT \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e BUSINESS VAULT. \u041f\u0440\u0438\u0447\u0438\u043d\u044b \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":84190,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-84189","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b \u043e\u0431 \u043e\u0441\u043d\u043e\u0432\u0430\u0445 DATA VAULT, \u043e\u043f\u0438\u0441\u0430\u043b \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b DATA VAULT \u0438 \u0438\u0445 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/razvitie-data-vault-i-perehod-k-business-data-vault\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"nl_NL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0420\u0430\u0437\u0432\u0438\u0442\u0438\u0435 DATA VAULT \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a BUSINESS DATA VAULT | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b \u043e\u0431 \u043e\u0441\u043d\u043e\u0432\u0430\u0445 DATA VAULT, \u043e\u043f\u0438\u0441\u0430\u043b \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b DATA VAULT \u0438 \u0438\u0445 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/razvitie-data-vault-i-perehod-k-business-data-vault\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-06-05T17:42:34+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-06-05T17:42:34+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Ontwikkeling van DATA VAULT en de overgang naar BUSINESS DATA VAULT | ProHoster","description":"In het vorige artikel heb ik de basisprincipes van DATA VAULT besproken, de belangrijkste elementen van DATA VAULT en hun functies beschreven.","canonical_url":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/razvitie-data-vault-i-perehod-k-business-data-vault","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nl_NL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0420\u0430\u0437\u0432\u0438\u0442\u0438\u0435 DATA VAULT \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a BUSINESS DATA VAULT | ProHoster","og:description":"\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b \u043e\u0431 \u043e\u0441\u043d\u043e\u0432\u0430\u0445 DATA VAULT, \u043e\u043f\u0438\u0441\u0430\u043b \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b DATA VAULT \u0438 \u0438\u0445 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.","og:url":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/razvitie-data-vault-i-perehod-k-business-data-vault","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-06-05T17:42:34+00:00","article:modified_time":"2020-06-05T17:42:34+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"84189","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 15:02:37","updated":"2022-09-28 10:00:37","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/84189","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/comments?post=84189"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/84189\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media\/84190"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media?parent=84189"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/categories?post=84189"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/tags?post=84189"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}