{"id":36155,"date":"2019-10-31T22:09:53","date_gmt":"2019-10-31T19:09:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kachestvo-dannyh-v-hranilishhe\/"},"modified":"2019-10-31T22:09:53","modified_gmt":"2019-10-31T19:09:53","slug":"kachestvo-dannyh-v-hranilishhe","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kachestvo-dannyh-v-hranilishhe","title":{"rendered":"Gegevenskwaliteit in de opslag","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>De kwaliteit van gegevens in een opslag is een belangrijke voorwaarde voor het verkrijgen van waardevolle informatie. Slechte kwaliteit leidt op de lange termijn tot een negatieve kettingreactie.<br \/>\nEerst verdwijnt het vertrouwen in de geleverde informatie. Mensen beginnen Business Intelligence-applicaties minder te gebruiken, waardoor het potentieel van de applicaties onbenut blijft.<br \/>\nAls gevolg daarvan worden verdere investeringen in het analytische project ter discussie gesteld.<\/p>\n<h4>Verantwoordelijkheid voor gegevenskwaliteit<\/h4>\n<p>\nDe aspecten die verband houden met het verbeteren van de gegevenskwaliteit zijn superbelangrijk in BI-projecten. Echter, het is geen voorrecht alleen voor technische specialisten.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nDe kwaliteit van gegevens wordt ook be\u00efnvloed door factoren zoals<\/p>\n<p><b>Corporatieve cultuur<\/b><\/p>\n<ul>\n<li>Zijn de werknemers zelf ge\u00efnteresseerd in het produceren van goede kwaliteit?<\/li>\n<li>Zo niet, waarom dan? Misschien is er een conflict van belangen.<\/li>\n<li>Zijn er misschien bedrijfsregels die de verantwoordelijken voor de kwaliteit defini\u00ebren?<\/li>\n<\/ul>\n<p>\n<b>Processen<\/b><\/p>\n<ul>\n<li>Welke gegevens worden er aan het einde van deze ketens geproduceerd?<\/li>\n<li>Misschien zijn de operationele systemen zo ingesteld dat het nodig is om te \u2018creativiteit\u2019 te tonen om een bepaalde situatie in de werkelijkheid te weerspiegelen.<\/li>\n<li>Voeren de operationele systemen zelf controles en verificaties van gegevens uit?<\/li>\n<\/ul>\n<p>\nIedereen in de organisatie is verantwoordelijk voor de gegevenskwaliteit in rapportagesystemen.<\/p>\n<h4>Definitie en betekenis<\/h4>\n<p>\nKwaliteit is de bevestigde tevredenheid over de klantverwachtingen.<\/p>\n<p>Maar gegevenskwaliteit bevat geen definitie. Het weerspiegelt altijd de gebruik context. De datawarehouse en het BI-systeem hebben andere doelen dan het operationele systeem waaruit de gegevens zijn verkregen.<\/p>\n<p>Bijvoorbeeld, in het operationele systeem kan het klantattribuut een optioneel veld zijn. In de opslag kan dit attribuut worden gebruikt als een maat, en het invullen ervan is verplicht. Wat op zijn beurt de noodzaak inbrengt om standaardwaarden in te vullen.<\/p>\n<p>De vereisten voor het datawarehouse veranderen constant en zijn doorgaans hoger dan die voor operationele systemen. Maar het kan ook andersom zijn, wanneer in de opslag geen gedetailleerde informatie uit het operationele systeem hoeft te worden bewaard.<\/p>\n<p>Om de kwaliteit van gegevens meetbaar te maken, moeten de standaarden ervan worden omschreven. Mensen die informatie en cijfers voor hun werk gebruiken, moeten betrokken worden bij het beschrijvingsproces. Het resultaat van deze betrokkenheid kan een regel zijn, waardoor je in \u00e9\u00e9n oogopslag op een tabel kunt zien of er een fout is of niet. Deze regel moet worden geformaliseerd in de vorm van een script\/code voor verdere verificatie.<\/p>\n<h4>Verbetering van de gegevenskwaliteit<\/h4>\n<p>\nHet is onmogelijk om alle hypothetische fouten in het gegevensinvoeringsproces te corrigeren en op te schonen. Goede gegevenskwaliteit kan alleen worden bereikt door nauwe samenwerking tussen alle betrokkenen. Mensen die gegevens in operationele systemen invoeren, moeten leren welke acties tot fouten leiden.<\/p>\n<p>Gegevenskwaliteit is een proces. Helaas hebben veel organisaties geen strategie voor voortdurende verbetering. Veel beperken zich tot het opslaan van gegevens en benutten niet het volledige potentieel van analytische systemen. Over het algemeen gaat 70-80% van het budget bij de ontwikkeling van datawarehouses naar de implementatie van gegevensintegratie. Het proces van controle en verbetering blijft onderontwikkeld, als het al bestaat.<\/p>\n<h4>Hulpmiddelen<\/h4>\n<p>\nHet gebruik van softwaretools kan helpen bij het automatiseren van de verbetering en monitoring van gegevenskwaliteit. Bijvoorbeeld, ze kunnen de technische controle van de structuren van de opslag volledig automatiseren: het formaat van velden, de aanwezigheid van standaardwaarden, conformiteit met de naamgevingsvereisten van de tabelvelden.<\/p>\n<p>Het kan moeilijker zijn om de inhoud te controleren. Aangezien de vereisten voor de opslag veranderen, kan ook de interpretatie van de gegevens veranderen. Het gereedschap zelf kan een enorm project worden, dat ondersteuning vereist.<\/p>\n<h4>Tip<\/h4>\n<p>\nRelationele databases, waarin meestal de opslag wordt ontworpen, hebben de opmerkelijke mogelijkheid om views te cre\u00ebren. Deze kunnen worden gebruikt voor snelle gegevenscontrole, mits men bekend is met de inhoudelijke bijzonderheden. Elke ontdekking van een fout of probleem in de gegevens kan worden vastgelegd als een databasequery.<\/p>\n<p>Op deze manier ontstaat een kennisbasis over de inhoud. Natuurlijk moeten dergelijke verzoeken snel zijn. Over het algemeen kost het onderhouden van weergaven minder menselijke tijd dan de tools georganiseerd in tabellen. De weergave is altijd klaar om het resultaat van de controle weer te geven.<br \/>\nIn het geval van belangrijke rapporten kan de weergave een kolom met de ontvanger bevatten. Het is zinvol om met dezelfde BI-tools rapportages te maken over de kwaliteitstoestand van gegevens in het datalager.<\/p>\n<h4>Voorbeeld<\/h4>\n<p>\nDe query is geschreven voor de Oracle-database. In dit voorbeeld retourneren de tests een numerieke waarde die op de benodigde manier kan worden ge\u00efnterpreteerd. Met de waarden T_MIN en T_MAX kan de mate van alarm worden geregeld. Veld REPORT werd ooit gebruikt als een bericht in een commerci\u00eble ETL-product dat niet goed emails kon sturen, daarom is rpad een \"workaround\".<\/p>\n<p>In het geval van een grote tabel kan bijvoorbeeld AND ROWNUM &lt;= 10 worden toegevoegd, dat wil zeggen, als er 10 fouten zijn geregistreerd, is dat voldoende voor een alarm.<\/p>\n<pre><code class=\"sql\">CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS\nSELECT\n  CASE WHEN OUTPUT&gt;=T_MIN AND OUTPUT&lt;=T_MAX\n  THEN &#039;OK&#039; ELSE &#039;ERROR&#039; END AS RESULT,\n  DESCRIPTION,\n  TABLE_NAME, \n  OUTPUT, \n  T_MIN,\n  T_MAX,\n  rpad(DESCRIPTION,60,&#039; &#039;) || rpad(OUTPUT,8,&#039; &#039;) || rpad(T_MIN,8,&#039; &#039;) || rpad(T_MAX,8,&#039; &#039;) AS REPORT\nFROM (-- Test zelf\n  SELECT\n    &#039;DIM_PRODUCT&#039; AS TABLE_NAME,\n    &#039;Aantal lege waarden&#039; AS DESCRIPTION,\n    COUNT(*) AS OUTPUT,\n    0 AS T_MIN,\n    10 AS T_MAX\n  FROM DIM_PRODUCT\n  WHERE DIM_PRODUCT_ID != -1 -- niet de standaardwaarde\n  AND ATTRIBUTE IS NULL ); -- tel lege waarden\n<\/code><\/pre>\n<p>\n<i>In de publicatie zijn materialen uit het boek gebruikt<br \/>\nRonald Bachmann, Dr. Guido Kemper<br \/>\nUit de BI-val<br \/>\nHoe Business Intelligence succesvol wordt<\/i><br \/>\n<br \/>Bron: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/459682\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u043e\u0439 \u043a \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044e \u0446\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041f\u043b\u043e\u0445\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0435\u0434\u0451\u0442 \u043a \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u0446\u0435\u043f\u043d\u043e\u0439 \u0440\u0435\u0430\u043a\u0446\u0438\u0438 \u0432 \u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u043e\u0439 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0435 \u043a \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041b\u044e\u0434\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Business Intelligence \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043d\u0435 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u043d\u044b\u043c. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435, \u043f\u043e\u0434 \u0432\u043e\u043f\u0440\u043e\u0441 \u0441\u0442\u0430\u0432\u044f\u0442\u0441\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0435 \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u0438 \u0432 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0435\u043a\u0442. \u041e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0437\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0410\u0441\u043f\u0435\u043a\u0442, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-36155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u043e\u0439 \u043a \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044e \u0446\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kachestvo-dannyh-v-hranilishhe\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"nl_NL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u043e\u0439 \u043a \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044e \u0446\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kachestvo-dannyh-v-hranilishhe\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T19:09:53+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T19:09:53+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Kwaliteit van gegevens in het datalager | ProHoster","description":"De kwaliteit van gegevens in het datalager is een belangrijke voorwaarde voor het verkrijgen van waardevolle informatie.","canonical_url":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kachestvo-dannyh-v-hranilishhe","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nl_NL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 | ProHoster","og:description":"\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u043e\u0439 \u043a \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044e \u0446\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.","og:url":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kachestvo-dannyh-v-hranilishhe","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:09:53+00:00","article:modified_time":"2019-10-31T19:09:53+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"36155","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-22 02:15:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 01:49:44","updated":"2026-01-22 02:15:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/36155","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/comments?post=36155"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/36155\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media?parent=36155"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/categories?post=36155"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/tags?post=36155"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}