ProHoster > Blogg > Administration > Mer statistik om webbplatsen i sitt lilla förrÄd

Mer statistik om webbplatsen i sitt lilla förrÄd

Genom att analysera webbplatsstatistik fÄr vi en förstÄelse för vad som hÀnder med den. Resultaten jÀmförs med annan kunskap om produkten eller tjÀnsten, vilket förbÀttrar vÄr erfarenhet.

NÀr analysen av de första resultaten Àr klar, informationsbearbetning genomförd och slutsatser dragna, pÄbörjas nÀsta steg. Idéer uppstÄr: vad hÀnder om vi betraktar datan frÄn ett annat perspektiv?

I detta skede finns det begrÀnsningar i analysverktygen. Detta Àr en av orsakerna till att Google Analytics inte var tillrÀckligt för mig, pÄ grund av den begrÀnsade möjligheten att se och manipulera sina data.

Jag har alltid velat ladda ner grundlÀggande data (masterdata) snabbt, lÀgga till en annan nivÄ av aggregering eller pÄ annat sÀtt tolka befintliga vÀrden.

Det Àr lÀtt att göra i mitt lilla lagringsutrymme baserat pÄ access.log-filen, och för detta rÀcker det med SQL.

SÄ vilka frÄgor ville jag hitta svar pÄ?

Vad och nÀr Àndrades pÄ webbplatsen

Historiken för Àndringar av grundlÀggande data (masterdata) Àr alltid intressant.

Mer statistik om webbplatsen i sitt lilla förrÄd

SQL-frÄgan för rapporten

SELECT
	1 as 'SideStackedBar: InnehÄllsuppdateringar per mÄnad',
	strftime('%m/%Y', datetime(UPDATE_DT, 'unixepoch')) AS 'Dag',
	COUNT(CASE WHEN PAGE_TITLE != 'n.a.' THEN DIM_REQUEST_ID END) AS 'Uppdateringar av webbsidor',
	COUNT(CASE WHEN PAGE_DESCR = 'IMAGES' THEN DIM_REQUEST_ID END) AS 'Bilduppladdningar',
	COUNT(CASE WHEN PAGE_DESCR = 'VIDEO' THEN DIM_REQUEST_ID END) AS 'Videouppladdningar',
	COUNT(CASE WHEN PAGE_DESCR = 'AUDIO' THEN DIM_REQUEST_ID END) AS 'Ljuduppladdningar'
FROM DIM_REQUEST
WHERE PAGE_TITLE != 'n.a.' OR PAGE_DESCR != 'n.a.'
GROUP BY strftime('%m/%Y', datetime(UPDATE_DT, 'unixepoch'))
ORDER BY UPDATE_DT

Till exempel, vid en viss tidpunkt utfördes sökmotoroptimering eller nytt innehÄll lades till pÄ webbplatsen, vilket förvÀntas leda till en ökning av trafiken.

AnvÀndargrupper

Det enklaste exemplet pÄ en grupp kan vara anvÀndaragenten eller namnet pÄ operativsystemet.

MÀtningen av anvÀndaragenter har samlat in cirka tusen poster och jag var intresserad av att se dynamiken i fördelningen av agenter inom gruppen.

Mer statistik om webbplatsen i sitt lilla förrÄd

SQL-frÄgan för rapporten

SELECT
	1 AS 'SideStackedBar: AnvÀndaragenter',
	AGENT_OS AS 'OS',
	SUM(CASE WHEN AGENT_BOT = 'n.a.' THEN 1 ELSE 0 END ) AS 'AnvÀndaragent för anvÀndare',
	SUM(CASE WHEN AGENT_BOT != 'n.a.' THEN 1 ELSE 0 END ) AS 'AnvÀndaragent för botar'
FROM DIM_USER_AGENT
WHERE DIM_USER_AGENT_ID != -1
GROUP BY AGENT_OS
ORDER BY 3 DESC

De flesta olika kombinationerna av agenter kommer till webbplatsen frÄn WindowsvÀrlden. Bland de okÀnda fanns sÄdant som WhatsApp, PocketImageCache, PlayStation, SmartTV osv.

Aktivitet hos anvÀndargrupper per vecka

Genom att sammanfoga vissa grupper kan vi observera fördelningen av deras aktivitet.

Till exempel, anvÀndare av Linux-klustret förbrukar mer trafik pÄ webbplatsen Àn alla andra.

Mer statistik om webbplatsen i sitt lilla förrÄd

SQL-frÄgan för rapporten

SELECT
1 as 'StackedBar: Trafikvolym efter anvÀndar-OS och vecka',
strftime('%W vecka', datetime(FCT.EVENT_DT, 'unixepoch')) AS 'Vecka',
SUM(CASE WHEN USG.AGENT_OS IN ('Android', 'Linux') THEN FCT.BYTES ELSE 0 END)/1000 AS 'Android/Linux-anvÀndare',
SUM(CASE WHEN USG.AGENT_OS IN ('Windows') THEN FCT.BYTES ELSE 0 END)/1000 AS 'Windows-anvÀndare',
SUM(CASE WHEN USG.AGENT_OS IN ('Macintosh', 'iOS') THEN FCT.BYTES ELSE 0 END)/1000 AS 'Mac/iOS-anvÀndare',
SUM(CASE WHEN USG.AGENT_OS IN ('n.a.', 'BlackBerry') THEN FCT.BYTES ELSE 0 END)/1000 AS 'Övriga'
FROM
  FCT_ACCESS_USER_AGENT_DD FCT,
  DIM_USER_AGENT USG,
  DIM_HTTP_STATUS HST
WHERE FCT.DIM_USER_AGENT_ID=USG.DIM_USER_AGENT_ID
  AND FCT.DIM_HTTP_STATUS_ID = HST.DIM_HTTP_STATUS_ID
  AND USG.AGENT_BOT = 'n.a.' /* anvÀndare endast */
  AND HST.STATUS_GROUP IN ('FramgÄngsrik') /* bra sidor */
  AND datetime(FCT.EVENT_DT, 'unixepoch') > date('now', '-3 month')
GROUP BY strftime('%W vecka', datetime(FCT.EVENT_DT, 'unixepoch'))
ORDER BY FCT.EVENT_DT

Intensiv trafikförbrukning

Tabellen visar de mest aktiva anvÀndargrupperna och deras aktivitetsdag.
De mest aktiva tillhör Linux-klustret.

Mer statistik om webbplatsen i sitt lilla förrÄd

SQL-frÄgan för rapporten

SELECT
1 AS 'Tabell: AnvÀndaragent med hög anvÀndning',
strftime('%d.%m.%Y', datetime(FCT.EVENT_DT, 'unixepoch')) AS 'Dag',
ROUND(1.0*SUM(FCT.BYTES)/1000000, 1) AS 'Trafik MB',
ROUND(1.0*SUM(FCT.IP_CNT)/SUM(1), 1) AS 'IP-adresser',
ROUND(1.0*SUM(FCT.REQUEST_CNT)/SUM(1), 1) AS 'FörfrÄgningar',
USA.DIM_USER_AGENT_ID AS 'ID',
MAX(USA.USER_AGENT_NK) AS 'AnvÀndaragent',
MAX(USA.AGENT_BOT) AS 'Bot'
FROM
FCT_ACCESS_USER_AGENT_DD FCT,
DIM_USER_AGENT USA
WHERE FCT.DIM_USER_AGENT_ID = USA.DIM_USER_AGENT_ID
  AND datetime(FCT.EVENT_DT, 'unixepoch') >= date('now', '-30 day')
GROUP BY USA.DIM_USER_AGENT_ID, strftime('%d.%m.%Y', datetime(FCT.EVENT_DT, 'unixepoch')) 
ORDER BY SUM(FCT.BYTES) DESC, FCT.EVENT_DT
LIMIT 10

Genom att anvÀnda attributen dag och ID för agenten kan man snabbt hitta och följa statistiken dag för dag för specifika anvÀndargrupper. Vid behov kan detaljerad information snabbt hittas i staging-tabellen.

Hur fÄr man information?

Informationen frÄn filen access.log kan göras Ànnu mer effektiv genom att integrera ytterligare datakÀllor, införa nya aggregations- och grupperingsnivÄer.

Grunddata och enheter

Till grunddata hör information om enheter: webbsidor, bilder, video och ljudinnehĂ„ll, och i fallet med en butik — produkter.

SjÀlva enheterna fungerar som mÄtt, och processen för att spara förÀndringar i attributen kallas historisering. I databasen implementeras denna process ofta som lÄngsamt förÀnderliga dimensioner (SCD).

KÀllan till grunddata kan vara olika system, sÄ de behöver nÀstan alltid integreras.

LÄngsamt förÀndrande dimension

Dimensionen DIM_REQUEST kommer att innehÄlla information om förfrÄgningar pÄ webbplatsen i historisk form.

Tabell SCD2

SKAPA TABLE DIM_REQUEST ( 
  DIM_REQUEST_ID      INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,
  DIM_REQUEST_ID_HIST INTEGER NOT NULL DEFAULT -1,
  REQUEST_NK          TEXT NOT NULL DEFAULT 'n.a.', 
  PAGE_TITLE          TEXT NOT NULL DEFAULT 'n.a.',
  PAGE_DESCR          TEXT NOT NULL DEFAULT 'n.a.',
  PAGE_KEYWORDS       TEXT NOT NULL DEFAULT 'n.a.',
  DELETE_FLAG         INTEGER NOT NULL DEFAULT 0,
  UPDATE_DT           INTEGER NOT NULL DEFAULT 0,
  UNIQUE (REQUEST_NK, DIM_REQUEST_ID_HIST)
);
INSERT INTO DIM_REQUEST (DIM_REQUEST_ID) VALUES (-1);

Dessutom kommer vi att skapa en vy som alltid visar alla poster i det senaste tillstÄndet. Detta Àr nödvÀndigt för att ladda sjÀlva dimensionen.

Mer statistik om webbplatsen i sitt lilla förrÄd

Aktuell vy SCD2

/* Content: actual view on scd table */
SELECT HI.DIM_REQUEST_ID,
  HI.DIM_REQUEST_ID_HIST,
  HI.REQUEST_NK,
  HI.PAGE_TITLE,
  HI.PAGE_DESCR,
  HI.PAGE_KEYWORDS,
  NK.CNT AS HIST_CNT,
  HI.DELETE_FLAG,
  strftime('%d.%m.%Y %H:%M', datetime(HI.UPDATE_DT, 'unixepoch')) AS UPDATE_DT
FROM
  ( SELECT REQUEST_NK, MAX(DIM_REQUEST_ID) AS DIM_REQUEST_ID, SUM(1) AS CNT
    FROM DIM_REQUEST
    GROUP BY REQUEST_NK
  ) NK,
  DIM_REQUEST HI
WHERE 1 = 1
  AND NK.REQUEST_NK = HI.REQUEST_NK
  AND NK.DIM_REQUEST_ID = HI.DIM_REQUEST_ID;

Och en vy dÀr historisk information för varje post samlas. Detta Àr nödvÀndigt för att skapa en historiskt korrekt koppling till fakta.

Mer statistik om webbplatsen i sitt lilla förrÄd

Historisk vy SCD2

/* Content: actual view on scd table */
SELECT SCD.DIM_REQUEST_ID,
  SCD.DIM_REQUEST_ID_HIST,
  SCD.REQUEST_NK,
  SCD.PAGE_TITLE,
  SCD.PAGE_DESCR,
  SCD.PAGE_KEYWORDS,
  SCD.DELETE_FLAG,
  CASE
    WHEN HIS.UPDATE_DT IS NULL
    THEN 1
    ELSE 0 END ACTIVE_FLAG,
  SCD.DIM_REQUEST_ID_HIST AS ID_FROM,
  SCD.DIM_REQUEST_ID AS ID_TO,
  CASE
    WHEN SCD.DIM_REQUEST_ID_HIST=-1
    THEN 3600
    ELSE IFNULL(SCD.UPDATE_DT,3600)
  END AS TIME_FROM,
  CASE
    WHEN HIS.UPDATE_DT IS NULL
    THEN 253370764800
    ELSE HIS.UPDATE_DT
  END AS TIME_TO,
  CASE
    WHEN SCD.DIM_REQUEST_ID_HIST=-1
    THEN STRFTIME('%d.%m.%Y %H:%M', DATETIME(3600, 'unixepoch'))
    ELSE STRFTIME('%d.%m.%Y %H:%M', DATETIME(IFNULL(SCD.UPDATE_DT,3600), 'unixepoch'))
  END AS ACTIVE_FROM,
  CASE
    WHEN HIS.UPDATE_DT IS NULL
    THEN STRFTIME('%d.%m.%Y %H:%M', DATETIME(253370764800, 'unixepoch'))
    ELSE STRFTIME('%d.%m.%Y %H:%M', DATETIME(HIS.UPDATE_DT, 'unixepoch'))
  END AS ACTIVE_TO
FROM
  DIM_REQUEST SCD
  LEFT OUTER JOIN DIM_REQUEST HIS
  ON SCD.REQUEST_NK = HIS.REQUEST_NK AND SCD.DIM_REQUEST_ID = HIS.DIM_REQUEST_ID_HIST;

Databearbetning

Kompaktering (databearbetning) gör det möjligt att bedöma data pÄ en högre nivÄ och upptÀcka anomalier och trender som inte syns i detaljrapporter.

Till exempel, i dimensionen med statuskoder DIM_HTTP_STATUS kommer vi att lÀgga till en grupp:

STATUS / GRUPP
0xx / n.a.
1xx / Informativ
2xx / FramgÄngsrik
3xx / Omdirigering
4xx / Klientfel
5xx / Serverfel

Dimensionen för anvÀndaragenter DIM_USER_AGENT kommer att innehÄlla attributen AGENT_OS och AGENT_BOT, som ansvarar för grupperna. Dessa kan fyllas i under ETL-processen:

Ladda DIM_USER_AGENT

/* Propagate the user agent from access log */
INSERT INTO DIM_USER_AGENT (USER_AGENT_NK, AGENT_OS, AGENT_ENGINE, AGENT_DEVICE, AGENT_BOT, UPDATE_DT)
WITH CLS AS (
	SELECT BROWSER
	FROM STG_ACCESS_LOG WHERE LENGTH(BROWSER)>1
	GROUP BY BROWSER
)
SELECT
	CLS.BROWSER AS USER_AGENT_NK,
	CASE
	WHEN INSTR(CLS.BROWSER,'Macintosh')>0
		THEN 'Macintosh'
	WHEN INSTR(CLS.BROWSER,'iPhone')>0
			 OR INSTR(CLS.BROWSER,'iPad')>0
			 OR INSTR(CLS.BROWSER,'iPod')>0
			 OR INSTR(CLS.BROWSER,'Apple TV')>0
			 OR INSTR(CLS.BROWSER,'Darwin')>0
		THEN 'iOS'
	WHEN INSTR(CLS.BROWSER,'Android')>0
		THEN 'Android'
	WHEN INSTR(CLS.BROWSER,'X11;')>0 OR INSTR(CLS.BROWSER,'Wayland;')>0 OR INSTR(CLS.BROWSER,'linux-gnu')>0
		THEN 'Linux'
	WHEN INSTR(CLS.BROWSER,'BB10;')>0 OR INSTR(CLS.BROWSER,'BlackBerry')>0
		THEN 'BlackBerry'
	WHEN INSTR(CLS.BROWSER,'Windows')>0
		THEN 'Windows'
	ELSE 'n.a.' END AS AGENT_OS, -- OS
	CASE
	WHEN INSTR(CLS.BROWSER,'AppleCoreMedia')>0
		THEN 'AppleWebKit'
	WHEN INSTR(CLS.BROWSER,') ')>1 AND LENGTH(CLS.BROWSER)>INSTR(CLS.BROWSER,') ')
		THEN COALESCE(SUBSTR(CLS.BROWSER, INSTR(CLS.BROWSER,') ')+2, LENGTH(CLS.BROWSER) - INSTR(CLS.BROWSER,') ')-1), 'N/A')
	ELSE 'n.a.' END AS AGENT_ENGINE, -- Engine
	CASE
	WHEN INSTR(CLS.BROWSER,'iPhone')>0
		THEN 'iPhone'
	WHEN INSTR(CLS.BROWSER,'iPad')>0
		THEN 'iPad'
	WHEN INSTR(CLS.BROWSER,'iPod')>0
		THEN 'iPod'
	WHEN INSTR(CLS.BROWSER,'Apple TV')>0
		THEN 'Apple TV'
	WHEN INSTR(CLS.BROWSER,'Android ')>0 AND INSTR(CLS.BROWSER,'Build')>0
		THEN COALESCE(SUBSTR(CLS.BROWSER, INSTR(CLS.BROWSER,'Android '), INSTR(CLS.BROWSER,'Build')-INSTR(CLS.BROWSER,'Android ')), 'n.a.')
	WHEN INSTR(CLS.BROWSER,'Android ')>0 AND INSTR(CLS.BROWSER,'MIUI')>0
		THEN COALESCE(SUBSTR(CLS.BROWSER, INSTR(CLS.BROWSER,'Android '), INSTR(CLS.BROWSER,'MIUI')-INSTR(CLS.BROWSER,'Android ')), 'n.a.')
	ELSE 'n.a.' END AS AGENT_DEVICE, -- Device
	CASE
	WHEN INSTR(LOWER(CLS.BROWSER),'yandex.com')>0
		THEN 'yandex'
	WHEN INSTR(LOWER(CLS.BROWSER),'googlebot')>0
		THEN 'google'
	WHEN INSTR(LOWER(CLS.BROWSER),'bingbot')>0
		THEN 'microsoft'
	WHEN INSTR(LOWER(CLS.BROWSER),'ahrefsbot')>0
		THEN 'ahrefs'
	WHEN INSTR(LOWER(CLS.BROWSER),'jobboersebot')>0 OR INSTR(LOWER(CLS.BROWSER),'jobkicks')>0
		THEN 'job.de'
	WHEN INSTR(LOWER(CLS.BROWSER),'mail.ru')>0
		THEN 'mail.ru'
	WHEN INSTR(LOWER(CLS.BROWSER),'baiduspider')>0
		THEN 'baidu'
	WHEN INSTR(LOWER(CLS.BROWSER),'mj12bot')>0
		THEN 'majestic-12'
	WHEN INSTR(LOWER(CLS.BROWSER),'duckduckgo')>0
		THEN 'duckduckgo'
	WHEN INSTR(LOWER(CLS.BROWSER),'bytespider')>0
		THEN 'bytespider'
	WHEN INSTR(LOWER(CLS.BROWSER),'360spider')>0
		THEN 'so.360.cn'
	WHEN INSTR(LOWER(CLS.BROWSER),'compatible')>0 OR INSTR(LOWER(CLS.BROWSER),'http')>0
		OR INSTR(LOWER(CLS.BROWSER),'libwww')>0 OR INSTR(LOWER(CLS.BROWSER),'spider')>0
		OR INSTR(LOWER(CLS.BROWSER),'java')>0 OR INSTR(LOWER(CLS.BROWSER),'python')>0
		OR INSTR(LOWER(CLS.BROWSER),'robot')>0 OR INSTR(LOWER(CLS.BROWSER),'curl')>0 OR INSTR(LOWER(CLS.BROWSER),'wget')>0
		THEN 'other'
	ELSE 'n.a.' END AS AGENT_BOT, -- Bot
	STRFTIME('%s','now') AS UPDATE_DT
FROM CLS
LEFT OUTER JOIN DIM_USER_AGENT TRG
ON CLS.BROWSER = TRG.USER_AGENT_NK
WHERE TRG.DIM_USER_AGENT_ID IS NULL

Dataintegration

Inkluderar organisationen av datatransfer frÄn operativsystemet till rapporteringen. För detta ÀndamÄl mÄste vi skapa en staging-tabell med en struktur som liknar kÀllan.

I staging fÄr informationen om webbsidor frÄn backupen av CMS i form av insÀttningsfrÄgor.

Laddningen av den historiska tabellen DIM_REQUEST med grunddata sker i tre steg: laddning av nya nycklar och attribut, uppdatering av befintliga och registrering av borttagna poster.

Ladda nya poster SCD2

/* Load request table SCD from master data */
INSERT INTO DIM_REQUEST (DIM_REQUEST_ID_HIST, REQUEST_NK, PAGE_TITLE, PAGE_DESCR, PAGE_KEYWORDS, DELETE_FLAG, UPDATE_DT)
WITH CLS  AS ( -- prepare keys
	SELECT
	'/' || NAME AS REQUEST_NK,
	TITLE       AS PAGE_TITLE,
	CASE WHEN DESCRIPTION = '' OR DESCRIPTION IS NULL
	     THEN 'n.a.' ELSE DESCRIPTION
	END AS PAGE_DESCR,
	CASE WHEN KEYWORDS = '' OR KEYWORDS IS NULL
	     THEN 'n.a.' ELSE KEYWORDS
	END AS PAGE_KEYWORDS
	FROM STG_CMS_MENU
	WHERE CONTENT_TYPE != 'folder' -- only web pages
	  AND PAGE_TITLE != 'n.a.' -- master data which make sense
)
/* new records from stage: CLS */
SELECT
	-1 AS DIM_REQUEST_ID_HIST,
	CLS.REQUEST_NK,
	CLS.PAGE_TITLE,
	CLS.PAGE_DESCR,
	CLS.PAGE_KEYWORDS,
	0 AS DELETE_FLAG,
	STRFTIME('%s','now') AS UPDATE_DT
FROM CLS
LEFT OUTER JOIN
 (
	SELECT
	DIM_REQUEST_ID,
	REQUEST_NK,
	PAGE_TITLE,
	PAGE_DESCR,
	PAGE_KEYWORDS
	FROM DIM_REQUEST_V_ACT
) TRG ON CLS.REQUEST_NK = TRG.REQUEST_NK
WHERE TRG.REQUEST_NK IS NULL -- no such record in data mart

Uppdatera attribut SCD2

/* Load request table SCD from master data */
INSERT INTO DIM_REQUEST (DIM_REQUEST_ID_HIST, REQUEST_NK, PAGE_TITLE, PAGE_DESCR, PAGE_KEYWORDS, DELETE_FLAG, UPDATE_DT)
WITH CLS  AS ( -- prepare keys
	SELECT
	'/' || NAME AS REQUEST_NK,
	TITLE       AS PAGE_TITLE,
	CASE WHEN DESCRIPTION = '' OR DESCRIPTION IS NULL
	     THEN 'n.a.' ELSE DESCRIPTION
	END AS PAGE_DESCR,
	CASE WHEN KEYWORDS = '' OR KEYWORDS IS NULL
	     THEN 'n.a.' ELSE KEYWORDS
	END AS PAGE_KEYWORDS
	FROM STG_CMS_MENU
	WHERE CONTENT_TYPE != 'folder' -- only web pages
	  AND PAGE_TITLE != 'n.a.' -- master data which make sense
)
/* updated records from stage: CLS and build reference to history: HIST */
SELECT
	HIST.DIM_REQUEST_ID AS DIM_REQUEST_ID_HIST,
	HIST.REQUEST_NK,
	CLS.PAGE_TITLE,
	CLS.PAGE_DESCR,
	CLS.PAGE_KEYWORDS,
	0 AS DELETE_FLAG,
	STRFTIME('%s','now') AS UPDATE_DT
FROM CLS,
     DIM_REQUEST_V_ACT TRG,
     DIM_REQUEST HIST
WHERE CLS.REQUEST_NK = TRG.REQUEST_NK
  AND TRG.DIM_REQUEST_ID = HIST.DIM_REQUEST_ID
  AND ( CLS.PAGE_TITLE != HIST.PAGE_TITLE /* changes only */
     OR CLS.PAGE_DESCR != HIST.PAGE_DESCR
     OR CLS.PAGE_KEYWORDS != HIST.PAGE_KEYWORDS )

Borttagna poster SCD2

/* Load request table SCD from master data */
INSERT INTO DIM_REQUEST (DIM_REQUEST_ID_HIST, REQUEST_NK, PAGE_TITLE, PAGE_DESCR, PAGE_KEYWORDS, DELETE_FLAG, UPDATE_DT)
WITH CLS  AS ( -- prepare keys
	SELECT
	'/' || NAME AS REQUEST_NK,
	TITLE       AS PAGE_TITLE
	FROM STG_CMS_MENU
	WHERE CONTENT_TYPE != 'folder' -- only web pages
	  AND PAGE_TITLE != 'n.a.' -- master data which make sense
)
/*  deleted records in data mart: TRG */
SELECT
	TRG.DIM_REQUEST_ID AS DIM_REQUEST_ID_HIST,
	TRG.REQUEST_NK,
	TRG.PAGE_TITLE,
	TRG.PAGE_DESCR,
	TRG.PAGE_KEYWORDS,
	1 AS DELETE_FLAG,
	STRFTIME('%s','now') AS UPDATE_DT
FROM (
	SELECT
	DIM_REQUEST_ID,
	REQUEST_NK,
	PAGE_TITLE,
	PAGE_DESCR,
	PAGE_KEYWORDS
	FROM DIM_REQUEST_V_ACT
	WHERE PAGE_TITLE != 'n.a.' -- track master data only
	  AND DELETE_FLAG = 0 -- not already deleted
) TRG
LEFT OUTER JOIN CLS ON TRG.REQUEST_NK = CLS.REQUEST_NK
WHERE CLS.REQUEST_NK IS NULL -- no such record in stage

Varje datakÀlla mÄste Ätföljas av en formell beskrivning, till exempel i en fil readme.txt:

Mottagare av data formellt / tekniskt: namn, e-postadress
Leverantör av data formellt / tekniskt: namn, e-postadress
DatakÀlla: sökvÀg till filen, tjÀnsternas namn
Information om Ätkomst till data: anvÀndare och lösenord

Dataflödesschemat kommer att hjÀlpa vid underhÄll och uppdateringar, till exempel i textformat:

Flytt av fil. KĂ€lla: ftp.domain.net: /logs/access.log MĂ„l: /var/www/access.log
LĂ€sa i staging. MĂ„l: STG_ACCESS_LOG
Laddning och transformering. Syfte: FCT_ACCESS_REQUEST_REF_HH
Laddning och transformering. Syfte: FCT_ACCESS_USER_AGENT_DD
Rapport. Syfte: /var/www/report.html

Utdata

Artikeln beskriver mekanismer som integration av grunddata och införande av nya nivÄer av aggregering. Dessa Àr nödvÀndiga vid byggandet av datalager för att fÄ ytterligare insikter och förbÀttra informationskvaliteten.

KĂ€lla: habr.com

Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar đŸ”„ Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar | ProHoster