Կայքի վիճակագրություն և ձեր սեփական փոքր պահեստը

Webalizer-ը և Google Analytics-ը երկար տարիներ օգնել են ինձ պատկերացում կազմել այն մասին, թե ինչ է կատարվում կայքերում: Հիմա հասկանում եմ, որ դրանք շատ քիչ օգտակար տեղեկատվություն են տալիս։ Մուտք ունենալով ձեր access.log ֆայլին՝ շատ հեշտ է հասկանալ վիճակագրությունը և կիրառել միանգամայն տարրական գործիքներ, ինչպիսիք են sqlite, html, sql լեզուն և ծրագրավորման ցանկացած լեզու:

Webalizer-ի տվյալների աղբյուրը սերվերի access.log ֆայլն է: Ահա թե ինչ տեսք ունեն դրա տողերն ու թվերը, որոնցից պարզ է միայն տրաֆիկի ընդհանուր ծավալը.

Կայքի վիճակագրություն և ձեր սեփական փոքր պահեստը
Կայքի վիճակագրություն և ձեր սեփական փոքր պահեստը
Google Analytics-ի նման գործիքներն իրենք են տվյալներ հավաքում բեռնված էջից: Նրանք մեզ ցույց են տալիս մի երկու գծապատկեր և գծեր, որոնց հիման վրա հաճախ դժվար է լինում ճիշտ եզրակացություններ անել։ Միգուցե ավելի շատ ջանք պիտի գործադրվեր։ Չգիտեմ:

Այսպիսով, ի՞նչ էի ուզում տեսնել կայքի այցելուների վիճակագրության մեջ:

Օգտագործողի և բոտերի տրաֆիկ

Հաճախ կայքի տրաֆիկը սահմանափակ է, և անհրաժեշտ է տեսնել, թե որքան օգտակար տրաֆիկ է օգտագործվում: Օրինակ, այսպես.

Կայքի վիճակագրություն և ձեր սեփական փոքր պահեստը

SQL հաշվետվության հարցում

SELECT
1 as 'StackedArea: Traffic generated by Users and Bots',
strftime('%d.%m', datetime(FCT.EVENT_DT, 'unixepoch')) AS 'Day',
SUM(CASE WHEN USG.AGENT_BOT!='n.a.' THEN FCT.BYTES ELSE 0 END)/1000 AS 'Bots, KB',
SUM(CASE WHEN USG.AGENT_BOT='n.a.' THEN FCT.BYTES ELSE 0 END)/1000 AS 'Users, KB'
FROM
  FCT_ACCESS_USER_AGENT_DD FCT,
  DIM_USER_AGENT USG
WHERE FCT.DIM_USER_AGENT_ID=USG.DIM_USER_AGENT_ID
  AND datetime(FCT.EVENT_DT, 'unixepoch') >= date('now', '-14 day')
GROUP BY strftime('%d.%m', datetime(FCT.EVENT_DT, 'unixepoch'))
ORDER BY FCT.EVENT_DT

Գրաֆիկը ցույց է տալիս բոտերի մշտական ​​գործունեությունը: Հետաքրքիր կլիներ մանրամասն ուսումնասիրել ամենաակտիվ ներկայացուցիչներին։

Անհանգստացնող բոտեր

Մենք դասակարգում ենք բոտերը՝ հիմնվելով օգտագործողի գործակալի տվյալների վրա: Ամենօրյա տրաֆիկի վերաբերյալ լրացուցիչ վիճակագրությունը, հաջող և անհաջող հարցումների քանակը լավ պատկերացում է տալիս բոտի գործունեության մասին:

Կայքի վիճակագրություն և ձեր սեփական փոքր պահեստը

SQL հաշվետվության հարցում

SELECT 
1 AS 'Table: Annoying Bots',
MAX(USG.AGENT_BOT) AS 'Bot',
ROUND(SUM(FCT.BYTES)/1000 / 14.0, 1) AS 'KB per Day',
ROUND(SUM(FCT.IP_CNT) / 14.0, 1) AS 'IPs per Day',
ROUND(SUM(CASE WHEN STS.STATUS_GROUP IN ('Client Error', 'Server Error') THEN FCT.REQUEST_CNT / 14.0 ELSE 0 END), 1) AS 'Error Requests per Day',
ROUND(SUM(CASE WHEN STS.STATUS_GROUP IN ('Successful', 'Redirection') THEN FCT.REQUEST_CNT / 14.0 ELSE 0 END), 1) AS 'Success Requests per Day',
USG.USER_AGENT_NK AS 'Agent'
FROM FCT_ACCESS_USER_AGENT_DD FCT,
     DIM_USER_AGENT USG,
     DIM_HTTP_STATUS STS
WHERE FCT.DIM_USER_AGENT_ID = USG.DIM_USER_AGENT_ID
  AND FCT.DIM_HTTP_STATUS_ID = STS.DIM_HTTP_STATUS_ID
  AND USG.AGENT_BOT != 'n.a.'
  AND datetime(FCT.EVENT_DT, 'unixepoch') >= date('now', '-14 day')
GROUP BY USG.USER_AGENT_NK
ORDER BY 3 DESC
LIMIT 10

Այս դեպքում վերլուծության արդյունքը կայք մուտք գործելը սահմանափակելու որոշումն էր՝ այն ավելացնելով robots.txt ֆայլում։

User-agent: AhrefsBot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: bingbot
Crawl-delay: 5

Առաջին երկու բոտերն անհետացան աղյուսակից, իսկ MS ռոբոտները առաջին տողերից իջան:

Ամենամեծ ակտիվության օրն ու ժամը

Վերելքները տեսանելի են երթեւեկության մեջ։ Դրանք մանրամասն ուսումնասիրելու համար անհրաժեշտ է ընդգծել դրանց առաջացման ժամը, և պետք չէ ցուցադրել ժամանակի չափման բոլոր ժամերն ու օրերը։ Սա կհեշտացնի անհատական ​​հարցումները տեղեկամատյանում գտնելը, եթե անհրաժեշտ է մանրամասն վերլուծություն:

Կայքի վիճակագրություն և ձեր սեփական փոքր պահեստը

SQL հաշվետվության հարցում

SELECT
1 AS 'Line: Day and Hour of Hits from Users and Bots',
strftime('%d.%m-%H', datetime(EVENT_DT, 'unixepoch')) AS 'Date Time',
HIB AS 'Bots, Hits',
HIU AS 'Users, Hits'
FROM (
	SELECT
	EVENT_DT,
	SUM(CASE WHEN AGENT_BOT!='n.a.' THEN LINE_CNT ELSE 0 END) AS HIB,
	SUM(CASE WHEN AGENT_BOT='n.a.' THEN LINE_CNT ELSE 0 END) AS HIU
	FROM FCT_ACCESS_REQUEST_REF_HH
	WHERE datetime(EVENT_DT, 'unixepoch') >= date('now', '-14 day')
	GROUP BY EVENT_DT
	ORDER BY SUM(LINE_CNT) DESC
	LIMIT 10
) ORDER BY EVENT_DT

Գծապատկերում մենք դիտարկում ենք առաջին օրվա ամենաակտիվ ժամերը՝ 11, 14 և 20: Բայց հաջորդ օրը ժամը 13:XNUMX-ին բոտերն ակտիվ էին։

Օգտատիրոջ միջին օրական ակտիվությունը շաբաթական

Մենք գործերը մի փոքր դասավորեցինք ակտիվության և երթևեկության հետ կապված: Հաջորդ հարցը հենց օգտատերերի ակտիվությունն էր։ Նման վիճակագրության համար ցանկալի է երկարատև ագրեգացիոն ժամանակահատվածներ, օրինակ՝ մեկ շաբաթ:

Կայքի վիճակագրություն և ձեր սեփական փոքր պահեստը

SQL հաշվետվության հարցում

SELECT
1 as 'Line: Average Daily User Activity by Week',
strftime('%W week', datetime(FCT.EVENT_DT, 'unixepoch')) AS 'Week',
ROUND(1.0*SUM(FCT.PAGE_CNT)/SUM(FCT.IP_CNT),1) AS 'Pages per IP per Day',
ROUND(1.0*SUM(FCT.FILE_CNT)/SUM(FCT.IP_CNT),1) AS 'Files per IP per Day'
FROM
  FCT_ACCESS_USER_AGENT_DD FCT,
  DIM_USER_AGENT USG,
  DIM_HTTP_STATUS HST
WHERE FCT.DIM_USER_AGENT_ID=USG.DIM_USER_AGENT_ID
  AND FCT.DIM_HTTP_STATUS_ID = HST.DIM_HTTP_STATUS_ID
  AND USG.AGENT_BOT='n.a.' /* users only */
  AND HST.STATUS_GROUP IN ('Successful') /* good pages */
  AND datetime(FCT.EVENT_DT, 'unixepoch') > date('now', '-3 month')
GROUP BY strftime('%W week', datetime(FCT.EVENT_DT, 'unixepoch'))
ORDER BY FCT.EVENT_DT

Շաբաթական վիճակագրությունը ցույց է տալիս, որ միջինում մեկ օգտատեր օրական բացում է 1,6 էջ։ Այս դեպքում յուրաքանչյուր օգտվողի համար պահանջվող ֆայլերի քանակը կախված է կայքում նոր ֆայլերի ավելացումից:

Բոլոր հարցումները և դրանց կարգավիճակները

Webalizer-ը միշտ ցույց է տվել էջի հատուկ կոդեր, և ես միշտ ցանկացել եմ տեսնել միայն հաջողված հարցումների և սխալների քանակը:

Կայքի վիճակագրություն և ձեր սեփական փոքր պահեստը

SQL հաշվետվության հարցում

SELECT
1 as 'Line: All Requests by Status',
strftime('%d.%m', datetime(FCT.EVENT_DT, 'unixepoch')) AS 'Day',
SUM(CASE WHEN STS.STATUS_GROUP='Successful' THEN FCT.REQUEST_CNT ELSE 0 END) AS 'Success',
SUM(CASE WHEN STS.STATUS_GROUP='Redirection' THEN FCT.REQUEST_CNT ELSE 0 END) AS 'Redirect',
SUM(CASE WHEN STS.STATUS_GROUP='Client Error' THEN FCT.REQUEST_CNT ELSE 0 END) AS 'Customer Error',
SUM(CASE WHEN STS.STATUS_GROUP='Server Error' THEN FCT.REQUEST_CNT ELSE 0 END) AS 'Server Error'
FROM
  FCT_ACCESS_USER_AGENT_DD FCT,
  DIM_HTTP_STATUS STS
WHERE FCT.DIM_HTTP_STATUS_ID=STS.DIM_HTTP_STATUS_ID
  AND datetime(FCT.EVENT_DT, 'unixepoch') >= date('now', '-14 day')
GROUP BY strftime('%d.%m', datetime(FCT.EVENT_DT, 'unixepoch'))
ORDER BY FCT.EVENT_DT

Զեկույցը ցուցադրում է հարցումները, ոչ թե սեղմումները (հիթերը), ի տարբերություն LINE_CNT-ի, REQUEST_CNT չափանիշը հաշվարկվում է որպես COUNT (DISTINCT STG.REQUEST_NK): Նպատակը արդյունավետ իրադարձություններ ցուցադրելն է, օրինակ՝ MS բոտերը օրական հարյուրավոր անգամներ հարցում են անցկացնում robots.txt ֆայլի վրա, և այս դեպքում նման հարցումները կհաշվարկվեն մեկ անգամ։ Սա թույլ է տալիս հարթել ցատկերը գրաֆիկում:

Գրաֆիկից դուք կարող եք տեսնել բազմաթիվ սխալներ. դրանք գոյություն չունեցող էջեր են: Վերլուծության արդյունքը հեռավոր էջերից վերահղումների ավելացումն էր։

Վատ խնդրանքներ

Հարցումները մանրամասն ուսումնասիրելու համար կարող եք մանրամասն վիճակագրություն ցուցադրել:

Կայքի վիճակագրություն և ձեր սեփական փոքր պահեստը

SQL հաշվետվության հարցում

SELECT
  1 AS 'Table: Top Error Requests',
  REQ.REQUEST_NK AS 'Request',
  'Error' AS 'Request Status',
  ROUND(SUM(FCT.LINE_CNT) / 14.0, 1) AS 'Hits per Day',
  ROUND(SUM(FCT.IP_CNT) / 14.0, 1) AS 'IPs per Day',
  ROUND(SUM(FCT.BYTES)/1000 / 14.0, 1) AS 'KB per Day'
FROM
  FCT_ACCESS_REQUEST_REF_HH FCT,
  DIM_REQUEST_V_ACT REQ
WHERE FCT.DIM_REQUEST_ID = REQ.DIM_REQUEST_ID
  AND FCT.STATUS_GROUP IN ('Client Error', 'Server Error')
  AND datetime(FCT.EVENT_DT, 'unixepoch') >= date('now', '-14 day')
GROUP BY REQ.REQUEST_NK
ORDER BY 4 DESC
LIMIT 20

Այս ցանկը կպարունակի նաև բոլոր զանգերը, օրինակ՝ հարցումը դեպի /wp-login.php. Կարգավորելով սերվերի կողմից հարցումների վերագրանցման կանոնները՝ կարող եք հարմարեցնել սերվերի արձագանքը նման հարցումներին և ուղարկել դրանք սկզբնական էջ:

Այսպիսով, մի քանի պարզ զեկույցներ, որոնք հիմնված են սերվերի գրանցամատյանի ֆայլի վրա, բավականին ամբողջական պատկերացում են տալիս այն մասին, թե ինչ է կատարվում կայքում:

Ինչպե՞ս ստանալ տեղեկատվություն:

Sqlite տվյալների բազան բավարար է: Եկեք ստեղծենք աղյուսակներ՝ օժանդակ ETL գործընթացների գրանցման համար:

Կայքի վիճակագրություն և ձեր սեփական փոքր պահեստը

Աղյուսակի փուլ, որտեղ մենք կգրենք log ֆայլեր՝ օգտագործելով PHP: Երկու ընդհանուր աղյուսակ. Եկեք ստեղծենք ամենօրյա աղյուսակ՝ օգտատերերի գործակալների վիճակագրությամբ և հարցումների կարգավիճակներով: Ամեն ժամ՝ հարցումների, կարգավիճակի խմբերի և գործակալների վիճակագրությամբ: Համապատասխան չափումների չորս աղյուսակ.

Արդյունքը հետևյալ հարաբերական մոդելն է.

Տվյալների մոդելԿայքի վիճակագրություն և ձեր սեփական փոքր պահեստը

Script՝ sqlite տվյալների բազայում օբյեկտ ստեղծելու համար.

DDL օբյեկտի ստեղծում

DROP TABLE IF EXISTS DIM_USER_AGENT;
CREATE TABLE DIM_USER_AGENT (
  DIM_USER_AGENT_ID INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,
  USER_AGENT_NK     TEXT NOT NULL DEFAULT 'n.a.',
  AGENT_OS          TEXT NOT NULL DEFAULT 'n.a.',
  AGENT_ENGINE      TEXT NOT NULL DEFAULT 'n.a.',
  AGENT_DEVICE      TEXT NOT NULL DEFAULT 'n.a.',
  AGENT_BOT         TEXT NOT NULL DEFAULT 'n.a.',
  UPDATE_DT         INTEGER NOT NULL DEFAULT 0,
  UNIQUE (USER_AGENT_NK)
);
INSERT INTO DIM_USER_AGENT (DIM_USER_AGENT_ID) VALUES (-1);

Բեմ

Access.log ֆայլի դեպքում անհրաժեշտ է կարդալ, վերլուծել և գրել բոլոր հարցումները տվյալների բազայում։ Դա կարելի է անել կամ ուղղակիորեն օգտագործելով սկրիպտավորման լեզու կամ օգտագործելով sqlite գործիքներ:

Մատյան ֆայլի ձևաչափ.

//67.221.59.195 - - [28/Dec/2012:01:47:47 +0100] "GET /files/default.css HTTP/1.1" 200 1512 "https://project.edu/" "Mozilla/4.0"
//host ident auth time method request_nk protocol status bytes ref browser
$log_pattern = '/^([^ ]+) ([^ ]+) ([^ ]+) ([[^]]+]) "(.*) (.*) (.*)" ([0-9-]+) ([0-9-]+) "(.*)" "(.*)"$/';

Բանալին տարածում

Երբ չմշակված տվյալները գտնվում են տվյալների բազայում, դուք պետք է գրեք ստեղներ, որոնք չկան չափման աղյուսակներում: Այնուհետև հնարավոր կլինի կառուցել տեղեկանք չափումների վերաբերյալ: Օրինակ, DIM_REFERRER աղյուսակում բանալին երեք դաշտերի համակցություն է:

SQL բանալիների տարածման հարցում

/* Propagate the referrer from access log */
INSERT INTO DIM_REFERRER (HOST_NK, PATH_NK, QUERY_NK, UPDATE_DT)
SELECT
	CLS.HOST_NK,
	CLS.PATH_NK,
	CLS.QUERY_NK,
	STRFTIME('%s','now') AS UPDATE_DT
FROM (
	SELECT DISTINCT
	REFERRER_HOST AS HOST_NK,
	REFERRER_PATH AS PATH_NK,
	CASE WHEN INSTR(REFERRER_QUERY,'&sid')>0 THEN SUBSTR(REFERRER_QUERY, 1, INSTR(REFERRER_QUERY,'&sid')-1) /* отрезаем sid - специфика цмс */
	ELSE REFERRER_QUERY END AS QUERY_NK
	FROM STG_ACCESS_LOG
) CLS
LEFT OUTER JOIN DIM_REFERRER TRG
ON (CLS.HOST_NK = TRG.HOST_NK AND CLS.PATH_NK = TRG.PATH_NK AND CLS.QUERY_NK = TRG.QUERY_NK)
WHERE TRG.DIM_REFERRER_ID IS NULL

Օգտվողի գործակալի աղյուսակում տարածումը կարող է պարունակել բոտի տրամաբանություն, օրինակ՝ sql հատվածը.


CASE
WHEN INSTR(LOWER(CLS.BROWSER),'yandex.com')>0
	THEN 'yandex'
WHEN INSTR(LOWER(CLS.BROWSER),'googlebot')>0
	THEN 'google'
WHEN INSTR(LOWER(CLS.BROWSER),'bingbot')>0
	THEN 'microsoft'
WHEN INSTR(LOWER(CLS.BROWSER),'ahrefsbot')>0
	THEN 'ahrefs'
WHEN INSTR(LOWER(CLS.BROWSER),'mj12bot')>0
	THEN 'majestic-12'
WHEN INSTR(LOWER(CLS.BROWSER),'compatible')>0 OR INSTR(LOWER(CLS.BROWSER),'http')>0
	OR INSTR(LOWER(CLS.BROWSER),'libwww')>0 OR INSTR(LOWER(CLS.BROWSER),'spider')>0
	OR INSTR(LOWER(CLS.BROWSER),'java')>0 OR INSTR(LOWER(CLS.BROWSER),'python')>0
	OR INSTR(LOWER(CLS.BROWSER),'robot')>0 OR INSTR(LOWER(CLS.BROWSER),'curl')>0
	OR INSTR(LOWER(CLS.BROWSER),'wget')>0
	THEN 'other'
ELSE 'n.a.' END AS AGENT_BOT

Համախառն աղյուսակներ

Վերջապես, մենք բեռնելու ենք ընդհանուր աղյուսակները, օրինակ՝ ամենօրյա աղյուսակը կարող է բեռնվել հետևյալ կերպ.

SQL հարցում ագրեգատի բեռնման համար

/* Load fact from access log */
INSERT INTO FCT_ACCESS_USER_AGENT_DD (EVENT_DT, DIM_USER_AGENT_ID, DIM_HTTP_STATUS_ID, PAGE_CNT, FILE_CNT, REQUEST_CNT, LINE_CNT, IP_CNT, BYTES)
WITH STG AS (
SELECT
	STRFTIME( '%s', SUBSTR(TIME_NK,9,4) || '-' ||
	CASE SUBSTR(TIME_NK,5,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(TIME_NK,2,2) || ' 00:00:00' ) AS EVENT_DT,
	BROWSER AS USER_AGENT_NK,
	REQUEST_NK,
	IP_NR,
	STATUS,
	LINE_NK,
	BYTES
FROM STG_ACCESS_LOG
)
SELECT
	CAST(STG.EVENT_DT AS INTEGER) AS EVENT_DT,
	USG.DIM_USER_AGENT_ID,
	HST.DIM_HTTP_STATUS_ID,
	COUNT(DISTINCT (CASE WHEN INSTR(STG.REQUEST_NK,'.')=0 THEN STG.REQUEST_NK END) ) AS PAGE_CNT,
	COUNT(DISTINCT (CASE WHEN INSTR(STG.REQUEST_NK,'.')>0 THEN STG.REQUEST_NK END) ) AS FILE_CNT,
	COUNT(DISTINCT STG.REQUEST_NK) AS REQUEST_CNT,
	COUNT(DISTINCT STG.LINE_NK) AS LINE_CNT,
	COUNT(DISTINCT STG.IP_NR) AS IP_CNT,
	SUM(BYTES) AS BYTES
FROM STG,
	DIM_HTTP_STATUS HST,
	DIM_USER_AGENT USG
WHERE STG.STATUS = HST.STATUS_NK
  AND STG.USER_AGENT_NK = USG.USER_AGENT_NK
  AND CAST(STG.EVENT_DT AS INTEGER) > $param_epoch_from /* load epoch date */
  AND CAST(STG.EVENT_DT AS INTEGER) < strftime('%s', date('now', 'start of day'))
GROUP BY STG.EVENT_DT, HST.DIM_HTTP_STATUS_ID, USG.DIM_USER_AGENT_ID

Sqlite տվյալների բազան թույլ է տալիս գրել բարդ հարցումներ: WITH-ը պարունակում է տվյալների և բանալիների պատրաստում: Հիմնական հարցումը հավաքում է չափերի բոլոր հղումները:

Պայմանը թույլ չի տա նորից բեռնել պատմությունը՝ CAST(STG.EVENT_DT AS INTEGER) > $param_epoch_from, որտեղ պարամետրը հարցման արդյունքն է։
«SELECT COALESCE(MAX(EVENT_DT), «3600») ՈՐՊԵՍ ՎԵՐՋԻՆ_EVENT_EPOCH FCT_ACCESS_USER_AGENT_DD-ից»

Պայմանը կբեռնվի միայն ամբողջ օրը՝ CAST(STG.EVENT_DT ՈՐՊԵՍ ԻՆՏԵԳԵՐ) < strftime('%s', ամսաթիվ('հիմա', 'օրվա սկիզբ'))

Էջերի կամ ֆայլերի հաշվումն իրականացվում է պարզունակ եղանակով՝ կետ փնտրելով։

Ռեպորտաժ

Վիզուալիզացիայի բարդ համակարգերում հնարավոր է ստեղծել մետա-մոդել տվյալների բազայի օբյեկտների հիման վրա, դինամիկ կառավարել ֆիլտրերը և ագրեգացման կանոնները: Ի վերջո, բոլոր արժանապատիվ գործիքները առաջացնում են SQL հարցում:

Այս օրինակում մենք կստեղծենք պատրաստի SQL հարցումներ և կպահենք դրանք որպես դիտումներ տվյալների բազայում. սրանք հաշվետվություններ են:

Visualization

Բլեֆ. JavaScript-ի գեղեցիկ գրաֆիկներն օգտագործվել են որպես վիզուալիզացիայի գործիք

Դրա համար անհրաժեշտ էր PHP-ի միջոցով անցնել բոլոր հաշվետվությունները և աղյուսակներով html ֆայլ ստեղծել։

$sqls = array(
'SELECT * FROM RPT_ACCESS_USER_VS_BOT',
'SELECT * FROM RPT_ACCESS_ANNOYING_BOT',
'SELECT * FROM RPT_ACCESS_TOP_HOUR_HIT',
'SELECT * FROM RPT_ACCESS_USER_ACTIVE',
'SELECT * FROM RPT_ACCESS_REQUEST_STATUS',
'SELECT * FROM RPT_ACCESS_TOP_REQUEST_PAGE',
'SELECT * FROM RPT_ACCESS_TOP_REQUEST_REFERRER',
'SELECT * FROM RPT_ACCESS_NEW_REQUEST',
'SELECT * FROM RPT_ACCESS_TOP_REQUEST_SUCCESS',
'SELECT * FROM RPT_ACCESS_TOP_REQUEST_ERROR'
);

Գործիքը պարզապես պատկերացնում է արդյունքների աղյուսակները:

Արտադրողականություն

Որպես օրինակ օգտագործելով վեբ վերլուծությունը, հոդվածը նկարագրում է տվյալների պահեստներ կառուցելու համար անհրաժեշտ մեխանիզմները: Ինչպես երևում է արդյունքներից, ամենապարզ գործիքները բավարար են տվյալների խորը վերլուծության և արտացոլման համար:

Հետագայում, օգտագործելով այս պահոցը որպես օրինակ, մենք կփորձենք իրականացնել այնպիսի կառուցվածքներ, ինչպիսիք են դանդաղ փոփոխվող չափերը, մետատվյալները, ագրեգացման մակարդակները և տարբեր աղբյուրներից տվյալների ինտեգրումը:

Նաև, եկեք ավելի սերտ նայենք մեկ աղյուսակի վրա հիմնված ETL գործընթացները կառավարելու ամենապարզ գործիքին:

Վերադառնանք տվյալների որակի չափման և այս գործընթացի ավտոմատացման թեմային։

Մենք կուսումնասիրենք տեխնիկական միջավայրի և տվյալների պահեստների պահպանման խնդիրները, որի համար կիրականացնենք նվազագույն ռեսուրսներով պահեստավորման սերվեր, օրինակ՝ Raspberry Pi-ի հիման վրա։

Source: www.habr.com

Добавить комментарий