Peiriannydd - wedi'i gyfieithu o'r Lladin - wedi'i ysbrydoli.
Gall peiriannydd wneud unrhyw beth. (c) R. Diesel.
Epigraffau.
Neu stori am pam mae angen i weinyddwr cronfa ddata gofio ei orffennol rhaglennu.
Rhagair
Mae pob enw wedi ei newid. Mae gemau ar hap. Barn bersonol yr awdur yn unig yw'r deunydd.
Gwadiad gwarantau: yn y gyfres arfaethedig o erthyglau ni fydd disgrifiad manwl a chywir o'r tablau a'r sgriptiau a ddefnyddiwyd. Ni ellir defnyddio deunyddiau ar unwaith "FEL Y MAE".
Yn gyntaf, oherwydd y swm mawr o ddeunydd,
yn ail, oherwydd y eglurder gyda sylfaen gynhyrchu cwsmer go iawn.
Felly, dim ond syniadau a disgrifiadau yn y ffurf fwyaf cyffredinol a roddir yn yr erthyglau.
Efallai yn y dyfodol y bydd y system yn tyfu i lefel y postio ar GitHub, neu efallai ddim. Bydd amser yn dangos.
Dechrau'r stori -'.
Beth ddigwyddodd o ganlyniad, yn y termau mwyaf cyffredinol - "»
Pam fod angen hyn i gyd arnaf?
Wel, yn gyntaf, er mwyn peidio ag anghofio eich hun, gan gofio'r dyddiau gogoneddus mewn ymddeoliad.
Yn ail, i systemateiddio'r hyn a ysgrifennwyd. Ar gyfer fy hun yn barod, weithiau byddaf yn dechrau drysu ac anghofio rhannau ar wahân.
Wel, ac yn bwysicaf oll - yn sydyn gall ddod yn ddefnyddiol i rywun a helpu i beidio ag ailddyfeisio'r olwyn a pheidio â chasglu rhaca. Mewn geiriau eraill, gwella'ch karma (nid Khabrovsky). Canys y peth mwyaf gwerthfawr yn y byd hwn yw syniadau. Y prif beth yw dod o hyd i syniad. Ac mae troi'r syniad yn realiti eisoes yn fater technegol yn unig.
Felly gadewch i ni ddechrau'n araf ...
Ffurfio'r broblem.
Ar gael:
PostgreSQL(10.5), llwyth cymysg (OLTP + DSS), llwyth canolig i ysgafn, wedi'i gynnal yn y cwmwl AWS.
Nid oes unrhyw fonitro cronfa ddata, cyflwynir monitro seilwaith fel offer AWS safonol mewn cyfluniad lleiaf posibl.
Mae'n ofynnol:
Monitro perfformiad a statws y gronfa ddata, canfod a chael gwybodaeth gychwynnol i wneud y gorau o ymholiadau cronfa ddata trwm.
Cyflwyniad byr neu ddadansoddiad o atebion
I ddechrau, gadewch i ni geisio dadansoddi'r opsiynau ar gyfer datrys y broblem o safbwynt dadansoddiad cymharol o'r manteision a'r trafferthion i'r peiriannydd, a gadewch i'r rhai sydd i fod ar y rhestr staff ddelio â'r manteision a'r colledion. o reolaeth.
Opsiwn 1 - "Gweithio yn ôl y galw"
Rydyn ni'n gadael popeth fel y mae. Os nad yw'r cwsmer yn fodlon â rhywbeth ym maes iechyd, perfformiad y gronfa ddata neu'r cais, bydd yn hysbysu'r peirianwyr DBA trwy e-bost neu trwy greu digwyddiad yn y blwch tocynnau.
Bydd peiriannydd, ar ôl derbyn hysbysiad, yn deall y broblem, yn cynnig ateb, neu'n rhoi'r gorau i'r broblem, gan obeithio y bydd popeth yn datrys ei hun, a beth bynnag, bydd popeth yn cael ei anghofio yn fuan.
Bara sinsir a thoesenni, cleisiau a thwmpathauBara sinsir a thoesenni:
1. Dim byd ychwanegol i'w wneud
2. Mae yna bob amser gyfle i fynd allan a mynd yn fudr.
3. Llawer o amser y gallwch ei dreulio ar eich pen eich hun.
Cleisiau a thwmpathau:
1. Yn hwyr neu'n hwyrach, bydd y cwsmer yn meddwl am hanfod bod a chyfiawnder cyffredinol yn y byd hwn ac unwaith eto yn gofyn y cwestiwn iddo'i hun - pam ydw i'n talu fy arian iddynt? Mae'r canlyniad bob amser yr un fath - yr unig gwestiwn yw pan fydd y cwsmer yn diflasu ac yn chwifio hwyl fawr. Ac mae'r porthwr yn wag. Mae'n drist.
2. Mae datblygiad peiriannydd yn sero.
3. Anawsterau wrth amserlennu gwaith a llwytho
Opsiwn 2 - “Dawnsio gyda thambwrîn, gwisgo a gwisgo esgidiau”
Paragraff 1-Pam mae angen system fonitro, byddwn yn derbyn pob cais. Rydym yn lansio criw o bob math o ymholiadau i'r geiriadur data a golygfeydd deinamig, yn troi pob math o gownteri ymlaen, yn dod â phopeth i mewn i dablau, yn dadansoddi rhestrau a thablau o bryd i'w gilydd, fel petai. O ganlyniad, mae gennym graffiau, tablau, adroddiadau hardd ai peidio. Y prif beth - byddai hynny'n fwy, yn fwy.
Paragraff 2-Cynhyrchu gweithgaredd-rhedeg y dadansoddiad o hyn i gyd.
Paragraff 3-Rydym yn paratoi dogfen benodol, rydym yn galw'r ddogfen hon, yn syml - "sut rydym yn arfogi'r gronfa ddata."
Paragraff 4- Mae'r cwsmer, gan weld yr holl wychder hwn o graffiau a ffigurau, mewn hyder naïf plentynnaidd - nawr bydd popeth yn gweithio i ni, yn fuan. Ac, yn hawdd ac yn ddi-boen yn rhan o'u hadnoddau ariannol. Mae rheolwyr hefyd yn siŵr bod ein peirianwyr yn gweithio'n galed. Uchafswm llwytho.
Paragraff 5- Ailadroddwch gam 1 yn rheolaidd.
Bara sinsir a thoesenni, cleisiau a thwmpathauBara sinsir a thoesenni:
1. Mae bywyd rheolwyr a pheirianwyr yn syml, yn rhagweladwy ac yn llawn gweithgaredd. Mae popeth yn fwrlwm, mae pawb yn brysur.
2. Nid yw bywyd y cwsmer hefyd yn ddrwg - mae bob amser yn siŵr bod angen i chi fod yn amyneddgar ychydig a bydd popeth yn gweithio allan. Ddim yn gwella, wel, wel - mae'r byd hwn yn annheg, yn y bywyd nesaf - lwcus.
Cleisiau a thwmpathau:
1. Yn hwyr neu'n hwyrach, bydd darparwr doethach o wasanaeth tebyg a fydd yn gwneud yr un peth, ond ychydig yn rhatach. Ac os yw'r canlyniad yr un peth, pam talu mwy. A fydd eto'n arwain at ddiflaniad y peiriant bwydo.
2. Mae'n ddiflas. Pa mor ddiflas yw unrhyw weithgaredd bach ystyrlon.
3. Fel yn y fersiwn flaenorol - dim datblygiad. Ond ar gyfer peiriannydd, y minws yw, yn wahanol i'r opsiwn cyntaf, yma mae angen i chi gynhyrchu IDB yn gyson. Ac mae hynny'n cymryd amser. Pa un y gellir ei wario er budd eich anwylyd. Oherwydd na allwch ofalu amdanoch chi'ch hun, mae pawb yn poeni amdanoch chi.
Opsiwn 3 - Nid oes angen dyfeisio beic, mae angen i chi ei brynu a'i reidio.
Mae peirianwyr o gwmnïau eraill yn fwriadol yn bwyta pizza gyda chwrw (o, amseroedd godidog St Petersburg yn y 90au). Gadewch i ni ddefnyddio systemau monitro sy'n cael eu gwneud, eu dadfygio a gweithio, a siarad yn gyffredinol, maent yn dod â buddion (wel, o leiaf i'w crewyr).
Bara sinsir a thoesenni, cleisiau a thwmpathauBara sinsir a thoesenni:
1. Nid oes angen gwastraffu amser yn dyfeisio'r hyn a ddyfeisiwyd eisoes. Cymryd a defnyddio.
2. Nid ffyliaid sy'n ysgrifennu systemau monitro, ac wrth gwrs maent yn ddefnyddiol.
3. Mae systemau monitro gweithredol fel arfer yn darparu gwybodaeth ddefnyddiol wedi'i hidlo.
Cleisiau a thwmpathau:
1. Nid peiriannydd yw'r peiriannydd yn yr achos hwn, ond defnyddiwr cynnyrch rhywun arall neu ddefnyddiwr.
2. Rhaid i'r cwsmer fod yn argyhoeddedig o'r angen i brynu rhywbeth nad yw'n gyffredinol eisiau ei ddeall, ac ni ddylai, ac yn gyffredinol mae'r gyllideb ar gyfer y flwyddyn wedi'i chymeradwyo ac ni fydd yn newid. Yna mae angen i chi ddyrannu adnodd ar wahân, ei ffurfweddu ar gyfer system benodol. Y rhai. Yn gyntaf mae angen i chi dalu, talu a thalu eto. Ac mae'r cwsmer yn stingy. Dyma norm y bywyd hwn.
Beth i'w wneud, Chernyshevsky? Mae eich cwestiwn yn berthnasol iawn. (Gyda)
Yn yr achos penodol hwn a'r sefyllfa bresennol, gallwch chi wneud ychydig yn wahanol - gadewch i ni wneud ein system fonitro ein hunain.
Wel, nid system, wrth gwrs, yn ystyr llawn y gair, mae hon yn rhy uchel a rhyfygus, ond o leiaf rhywsut ei gwneud hi'n haws i chi'ch hun a chasglu mwy o wybodaeth i ddatrys digwyddiadau perfformiad. Er mwyn peidio â chael eich hun mewn sefyllfa - “ewch yno, dwi ddim yn gwybod ble, ffeindio hwnna, dwi ddim yn gwybod beth.”
Beth yw manteision ac anfanteision yr opsiwn hwn:
Manteision:
1. Mae'n ddiddorol. Wel, o leiaf yn fwy diddorol na'r "ffeil data crebachu, newid gofod bwrdd, ac ati" gyson.
2. Sgiliau newydd a datblygiad newydd yw'r rhain. Pa rai yn y dyfodol fydd yn hwyr neu'n hwyrach yn rhoi sinsir haeddiannol a thoesenni.
Cons:
1. Gorfod gweithio. Gweithio llawer.
2. Bydd yn rhaid i chi esbonio ystyr a safbwyntiau pob gweithgaredd yn rheolaidd.
3. Bydd yn rhaid aberthu rhywbeth, oherwydd mae'r unig adnodd sydd ar gael i'r peiriannydd - amser - wedi'i gyfyngu gan y Bydysawd.
4. Y gwaethaf a mwyaf annymunol - o ganlyniad, gall sothach fel "Nid llygoden, nid broga, ond anifail bach anhysbys" droi allan.
Nid yw'r sawl nad yw'n peryglu rhywbeth yn yfed siampên.
Felly, mae'r hwyl yn dechrau.
Syniad cyffredinol - sgematig
(Darlun a gymerwyd o'r erthygl «")
Esboniad:
- Mae'r gronfa ddata darged wedi'i gosod gyda'r estyniad PostgreSQL safonol “pg_stat_statements”.
- Yn y gronfa ddata monitro, rydym yn creu set o dablau gwasanaeth i storio'r hanes pg_stat_statements yn y cam cychwynnol ac i ffurfweddu metrigau a monitro yn y dyfodol
- Ar y gwesteiwr monitro, rydym yn creu set o sgriptiau bash, gan gynnwys y rhai ar gyfer cynhyrchu digwyddiadau yn y system docynnau.
Byrddau gwasanaeth
I ddechrau, ERD wedi'i symleiddio'n sgematig, beth ddigwyddodd yn y diwedd:
Disgrifiad byr o'r tablauendpoint - gwesteiwr, pwynt cysylltu â'r enghraifft
cronfa ddata - opsiynau cronfa ddata
tud_stat_hanes - tabl hanesyddol ar gyfer storio cipluniau dros dro o olwg pg_stat_statements o'r gronfa ddata darged
geirfa_metreg - Geiriadur metrigau perfformiad
metrig_config - cyfluniad metrigau unigol
metrig - metrig penodol ar gyfer y cais sy'n cael ei fonitro
metrig_alert_hanes - hanes rhybuddion perfformiad
log_query - tabl gwasanaeth ar gyfer storio cofnodion wedi'u dosrannu o ffeil log PostgreSQL a lawrlwythwyd o AWS
llinell sylfaen - paramedrau'r cyfnod amser a ddefnyddir fel y sylfaen
pwynt gwirio - cyfluniad metrigau ar gyfer gwirio statws y gronfa ddata
checkpoint_alert_hanes - hanes rhybuddio o fetrigau gwirio statws cronfa ddata
pg_stat_db_queries — tabl gwasanaeth o geisiadau gweithredol
log gweithgaredd — tabl gwasanaeth log gweithgaredd
trap_oid - tabl gwasanaeth ffurfweddu trap
Cam 1 - casglu ystadegau perfformiad a chael adroddiadau
Defnyddir tabl i storio gwybodaeth ystadegol. tud_stat_hanes
pg_stat_hanes strwythur tabl
Tabl " public.pg_stat_history " Colofn | math | Addaswyr -------------------+----------------------+---- ----------------------------- id | cyfanrif | not null default nextval('pg_stat_history_id_seq'::regclass) snapshot_timestamp | stamp amser heb gylchfa amser | cronfa ddata_id | cyfanrif | dbid | oid | defnyddiwr | oid | queryid | bigint | ymholiad | testun | galwadau | bigint | cyfanswm_amser | trachywiredd dwbl | min_amser | trachywiredd dwbl | uchafswm_amser | trachywiredd dwbl | cymedr_amser | trachywiredd dwbl | stddev_amser | trachywiredd dwbl | rhesi | bigint | rhannu_blks_hit | bigint | rhannu_blks_darllen | bigint | rhannu_blks_dirtied | bigint | shared_blks_written | bigint | lleol_blks_hit | bigint | lleol_blks_darllen | bigint | local_blks_dirtied | bigint | local_blks_written | bigint | temp_blks_read | bigint | temp_blks_written | bigint | blk_read_time | trachywiredd dwbl | blk_write_amser | trachywiredd dwbl | gwaelodlin_id | cyfanrif | Mynegeion: "pg_stat_history_pkey" ALLWEDD CYNRADD, btree (id) "database_idx" btree (database_id) "queryid_idx" btree (queryid) "snapshot_timestamp_idx" btree (snapshot_timestamp) Cyfyngiadau allwedd tramor: "cronfa ddata" fKFER_idx" cronfa ddata FORENCE_id_idx ) AR RHASGLAD DILEU
Fel y gallwch weld, dim ond data golwg cronnus yw'r tabl pg_stat_datganiadau yn y gronfa ddata darged.
Mae defnyddio'r tabl hwn yn syml iawn.
tud_stat_hanes yn cynrychioli'r ystadegau cronedig o gyflawni ymholiad ar gyfer pob awr. Ar ddechrau pob awr, ar ôl llenwi'r tabl, ystadegau pg_stat_datganiadau ailosod gyda pg_stat_statements_ailosod().
Nodyn: Cesglir ystadegau ar gyfer ceisiadau sy'n para mwy nag 1 eiliad.
Poblogi'r tabl pg_stat_history
--pg_stat_history.sql
CREATE OR REPLACE FUNCTION pg_stat_history( ) RETURNS boolean AS $$
DECLARE
endpoint_rec record ;
database_rec record ;
pg_stat_snapshot record ;
current_snapshot_timestamp timestamp without time zone;
BEGIN
current_snapshot_timestamp = date_trunc('minute',now());
FOR endpoint_rec IN SELECT * FROM endpoint
LOOP
FOR database_rec IN SELECT * FROM database WHERE endpoint_id = endpoint_rec.id
LOOP
RAISE NOTICE 'NEW SHAPSHOT IS CREATING';
--Connect to the target DB
EXECUTE 'SELECT dblink_connect(''LINK1'',''host='||endpoint_rec.host||' dbname='||database_rec.name||' user=USER password=PASSWORD '')';
RAISE NOTICE 'host % and dbname % ',endpoint_rec.host,database_rec.name;
RAISE NOTICE 'Creating snapshot of pg_stat_statements for database %',database_rec.name;
SELECT
*
INTO
pg_stat_snapshot
FROM dblink('LINK1',
'SELECT
dbid , SUM(calls),SUM(total_time),SUM(rows) ,SUM(shared_blks_hit) ,SUM(shared_blks_read) ,SUM(shared_blks_dirtied) ,SUM(shared_blks_written) ,
SUM(local_blks_hit) , SUM(local_blks_read) , SUM(local_blks_dirtied) , SUM(local_blks_written) , SUM(temp_blks_read) , SUM(temp_blks_written) , SUM(blk_read_time) , SUM(blk_write_time)
FROM pg_stat_statements WHERE dbid=(SELECT oid from pg_database where datname=current_database() )
GROUP BY dbid
'
)
AS t
( dbid oid , calls bigint ,
total_time double precision ,
rows bigint , shared_blks_hit bigint , shared_blks_read bigint ,shared_blks_dirtied bigint ,shared_blks_written bigint ,
local_blks_hit bigint ,local_blks_read bigint , local_blks_dirtied bigint ,local_blks_written bigint ,
temp_blks_read bigint ,temp_blks_written bigint ,
blk_read_time double precision , blk_write_time double precision
);
INSERT INTO pg_stat_history
(
snapshot_timestamp ,database_id ,
dbid , calls ,total_time ,
rows ,shared_blks_hit ,shared_blks_read ,shared_blks_dirtied ,shared_blks_written ,local_blks_hit ,
local_blks_read,local_blks_dirtied,local_blks_written,temp_blks_read,temp_blks_written,
blk_read_time, blk_write_time
)
VALUES
(
current_snapshot_timestamp ,
database_rec.id ,
pg_stat_snapshot.dbid ,pg_stat_snapshot.calls,
pg_stat_snapshot.total_time,
pg_stat_snapshot.rows ,pg_stat_snapshot.shared_blks_hit ,pg_stat_snapshot.shared_blks_read ,pg_stat_snapshot.shared_blks_dirtied ,pg_stat_snapshot.shared_blks_written ,
pg_stat_snapshot.local_blks_hit , pg_stat_snapshot.local_blks_read , pg_stat_snapshot.local_blks_dirtied , pg_stat_snapshot.local_blks_written ,
pg_stat_snapshot.temp_blks_read , pg_stat_snapshot.temp_blks_written , pg_stat_snapshot.blk_read_time , pg_stat_snapshot.blk_write_time
);
RAISE NOTICE 'Creating snapshot of pg_stat_statements for queries with min_time more than 1000ms';
FOR pg_stat_snapshot IN
--All queries with max_time greater than 1000 ms
SELECT
*
FROM dblink('LINK1',
'SELECT
dbid , userid ,queryid,query,calls,total_time,min_time ,max_time,mean_time, stddev_time ,rows ,shared_blks_hit ,
shared_blks_read ,shared_blks_dirtied ,shared_blks_written ,
local_blks_hit , local_blks_read , local_blks_dirtied ,
local_blks_written , temp_blks_read , temp_blks_written , blk_read_time ,
blk_write_time
FROM pg_stat_statements
WHERE dbid=(SELECT oid from pg_database where datname=current_database() AND min_time >= 1000 )
'
)
AS t
( dbid oid , userid oid , queryid bigint ,query text , calls bigint ,
total_time double precision ,min_time double precision ,max_time double precision , mean_time double precision , stddev_time double precision ,
rows bigint , shared_blks_hit bigint , shared_blks_read bigint ,shared_blks_dirtied bigint ,shared_blks_written bigint ,
local_blks_hit bigint ,local_blks_read bigint , local_blks_dirtied bigint ,local_blks_written bigint ,
temp_blks_read bigint ,temp_blks_written bigint ,
blk_read_time double precision , blk_write_time double precision
)
LOOP
INSERT INTO pg_stat_history
(
snapshot_timestamp ,database_id ,
dbid ,userid , queryid , query , calls ,total_time ,min_time ,max_time ,mean_time ,stddev_time ,
rows ,shared_blks_hit ,shared_blks_read ,shared_blks_dirtied ,shared_blks_written ,local_blks_hit ,
local_blks_read,local_blks_dirtied,local_blks_written,temp_blks_read,temp_blks_written,
blk_read_time, blk_write_time
)
VALUES
(
current_snapshot_timestamp ,
database_rec.id ,
pg_stat_snapshot.dbid ,pg_stat_snapshot.userid ,pg_stat_snapshot.queryid,pg_stat_snapshot.query,pg_stat_snapshot.calls,
pg_stat_snapshot.total_time,pg_stat_snapshot.min_time ,pg_stat_snapshot.max_time,pg_stat_snapshot.mean_time, pg_stat_snapshot.stddev_time ,
pg_stat_snapshot.rows ,pg_stat_snapshot.shared_blks_hit ,pg_stat_snapshot.shared_blks_read ,pg_stat_snapshot.shared_blks_dirtied ,pg_stat_snapshot.shared_blks_written ,
pg_stat_snapshot.local_blks_hit , pg_stat_snapshot.local_blks_read , pg_stat_snapshot.local_blks_dirtied , pg_stat_snapshot.local_blks_written ,
pg_stat_snapshot.temp_blks_read , pg_stat_snapshot.temp_blks_written , pg_stat_snapshot.blk_read_time , pg_stat_snapshot.blk_write_time
);
END LOOP;
PERFORM dblink_disconnect('LINK1');
END LOOP ;--FOR database_rec IN SELECT * FROM database WHERE endpoint_id = endpoint_rec.id
END LOOP;
RETURN TRUE;
END
$$ LANGUAGE plpgsql;O ganlyniad, ar ôl cyfnod penodol o amser yn y tabl tud_stat_hanes bydd gennym set o gipluniau o gynnwys y tabl pg_stat_datganiadau cronfa ddata targed.
Adrodd mewn gwirionedd
Gan ddefnyddio ymholiadau syml, gallwch gael adroddiadau eithaf defnyddiol a diddorol.
Data cyfanredol am gyfnod penodol o amser
Cais
SELECT
database_id ,
SUM(calls) AS calls ,SUM(total_time) AS total_time ,
SUM(rows) AS rows , SUM(shared_blks_hit) AS shared_blks_hit,
SUM(shared_blks_read) AS shared_blks_read ,
SUM(shared_blks_dirtied) AS shared_blks_dirtied,
SUM(shared_blks_written) AS shared_blks_written ,
SUM(local_blks_hit) AS local_blks_hit ,
SUM(local_blks_read) AS local_blks_read ,
SUM(local_blks_dirtied) AS local_blks_dirtied ,
SUM(local_blks_written) AS local_blks_written,
SUM(temp_blks_read) AS temp_blks_read,
SUM(temp_blks_written) temp_blks_written ,
SUM(blk_read_time) AS blk_read_time ,
SUM(blk_write_time) AS blk_write_time
FROM
pg_stat_history
WHERE
queryid IS NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT
GROUP BY database_id ;Amser D.B
to_char(cyfwng '1 milieiliad' * pg_total_stat_history_rec.total_time, 'HH24:MI:SS.MS')
Amser I/O
to_char(cyfwng '1 milieiliad' * ( pg_total_stat_history_rec.blk_read_time + pg_total_stat_history_rec.blk_write_time ), 'HH24:MI:SS.MS')
TOP10 SQL yn ôl cyfanswm_amser
Cais
SELECT
queryid ,
SUM(calls) AS calls ,
SUM(total_time) AS total_time
FROM
pg_stat_history
WHERE
queryid IS NOT NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT
GROUP BY queryid
ORDER BY 3 DESC
LIMIT 10----------------------------------------------- ---------------------------------- | TOP10 SQL ERBYN CYFANSWM AMSER GWEITHREDU | #| queryid| galwadau| yn galw %| cyfanswm_amser (ms) | dbtime % +----+----------+---------+---------+----- -------------------+---------- 1| 821760255| 2| .00001|00:03:23.141( 203141.681 ms.)| 5.42 | 2| 4152624390| 2| .00001|00:03:13.929( 193929.215 ms.)| 5.17 | 3| 1484454471| 4| .00001|00:02:09.129( 129129.057 ms.)| 3.44 | 4| 655729273| 1| .00000|00:02:01.869( 121869.981 ms.)| 3.25 | 5| 2460318461| 1| .00000|00:01:33.113( 93113.835 ms.)| 2.48 | 6| 2194493487| 4| .00001|00:00:17.377( 17377.868 ms.)| .46 | 7| 1053044345| 1| .00000|00:00:06.156( 6156.352 ms.)| .16 | 8| 3644780286| 1| .00000|00:00:01.063( 1063.830 ms.)| .03
TOP10 SQL yn ôl cyfanswm yr amser I/O
Cais
SELECT
queryid ,
SUM(calls) AS calls ,
SUM(blk_read_time + blk_write_time) AS io_time
FROM
pg_stat_history
WHERE
queryid IS NOT NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT
GROUP BY queryid
ORDER BY 3 DESC
LIMIT 10----------------------------------------------- ----------------------------------- | TOP10 SQL ERBYN CYFANSWM I/O AMSER | #| queryid| galwadau| yn galw %| Amser I/O (ms)|db amser I/O % +----+----------+---------+----- -----+------------------------------+---------- -- | 1| 4152624390| 2| .00001|00:08:31.616( 511616.592 ms.)| Mehefin 31.06 | 2| 821760255| 2| .00001|00:08:27.099( 507099.036 ms.)| 30.78 | 3| 655729273| 1| .00000|00:05:02.209( 302209.137 ms.)| 18.35 | 4| 2460318461| 1| .00000|00:04:05.981( 245981.117 ms.)| 14.93 | 5| 1484454471| 4| .00001|00:00:39.144( 39144.221 ms.)| 2.38 | 6| 2194493487| 4| .00001|00:00:18.182( 18182.816 ms.)| 1.10 | 7| 1053044345| 1| .00000|00:00:16.611( 16611.722 ms.)| 1.01 | 8| 3644780286| 1| .00000|00:00:00.436( 436.205 ms.)| .03
TOP10 SQL erbyn uchafswm o amser gweithredu
Cais
SELECT
id AS snapshotid ,
queryid ,
snapshot_timestamp ,
max_time
FROM
pg_stat_history
WHERE
queryid IS NOT NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT
ORDER BY 4 DESC
LIMIT 10----------------------------------------------- ---------------------------------- | TOP10 SQL ERBYN MAX AMSER GWEITHREDU | #| ciplun| ID ciplun| queryid| max_time (ms) +----+-----------------+----------+------- --+------------------------------------ | 1| 05.04.2019/01/03 4169:655729273| 00| 02| 01.869:121869.981:2( 04.04.2019 ms.) | 17| 00/4153/821760255 00:01| 41.570| 101570.841| 3:04.04.2019:16( 00 ms.) | 4146| 821760255/00/01 41.570:101570.841| 4| 04.04.2019| 16:00:4144( 4152624390 ms.) | 00| 01/36.964/96964.607 5:04.04.2019| 17| 00| 4151:4152624390:00( 01 ms.) | 36.964| 96964.607/6/05.04.2019 10:00| 4188| 1484454471| 00:01:33.452( 93452.150 ms.) | 7| 04.04.2019/17/00 4150:2460318461 | 00| 01| 33.113:93113.835:8( 04.04.2019 ms.) | 15| 00/4140/1484454471 00:00| 11.892| 11892.302| 9:04.04.2019:16( 00 ms.) | 4145| 1484454471/00/00 11.892:11892.302| 10| 04.04.2019| 17:00:4152( 1484454471 ms.) | 00| 00/11.892/11892.302 XNUMX:XNUMX| XNUMX| XNUMX| XNUMX:XNUMX:XNUMX( XNUMX ms.) | XNUMX| XNUMX/XNUMX/XNUMX XNUMX:XNUMX| XNUMX| XNUMX| XNUMX:XNUMX:XNUMX( XNUMX ms.)
TOP10 SQL byffer SHARED darllen/ysgrifennu
Cais
SELECT
id AS snapshotid ,
queryid ,
snapshot_timestamp ,
shared_blks_read ,
shared_blks_written
FROM
pg_stat_history
WHERE
queryid IS NOT NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT AND
( shared_blks_read > 0 OR shared_blks_written > 0 )
ORDER BY 4 DESC , 5 DESC
LIMIT 10----------------------------------------------- ---------------------------------- | TOP10 SQL TRWY GYLCHWER A RANNWYD DARLLEN/YSGRIFENNU | #| ciplun| ID ciplun| queryid| blociau a rennir darllen| blociau a rennir ysgrifennu +----+-----------------+----------+-------- -+-------------------+-------------------- 1| 04.04.2019/17/00 4153:821760255| 797308| 0| 2| 04.04.2019 | 16| 00/4146/821760255 797308:0| 3| 05.04.2019| 01| 03 | 4169| 655729273/797158/0 4:04.04.2019| 16| 00| 4144| 4152624390 | 756514| 0/5/04.04.2019 17:00| 4151| 4152624390| 756514| 0 | 6| 04.04.2019/17/00 4150:2460318461| 734117| 0| 7| 04.04.2019 | 17| 00/4155/3644780286 52973:0| 8| 05.04.2019| 01| 03 | 4168| 1053044345/52818/0 9:04.04.2019| 15| 00| 4141| 2194493487 | 52813| 0/10/04.04.2019 16:00| 4147| 2194493487| 52813| 0 | XNUMX| XNUMX/XNUMX/XNUMX XNUMX:XNUMX| XNUMX| XNUMX| XNUMX| XNUMX | XNUMX| XNUMX/XNUMX/XNUMX XNUMX:XNUMX| XNUMX| XNUMX| XNUMX| XNUMX --------------------------------------------- ----------------------------------------------
Histogram o ddosbarthiad ymholiad yn ôl uchafswm amser gweithredu
Ceisiadau
SELECT
MIN(max_time) AS hist_min ,
MAX(max_time) AS hist_max ,
(( MAX(max_time) - MIN(min_time) ) / hist_columns ) as hist_width
FROM
pg_stat_history
WHERE
queryid IS NOT NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT ;
SELECT
SUM(calls) AS calls
FROM
pg_stat_history
WHERE
queryid IS NOT NULL AND
database_id =DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT AND
( max_time >= hist_current_min AND max_time < hist_current_max ) ;
|-------------------------------------------- ------------------------------------- | MAX_TIME HISTOGRAM | CYFANSWM GALWADAU : 33851920 | AMSER MIN: 00:00:01.063 | MAX TIME : 00:02:01.869 -------------------------------------- -------------------------- | munud hyd| hyd mwyaf| galwadau +-------------------------------+------------ --------------------+---------- 00:00:01.063( 1063.830 ms.) | 00:00:13.144( 13144.445 ms.) | 9 | 00:00:13.144( 13144.445 ms.) | 00:00:25.225( 25225.060 ms.) | 0 | 00:00:25.225( 25225.060 ms.) | 00:00:37.305( 37305.675 ms.) | 0 | 00:00:37.305( 37305.675 ms.) | 00:00:49.386( 49386.290 ms.) | 0 | 00:00:49.386( 49386.290 ms.) | 00:01:01.466( 61466.906 ms.) | 0 | 00:01:01.466( 61466.906 ms.) | 00:01:13.547( 73547.521 ms.) | 0 | 00:01:13.547( 73547.521 ms.) | 00:01:25.628( 85628.136 ms.) | 0 | 00:01:25.628( 85628.136 ms.) | 00:01:37.708( 97708.751 ms.) | 4 | 00:01:37.708( 97708.751 ms.) | 00:01:49.789( 109789.366 ms.) | 2 | 00:01:49.789( 109789.366 ms.) | 00:02:01.869( 121869.981 ms.) | 0
TOP10 Ciplun fesul Ymholiad yr Eiliad
Ceisiadau
--pg_qps.sql
--Calculate Query Per Second
CREATE OR REPLACE FUNCTION pg_qps( pg_stat_history_id integer ) RETURNS double precision AS $$
DECLARE
pg_stat_history_rec record ;
prev_pg_stat_history_id integer ;
prev_pg_stat_history_rec record;
total_seconds double precision ;
result double precision;
BEGIN
result = 0 ;
SELECT *
INTO pg_stat_history_rec
FROM
pg_stat_history
WHERE id = pg_stat_history_id ;
IF pg_stat_history_rec.snapshot_timestamp IS NULL
THEN
RAISE EXCEPTION 'ERROR - Not found pg_stat_history for id = %',pg_stat_history_id;
END IF ;
--RAISE NOTICE 'pg_stat_history_id = % , snapshot_timestamp = %', pg_stat_history_id ,
pg_stat_history_rec.snapshot_timestamp ;
SELECT
MAX(id)
INTO
prev_pg_stat_history_id
FROM
pg_stat_history
WHERE
database_id = pg_stat_history_rec.database_id AND
queryid IS NULL AND
id < pg_stat_history_rec.id ;
IF prev_pg_stat_history_id IS NULL
THEN
RAISE NOTICE 'Not found previous pg_stat_history shapshot for id = %',pg_stat_history_id;
RETURN NULL ;
END IF;
SELECT *
INTO prev_pg_stat_history_rec
FROM
pg_stat_history
WHERE id = prev_pg_stat_history_id ;
--RAISE NOTICE 'prev_pg_stat_history_id = % , prev_snapshot_timestamp = %', prev_pg_stat_history_id , prev_pg_stat_history_rec.snapshot_timestamp ;
total_seconds = extract(epoch from ( pg_stat_history_rec.snapshot_timestamp - prev_pg_stat_history_rec.snapshot_timestamp ));
--RAISE NOTICE 'total_seconds = % ', total_seconds ;
--RAISE NOTICE 'calls = % ', pg_stat_history_rec.calls ;
IF total_seconds > 0
THEN
result = pg_stat_history_rec.calls / total_seconds ;
ELSE
result = 0 ;
END IF;
RETURN result ;
END
$$ LANGUAGE plpgsql;
SELECT
id ,
snapshot_timestamp ,
calls ,
total_time ,
( select pg_qps( id )) AS QPS ,
blk_read_time ,
blk_write_time
FROM
pg_stat_history
WHERE
queryid IS NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT AND
( select pg_qps( id )) IS NOT NULL
ORDER BY 5 DESC
LIMIT 10
|-------------------------------------------- ------------------------------------- | TOP10 Cipluniau wedi'u harchebu yn ôl rhifau QueryPerSeconds ----------------------------------- ------ ----------------------------------------------- ---------------------------------------- | #| ciplun| ID ciplun| galwadau| cyfanswm amser db| QPS | Amser I/O | Amser I/O % +-----+-----------------+----------+------ ----+-------------------------------+--------- -+--------------------------------+----------- 1| 04.04.2019/20/04 4161:5758631| 00| 06| 30.513:390513.926:1573.396( 00 ms.)| 00| 01.470:1470.110:376( 2 ms.)| .04.04.2019 | 17| 00/4149/3529197 00:11| 48.830| 708830.618| 980.332:00:12( 47.834 ms.)| 767834.052| 108.324:3:04.04.2019( 16 ms.)| 00 | 4143| 3525360/00/10 13.492:613492.351| 979.267| 00| 08:41.396:521396.555( 84.988 ms.)| 4| 04.04.2019:21:03( 4163 ms.)| 2781536 | 00| 03/06.470/186470.979 785.745:00| 00| 00.249| 249.865:134:5( 04.04.2019 ms.)| 19| 03:4159:2890362( 00 ms.)| .03 | 16.784| 196784.755/776.979/00 00:01.441| 1441.386| 732| 6:04.04.2019:14( 00 ms.)| 4137| 2397326:00:04( 43.033 ms.)| .283033.854 | 665.924| 00/00/00.024 24.505:009 | 7| 04.04.2019| 15:00:4139( 2394416 ms.)| 00| 04:51.435:291435.010( 665.116 ms.)| .00 | 00| 12.025/12025.895/4.126 8:04.04.2019| 13| 00| 4135:2373043:00( 04 ms.)| 26.791| 266791.988:659.179:00( 00 ms.)| 00.064. 64.261 | 024| 9/05.04.2019/01 03:4167| 4387191| 00| 06:51.380:411380.293( 609.332 ms.)| 00| 05:18.847:318847.407( 77.507 ms.)| .10 | 04.04.2019| 18/01/4157 1145596:00| 01| 19.217| 79217.372:313.004:00( 00 ms.)| 01.319| 1319.676:1.666:XNUMX( XNUMX ms.)| XNUMX | XNUMX| XNUMX/XNUMX/XNUMX XNUMX:XNUMX| XNUMX| XNUMX| XNUMX:XNUMX:XNUMX( XNUMX ms.)| XNUMX| XNUMX:XNUMX:XNUMX( XNUMX ms.)| XNUMX
Hanes Gweithredu Bob Awr gyda QueryPerSeconds ac Amser I/O
Cais
SELECT
id ,
snapshot_timestamp ,
calls ,
total_time ,
( select pg_qps( id )) AS QPS ,
blk_read_time ,
blk_write_time
FROM
pg_stat_history
WHERE
queryid IS NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT
ORDER BY 2
|----------------------------------------------------------------------------------------------- | HOURLY EXECUTION HISTORY WITH QueryPerSeconds and I/O Time ----------------------------------------------------------------------------------------------------------------------------------------------- | QUERY PER SECOND HISTORY | #| snapshot| snapshotID| calls| total dbtime| QPS| I/O time| I/O time % +-----+------------------+-----------+-----------+----------------------------------+-----------+----------------------------------+----------- | 1| 04.04.2019 11:00| 4131| 3747| 00:00:00.835( 835.374 ms.)| 1.041| 00:00:00.000( .000 ms.)| .000 | 2| 04.04.2019 12:00| 4133| 1002722| 00:01:52.419( 112419.376 ms.)| 278.534| 00:00:00.149( 149.105 ms.)| .133 | 3| 04.04.2019 13:00| 4135| 2373043| 00:04:26.791( 266791.988 ms.)| 659.179| 00:00:00.064( 64.261 ms.)| .024 | 4| 04.04.2019 14:00| 4137| 2397326| 00:04:43.033( 283033.854 ms.)| 665.924| 00:00:00.024( 24.505 ms.)| .009 | 5| 04.04.2019 15:00| 4139| 2394416| 00:04:51.435( 291435.010 ms.)| 665.116| 00:00:12.025( 12025.895 ms.)| 4.126 | 6| 04.04.2019 16:00| 4143| 3525360| 00:10:13.492( 613492.351 ms.)| 979.267| 00:08:41.396( 521396.555 ms.)| 84.988 | 7| 04.04.2019 17:00| 4149| 3529197| 00:11:48.830( 708830.618 ms.)| 980.332| 00:12:47.834( 767834.052 ms.)| 108.324 | 8| 04.04.2019 18:01| 4157| 1145596| 00:01:19.217( 79217.372 ms.)| 313.004| 00:00:01.319( 1319.676 ms.)| 1.666 | 9| 04.04.2019 19:03| 4159| 2890362| 00:03:16.784( 196784.755 ms.)| 776.979| 00:00:01.441( 1441.386 ms.)| .732 | 10| 04.04.2019 20:04| 4161| 5758631| 00:06:30.513( 390513.926 ms.)| 1573.396| 00:00:01.470( 1470.110 ms.)| .376 | 11| 04.04.2019 21:03| 4163| 2781536| 00:03:06.470( 186470.979 ms.)| 785.745| 00:00:00.249( 249.865 ms.)| .134 | 12| 04.04.2019 23:03| 4165| 1443155| 00:01:34.467( 94467.539 ms.)| 200.438| 00:00:00.015( 15.287 ms.)| .016 | 13| 05.04.2019 01:03| 4167| 4387191| 00:06:51.380( 411380.293 ms.)| 609.332| 00:05:18.847( 318847.407 ms.)| 77.507 | 14| 05.04.2019 02:03| 4171| 189852| 00:00:10.989( 10989.899 ms.)| 52.737| 00:00:00.539( 539.110 ms.)| 4.906 | 15| 05.04.2019 03:01| 4173| 3627| 00:00:00.103( 103.000 ms.)| 1.042| 00:00:00.004( 4.131 ms.)| 4.010 | 16| 05.04.2019 04:00| 4175| 3627| 00:00:00.085( 85.235 ms.)| 1.025| 00:00:00.003( 3.811 ms.)| 4.471 | 17| 05.04.2019 05:00| 4177| 3747| 00:00:00.849( 849.454 ms.)| 1.041| 00:00:00.006( 6.124 ms.)| .721 | 18| 05.04.2019 06:00| 4179| 3747| 00:00:00.849( 849.561 ms.)| 1.041| 00:00:00.000( .051 ms.)| .006 | 19| 05.04.2019 07:00| 4181| 3747| 00:00:00.839( 839.416 ms.)| 1.041| 00:00:00.000( .062 ms.)| .007 | 20| 05.04.2019 08:00| 4183| 3747| 00:00:00.846( 846.382 ms.)| 1.041| 00:00:00.000( .007 ms.)| .001 | 21| 05.04.2019 09:00| 4185| 3747| 00:00:00.855( 855.426 ms.)| 1.041| 00:00:00.000( .065 ms.)| .008 | 22| 05.04.2019 10:00| 4187| 3797| 00:01:40.150( 100150.165 ms.)| 1.055| 00:00:21.845( 21845.217 ms.)| 21.812
Testun pob dewis SQL
Cais
SELECT
queryid ,
query
FROM
pg_stat_history
WHERE
queryid IS NOT NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT
GROUP BY queryid , query
Cyfanswm
Fel y gwelwch, trwy ddulliau gweddol syml, gallwch gael llawer o wybodaeth ddefnyddiol am y llwyth gwaith a chyflwr y gronfa ddata.
Nodyn:Os byddwch yn trwsio'r queryid yn yr ymholiadau, yna byddwn yn cael yr hanes ar gyfer cais ar wahân (er mwyn arbed lle, mae adroddiadau ar gyfer cais ar wahân yn cael eu hepgor).
Felly, mae data ystadegol ar berfformiad ymholiadau ar gael ac yn cael ei gasglu.
Mae'r cam cyntaf "casglu data ystadegol" wedi'i gwblhau.
Gallwch symud ymlaen i'r ail gam - "ffurfweddu metrigau perfformiad".
Ond stori hollol wahanol yw honno.
I'w barhau…
Ffynhonnell: hab.com