Inxhinier â nĂ« pĂ«rkthim nga latinishtja â i frymĂ«zuar.
Inxhinieri mund të bëjë gjithçka. (c) R.Dizel.
Epigrafët.
Ose historia se përse një administrator i databazës duhet të kujtojë të kaluarën e tij si programues.
Parathënie
Të gjitha emrat janë të ndryshuar. Rastësitë janë të rastit. Materiali përbën ekskluzivisht mendimin personal të autorit.
Përgjegjësia e garantive: në ciklin e planifikuar të artikujve nuk do të ketë përshkrime të detajuara dhe të sakta të tabelave dhe skripteve të përdorura. Materialet nuk do të mund të përdoren menjëherë "SIQ".
Së pari, për shkak të volumit të madh të materialit,
së dyti për shkak të fokusit me bazën e prodhimit të klientit real.
Prandaj, në artikuj do të jepen vetëm ide dhe përshkrime në një formë të përgjithshme.
Ndoshta në të ardhmen sistemi do të rritet në nivelin e publikimit në GitHub, ndoshta jo. Koha do ta tregojë.
Fillimi i historisë - "».
ĂfarĂ« doli si rezultat, nĂ« mĂ«nyrĂ« tĂ« pĂ«rgjithshme - "»
Përse gjith kjo më intereson?
E para, për të mos harruar, duke kujtuar ditët e bukura në pension.
E dyta, për të sistematizuar atë që kam shkruar. Sepse ndonjëherë vetë, filloj të ngatërrohem dhe harroj disa pjesë.
E dhe e rĂ«ndĂ«sishmja â ndoshta do t'i ndihmojĂ« dikujt tĂ« mos shpikĂ« rrotĂ«n dhe tĂ« mos pĂ«lcitet me tĂ«. Me fjalĂ« tĂ« tjera, tĂ« pĂ«rmirĂ«sojĂ« karma e tij (jo ajo e Habr). Sepse, gjĂ«ja mĂ« e çmuar nĂ« kĂ«tĂ« botĂ« janĂ« idetĂ«. E rĂ«ndĂ«sishme Ă«shtĂ« tĂ« gjejmĂ« njĂ« ide. Realizimi i saj nĂ« realitet Ă«shtĂ« njĂ« çështje strikt teknike.
Pra, le të fillojmë, ngadalë...
Formulimi i detyrës.
Shkëputja përmbledhëse:
Baza e të dhënave PostgreSQL (10.5), me ngarkesë të përzier (OLTP+DSS), me ngarkesë mesatare-të vogël, e vendosur në cloud AWS.
Monitorimi i bazës së të dhënave mungon, monitorimi i infrastrukturës është i përfaqësuar nga mjetet standarde të AWS në konfigurimin minimal.
KĂ«rkohet:
Të monitorosh performancën dhe gjendjen e bazës së të dhënave, të gjesh dhe të kesh informacion fillestar për optimizimin e kërkesave të rënda ndaj DB.
Një parathënie e shkurtër ose analiza e mundësive të zgjidhjes
Fillimisht, do të përpiqemi të analizojmë mundësitë për zgjidhjen e detyrës nga këndvështrimi i analizës krahasuese të përfitimeve dhe shqetësimeve për inxhinierin, ndërsa përfitimet dhe humbjet për menaxhimin le të merret me ato që i takon sipas orarit të punës.
Mundësia 1 - «Punë në kërkesë»
Dërrmojmë gjithçka siç është. Nëse klienti nuk është i kënaqur me diçka në funksionimin, performancën e bazës së të dhënave ose aplikacionit, ai do t'i njoftojë inxhinierët DBA përmes e-mailit ose duke krijuar një incident në sistemin e bileta.
Inxhinieri, pasi të marrë njoftimin, do të hetojë problemin, do të propozojë një zgjidhje ose do ta shtyjë problemin për më vonë, duke shpresuar që gjithçka të zgjidhet vetë, dhe gjithsesi, shumë shpejt do të harrohet.
Përshëndetje dhe bullgura, kallëzime dhe goditjePërshëndetje dhe bullgura:
1. Nuk nevojitet të bëni ndonjë gjë të tepërt
2. Gjithmonë ka mundësi për t'u justifikuar dhe për të shpëtuar nga puna.
3. Një shumë kohë që mund të shpenzohet sipas dëshirës.
Kallëzime dhe goditje:
1. VonĂ« a herĂ«t, klienti do tĂ« mendojĂ« pĂ«r qenien dhe drejtĂ«sinĂ« universale nĂ« kĂ«tĂ« botĂ« dhe do tĂ« pyesĂ« veten pĂ«rsĂ«ri â pĂ«r çfarĂ« po paguaj paratĂ« e tij? Pasojat gjithmonĂ« janĂ« tĂ« njĂ«jta â pyetje Ă«shtĂ« vetĂ«m kur klienti do tĂ« mĂ«rzitet dhe do tĂ« thotĂ« lamtumirĂ«. Dhe burimi do tĂ« zbrazet. Kjo Ă«shtĂ« e trishtueshme.
2. Zhvillimi i inxhinierit â zero.
3. Vështirësi në planifikimin e punës dhe ngarkesës
Opsioni 2 - "Kërkojmë me tambur, shesim dhe veshim"
Pika 1-Pse na duhet një sistem monitorimi, ne do të marrim gjithçka përmes kërkesave. Dërgojmë një sërë kërkesash në fjalorin e të dhënave dhe prezantimet dinamike, aktivizojmë llogaritës të ndryshëm, përmbledhim gjithçka në tabela, dhe për një kohë të shkurtër analizojmë listat dhe tabelat. Si rezultat, kemi grafike të bukura ose jo aq të bukura, tabela, raporte. E rëndësishmja është që të kemi sa më shumë, sa më shumë.
Pika 2-GjenerojmĂ« aktivitet â fillojmĂ« analizĂ«n e gjithçkaje.
Pika 3-PĂ«rgatitemi njĂ« dokument, e quajmĂ« kĂ«tĂ« dokument, thjesht - âsi tĂ« organizojmĂ« bazĂ«n e tĂ« dhĂ«naveâ.
Pika 4-Konsumatori, duke parë gjithë këtë madhështi grafikësh dhe shifrash, ndodhet në një besim naiv fëmijëror - ja, tani gjithçka do të punojë. Ai lehtësisht dhe pa dhimbje lë vizitat e tij financiare. Menaxhmenti gjithashtu është i sigurt - inxhinierët tanë po punojnë fort. Ngarkesa është maksimale.
Pika 5-Ripërsërisni rregullisht Pikën 1.
Përshëndetje dhe bullgura, kallëzime dhe goditjePërshëndetje dhe bullgura:
1. Jeta e menaxherëve dhe inxhinierëve është e thjeshtë, e parashikueshme dhe e mbushur me aktivitet. Gjithçka b buzzing, të gjithë janë të zënë.
2. Jeta e klientit Ă«shtĂ« gjithashtu e mirĂ« â ai gjithmonĂ« Ă«shtĂ« i sigurt se duhet tĂ« presĂ« pak mĂ« shumĂ« dhe gjithçka do tĂ« rregullohet. NĂ«se nuk rregullohet, çfarĂ« tĂ« bĂ«jmĂ« â ky Ă«shtĂ« njĂ« botĂ« e padrejtĂ«, ndoshta nĂ« jetĂ«n e ardhshme do tĂ« kenĂ« fat.
Kallëzime dhe goditje:
1. Vonë a herët, do të gjendet një ofrues më i shpejtë i shërbimeve të ngjashme, i cili do të bëjë të njëjtën gjë, por pak më lirë. Dhe nëse rezultati është i njëjtë, pse të paguash më shumë. Kjo përsëri do të çojë në zhdukjen e burimeve.
2. ĂshtĂ« e mĂ«rzitshme. Si çdo aktivitet i paqĂ«ndrueshĂ«m, qĂ« ka pak kuptim.
3. Si nĂ« variantin e mĂ«parshĂ«m â nuk ka asnjĂ« zhvillim. Por pĂ«r inxhinierin, shqetĂ«simi Ă«shtĂ« se, ndryshe nga varianti i parĂ«, kĂ«tu duhet tĂ« gjenerosh vazhdimisht tĂ« dhĂ«nat e mbrojtjes. Kjo merr kohĂ«. E cila mund tĂ« pĂ«rdoret pĂ«r dobi personale. Sepse nĂ«se nuk kujdesesh pĂ«r veten, askush tjetĂ«r nuk do tĂ« kujdeset pĂ«r ty.
Varianti 3âNuk Ă«shtĂ« e nevojshme tĂ« shpikni biçikletĂ«n, duhet ta blini atĂ« dhe tĂ« ridezoni.
Inxhinierët e kompanive të tjera nuk e bëjnë pa shkak që të hanë pizzë duke e shoqëruar me birrë (ah, kohë të bukura në Shën Petersburg në vitet '90). Le të përdorim sisteme monitorimi që janë krijuar, të testuar dhe funksionojnë, dhe që sjellin ndihmë, qoftë edhe minimalisht për krijuesit të tyre.
Përshëndetje dhe bullgura, kallëzime dhe goditjePërshëndetje dhe bullgura:
1. Nuk e nevojitet të humbni kohë duke menduar për atë që tashmë është menduar. Merrni dhe përdorni.
2. Sistemet e monitorimit nuk janë krijuar nga budallenj dhe, sigurisht, ato janë të dobishme.
3. Sistemet e monitorimit që funksionojnë në përgjithësi ofrojnë informacion të filtruar dhe të dobishëm.
Kallëzime dhe goditje:
1. Inxhinieri në këtë rast nuk është një inxhinier, por thjesht një përdorues i produktit të të tjerëve. Ose një përdorues.
2. Klienti duhet të bindet për nevojën për të blerë diçka për të cilën ai nuk dëshiron të kuptojë, dhe as nuk duhet, dhe buxheti për vitin është miratuar dhe nuk do të ndryshojë. Më pas, duhen ndarë burime të veçanta, të konfigurohen për sistemin e caktuar. Pra, fillimisht duhet të paguani, të paguani dhe përsëri të paguani. Dhe klienti është i kursyer. Kjo është norma e jetës.
ĂfarĂ« tĂ« bĂ«jmĂ« - ĂernyshĂ«vski? Pyetja jote Ă«shtĂ« shumĂ« nĂ« vend. (c)
NĂ« kĂ«tĂ« rast tĂ« veçantĂ« dhe nĂ« situatĂ«n e krijuar, mund tĂ« veprojmĂ« pak ndryshe â le tĂ« bĂ«jmĂ« sistemin tonĂ« tĂ« monitorimit.
Sigurisht, nuk është një sistem në kuptimin e plotë të fjalës, kjo do të ishte shumë e zëshme dhe vetëbesuese, por ndonjë mënyrë për ta lehtesuar veten dhe për të mbledhur më shumë informacion për zgjidhjen e incidenteve të performancës. Për të mos u gjetur në situatën - "shkonte andej nuk di ku, gjeje atë, nuk di çfarë."
Cilat janë përfitimet dhe disavantazhet e këtij varianti:
Avantazhet:
1. ĂshtĂ« interesante. TĂ« paktĂ«n Ă«shtĂ« mĂ« interesante sesa vazhdimĂ«sia "shrink datafile, alter tablespace, etj."
2. KĂ«to janĂ« aftĂ«si tĂ« reja dhe zhvillim i ri. Ăka nĂ« perspektivĂ« do tĂ« sjellĂ« herĂ«t a vonĂ« shpĂ«rblime tĂ« merituara.
Disavantazhet:
1. Do të duhet të punosh. Të punosh shumë.
2. Do të duhet rregullisht të shpjegosh kuptimin dhe perspektivat e të gjithë aktivitetit.
3. Do të duhet të sakrifikosh ndonjë gjë, sepse burimi i vetëm i disponueshëm për inxhinierin - koha - është e kufizuar nga Universi.
4. Gjëja më e frikshme dhe më e pakëndshme është se në rezultat mund të dalë diçka si "As një mi, as një bretkocë, por një krijesë e panjohur."
Kush nuk rrezikon, nuk pi shampanjë.
Pra, fillon pjesa më interesante.
Ideja e përgjithshme është në mënyrë skematike
(Imazhi është marrë nga artikulli «»)
Shpjegim:
- NĂ« bazĂ«n e synuar instalohet zgjerimi standard PostgreSQL - âpg_stat_statements.â
- Në databazën e monitorimit krijojmë një grup tabelash shërbimi për ruajtjen e historisë pg_stat_statements në fazën fillestare dhe për konfigurimin e metrikave dhe monitorimit më vonë.
- Në host-in e monitorimit krijojmë një grup skriptesh bash, përfshirë ato për gjenerimin e incidenteve në sistemin e biletave.
Tabela shërbimi
Për fillim, një ERD e thjeshtuar dhe shkematike, çfarë kemi arritur përfundimisht:
PĂ«rshkrimi i shkurtĂ«r i tabelaveendpoint â host, pika e lidhjes me instancĂ«n
database â parametrat e databazĂ«s
pg_stat_history â tabela historike pĂ«r ruajtjen e snapshot-eve temporale tĂ« paraqitjes pg_stat_statements tĂ« databazĂ«s sĂ« synuar
metric_glossary â fjalori i metrikave tĂ« performancĂ«s
metric_config â konfigurimi i metrikave tĂ« veçanta
metric â metrika specifike pĂ«r kĂ«rkesĂ«n qĂ« monitorohet
metric_alert_history â historia e paralajmĂ«rimeve tĂ« performancĂ«s
log_query â tabela e shĂ«rbimit pĂ«r ruajtjen e regjistrimeve tĂ« analizuar nga skedari log i PostgreSQL qĂ« ngarkohet nga AWS
baseline â parametrat e periudhĂ«s temporale tĂ« pĂ«rdorur si bazĂ«
checkpoint â konfigurimi i metrikave pĂ«r kontrollin e gjendjes sĂ« databazĂ«s
checkpoint_alert_history â historia e paralajmĂ«rimeve pĂ«r metrikat e kontrollit tĂ« gjendjes sĂ« databazĂ«s
pg_stat_db_queries â tabela e shĂ«rbimit e kĂ«rkesave aktive
activity_log â tabela e shĂ«rbimit tĂ« regjistrit tĂ« aktivitetit
trap_oid â tabela e shĂ«rbimit tĂ« konfiguracionit tĂ« trap
Hapi 1 â mbledhim tĂ« dhĂ«na statistike mbi performancĂ«n dhe marrim raporte
Tabela e përdorur për ruajtjen e informacionit statistik është pg_stat_history
Struktura e tabelës pg_stat_history
Tavola "public.pg_stat_history"
Kolona | Tipi | Modifikatorë
---------------------+-----------------------------+-------------------------------------------
id | integer | jo e zbrazët default nextval('pg_stat_history_id_seq'::regclass)
snapshot_timestamp | timestamp pa zonë kohe |
database_id | integer |
dbid | oid |
userid | oid |
queryid | bigint |
query | tekst |
calls | bigint |
total_time | saktësi të dyfishtë |
min_time | saktësi të dyfishtë |
max_time | saktësi të dyfishtë |
mean_time | saktësi të dyfishtë |
stddev_time | saktësi të dyfishtë |
rows | bigint |
shared_blks_hit | bigint |
shared_blks_read | bigint |
shared_blks_dirtied | bigint |
shared_blks_written | bigint |
local_blks_hit | bigint |
local_blks_read | bigint |
local_blks_dirtied | bigint |
local_blks_written | bigint |
temp_blks_read | bigint |
temp_blks_written | bigint |
blk_read_time | saktësi të dyfishtë |
blk_write_time | saktësi të dyfishtë |
baseline_id | integer |
Indeksat:
"pg_stat_history_pkey" ĂELSI I PRIMAR, btree (id)
"database_idx" btree (database_id)
"queryid_idx" btree (queryid)
"snapshot_timestamp_idx" btree (snapshot_timestamp)
Kushtet e çelësit të huaj:
"database_id_fk" ĂELSI I HUAJ (database_id) REFERON database(id) NĂ FSHIEJ CASCADESiç shihet, tabela paraqet vetĂ«m tĂ« dhĂ«na kumulative tĂ« paraqitjes pg_stat_statements nĂ« bazĂ«n e tĂ« dhĂ«nave tĂ« synuara.
Përdorimi i kësaj tabele është shumë i lehtë
pg_stat_history do të përfaqësojë statistikat akumuluese të ekzekutimit të kërkesave për çdo orë. Në fillim të çdo ore, pas mbushjes së tabelës, statistika pg_stat_statements rivendoset me anë të pg_stat_statements_reset().
Shënim: statistika mblidhet për kërkesat me një kohë ekzekutimi më të gjatë se 1 sekondë.
Mbushja e tabelës pg_stat_history
--pg_stat_history.sql
CREATE OR REPLACE FUNCTION pg_stat_history( ) RETURNS boolean AS $$
DECLARE
endpoint_rec record ;
database_rec record ;
pg_stat_snapshot record ;
current_snapshot_timestamp timestamp without time zone;
BEGIN
current_snapshot_timestamp = date_trunc('minute',now());
FOR endpoint_rec IN SELECT * FROM endpoint
LOOP
FOR database_rec IN SELECT * FROM database WHERE endpoint_id = endpoint_rec.id
LOOP
RAISE NOTICE 'PO BĂN TĂ KRIJONI NĂ SHKODRAT E REJA';
--Konektimi me DB-në e synuar
EXECUTE 'SELECT dblink_connect(''LINK1'',''host='||endpoint_rec.host||' dbname='||database_rec.name||' user=USER password=PASSWORD '')';
RAISE NOTICE 'host % dhe dbname % ',endpoint_rec.host,database_rec.name;
RAISE NOTICE 'Krijimi i snapshot-it të pg_stat_statements për bazën e të dhënave %',database_rec.name;
SELECT
*
INTO
pg_stat_snapshot
FROM dblink('LINK1',
'SELECT
dbid , SUM(calls),SUM(total_time),SUM(rows) ,SUM(shared_blks_hit) ,SUM(shared_blks_read) ,SUM(shared_blks_dirtied) ,SUM(shared_blks_written) ,
SUM(local_blks_hit) , SUM(local_blks_read) , SUM(local_blks_dirtied) , SUM(local_blks_written) , SUM(temp_blks_read) , SUM(temp_blks_written) , SUM(blk_read_time) , SUM(blk_write_time)
FROM pg_stat_statements WHERE dbid=(SELECT oid from pg_database where datname=current_database() )
GROUP BY dbid
'
)
AS t
( dbid oid , calls bigint ,
total_time double precision ,
rows bigint , shared_blks_hit bigint , shared_blks_read bigint ,shared_blks_dirtied bigint ,shared_blks_written bigint ,
local_blks_hit bigint ,local_blks_read bigint , local_blks_dirtied bigint ,local_blks_written bigint ,
temp_blks_read bigint ,temp_blks_written bigint ,
blk_read_time double precision , blk_write_time double precision
);
INSERT INTO pg_stat_history
(
snapshot_timestamp ,database_id ,
dbid , calls ,total_time ,
rows ,shared_blks_hit ,shared_blks_read ,shared_blks_dirtied ,shared_blks_written ,local_blks_hit ,
local_blks_read,local_blks_dirtied,local_blks_written,temp_blks_read,temp_blks_written,
blk_read_time, blk_write_time
)
VALUES
(
current_snapshot_timestamp ,
database_rec.id ,
pg_stat_snapshot.dbid ,pg_stat_snapshot.calls,
pg_stat_snapshot.total_time,
pg_stat_snapshot.rows ,pg_stat_snapshot.shared_blks_hit ,pg_stat_snapshot.shared_blks_read ,pg_stat_snapshot.shared_blks_dirtied ,pg_stat_snapshot.shared_blks_written ,
pg_stat_snapshot.local_blks_hit , pg_stat_snapshot.local_blks_read , pg_stat_snapshot.local_blks_dirtied , pg_stat_snapshot.local_blks_written ,
pg_stat_snapshot.temp_blks_read , pg_stat_snapshot.temp_blks_written , pg_stat_snapshot.blk_read_time , pg_stat_snapshot.blk_write_time
);
RAISE NOTICE 'Krijimi i snapshot-it të pg_stat_statements për pyetjet me min_time më shumë se 1000ms';
FOR pg_stat_snapshot IN
--Të gjitha pyetjet me max_time më shumë se 1000 ms
SELECT
*
FROM dblink('LINK1',
'SELECT
dbid , userid ,queryid,query,calls,total_time,min_time ,max_time,mean_time, stddev_time ,rows ,shared_blks_hit ,
shared_blks_read ,shared_blks_dirtied ,shared_blks_written ,
local_blks_hit , local_blks_read , local_blks_dirtied ,
local_blks_written , temp_blks_read , temp_blks_written , blk_read_time ,
blk_write_time
FROM pg_stat_statements
WHERE dbid=(SELECT oid from pg_database where datname=current_database() AND min_time >= 1000 )
'
)
AS t
( dbid oid , userid oid , queryid bigint ,query text , calls bigint ,
total_time double precision ,min_time double precision ,max_time double precision , mean_time double precision , stddev_time double precision ,
rows bigint , shared_blks_hit bigint , shared_blks_read bigint ,shared_blks_dirtied bigint ,shared_blks_written bigint ,
local_blks_hit bigint ,local_blks_read bigint , local_blks_dirtied bigint ,local_blks_written bigint ,
temp_blks_read bigint ,temp_blks_written bigint ,
blk_read_time double precision , blk_write_time double precision
)
LOOP
INSERT INTO pg_stat_history
(
snapshot_timestamp ,database_id ,
dbid ,userid , queryid , query , calls ,total_time ,min_time ,max_time ,mean_time ,stddev_time ,
rows ,shared_blks_hit ,shared_blks_read ,shared_blks_dirtied ,shared_blks_written ,local_blks_hit ,
local_blks_read,local_blks_dirtied,local_blks_written,temp_blks_read,temp_blks_written,
blk_read_time, blk_write_time
)
VALUES
(
current_snapshot_timestamp ,
database_rec.id ,
pg_stat_snapshot.dbid ,pg_stat_snapshot.userid ,pg_stat_snapshot.queryid,pg_stat_snapshot.query,pg_stat_snapshot.calls,
pg_stat_snapshot.total_time,pg_stat_snapshot.min_time ,pg_stat_snapshot.max_time,pg_stat_snapshot.mean_time, pg_stat_snapshot.stddev_time ,
pg_stat_snapshot.rows ,pg_stat_snapshot.shared_blks_hit ,pg_stat_snapshot.shared_blks_read ,pg_stat_snapshot.shared_blks_dirtied ,pg_stat_snapshot.shared_blks_written ,
pg_stat_snapshot.local_blks_hit , pg_stat_snapshot.local_blks_read , pg_stat_snapshot.local_blks_dirtied , pg_stat_snapshot.local_blks_written ,
pg_stat_snapshot.temp_blks_read , pg_stat_snapshot.temp_blks_written , pg_stat_snapshot.blk_read_time , pg_stat_snapshot.blk_write_time
);
END LOOP;
PERFORM dblink_disconnect('LINK1');
END LOOP ;--FOR database_rec IN SELECT * FROM database WHERE endpoint_id = endpoint_rec.id
END LOOP;
RETURN TRUE;
END
$$ LANGUAGE plpgsql;Si pas një periudhë të caktuar kohe në tabelë pg_stat_history do të kemi një set fotografish të përmbajtjes së tabelës pg_stat_statements të bazës së të dhënave të synuar.
NĂ« thelb raportimi
Duke përdorur kërkesa të thjeshta, mund të merret raporti mjaft i dobishëm dhe interesant.
Të dhëna të përmbledhura për një periudhë të caktuar kohore
Kërkesë
SELECT
database_id ,
SUM(calls) AS calls ,SUM(total_time) AS total_time ,
SUM(rows) AS rows , SUM(shared_blks_hit) AS shared_blks_hit,
SUM(shared_blks_read) AS shared_blks_read ,
SUM(shared_blks_dirtied) AS shared_blks_dirtied,
SUM(shared_blks_written) AS shared_blks_written ,
SUM(local_blks_hit) AS local_blks_hit ,
SUM(local_blks_read) AS local_blks_read ,
SUM(local_blks_dirtied) AS local_blks_dirtied ,
SUM(local_blks_written) AS local_blks_written,
SUM(temp_blks_read) AS temp_blks_read,
SUM(temp_blks_written) temp_blks_written ,
SUM(blk_read_time) AS blk_read_time ,
SUM(blk_write_time) AS blk_write_time
FROM
pg_stat_history
WHERE
queryid IS NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT
GROUP BY database_id ;Koha DB
to_char(interval â1 millisecondâ * pg_total_stat_history_rec.total_time, âHH24:MI:SS.MSâ)
Koha I/O
to_char(interval â1 millisecondâ * ( pg_total_stat_history_rec.blk_read_time + pg_total_stat_history_rec.blk_write_time ), âHH24:MI:SS.MSâ)
TOP10 SQL sipas total_time
Kërkesë
SELECT
queryid ,
SUM(calls) AS calls ,
SUM(total_time) AS total_time
FROM
pg_stat_history
WHERE
queryid IS NOT NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT
GROUP BY queryid
ORDER BY 3 DESC
LIMIT 10------------------------------------------------------------------------------------- | TOP10 SQL NGA KOHA TOTAL TEKSTIM | #| queryid| thirrje| thirrje %| koha_totale (ms) | dbtime % +----+-----------+-----------+-----------+--------------------------------+---------- | 1| 821760255| 2| .00001|00:03:23.141( 203141.681 ms.)| 5.42 | 2| 4152624390| 2| .00001|00:03:13.929( 193929.215 ms.)| 5.17 | 3| 1484454471| 4| .00001|00:02:09.129( 129129.057 ms.)| 3.44 | 4| 655729273| 1| .00000|00:02:01.869( 121869.981 ms.)| 3.25 | 5| 2460318461| 1| .00000|00:01:33.113( 93113.835 ms.)| 2.48 | 6| 2194493487| 4| .00001|00:00:17.377( 17377.868 ms.)| .46 | 7| 1053044345| 1| .00000|00:00:06.156( 6156.352 ms.)| .16 | 8| 3644780286| 1| .00000|00:00:01.063( 1063.830 ms.)| .03
TOP10 SQL nga koha totale I/O
Kërkesë
SELECT
queryid ,
SUM(thirrje) AS thirrje ,
SUM(blk_read_time + blk_write_time) AS koha_io
FROM
pg_stat_history
WHERE
queryid IS NOT NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT
GROUP BY queryid
ORDER BY 3 DESC
LIMIT 10---------------------------------------------------------------------------------------- | TOP10 SQL NGA KOHA TOTAL I/O | #| queryid| calls| calls %| Koha I/O (ms)|përqindja e Koha I/O +----+-----------+-----------+-----------+--------------------------------+------------- | 1| 4152624390| 2| .00001|00:08:31.616( 511616.592 ms.)| 31.06 | 2| 821760255| 2| .00001|00:08:27.099( 507099.036 ms.)| 30.78 | 3| 655729273| 1| .00000|00:05:02.209( 302209.137 ms.)| 18.35 | 4| 2460318461| 1| .00000|00:04:05.981( 245981.117 ms.)| 14.93 | 5| 1484454471| 4| .00001|00:00:39.144( 39144.221 ms.)| 2.38 | 6| 2194493487| 4| .00001|00:00:18.182( 18182.816 ms.)| 1.10 | 7| 1053044345| 1| .00000|00:00:16.611( 16611.722 ms.)| 1.01 | 8| 3644780286| 1| .00000|00:00:00.436( 436.205 ms.)| .03
TOP10 SQL sipas kohës maksimale të ekzekutimit
Kërkesë
Zgjidh
id AS snapshotid ,
queryid ,
snapshot_timestamp ,
max_time
FROM
pg_stat_history
WHERE
queryid IS NOT NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT
ORDER BY 4 DESC
LIMIT 10----------------------------------------------------------------------------------------- | TOP10 SQL NGA KOHA MAKSIMALE TĂ EKZEKUTIMIT | #| snapshot| snapshotID| queryid| max_time (ms) +----+------------------+-----------+-----------+---------------------------------------- | 1| 05.04.2019 01:03| 4169| 655729273| 00:02:01.869( 121869.981 ms.) | 2| 04.04.2019 17:00| 4153| 821760255| 00:01:41.570( 101570.841 ms.) | 3| 04.04.2019 16:00| 4146| 821760255| 00:01:41.570( 101570.841 ms.) | 4| 04.04.2019 16:00| 4144| 4152624390| 00:01:36.964( 96964.607 ms.) | 5| 04.04.2019 17:00| 4151| 4152624390| 00:01:36.964( 96964.607 ms.) | 6| 05.04.2019 10:00| 4188| 1484454471| 00:01:33.452( 93452.150 ms.) | 7| 04.04.2019 17:00| 4150| 2460318461| 00:01:33.113( 93113.835 ms.) | 8| 04.04.2019 15:00| 4140| 1484454471| 00:00:11.892( 11892.302 ms.) | 9| 04.04.2019 16:00| 4145| 1484454471| 00:00:11.892( 11892.302 ms.) | 10| 04.04.2019 17:00| 4152| 1484454471| 00:00:11.892( 11892.302 ms.)
TOP10 SQL nga LĂNGU i ndarĂ« i leximit/shkruarjes
Kërkesë
SELECT
id AS snapshotid ,
queryid ,
snapshot_timestamp ,
shared_blks_read ,
shared_blks_written
FROM
pg_stat_history
WHERE
queryid IS NOT NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT AND
( shared_blks_read > 0 OR shared_blks_written > 0 )
ORDER BY 4 DESC , 5 DESC
LIMIT 10-------------------------------------------------------------------------------------------- | TOP10 SQL NGA KRIJESIN E SHPERNDARJES PER LETRAT E NDARJE/SHKRIM | #| snapshot| snapshotID| queryid| blloqet e ndara| blloqet e shkrimit +----+------------------+-----------+-----------+---------------------+--------------------- | 1| 04.04.2019 17:00| 4153| 821760255| 797308| 0 | 2| 04.04.2019 16:00| 4146| 821760255| 797308| 0 | 3| 05.04.2019 01:03| 4169| 655729273| 797158| 0 | 4| 04.04.2019 16:00| 4144| 4152624390| 756514| 0 | 5| 04.04.2019 17:00| 4151| 4152624390| 756514| 0 | 6| 04.04.2019 17:00| 4150| 2460318461| 734117| 0 | 7| 04.04.2019 17:00| 4155| 3644780286| 52973| 0 | 8| 05.04.2019 01:03| 4168| 1053044345| 52818| 0 | 9| 04.04.2019 15:00| 4141| 2194493487| 52813| 0 | 10| 04.04.2019 16:00| 4147| 2194493487| 52813| 0 --------------------------------------------------------------------------------------------
Histograma e shpërndarjes së kërkesave sipas kohës maksimale të ekzekutimit
KĂ«rkesat
Zgjedhni
MIN(max_time) AS hist_min ,
MAX(max_time) AS hist_max ,
(( MAX(max_time) - MIN(min_time) ) / hist_columns ) si hist_width
nga
pg_stat_history
ku
queryid NUK është NULL DHE
database_id = DATABASE_ID DHE
snapshot_timestamp NĂ MES TĂ BEGIN_TIMEPOINT DHE END_TIMEPOINT ;
Zgjedhni
SUM(calls) AS calls
nga
pg_stat_history
ku
queryid NUK është NULL DHE
database_id =DATABASE_ID DHE
snapshot_timestamp NĂ MES TĂ BEGIN_TIMEPOINT DHE END_TIMEPOINT DHE
( max_time >= hist_current_min DHE max_time < hist_current_max ) ;
|----------------------------------------------------------------------------------------------- | HISTOGRAMI I MAX_TIME | CALLS TOTAL : 33851920 | KOHA MINIMALE : 00:00:01.063 | KOHA MAKSIMALE : 00:02:01.869 --------------------------------------------------------------------------------- | min durata| max durata| calls +----------------------------------+----------------------------------+---------- | 00:00:01.063( 1063.830 ms.) | 00:00:13.144( 13144.445 ms.) | 9 | 00:00:13.144( 13144.445 ms.) | 00:00:25.225( 25225.060 ms.) | 0 | 00:00:25.225( 25225.060 ms.) | 00:00:37.305( 37305.675 ms.) | 0 | 00:00:37.305( 37305.675 ms.) | 00:00:49.386( 49386.290 ms.) | 0 | 00:00:49.386( 49386.290 ms.) | 00:01:01.466( 61466.906 ms.) | 0 | 00:01:01.466( 61466.906 ms.) | 00:01:13.547( 73547.521 ms.) | 0 | 00:01:13.547( 73547.521 ms.) | 00:01:25.628( 85628.136 ms.) | 0 | 00:01:25.628( 85628.136 ms.) | 00:01:37.708( 97708.751 ms.) | 4 | 00:01:37.708( 97708.751 ms.) | 00:01:49.789( 109789.366 ms.) | 2 | 00:01:49.789( 109789.366 ms.) | 00:02:01.869( 121869.981 ms.) | 0
TOP10 Snapshotet sipas Kërkimeve për Sekondë
KĂ«rkesat
--pg_qps.sql
--Llogarit Query për Sekondë
CREATE OR REPLACE FUNCTION pg_qps( pg_stat_history_id integer ) RETURNS double precision AS $$
DECLARE
pg_stat_history_rec record ;
prev_pg_stat_history_id integer ;
prev_pg_stat_history_rec record;
total_seconds double precision ;
result double precision;
BEGIN
result = 0 ;
SELECT *
INTO pg_stat_history_rec
FROM
pg_stat_history
WHERE id = pg_stat_history_id ;
IF pg_stat_history_rec.snapshot_timestamp IS NULL
THEN
RAISE EXCEPTION 'ERROR - Nuk u gjet pg_stat_history për id = %',pg_stat_history_id;
END IF ;
--RAISE NOTICE 'pg_stat_history_id = % , snapshot_timestamp = %', pg_stat_history_id ,
pg_stat_history_rec.snapshot_timestamp ;
SELECT
MAX(id)
INTO
prev_pg_stat_history_id
FROM
pg_stat_history
WHERE
database_id = pg_stat_history_rec.database_id AND
queryid IS NULL AND
id 0
THEN
result = pg_stat_history_rec.calls / total_seconds ;
ELSE
result = 0 ;
END IF;
RETURN result ;
END
$$ LANGUAGE plpgsql;
SELECT
id ,
snapshot_timestamp ,
calls ,
total_time ,
( select pg_qps( id )) AS QPS ,
blk_read_time ,
blk_write_time
FROM
pg_stat_history
WHERE
queryid IS NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT AND
( select pg_qps( id )) IS NOT NULL
ORDER BY 5 DESC
LIMIT 10
|----------------------------------------------------------------------------------------------- | TOP10 Snapshotet të renditur sipas numrit të PyetjePërSekundë ----------------------------------------------------------------------------------------------------------------------------------------------- | #| snapshot| snapshotID| calls| total dbtime| QPS| I/O time| I/O time % +-----+------------------+-----------+-----------+----------------------------------+-----------+----------------------------------+----------- | 1| 04.04.2019 20:04| 4161| 5758631| 00:06:30.513( 390513.926 ms.)| 1573.396| 00:00:01.470( 1470.110 ms.)| .376 | 2| 04.04.2019 17:00| 4149| 3529197| 00:11:48.830( 708830.618 ms.)| 980.332| 00:12:47.834( 767834.052 ms.)| 108.324 | 3| 04.04.2019 16:00| 4143| 3525360| 00:10:13.492( 613492.351 ms.)| 979.267| 00:08:41.396( 521396.555 ms.)| 84.988 | 4| 04.04.2019 21:03| 4163| 2781536| 00:03:06.470( 186470.979 ms.)| 785.745| 00:00:00.249( 249.865 ms.)| .134 | 5| 04.04.2019 19:03| 4159| 2890362| 00:03:16.784( 196784.755 ms.)| 776.979| 00:00:01.441( 1441.386 ms.)| .732 | 6| 04.04.2019 14:00| 4137| 2397326| 00:04:43.033( 283033.854 ms.)| 665.924| 00:00:00.024( 24.505 ms.)| .009 | 7| 04.04.2019 15:00| 4139| 2394416| 00:04:51.435( 291435.010 ms.)| 665.116| 00:00:12.025( 12025.895 ms.)| 4.126 | 8| 04.04.2019 13:00| 4135| 2373043| 00:04:26.791( 266791.988 ms.)| 659.179| 00:00:00.064( 64.261 ms.)| .024 | 9| 05.04.2019 01:03| 4167| 4387191| 00:06:51.380( 411380.293 ms.)| 609.332| 00:05:18.847( 318847.407 ms.)| 77.507 | 10| 04.04.2019 18:01| 4157| 1145596| 00:01:19.217( 79217.372 ms.)| 313.004| 00:00:01.319( 1319.676 ms.)| 1.666
Historiku i Ekzekutimit me Orar me QueryPerSeconds dhe Koha I/O
Kërkesë
Zgjidhni
id ,
snapshot_timestamp ,
calls ,
total_time ,
( zgjidhni pg_qps( id )) SI QPS ,
blk_read_time ,
blk_write_time
FROM
pg_stat_history
KU
queryid ĂSHTĂ NULL DHE
database_id = DATABASE_ID DHE
snapshot_timestamp NDĂRMIJET BEGIN_TIMEPOINT DHE END_TIMEPOINT
SHTOJNĂ 2
|----------------------------------------------------------------------------------------------- | HISTORI I EKZEKUTIMIT NĂ ORA ME QueryPerSeconds dhe KohĂ« I/O ----------------------------------------------------------------------------------------------------------------------------------------------- | HISTORIA E KĂRKESAVE PĂR SEKOND | #| snapshot| snapshotID| calls| total dbtime| QPS| I/O time| I/O time % +-----+------------------+-----------+-----------+----------------------------------+-----------+----------------------------------+----------- | 1| 04.04.2019 11:00| 4131| 3747| 00:00:00.835( 835.374 ms.)| 1.041| 00:00:00.000( .000 ms.)| .000 | 2| 04.04.2019 12:00| 4133| 1002722| 00:01:52.419( 112419.376 ms.)| 278.534| 00:00:00.149( 149.105 ms.)| .133 | 3| 04.04.2019 13:00| 4135| 2373043| 00:04:26.791( 266791.988 ms.)| 659.179| 00:00:00.064( 64.261 ms.)| .024 | 4| 04.04.2019 14:00| 4137| 2397326| 00:04:43.033( 283033.854 ms.)| 665.924| 00:00:00.024( 24.505 ms.)| .009 | 5| 04.04.2019 15:00| 4139| 2394416| 00:04:51.435( 291435.010 ms.)| 665.116| 00:00:12.025( 12025.895 ms.)| 4.126 | 6| 04.04.2019 16:00| 4143| 3525360| 00:10:13.492( 613492.351 ms.)| 979.267| 00:08:41.396( 521396.555 ms.)| 84.988 | 7| 04.04.2019 17:00| 4149| 3529197| 00:11:48.830( 708830.618 ms.)| 980.332| 00:12:47.834( 767834.052 ms.)| 108.324 | 8| 04.04.2019 18:01| 4157| 1145596| 00:01:19.217( 79217.372 ms.)| 313.004| 00:00:01.319( 1319.676 ms.)| 1.666 | 9| 04.04.2019 19:03| 4159| 2890362| 00:03:16.784( 196784.755 ms.)| 776.979| 00:00:01.441( 1441.386 ms.)| .732 | 10| 04.04.2019 20:04| 4161| 5758631| 00:06:30.513( 390513.926 ms.)| 1573.396| 00:00:01.470( 1470.110 ms.)| .376 | 11| 04.04.2019 21:03| 4163| 2781536| 00:03:06.470( 186470.979 ms.)| 785.745| 00:00:00.249( 249.865 ms.)| .134 | 12| 04.04.2019 23:03| 4165| 1443155| 00:01:34.467( 94467.539 ms.)| 200.438| 00:00:00.015( 15.287 ms.)| .016 | 13| 05.04.2019 01:03| 4167| 4387191| 00:06:51.380( 411380.293 ms.)| 609.332| 00:05:18.847( 318847.407 ms.)| 77.507 | 14| 05.04.2019 02:03| 4171| 189852| 00:00:10.989( 10989.899 ms.)| 52.737| 00:00:00.539( 539.110 ms.)| 4.906 | 15| 05.04.2019 03:01| 4173| 3627| 00:00:00.103( 103.000 ms.)| 1.042| 00:00:00.004( 4.131 ms.)| 4.010 | 16| 05.04.2019 04:00| 4175| 3627| 00:00:00.085( 85.235 ms.)| 1.025| 00:00:00.003( 3.811 ms.)| 4.471 | 17| 05.04.2019 05:00| 4177| 3747| 00:00:00.849( 849.454 ms.)| 1.041| 00:00:00.006( 6.124 ms.)| .721 | 18| 05.04.2019 06:00| 4179| 3747| 00:00:00.849( 849.561 ms.)| 1.041| 00:00:00.000( .051 ms.)| .006 | 19| 05.04.2019 07:00| 4181| 3747| 00:00:00.839( 839.416 ms.)| 1.041| 00:00:00.000( .062 ms.)| .007 | 20| 05.04.2019 08:00| 4183| 3747| 00:00:00.846( 846.382 ms.)| 1.041| 00:00:00.000( .007 ms.)| .001 | 21| 05.04.2019 09:00| 4185| 3747| 00:00:00.855( 855.426 ms.)| 1.041| 00:00:00.000( .065 ms.)| .008 | 22| 05.04.2019 10:00| 4187| 3797| 00:01:40.150( 100150.165 ms.)| 1.055| 00:00:21.845( 21845.217 ms.)| 21.812
Teksti i të gjitha SQL-selektëve
Kërkesë
SELECT
queryid ,
query
FROM
pg_stat_history
WHERE
queryid IS NOT NULL AND
database_id = DATABASE_ID AND
snapshot_timestamp BETWEEN BEGIN_TIMEPOINT AND END_TIMEPOINT
GROUP BY queryid , query
PĂ«rfundimi
Siç shihet, me mjete mjaft të thjeshta, mund të merrni një sasi të madhe informacioni të dobishëm mbi ngarkesën dhe gjendjen e bazës.
Shënim:Nëse në kërkesa regjistrojmë queryid, do të marrim historinë për kërkesën e veçantë (për të kursyer hapësirë, raporte për kërkesa të veçanta janë lëna jashtë).
Pra, janë të disponueshme dhe po mblidhen të dhënat statistikore mbi performancën e kërkesave.
Faza e parĂ« «mbledhja e tĂ« dhĂ«nave statistikore» â Ă«shtĂ« pĂ«rfunduar.
Tani mund të kalojmë në fazën e dytë - «konfigurimi i metrikeve të performancës».
Por kjo është një histori krejt tjetër.
VazhdonâŠ
Burimi: habr.com
