Mae gan CPUs modern lawer o greiddiau. Ers blynyddoedd, mae ceisiadau wedi bod yn anfon ymholiadau i gronfeydd data ochr yn ochr. Os yw'n ymholiad adroddiad ar resi lluosog mewn tabl, mae'n rhedeg yn gyflymach wrth ddefnyddio CPUs lluosog, ac mae PostgreSQL wedi gallu gwneud hyn ers fersiwn 9.6.
Cymerodd 3 blynedd i weithredu'r nodwedd ymholiad cyfochrog - bu'n rhaid i ni ailysgrifennu'r cod ar wahanol gamau o gyflawni ymholiad. Cyflwynodd PostgreSQL 9.6 seilwaith i wella'r cod ymhellach. Mewn fersiynau dilynol, gweithredir mathau eraill o ymholiadau ochr yn ochr.
Cyfyngiadau
- Peidiwch â galluogi gweithredu cyfochrog os yw'r holl greiddiau eisoes yn brysur, fel arall bydd ceisiadau eraill yn arafu.
- Yn bwysicaf oll, mae prosesu cyfochrog â gwerthoedd WORK_MEM uchel yn defnyddio llawer o gof - mae pob hash ymuno neu ddidoli yn cymryd cof work_mem.
- Ni ellir cyflymu ymholiadau OLTP hwyrni isel trwy weithredu cyfochrog. Ac os bydd yr ymholiad yn dychwelyd un rhes, bydd prosesu cyfochrog ond yn ei arafu.
- Mae datblygwyr wrth eu bodd yn defnyddio meincnod TPC-H. Efallai bod gennych ymholiadau tebyg ar gyfer gweithredu cyfochrog perffaith.
- Dim ond ymholiadau SELECT heb gloi rhagfynegiad sy'n cael eu gweithredu ochr yn ochr.
- Weithiau mae mynegeio cywir yn well na sganio tabl dilyniannol mewn modd cyfochrog.
- Nid yw seibio ymholiadau a chyrchyddion yn cael eu cefnogi.
- Nid yw swyddogaethau ffenestr a swyddogaethau agregau gosodedig yn gyfochrog.
- Nid ydych yn ennill unrhyw beth yn y llwyth gwaith I/O.
- Nid oes unrhyw algorithmau didoli cyfochrog. Ond gellir gweithredu ymholiadau gyda mathau yn gyfochrog mewn rhai agweddau.
- Disodli CTE (GYDA ...) gyda SELECT nythog i alluogi prosesu cyfochrog.
- Nid yw papurau lapio data trydydd parti yn cefnogi prosesu cyfochrog eto (ond gallent!)
- Ni chefnogir JOIN ALLANOL LLAWN.
- mae max_rows yn analluogi prosesu cyfochrog.
- Os oes gan ymholiad swyddogaeth nad yw wedi'i marcio PARALLEL SAFE, bydd yn un edefyn.
- Mae lefel ynysu trafodion SERIALIZABLE yn analluogi prosesu cyfochrog.
Amgylchedd prawf
Ceisiodd datblygwyr PostgreSQL leihau amser ymateb ymholiadau meincnod TPC-H. Lawrlwythwch y meincnod a . Mae hwn yn ddefnydd answyddogol o feincnod TPC-H - nid ar gyfer cymharu cronfa ddata neu galedwedd.
- Lawrlwythwch TPC-H_Tools_v2.17.3.zip (neu fersiwn mwy diweddar) .
- Ail-enwi makefile.suite i Makefile a newid fel y disgrifir yma: . Lluniwch y cod gyda'r gorchymyn gwneud.
- Cynhyrchu data:
./dbgen -s 10yn creu cronfa ddata 23 GB. Mae hyn yn ddigon i weld y gwahaniaeth ym mherfformiad ymholiadau cyfochrog a heb fod yn gyfochrog. - Trosi ffeiliau
tblвcsv с forиsed. - Cloniwch yr ystorfa
pg_tpcha chopïo'r ffeiliaucsvвpg_tpch/dss/data. - Creu ymholiadau gyda gorchymyn
qgen. - Llwythwch ddata i'r gronfa ddata gyda'r gorchymyn
./tpch.sh.
Sganio dilyniannol cyfochrog
Efallai ei fod yn gyflymach nid oherwydd darllen cyfochrog, ond oherwydd bod y data wedi'i wasgaru ar draws llawer o greiddiau CPU. Mewn systemau gweithredu modern, mae ffeiliau data PostgreSQL yn cael eu storio'n dda. O ddarllen ymlaen llaw, mae'n bosibl cael bloc mwy o storfa nag y mae'r daemon PG yn ei ofyn. Felly, nid yw perfformiad ymholiad wedi'i gyfyngu gan ddisg I/O. Mae'n defnyddio cylchoedd CPU i:
- darllen rhesi un ar y tro o dudalennau tabl;
- cymharu gwerthoedd ac amodau llinynnol
WHERE.
Gadewch i ni redeg ymholiad syml select:
tpch=# explain analyze select l_quantity as sum_qty from lineitem where l_shipdate <= date '1998-12-01' - interval '105' day;
QUERY PLAN
--------------------------------------------------------------------------------------------------------------------------
Seq Scan on lineitem (cost=0.00..1964772.00 rows=58856235 width=5) (actual time=0.014..16951.669 rows=58839715 loops=1)
Filter: (l_shipdate <= '1998-08-18 00:00:00'::timestamp without time zone)
Rows Removed by Filter: 1146337
Planning Time: 0.203 ms
Execution Time: 19035.100 msMae'r sgan dilyniannol yn cynhyrchu gormod o resi heb agregu, felly mae'r ymholiad yn cael ei weithredu gan un craidd CPU.
Os ychwanegwch SUM(), gallwch weld y bydd dau lif gwaith yn helpu i gyflymu'r ymholiad:
explain analyze select sum(l_quantity) as sum_qty from lineitem where l_shipdate <= date '1998-12-01' - interval '105' day;
QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------------------------------
Finalize Aggregate (cost=1589702.14..1589702.15 rows=1 width=32) (actual time=8553.365..8553.365 rows=1 loops=1)
-> Gather (cost=1589701.91..1589702.12 rows=2 width=32) (actual time=8553.241..8555.067 rows=3 loops=1)
Workers Planned: 2
Workers Launched: 2
-> Partial Aggregate (cost=1588701.91..1588701.92 rows=1 width=32) (actual time=8547.546..8547.546 rows=1 loops=3)
-> Parallel Seq Scan on lineitem (cost=0.00..1527393.33 rows=24523431 width=5) (actual time=0.038..5998.417 rows=19613238 loops=3)
Filter: (l_shipdate <= '1998-08-18 00:00:00'::timestamp without time zone)
Rows Removed by Filter: 382112
Planning Time: 0.241 ms
Execution Time: 8555.131 msCydgasglu cyfochrog
Mae nod Parallel Seq Scan yn cynhyrchu rhesi ar gyfer agregu rhannol. Mae'r nod "Partial Aggregate" yn trimio'r llinellau hyn gan ddefnyddio SUM(). Ar y diwedd, cesglir y cownter SUM o bob proses gweithiwr gan y nod “Casglu”.
Mae'r canlyniad terfynol yn cael ei gyfrifo gan y nod “Finalize Agregate”. Os oes gennych chi'ch swyddogaethau agregu eich hun, peidiwch ag anghofio eu nodi'n “ddiogel cyfochrog”.
Nifer y prosesau gweithwyr
Gellir cynyddu nifer y prosesau gweithwyr heb ailgychwyn y gweinydd:
explain analyze select sum(l_quantity) as sum_qty from lineitem where l_shipdate <= date '1998-12-01' - interval '105' day;
QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------------------------------
Finalize Aggregate (cost=1589702.14..1589702.15 rows=1 width=32) (actual time=8553.365..8553.365 rows=1 loops=1)
-> Gather (cost=1589701.91..1589702.12 rows=2 width=32) (actual time=8553.241..8555.067 rows=3 loops=1)
Workers Planned: 2
Workers Launched: 2
-> Partial Aggregate (cost=1588701.91..1588701.92 rows=1 width=32) (actual time=8547.546..8547.546 rows=1 loops=3)
-> Parallel Seq Scan on lineitem (cost=0.00..1527393.33 rows=24523431 width=5) (actual time=0.038..5998.417 rows=19613238 loops=3)
Filter: (l_shipdate <= '1998-08-18 00:00:00'::timestamp without time zone)
Rows Removed by Filter: 382112
Planning Time: 0.241 ms
Execution Time: 8555.131 msBeth sy'n digwydd yma? Roedd 2 waith yn fwy o brosesau gwaith, a daeth y cais dim ond 1,6599 gwaith yn gyflymach. Mae'r cyfrifiadau yn ddiddorol. Roedd gennym ni 2 broses gweithiwr ac 1 arweinydd. Ar ôl y newid daeth yn 4+1.
Ein cyflymder uchaf o brosesu cyfochrog: 5/3 = 1,66 (6) gwaith.
Sut mae'n gweithio?
Y prosesau
Mae gweithredu ceisiadau bob amser yn dechrau gyda'r broses arweiniol. Mae'r arweinydd yn gwneud popeth heb fod yn gyfochrog a rhywfaint o brosesu cyfochrog. Gelwir prosesau eraill sy'n cyflawni'r un ceisiadau yn brosesau gweithwyr. Mae prosesu cyfochrog yn defnyddio seilwaith (o fersiwn 9.4). Gan fod rhannau eraill o PostgreSQL yn defnyddio prosesau yn hytrach nag edafedd, gallai ymholiad gyda phrosesau 3 gweithiwr fod 4 gwaith yn gyflymach na phrosesu traddodiadol.
Rhyngweithio
Mae prosesau gweithwyr yn cyfathrebu â'r arweinydd trwy giw neges (yn seiliedig ar gof a rennir). Mae gan bob proses 2 giw: ar gyfer gwallau ac ar gyfer tuples.
Sawl llif gwaith sydd ei angen?
Mae'r terfyn isaf wedi'i bennu gan y paramedr . Yna mae rhedwr y cais yn cymryd prosesau gweithwyr o'r pwll sydd wedi'i gyfyngu gan y paramedr . Y cyfyngiad olaf yw , hynny yw, cyfanswm nifer y prosesau cefndir.
Os nad oedd yn bosibl dyrannu proses gweithiwr, un broses fydd y prosesu.
Gall y cynllunydd ymholiad leihau llifoedd gwaith yn dibynnu ar faint y tabl neu'r mynegai. Mae paramedrau ar gyfer hyn и .
set min_parallel_table_scan_size='8MB'
8MB table => 1 worker
24MB table => 2 workers
72MB table => 3 workers
x => log(x / min_parallel_table_scan_size) / log(3) + 1 workerBob tro mae'r tabl 3 gwaith yn fwy na min_parallel_(index|table)_scan_size, Mae Postgres yn ychwanegu proses gweithiwr. Nid yw nifer y llifoedd gwaith yn seiliedig ar gostau. Mae dibyniaeth gylchol yn gwneud gweithrediadau cymhleth yn anodd. Yn lle hynny, mae'r cynlluniwr yn defnyddio rheolau syml.
Yn ymarferol, nid yw'r rheolau hyn bob amser yn addas ar gyfer cynhyrchu, felly gallwch chi newid nifer y prosesau gweithwyr ar gyfer tabl penodol: TABL ALTER ... SET (parallel_workers = N).
Pam na ddefnyddir prosesu cyfochrog?
Yn ogystal â'r rhestr hir o gyfyngiadau, mae yna hefyd wiriadau cost:
- er mwyn osgoi prosesu ceisiadau byr yn gyfochrog. Mae'r paramedr hwn yn amcangyfrif yr amser i baratoi cof, cychwyn y broses, a chyfnewid data cychwynnol.
: gellir gohirio cyfathrebu rhwng yr arweinydd a'r gweithwyr yn gymesur â nifer y tuples o brosesau gwaith. Mae'r paramedr hwn yn cyfrifo cost cyfnewid data.
Dolen Nythog yn Ymuno
PostgreSQL 9.6+ может выполнять вложенные циклы параллельно — это простая операция.
explain (costs off) select c_custkey, count(o_orderkey)
from customer left outer join orders on
c_custkey = o_custkey and o_comment not like '%special%deposits%'
group by c_custkey;
QUERY PLAN
--------------------------------------------------------------------------------------
Finalize GroupAggregate
Group Key: customer.c_custkey
-> Gather Merge
Workers Planned: 4
-> Partial GroupAggregate
Group Key: customer.c_custkey
-> Nested Loop Left Join
-> Parallel Index Only Scan using customer_pkey on customer
-> Index Scan using idx_orders_custkey on orders
Index Cond: (customer.c_custkey = o_custkey)
Filter: ((o_comment)::text !~~ '%special%deposits%'::text)Mae'r casgliad yn digwydd yn y cam olaf, felly mae Nested Loop Left Join yn weithrediad cyfochrog. Cyflwynwyd Sgan Mynegai Cyfochrog yn Unig yn fersiwn 10 yn unig. Mae'n gweithio'n debyg i sganio cyfresol cyfochrog. Cyflwr c_custkey = o_custkey yn darllen un gorchymyn fesul llinyn cleient. Felly nid yw'n gyfochrog.
Hash Ymunwch
Mae pob proses gweithiwr yn creu ei bwrdd hash ei hun tan PostgreSQL 11. Ac os oes mwy na phedwar o'r prosesau hyn, ni fydd perfformiad yn gwella. Yn y fersiwn newydd, mae'r tabl hash yn cael ei rannu. Gall pob proses gweithiwr ddefnyddio WORK_MEM i greu tabl stwnsh.
select
l_shipmode,
sum(case
when o_orderpriority = '1-URGENT'
or o_orderpriority = '2-HIGH'
then 1
else 0
end) as high_line_count,
sum(case
when o_orderpriority <> '1-URGENT'
and o_orderpriority <> '2-HIGH'
then 1
else 0
end) as low_line_count
from
orders,
lineitem
where
o_orderkey = l_orderkey
and l_shipmode in ('MAIL', 'AIR')
and l_commitdate < l_receiptdate
and l_shipdate < l_commitdate
and l_receiptdate >= date '1996-01-01'
and l_receiptdate < date '1996-01-01' + interval '1' year
group by
l_shipmode
order by
l_shipmode
LIMIT 1;
QUERY PLAN
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=1964755.66..1964961.44 rows=1 width=27) (actual time=7579.592..7922.997 rows=1 loops=1)
-> Finalize GroupAggregate (cost=1964755.66..1966196.11 rows=7 width=27) (actual time=7579.590..7579.591 rows=1 loops=1)
Group Key: lineitem.l_shipmode
-> Gather Merge (cost=1964755.66..1966195.83 rows=28 width=27) (actual time=7559.593..7922.319 rows=6 loops=1)
Workers Planned: 4
Workers Launched: 4
-> Partial GroupAggregate (cost=1963755.61..1965192.44 rows=7 width=27) (actual time=7548.103..7564.592 rows=2 loops=5)
Group Key: lineitem.l_shipmode
-> Sort (cost=1963755.61..1963935.20 rows=71838 width=27) (actual time=7530.280..7539.688 rows=62519 loops=5)
Sort Key: lineitem.l_shipmode
Sort Method: external merge Disk: 2304kB
Worker 0: Sort Method: external merge Disk: 2064kB
Worker 1: Sort Method: external merge Disk: 2384kB
Worker 2: Sort Method: external merge Disk: 2264kB
Worker 3: Sort Method: external merge Disk: 2336kB
-> Parallel Hash Join (cost=382571.01..1957960.99 rows=71838 width=27) (actual time=7036.917..7499.692 rows=62519 loops=5)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
-> Parallel Seq Scan on lineitem (cost=0.00..1552386.40 rows=71838 width=19) (actual time=0.583..4901.063 rows=62519 loops=5)
Filter: ((l_shipmode = ANY ('{MAIL,AIR}'::bpchar[])) AND (l_commitdate < l_receiptdate) AND (l_shipdate < l_commitdate) AND (l_receiptdate >= '1996-01-01'::date) AND (l_receiptdate < '1997-01-01 00:00:00'::timestamp without time zone))
Rows Removed by Filter: 11934691
-> Parallel Hash (cost=313722.45..313722.45 rows=3750045 width=20) (actual time=2011.518..2011.518 rows=3000000 loops=5)
Buckets: 65536 Batches: 256 Memory Usage: 3840kB
-> Parallel Seq Scan on orders (cost=0.00..313722.45 rows=3750045 width=20) (actual time=0.029..995.948 rows=3000000 loops=5)
Planning Time: 0.977 ms
Execution Time: 7923.770 msMae ymholiad 12 gan TPC-H yn dangos yn glir gysylltiad hash cyfochrog. Mae pob proses gweithiwr yn cyfrannu at greu bwrdd hash cyffredin.
Uno Ymuno
Mae uno uno yn anghydweddol ei natur. Peidiwch â phoeni os mai hwn yw cam olaf yr ymholiad - gall redeg yn gyfochrog o hyd.
-- Query 2 from TPC-H
explain (costs off) select s_acctbal, s_name, n_name, p_partkey, p_mfgr, s_address, s_phone, s_comment
from part, supplier, partsupp, nation, region
where
p_partkey = ps_partkey
and s_suppkey = ps_suppkey
and p_size = 36
and p_type like '%BRASS'
and s_nationkey = n_nationkey
and n_regionkey = r_regionkey
and r_name = 'AMERICA'
and ps_supplycost = (
select
min(ps_supplycost)
from partsupp, supplier, nation, region
where
p_partkey = ps_partkey
and s_suppkey = ps_suppkey
and s_nationkey = n_nationkey
and n_regionkey = r_regionkey
and r_name = 'AMERICA'
)
order by s_acctbal desc, n_name, s_name, p_partkey
LIMIT 100;
QUERY PLAN
----------------------------------------------------------------------------------------------------------
Limit
-> Sort
Sort Key: supplier.s_acctbal DESC, nation.n_name, supplier.s_name, part.p_partkey
-> Merge Join
Merge Cond: (part.p_partkey = partsupp.ps_partkey)
Join Filter: (partsupp.ps_supplycost = (SubPlan 1))
-> Gather Merge
Workers Planned: 4
-> Parallel Index Scan using <strong>part_pkey</strong> on part
Filter: (((p_type)::text ~~ '%BRASS'::text) AND (p_size = 36))
-> Materialize
-> Sort
Sort Key: partsupp.ps_partkey
-> Nested Loop
-> Nested Loop
Join Filter: (nation.n_regionkey = region.r_regionkey)
-> Seq Scan on region
Filter: (r_name = 'AMERICA'::bpchar)
-> Hash Join
Hash Cond: (supplier.s_nationkey = nation.n_nationkey)
-> Seq Scan on supplier
-> Hash
-> Seq Scan on nation
-> Index Scan using idx_partsupp_suppkey on partsupp
Index Cond: (ps_suppkey = supplier.s_suppkey)
SubPlan 1
-> Aggregate
-> Nested Loop
Join Filter: (nation_1.n_regionkey = region_1.r_regionkey)
-> Seq Scan on region region_1
Filter: (r_name = 'AMERICA'::bpchar)
-> Nested Loop
-> Nested Loop
-> Index Scan using idx_partsupp_partkey on partsupp partsupp_1
Index Cond: (part.p_partkey = ps_partkey)
-> Index Scan using supplier_pkey on supplier supplier_1
Index Cond: (s_suppkey = partsupp_1.ps_suppkey)
-> Index Scan using nation_pkey on nation nation_1
Index Cond: (n_nationkey = supplier_1.s_nationkey)Mae'r nod "Merge Join" wedi'i leoli uwchben y "Gather Merge". Felly nid yw uno yn defnyddio prosesu cyfochrog. Ond mae'r nod “Sgan Mynegai Cyfochrog” yn dal i helpu gyda'r segment part_pkey.
Cysylltiad fesul adran
Yn PostgreSQL 11 anabl yn ddiofyn: mae ganddo amserlennu drud iawn. Gellir uno tablau â rhaniad tebyg fesul rhaniad. Fel hyn bydd Postgres yn defnyddio tablau stwnsh llai. Gall pob cysylltiad o adrannau fod yn gyfochrog.
tpch=# set enable_partitionwise_join=t;
tpch=# explain (costs off) select * from prt1 t1, prt2 t2
where t1.a = t2.b and t1.b = 0 and t2.b between 0 and 10000;
QUERY PLAN
---------------------------------------------------
Append
-> Hash Join
Hash Cond: (t2.b = t1.a)
-> Seq Scan on prt2_p1 t2
Filter: ((b >= 0) AND (b <= 10000))
-> Hash
-> Seq Scan on prt1_p1 t1
Filter: (b = 0)
-> Hash Join
Hash Cond: (t2_1.b = t1_1.a)
-> Seq Scan on prt2_p2 t2_1
Filter: ((b >= 0) AND (b <= 10000))
-> Hash
-> Seq Scan on prt1_p2 t1_1
Filter: (b = 0)
tpch=# set parallel_setup_cost = 1;
tpch=# set parallel_tuple_cost = 0.01;
tpch=# explain (costs off) select * from prt1 t1, prt2 t2
where t1.a = t2.b and t1.b = 0 and t2.b between 0 and 10000;
QUERY PLAN
-----------------------------------------------------------
Gather
Workers Planned: 4
-> Parallel Append
-> Parallel Hash Join
Hash Cond: (t2_1.b = t1_1.a)
-> Parallel Seq Scan on prt2_p2 t2_1
Filter: ((b >= 0) AND (b <= 10000))
-> Parallel Hash
-> Parallel Seq Scan on prt1_p2 t1_1
Filter: (b = 0)
-> Parallel Hash Join
Hash Cond: (t2.b = t1.a)
-> Parallel Seq Scan on prt2_p1 t2
Filter: ((b >= 0) AND (b <= 10000))
-> Parallel Hash
-> Parallel Seq Scan on prt1_p1 t1
Filter: (b = 0)Y prif beth yw bod y cysylltiad mewn adrannau yn gyfochrog dim ond os yw'r adrannau hyn yn ddigon mawr.
Atodiad cyfochrog
gellir ei ddefnyddio yn lle blociau gwahanol mewn llifoedd gwaith gwahanol. Mae hyn fel arfer yn digwydd gydag UNION POB ymholiad. Yr anfantais yw llai o gyfochredd, oherwydd dim ond 1 cais y mae proses pob gweithiwr yn ei brosesu.
Mae prosesau 2 weithiwr yn rhedeg yma, er bod 4 wedi'u galluogi.
tpch=# explain (costs off) select sum(l_quantity) as sum_qty from lineitem where l_shipdate <= date '1998-12-01' - interval '105' day union all select sum(l_quantity) as sum_qty from lineitem where l_shipdate <= date '2000-12-01' - interval '105' day;
QUERY PLAN
------------------------------------------------------------------------------------------------
Gather
Workers Planned: 2
-> Parallel Append
-> Aggregate
-> Seq Scan on lineitem
Filter: (l_shipdate <= '2000-08-18 00:00:00'::timestamp without time zone)
-> Aggregate
-> Seq Scan on lineitem lineitem_1
Filter: (l_shipdate <= '1998-08-18 00:00:00'::timestamp without time zone)Y newidynnau pwysicaf
- Mae WORK_MEM yn cyfyngu ar y cof fesul proses, nid dim ond ymholiadau: work_mem prosesau cysylltiadau = llawer o gof.
- — faint o brosesau gweithwyr y bydd y rhaglen weithredu yn eu defnyddio ar gyfer prosesu cyfochrog o'r cynllun.
- - yn addasu cyfanswm nifer y prosesau gweithwyr i nifer y creiddiau CPU ar y gweinydd.
- - yr un peth, ond ar gyfer prosesau gwaith cyfochrog.
Canlyniadau
O fersiwn 9.6, gall prosesu cyfochrog wella perfformiad ymholiadau cymhleth sy'n sganio llawer o resi neu fynegeion yn fawr. Yn PostgreSQL 10, mae prosesu cyfochrog yn cael ei alluogi yn ddiofyn. Cofiwch ei analluogi ar weinyddion sydd â llwyth gwaith OLTP mawr. Mae sganiau dilyniannol neu sganiau mynegai yn defnyddio llawer o adnoddau. Os nad ydych yn rhedeg adroddiad ar y set ddata gyfan, gallwch wella perfformiad ymholiad trwy ychwanegu mynegeion coll neu ddefnyddio rhaniad cywir.
cyfeiriadau
Ffynhonnell: hab.com