PostgreSQL Antipatterns- လေးလံသော JOIN ကို အဘိဓာန်တစ်ခုဖြင့် ရိုက်လိုက်ကြပါစို့

ကျွန်ုပ်တို့သည် “ရိုးရှင်းပုံပေါ်သည်” PostgreSQL queries များ၏ စွမ်းဆောင်ရည်ကို မြှင့်တင်ရန် လူသိနည်းသော နည်းလမ်းများကို လေ့လာခြင်းအတွက် ရည်ညွှန်းထားသော ဆောင်းပါးစီးရီးများကို ဆက်လက်လုပ်ဆောင်ပါသည်။

• ရှားပါးသောမှတ်တမ်းသည် JOIN ၏အလယ်သို့ရောက်ရှိလိမ့်မည်။
• Sisyphean သည် ခင်းကျင်းမှုများတွင် ပါဝင်ရန်
• အန္တရာယ်ရှိသော JOIN နှင့် OR
• CTE နှင့် CTE ချိတ်ဆက်ပါ။

JOIN ကို သိပ်မကြိုက်ဘူးလို့ မထင်လိုက်ပါနဲ့... :)

ဒါပေမယ့် မကြာခဏဆိုသလို၊ တောင်းဆိုချက်က အဲဒါထက် သိသိသာသာ ပိုအကျိုးရှိလာတယ်။ ဒါကြောင့် ဒီနေ့ ကြိုးစားမယ်။ အရင်းအမြစ်-အများအားဖြင့် JOIN ကို ဖယ်ရှားလိုက်ပါ။ - အဘိဓာန်ကိုအသုံးပြုခြင်း။

PostgreSQL 12 မှစတင်၍ အောက်တွင်ဖော်ပြထားသော အချို့သောအခြေအနေများသည် အနည်းငယ်ကွဲပြားသောကြောင့် ပြန်ထုတ်ပေးနိုင်သည် ပုံသေမဟုတ်သော ရုပ်ထွက်ပစ္စည်း CTE. သော့ကို သတ်မှတ်ခြင်းဖြင့် ဤအပြုအမူကို ပြန်ပြောင်းနိုင်သည်။ MATERIALIZED.

အကန့်အသတ်ရှိသော ဝေါဟာရတစ်ခုတွင် "အချက်အလက်" အများအပြား

အလွန်မှန်ကန်သော အသုံးချမှုတာဝန်ကို ယူကြပါစို့ - စာရင်းတစ်ခုပြသရန် လိုအပ်သည်။ အဝင်မက်ဆေ့ခ်ျများ သို့မဟုတ် ပေးပို့သူများနှင့် လုပ်ဆောင်နေသော အလုပ်များ-

25.01 | Иванов И.И. | Подготовить описание нового алгоритма.
22.01 | Иванов И.И. | Написать статью на Хабр: жизнь без JOIN.
20.01 | Петров П.П. | Помочь оптимизировать запрос.
18.01 | Иванов И.И. | Написать статью на Хабр: JOIN с учетом распределения данных.
16.01 | Петров П.П. | Помочь оптимизировать запрос.

စိတ္တဇကမ္ဘာတွင်၊ အလုပ်စာရေးဆရာများကို ကျွန်ုပ်တို့၏အဖွဲ့အစည်းအတွင်းရှိ ဝန်ထမ်းများအားလုံးကြားတွင် အညီအမျှ ခွဲဝေပေးသင့်သော်လည်း လက်တွေ့တွင်မူ၊ အလုပ်များကို စည်းကမ်းအရ မျှမျှတတ ကန့်သတ်ထားသော လူများမှ လာပါသည်။ - အိမ်နီးချင်းဌာနများမှ “စီမံခန့်ခွဲမှုမှ” အထက်အောက် သို့မဟုတ် “ကန်ထရိုက်တာများမှ” အထိ (လေ့လာသုံးသပ်သူများ၊ ဒီဇိုင်နာများ၊ မားကတ်တင်း၊ ...)။

လူ ၁၀၀၀ ရှိသော ကျွန်ုပ်တို့၏အဖွဲ့အစည်းတွင်၊ စာရေးဆရာ အယောက် ၂၀ သာ (များသောအားဖြင့် နည်းပါးသည်) သည် တိကျသောဖျော်ဖြေတင်ဆက်သူတိုင်းအတွက် အလုပ်များကို သတ်မှတ်ပေးသည်ကို လက်ခံကြပါစို့။ ဒီဘာသာရပ်ကို ဗဟုသုတအနေနဲ့ သုံးကြည့်ရအောင်"ရိုးရာ" မေးခွန်းကို အရှိန်မြှင့်ရန်။

ဇာတ်ညွှန်းမီးစက်

-- сотрудники
CREATE TABLE person AS
SELECT
  id
, repeat(chr(ascii('a') + (id % 26)), (id % 32) + 1) "name"
, '2000-01-01'::date - (random() * 1e4)::integer birth_date
FROM
  generate_series(1, 1000) id;

ALTER TABLE person ADD PRIMARY KEY(id);

-- задачи с указанным распределением
CREATE TABLE task AS
WITH aid AS (
  SELECT
    id
  , array_agg((random() * 999)::integer + 1) aids
  FROM
    generate_series(1, 1000) id
  , generate_series(1, 20)
  GROUP BY
    1
)
SELECT
  *
FROM
  (
    SELECT
      id
    , '2020-01-01'::date - (random() * 1e3)::integer task_date
    , (random() * 999)::integer + 1 owner_id
    FROM
      generate_series(1, 100000) id
  ) T
, LATERAL(
    SELECT
      aids[(random() * (array_length(aids, 1) - 1))::integer + 1] author_id
    FROM
      aid
    WHERE
      id = T.owner_id
    LIMIT 1
  ) a;

ALTER TABLE task ADD PRIMARY KEY(id);
CREATE INDEX ON task(owner_id, task_date);
CREATE INDEX ON task(author_id);

သီးခြား executor အတွက် နောက်ဆုံး လုပ်ဆောင်စရာ 100 ကို ပြကြပါစို့။

SELECT
  task.*
, person.name
FROM
  task
LEFT JOIN
  person
    ON person.id = task.author_id
WHERE
  owner_id = 777
ORDER BY
  task_date DESC
LIMIT 100;

[explain.tensor.ru တွင်ကြည့်ရှုရန်]

ထိုသို့ထွက်လှည့် စုစုပေါင်းအချိန် 1/3 နှင့် 3/4 ဖတ်ခြင်း။ ဒေတာစာမျက်နှာများကို စာရေးဆရာကို အကြိမ် 100 ရှာဖွေရန်သာ ပြုလုပ်ထားသည် - output task တစ်ခုစီအတွက်။ ဒါပေမယ့် အဲဒီရာနဲ့ချီတဲ့အထဲမှာ ငါတို့သိတယ်။ 20 ပဲကွာတယ်။ - ဤအသိပညာကို အသုံးပြုရန် ဖြစ်နိုင်ပါသလား။

hstore-အဘိဓာန်

အခွင့်ကောင်းယူကြပါစို့ hstore အမျိုးအစား "အဘိဓာန်" သော့တန်ဖိုးကို ဖန်တီးရန်-

CREATE EXTENSION hstore

ဤသော့ကိုအသုံးပြု၍ ထုတ်ယူနိုင်စေရန်အတွက် စာရေးသူ၏ ID နှင့် သူ၏အမည်ကို အဘိဓာန်တွင် ထည့်သွင်းရန် လိုအပ်သည်-

-- формируем целевую выборку
WITH T AS (
  SELECT
    *
  FROM
    task
  WHERE
    owner_id = 777
  ORDER BY
    task_date DESC
  LIMIT 100
)
-- формируем словарь для уникальных значений
, dict AS (
  SELECT
    hstore( -- hstore(keys::text[], values::text[])
      array_agg(id)::text[]
    , array_agg(name)::text[]
    )
  FROM
    person
  WHERE
    id = ANY(ARRAY(
      SELECT DISTINCT
        author_id
      FROM
        T
    ))
)
-- получаем связанные значения словаря
SELECT
  *
, (TABLE dict) -> author_id::text -- hstore -> key
FROM
  T;

[explain.tensor.ru တွင်ကြည့်ရှုရန်]

လူများအကြောင်း သတင်းအချက်အလက်ရရှိရေးတွင် သုံးစွဲခဲ့သည်။ အချိန် ၂ ဆ ပိုနည်းပြီး ဒေတာဖတ်ခြင်း ၇ ဆ လျော့နည်းသည်။! “ဝေါဟာရ” အပြင်၊ ဤရလဒ်များရရှိရန် ကျွန်ုပ်တို့ကို ကူညီပေးခဲ့သည့်အရာမှာ၊ အစုလိုက်မှတ်တမ်းပြန်လည်ရယူခြင်း။ စားပွဲပေါ်ကနေ pass တစ်ခုတည်းကိုသုံးပြီး = ANY(ARRAY(...)).

ဇယားထည့်သွင်းမှုများ- အမှတ်စဉ်နှင့် ခွဲခြားသတ်မှတ်ခြင်း

သို့သော် ကျွန်ုပ်တို့သည် စာသားအကွက်တစ်ခုတည်းသာမက အဘိဓာန်ရှိ ထည့်သွင်းမှုတစ်ခုလုံးကို သိမ်းဆည်းရန် လိုအပ်ပါက အဘယ်နည်း။ ဤကိစ္စတွင်၊ PostgreSQL ၏စွမ်းရည်သည်ကျွန်ုပ်တို့ကိုကူညီလိမ့်မည်။ ဇယားတစ်ခုအား တန်ဖိုးတစ်ခုတည်းအဖြစ် သဘောထားပါ။:

...
, dict AS (
  SELECT
    hstore(
      array_agg(id)::text[]
    , array_agg(p)::text[] -- магия #1
    )
  FROM
    person p
  WHERE
    ...
)
SELECT
  *
, (((TABLE dict) -> author_id::text)::person).* -- магия #2
FROM
  T;

ဘာတွေဖြစ်နေတာလဲ ဒီမှာကြည့်ရအောင်။

1. ယူလိုက် p သည် full person table entry အတွက် alias အဖြစ် အခင်းအကျင်းတို့ကို စည်းဝေးစေ၏။
2. ဤ အသံသွင်းထားသော array များကို ပြန်လည်ထည့်သွင်းခဲ့သည်။ ၎င်းကို hstore အဘိဓာန်တွင် တန်ဖိုးများ၏ array အဖြစ်ထားရန် စာသားကြိုးများ (person[]::text[])။
3. ဆက်စပ်မှတ်တမ်းတစ်ခုရရှိသောအခါ၊ အဘိဓာန်မှ သော့ဖြင့် ဆွဲထုတ်သည်။ စာသား string အဖြစ်။
4. စာသားလိုတယ်။ ဇယားအမျိုးအစားတန်ဖိုးအဖြစ်သို့ပြောင်းပါ။ လူတစ်ဦး (ဇယားတစ်ခုစီအတွက် တူညီသောအမည်တစ်မျိုးကို အလိုအလျောက်ဖန်တီးသည်)။
5. ရိုက်သွင်းထားသော မှတ်တမ်းကို အသုံးပြု၍ ကော်လံများသို့ "ချဲ့" (...).*.

json အဘိဓာန်

သို့သော် အထက်ဖော်ပြပါ ကျွန်ုပ်တို့ကျင့်သုံးခဲ့သည့် လှည့်ကွက်သည် “ကာစ်တင်ခြင်း” ကိုလုပ်ဆောင်ရန် သက်ဆိုင်ရာဇယားအမျိုးအစားမရှိပါက အလုပ်မဖြစ်ပါ။ အတိအကျ တူညီသော အခြေအနေများ ပေါ်ပေါက်လာမည်ကို ကျွန်ုပ်တို့ ကြိုးစား အသုံးချမည်ဆိုလျှင်လည်း ၊ CTE အတန်း၊ "အစစ်" ဇယားမဟုတ်ပါ။.

ဤကိစ္စတွင် သူတို့က ကျွန်ုပ်တို့ကို ကူညီလိမ့်မည်။ json နှင့်အလုပ်လုပ်ရန်လုပ်ဆောင်ချက်များ:

...
, p AS ( -- это уже CTE
  SELECT
    *
  FROM
    person
  WHERE
    ...
)
, dict AS (
  SELECT
    json_object( -- теперь это уже json
      array_agg(id)::text[]
    , array_agg(row_to_json(p))::text[] -- и внутри json для каждой строки
    )
  FROM
    p
)
SELECT
  *
FROM
  T
, LATERAL(
    SELECT
      *
    FROM
      json_to_record(
        ((TABLE dict) ->> author_id::text)::json -- извлекли из словаря как json
      ) AS j(name text, birth_date date) -- заполнили нужную нам структуру
  ) j;

ပစ်မှတ်ဖွဲ့စည်းပုံကို ဖော်ပြသောအခါ၊ ကျွန်ုပ်တို့သည် အရင်းအမြစ်စာကြောင်း၏ အကွက်အားလုံးကို စာရင်းမသွင်းနိုင်ဘဲ ကျွန်ုပ်တို့ အမှန်တကယ် လိုအပ်သည့်အရာများကိုသာ စာရင်းပြုစုနိုင်သည်ကို သတိပြုသင့်သည်။ ကျွန်ုပ်တို့တွင် “ဇာတိ” ဇယားတစ်ခုရှိလျှင် ၎င်းသည် လုပ်ဆောင်ချက်ကို အသုံးပြုရန် ပိုကောင်းသည်။ json_populate_record.

ကျွန်ုပ်တို့သည် အဘိဓာန်ကို တစ်ကြိမ်သာ အသုံးပြုဆဲဖြစ်သော်လည်း၊ json-[de]serialization ကုန်ကျစရိတ်သည် အလွန်မြင့်မားသည်။ထို့ကြောင့်၊ "ရိုးသား" CTE Scan သည် သူ့ကိုယ်သူ ပိုဆိုးလာသောအခါတွင်သာ ဤနည်းလမ်းကို အသုံးပြုရန် ကျိုးကြောင်းဆီလျော်ပါသည်။

စွမ်းဆောင်ရည်စမ်းသပ်ခြင်း။

ထို့ကြောင့်၊ ကျွန်ုပ်တို့သည် ဒေတာကို အဘိဓာန်တစ်ခုအဖြစ် စီစစ်ရန် နည်းလမ်းနှစ်ခုရှိသည်။ hstore/json_object. ထို့အပြင်၊ ၎င်းတို့ကိုယ်တိုင် သော့များနှင့် တန်ဖိုးများကို စာသားအဖြစ် အတွင်း သို့မဟုတ် ပြင်ပသို့ ပြောင်းလဲခြင်းဖြင့် နည်းလမ်းနှစ်မျိုးဖြင့် ထုတ်ပေးနိုင်သည်- array_agg(i::text) / array_agg(i)::text[].

ပေါင်းစပ်ဖန်တီးထားသော ဥပမာကို အသုံးပြု၍ မတူညီသော အမျိုးအစားခွဲခြင်း၏ ထိရောက်မှုကို စစ်ဆေးကြပါစို့။ မတူညီသောသော့နံပါတ်များကို စီစစ်ပါ။:

WITH dict AS (
  SELECT
    hstore(
      array_agg(i::text)
    , array_agg(i::text)
    )
  FROM
    generate_series(1, ...) i
)
TABLE dict;

အကဲဖြတ်ခြင်း ဇာတ်ညွှန်း- အမှတ်စဉ်

WITH T AS (
  SELECT
    *
  , (
      SELECT
        regexp_replace(ea[array_length(ea, 1)], '^Execution Time: (d+.d+) ms$', '1')::real et
      FROM
        (
          SELECT
            array_agg(el) ea
          FROM
            dblink('port= ' || current_setting('port') || ' dbname=' || current_database(), $$
              explain analyze
              WITH dict AS (
                SELECT
                  hstore(
                    array_agg(i::text)
                  , array_agg(i::text)
                  )
                FROM
                  generate_series(1, $$ || (1 << v) || $$) i
              )
              TABLE dict
            $$) T(el text)
        ) T
    ) et
  FROM
    generate_series(0, 19) v
  ,   LATERAL generate_series(1, 7) i
  ORDER BY
    1, 2
)
SELECT
  v
, avg(et)::numeric(32,3)
FROM
  T
GROUP BY
  1
ORDER BY
  1;

PostgreSQL 11 တွင်၊ ခန့်မှန်းခြေအားဖြင့် 2^12 သော့များ၏ အဘိဓာန်အရွယ်အစားအထိ json သို့ serialization သည် အချိန်နည်းသည်။. ဤကိစ္စတွင်၊ အထိရောက်ဆုံးမှာ json_object နှင့် "internal" အမျိုးအစားပြောင်းလဲခြင်း၏ပေါင်းစပ်မှုဖြစ်သည်။ array_agg(i::text).

ကဲ သော့တစ်ခုစီရဲ့တန်ဖိုးကို 8 ကြိမ်လောက်ဖတ်ကြည့်ရအောင် - အားလုံးပြီးရင် အဘိဓာန်ကို သင်မသုံးစွဲဘူးဆိုရင် ဘာကြောင့် လိုအပ်တာလဲ။

အကဲဖြတ်ခြင်း ဇာတ်ညွှန်း- အဘိဓာန်မှ ဖတ်ခြင်း။

WITH T AS (
  SELECT
    *
  , (
      SELECT
        regexp_replace(ea[array_length(ea, 1)], '^Execution Time: (d+.d+) ms$', '1')::real et
      FROM
        (
          SELECT
            array_agg(el) ea
          FROM
            dblink('port= ' || current_setting('port') || ' dbname=' || current_database(), $$
              explain analyze
              WITH dict AS (
                SELECT
                  json_object(
                    array_agg(i::text)
                  , array_agg(i::text)
                  )
                FROM
                  generate_series(1, $$ || (1 << v) || $$) i
              )
              SELECT
                (TABLE dict) -> (i % ($$ || (1 << v) || $$) + 1)::text
              FROM
                generate_series(1, $$ || (1 << (v + 3)) || $$) i
            $$) T(el text)
        ) T
    ) et
  FROM
    generate_series(0, 19) v
  , LATERAL generate_series(1, 7) i
  ORDER BY
    1, 2
)
SELECT
  v
, avg(et)::numeric(32,3)
FROM
  T
GROUP BY
  1
ORDER BY
  1;

အနီးစပ်ဆုံးဖြစ်နေပြီ။ သော့ 2^6 ဖြင့် json အဘိဓာန်မှ ဖတ်ခြင်းသည် အကြိမ်များစွာ ဆုံးရှုံးသွားပါသည်။ hstore မှဖတ်ခြင်း၊ jsonb သည် 2^9 တွင် အလားတူဖြစ်လိမ့်မည်။

နောက်ဆုံးကောက်ချက်

• သင်လိုအပ်ပါက ထပ်ကျော့မှတ်တမ်းများစွာဖြင့် ချိတ်ဆက်ပါ။ - ဇယား၏ "အဘိဓာန်" ကိုသုံးခြင်းက ပိုကောင်းပါတယ်။
• သင့်အဘိဓာန်ကို မျှော်လင့်ထားလျှင် အသေးအမွှားလေးတွေနဲ့ အများကြီးဖတ်ရလိမ့်မယ်။ - သင် json[b] ကိုသုံးနိုင်သည်။
• အားလုံးအခြားကိစ္စများတွင် hstore + array_agg(i::text) ပိုထိရောက်ပါလိမ့်မယ်။

source: www.habr.com