PK မပါဘဲ ဇယားမှ ကိုယ်ပွားမှတ်တမ်းများကို ရှင်းလင်းခြင်း။

လုပ်တဲ့အခြေအနေတွေရှိတယ်။ ပင်မသော့မပါသော စားပွဲဆီသို့ သို့မဟုတ် ကြီးကြပ်မှုတစ်ခုကြောင့်၊ ရှိပြီးသား မှတ်တမ်းများ အပြည့်အစုံပါဝင်ပါသည်။

ဥပမာအားဖြင့်၊ အချိန်နှင့်တပြေးညီမက်ထရစ်တစ်ခု၏တန်ဖိုးများကို COPY stream ကိုအသုံးပြုကာ PostgreSQL တွင်ရေးမှတ်ပြီး ရုတ်တရက် ပျက်ကွက်သွားကာ လုံးဝထပ်တူကျသောဒေတာ၏တစ်စိတ်တစ်ပိုင်း ထပ်မံရောက်ရှိလာပါသည်။

မလိုအပ်သော clone များ၏ဒေတာဘေ့စကိုမည်သို့ဖယ်ရှားမည်နည်း။

PK က အထောက်အမ မဟုတ်ဘူး။

အလွယ်ဆုံးနည်းလမ်းကတော့ ဒီလိုအခြေအနေမျိုး မဖြစ်အောင် ကြိုတင်ကာကွယ်ဖို့ပါပဲ။ ဥပမာ၊ PRIMARY KEY ကို လှိမ့်ပါ။ ဒါပေမယ့် သိမ်းဆည်းထားတဲ့ ဒေတာပမာဏကို တိုးမပေးဘဲ အမြဲတမ်း မဖြစ်နိုင်ပါဘူး။

ဥပမာအားဖြင့်၊ အရင်းအမြစ်စနစ်၏ တိကျမှုသည် ဒေတာဘေ့စ်ရှိ အကွက်၏ တိကျမှုထက် ပိုများနေပါက၊

metric   | ts                  | data
--------------------------------------------------
cpu.busy | 2019-12-20 00:00:00 | {"value" : 12.34}
cpu.busy | 2019-12-20 00:00:01 | {"value" : 10}
cpu.busy | 2019-12-20 00:00:01 | {"value" : 11.2}
cpu.busy | 2019-12-20 00:00:03 | {"value" : 15.7}

သတိထားမိလား? The countdown အစား 00:00:02 အစောပိုင်းတွင် ts ဖြင့် ဒေတာဘေ့စ်တွင် မှတ်တမ်းတင်ခဲ့သည်၊ သို့သော် အပလီကေးရှင်းအမြင်မှ အတော်လေး ခိုင်လုံနေပေသည် (အားလုံးပြီးနောက်၊ ဒေတာတန်ဖိုးများသည် ကွဲပြားသည်!)။

လုပ်နိုင်တာပေါ့။ PK(မက်ထရစ်၊ ts) - သို့သော် မှန်ကန်သောဒေတာအတွက် ထည့်သွင်းမှုပဋိပက္ခများကို ကျွန်ုပ်တို့ရရှိပါမည်။

သငျသညျလုပျနိုငျ PK(မက်ထရစ်၊ ts၊ ဒေတာ) - သို့သော် ၎င်းသည် ကျွန်ုပ်တို့အသုံးမပြုသည့် ၎င်း၏အသံအတိုးအကျယ်ကို အလွန်တိုးစေမည်ဖြစ်သည်။

ထို့ကြောင့်၊ အမှန်ကန်ဆုံးရွေးချယ်မှုသည် ပုံမှန်မဟုတ်သော အညွှန်းကိန်းတစ်ခု ပြုလုပ်ရန်ဖြစ်သည်။ (မက်ထရစ်၊ ts) ပေါ်ပေါက်လာပါက ပြဿနာများကို ကိုင်တွယ်ဖြေရှင်းပါ။

"ကလိုနီစစ်ပွဲ စတင်နေပြီ"

မတော်တဆမှုမျိုး ဖြစ်ခဲ့ရပြီး ယခု ကျွန်ုပ်တို့သည် ဇယားမှ ကိုယ်ပွားမှတ်တမ်းများကို ဖျက်စီးရမည်ဖြစ်ပါသည်။

မူရင်းဒေတာကို နမူနာယူကြပါစို့။

CREATE TABLE tbl(k text, v integer);

INSERT INTO tbl
VALUES
  ('a', 1)
, ('a', 3)
, ('b', 2)
, ('b', 2) -- oops!
, ('c', 3)
, ('c', 3) -- oops!!
, ('c', 3) -- oops!!
, ('d', 4)
, ('e', 5)
;

ဤတွင် ကျွန်ုပ်တို့၏လက်သည် Ctrl+V ကို သုံးကြိမ်တိုင်တိုင် တုန်ခါနေပြီး ယခု...

ပထမဦးစွာ၊ ကျွန်ုပ်တို့၏စားပွဲသည် အလွန်ကြီးမားနိုင်ကြောင်း နားလည်ကြပါစို့၊ ထို့ကြောင့် ကျွန်ုပ်တို့သည် ကိုယ်ပွားများအားလုံးကို ရှာဖွေပြီးနောက်၊ ဖျက်ရန် စာသားအတိုင်း "ကျွန်ုပ်တို့၏လက်ညှိုးကိုထိုး" ရန် အကြံပြုလိုပါသည်။ ၎င်းတို့ကို ပြန်မရှာဘဲ သီးခြားမှတ်တမ်းများ.

ထိုကဲ့သို့သောနည်းလမ်းရှိသည် - ဤ ctid မှဖြေရှင်းသည်။တိကျသောမှတ်တမ်းတစ်ခု၏ ရုပ်ပိုင်းဆိုင်ရာသတ်မှတ်မှု။

ဆိုလိုသည်မှာ၊ ပထမဦးစွာ၊ ကျွန်ုပ်တို့သည် ဇယားအတန်း၏ ပြီးပြည့်စုံသော အကြောင်းအရာ၏ ဆက်စပ်မှုတွင် မှတ်တမ်းများ၏ ctid ကို စုဆောင်းရန် လိုအပ်ပါသည်။ အရိုးရှင်းဆုံးရွေးချယ်မှုမှာ စာကြောင်းတစ်ခုလုံးကို စာသားအဖြစ် ကာစ်ရန်ဖြစ်သည်-

SELECT
  T::text
, array_agg(ctid) ctids
FROM
  tbl T
GROUP BY
  1;

t     | ctids
---------------------------------
(e,5) | {"(0,9)"}
(d,4) | {"(0,8)"}
(c,3) | {"(0,5)","(0,6)","(0,7)"}
(b,2) | {"(0,3)","(0,4)"}
(a,3) | {"(0,2)"}
(a,1) | {"(0,1)"}

မချပြနိုင်ဘူးလား။မူအရ၊ ကိစ္စအများစုတွင် ဖြစ်နိုင်သည်။ ဤဇယားရှိ ကွက်လပ်များကို သင်စတင်အသုံးပြုသည်အထိ တန်းတူညီမျှမှုမရှိဘဲ အော်ပရေတာအမျိုးအစားများ:

CREATE TABLE tbl(k text, v integer, x point);
SELECT
  array_agg(ctid) ctids
FROM
  tbl T
GROUP BY
  T;
-- ERROR:  could not identify an equality operator for type tbl

ဟုတ်ကဲ့၊ array တွင် တစ်ခုထက်ပိုသော entry ရှိပါက၊ ၎င်းတို့အားလုံးသည် clones များဖြစ်ကြောင်း ကျွန်ုပ်တို့ချက်ချင်းမြင်ရပါသည်။ သူတို့ကို ထားခဲ့လိုက်ရအောင်-

SELECT
  unnest(ctids[2:])
FROM
  (
    SELECT
      array_agg(ctid) ctids
    FROM
      tbl T
    GROUP BY
      T::text
  ) T;

unnest
------
(0,6)
(0,7)
(0,4)

အတိုချုံးရေးချင်သူများအတွက်ဤကဲ့သို့ ရေးနိုင်သည်။

SELECT
  unnest((array_agg(ctid))[2:])
FROM
  tbl T
GROUP BY
  T::text;

နံပါတ်စဉ်တပ်ထားသောစာကြောင်း၏တန်ဖိုးသည် ကျွန်ုပ်တို့အတွက် စိတ်မဝင်စားသောကြောင့်၊ ကျွန်ုပ်တို့သည် ၎င်းကို ပြန်ပေးထားသော ကော်လံများထဲမှ ရိုးရိုးရှင်းရှင်း ထုတ်ပစ်လိုက်ပါသည်။

လုပ်စရာအနည်းငယ်ကျန်သေးသည် - ကျွန်ုပ်တို့ရရှိထားသော set ကိုအသုံးပြု၍ DELETE လုပ်ပါ

DELETE FROM
  tbl
WHERE
  ctid = ANY(ARRAY(
    SELECT
      unnest(ctids[2:])
    FROM
      (
        SELECT
          array_agg(ctid) ctids
        FROM
          tbl T
        GROUP BY
          T::text
      ) T
  )::tid[]);

မိမိကိုယ်ကို စစ်ဆေးကြည့်ရအောင်။

[explain.tensor.ru တွင်ကြည့်ရှုရန်]

ဟုတ်ပါသည်၊ အားလုံးမှန်ပါသည်- ကျွန်ုပ်တို့၏ မှတ်တမ်း 3 ခုကို ဇယားတစ်ခုလုံး၏ Seq Scan အတွက် ရွေးချယ်ထားပြီး ဒေတာရှာဖွေရန် Delete node ကို အသုံးပြုထားသည်။ Tid Scan ဖြင့် single pass:

->  Tid Scan on tbl (actual time=0.050..0.051 rows=3 loops=1)
      TID Cond: (ctid = ANY ($0))

မှတ်တမ်းတွေအများကြီးရှင်းရင်၊ VACUUM ANALYZE ကို လုပ်ဆောင်ရန် မမေ့ပါနှင့်.

ပိုကြီးတဲ့ ဇယားနဲ့ ထပ်နေတဲ့ အရေအတွက် ပိုများတာကို စစ်ဆေးကြည့်ရအောင်။

TRUNCATE TABLE tbl;

INSERT INTO tbl
SELECT
  chr(ascii('a'::text) + (random() * 26)::integer) k -- a..z
, (random() * 100)::integer v -- 0..99
FROM
  generate_series(1, 10000) i;

[explain.tensor.ru တွင်ကြည့်ရှုရန်]

ထို့ကြောင့် နည်းလမ်းကို အောင်မြင်စွာ လုပ်ဆောင်နိုင်သော်လည်း အချို့သော သတိဖြင့် အသုံးပြုရပါမည်။ ဖျက်လိုက်သော မှတ်တမ်းတိုင်းအတွက် Tid Scan တွင်ဖတ်သော ဒေတာစာမျက်နှာတစ်ခုရှိပြီး ဖျက်မည်ဆိုပါက တစ်ခုရှိသည်။

source: www.habr.com