PK ছাড়া একটি টেবিল থেকে ক্লোন রেকর্ড সাফ করা

পরিস্থিতি আছে যখন একটি প্রাথমিক কী ছাড়া একটি টেবিলে বা অন্য কিছু অনন্য সূচক, একটি তত্ত্বাবধানের কারণে, ইতিমধ্যে বিদ্যমান রেকর্ডের সম্পূর্ণ ক্লোন অন্তর্ভুক্ত করা হয়েছে।

উদাহরণস্বরূপ, একটি কালানুক্রমিক মেট্রিকের মানগুলি একটি কপি স্ট্রিম ব্যবহার করে PostgreSQL এ লেখা হয়, এবং তারপরে হঠাৎ ব্যর্থ হয় এবং সম্পূর্ণ অভিন্ন ডেটার অংশ আবার আসে।

অপ্রয়োজনীয় ক্লোন ডাটাবেস পরিত্রাণ কিভাবে?

যখন পিকে সাহায্যকারী নয়

সবচেয়ে সহজ উপায় হল প্রথম স্থানে এই ধরনের পরিস্থিতি থেকে রক্ষা করা। উদাহরণস্বরূপ, প্রাথমিক কী রোল করুন। কিন্তু সঞ্চিত ডেটার ভলিউম বাড়ানো ছাড়া এটি সবসময় সম্ভব নয়।

উদাহরণস্বরূপ, যদি উৎস সিস্টেমের নির্ভুলতা ডাটাবেসের ক্ষেত্রের নির্ভুলতার চেয়ে বেশি হয়:

metric   | ts                  | data
--------------------------------------------------
cpu.busy | 2019-12-20 00:00:00 | {"value" : 12.34}
cpu.busy | 2019-12-20 00:00:01 | {"value" : 10}
cpu.busy | 2019-12-20 00:00:01 | {"value" : 11.2}
cpu.busy | 2019-12-20 00:00:03 | {"value" : 15.7}

আপনি কি লক্ষ্য করেছিলেন? 00:00:02 এর পরিবর্তে কাউন্টডাউনটি এক সেকেন্ড আগে ts সহ ডাটাবেসে রেকর্ড করা হয়েছিল, কিন্তু প্রয়োগের দৃষ্টিকোণ থেকে এটি বেশ বৈধ ছিল (সর্বশেষে, ডেটা মানগুলি আলাদা!)

অবশ্যই আপনি এটা করতে পারেন PK(মেট্রিক, ts) - কিন্তু তারপর আমরা বৈধ ডেটার জন্য সন্নিবেশ দ্বন্দ্ব পাব।

করতে পারেন PK(মেট্রিক, ts, ডেটা) - তবে এটি এর ভলিউমকে ব্যাপকভাবে বৃদ্ধি করবে, যা আমরা ব্যবহার করব না।

অতএব, সবচেয়ে সঠিক বিকল্প হল একটি নিয়মিত অ-অনন্য সূচক তৈরি করা (মেট্রিক, টিএস) এবং বাস্তবতার পর সমস্যা দেখা দিলে মোকাবেলা করুন।

"ক্লোনিক যুদ্ধ শুরু হয়েছে"

কিছু ধরণের দুর্ঘটনা ঘটেছে, এবং এখন আমাদের টেবিল থেকে ক্লোন রেকর্ডগুলি ধ্বংস করতে হবে।

আসল ডেটা মডেল করা যাক:

CREATE TABLE tbl(k text, v integer);

INSERT INTO tbl
VALUES
  ('a', 1)
, ('a', 3)
, ('b', 2)
, ('b', 2) -- oops!
, ('c', 3)
, ('c', 3) -- oops!!
, ('c', 3) -- oops!!
, ('d', 4)
, ('e', 5)
;

এখানে আমাদের হাত তিনবার কাঁপছে, Ctrl+V আটকে গেছে, এবং এখন...

প্রথমে, আসুন আমরা বুঝতে পারি যে আমাদের টেবিলটি অনেক বড় হতে পারে, তাই আমরা সমস্ত ক্লোন খুঁজে পাওয়ার পরে, মুছে ফেলার জন্য আমাদের আক্ষরিক অর্থে "আঙুল খোঁচা" করার পরামর্শ দেওয়া হয়। তাদের পুনরায় অনুসন্ধান ছাড়া নির্দিষ্ট রেকর্ড.

এবং যেমন একটি উপায় আছে - এই ctid দ্বারা সম্বোধন, একটি নির্দিষ্ট রেকর্ডের শারীরিক শনাক্তকারী।

অর্থাৎ, প্রথমত, টেবিলের সারির সম্পূর্ণ বিষয়বস্তুর প্রসঙ্গে আমাদের রেকর্ডের ctid সংগ্রহ করতে হবে। সবচেয়ে সহজ বিকল্প হল পুরো লাইনটিকে পাঠ্যে নিক্ষেপ করা:

SELECT
  T::text
, array_agg(ctid) ctids
FROM
  tbl T
GROUP BY
  1;

t     | ctids
---------------------------------
(e,5) | {"(0,9)"}
(d,4) | {"(0,8)"}
(c,3) | {"(0,5)","(0,6)","(0,7)"}
(b,2) | {"(0,3)","(0,4)"}
(a,3) | {"(0,2)"}
(a,1) | {"(0,1)"}

এটা কি কাস্ট করা সম্ভব না?নীতিগতভাবে, এটি বেশিরভাগ ক্ষেত্রেই সম্ভব। যতক্ষণ না আপনি এই টেবিলে ক্ষেত্র ব্যবহার শুরু করেন সমতা অপারেটর ছাড়া প্রকার:

CREATE TABLE tbl(k text, v integer, x point);
SELECT
  array_agg(ctid) ctids
FROM
  tbl T
GROUP BY
  T;
-- ERROR:  could not identify an equality operator for type tbl

হ্যাঁ, আমরা অবিলম্বে দেখতে পাই যে যদি অ্যারেতে একাধিক এন্ট্রি থাকে তবে এগুলি সব ক্লোন। আসুন শুধু তাদের ছেড়ে দিন:

SELECT
  unnest(ctids[2:])
FROM
  (
    SELECT
      array_agg(ctid) ctids
    FROM
      tbl T
    GROUP BY
      T::text
  ) T;

unnest
------
(0,6)
(0,7)
(0,4)

যারা ছোট করে লিখতে পছন্দ করেন তাদের জন্যআপনি এটি এই মত লিখতে পারেন:

SELECT
  unnest((array_agg(ctid))[2:])
FROM
  tbl T
GROUP BY
  T::text;

যেহেতু সিরিয়ালাইজড স্ট্রিং এর মান আমাদের কাছে আকর্ষণীয় নয়, তাই আমরা সাবকোয়েরির রিটার্ন করা কলাম থেকে এটিকে ফেলে দিয়েছি।

আর কিছু করার বাকি আছে - আমরা যে সেটটি পেয়েছি তা ব্যবহার করে DELETE করুন:

DELETE FROM
  tbl
WHERE
  ctid = ANY(ARRAY(
    SELECT
      unnest(ctids[2:])
    FROM
      (
        SELECT
          array_agg(ctid) ctids
        FROM
          tbl T
        GROUP BY
          T::text
      ) T
  )::tid[]);

আসুন নিজেদের পরীক্ষা করা যাক:

[explain.tensor.ru দেখুন]

হ্যাঁ, সবকিছুই সঠিক: আমাদের 3টি রেকর্ড সম্পূর্ণ টেবিলের একমাত্র Seq স্ক্যানের জন্য নির্বাচন করা হয়েছিল এবং ডেটা অনুসন্ধান করতে ডিলিট নোড ব্যবহার করা হয়েছিল টিড স্ক্যান সহ একক পাস:

->  Tid Scan on tbl (actual time=0.050..0.051 rows=3 loops=1)
      TID Cond: (ctid = ANY ($0))

আপনি যদি অনেক রেকর্ড সাফ করেন, ভ্যাকুয়াম বিশ্লেষণ চালাতে ভুলবেন না.

আসুন একটি বৃহত্তর টেবিলের জন্য এবং একটি বৃহত্তর সংখ্যক সদৃশ সহ পরীক্ষা করি:

TRUNCATE TABLE tbl;

INSERT INTO tbl
SELECT
  chr(ascii('a'::text) + (random() * 26)::integer) k -- a..z
, (random() * 100)::integer v -- 0..99
FROM
  generate_series(1, 10000) i;

[explain.tensor.ru দেখুন]

সুতরাং, পদ্ধতিটি সফলভাবে কাজ করে, তবে এটি অবশ্যই কিছু সতর্কতার সাথে ব্যবহার করা উচিত। কারণ মুছে ফেলা প্রতিটি রেকর্ডের জন্য, টিড স্ক্যানে একটি ডেটা পৃষ্ঠা পড়া হয় এবং একটি মুছে ফেলা হয়।

উত্স: www.habr.com