PostgreSQL-এ ইনডেক্সের সমস্ত ক্ষমতা ব্যবহার করা

পোস্টগ্রেস বিশ্বে, ডাটাবেস স্টোরেজ (যাকে হিপ বলা হয়) দক্ষতার সাথে নেভিগেট করার জন্য সূচকগুলি গুরুত্বপূর্ণ। Postgres এর জন্য ক্লাস্টারিং সমর্থন করে না, এবং MVCC আর্কিটেকচার আপনাকে একই টিপলের অনেকগুলি সংস্করণের সাথে শেষ করে দেয়। অতএব, অ্যাপ্লিকেশনগুলিকে সমর্থন করার জন্য দক্ষ সূচক তৈরি এবং বজায় রাখতে সক্ষম হওয়া খুবই গুরুত্বপূর্ণ।

ইনডেক্সের ব্যবহার অপ্টিমাইজ এবং উন্নত করার জন্য আমি কিছু টিপস আপনার নজরে আনছি।

দ্রষ্টব্য: নীচে দেখানো প্রশ্নগুলি অপরিশোধিত উপর কাজ করে pagila ডাটাবেস নমুনা.

কভারিং ইনডেক্স ব্যবহার করে

চলুন নিষ্ক্রিয় ব্যবহারকারীদের জন্য ইমেল ঠিকানা পুনরুদ্ধার করার জন্য একটি অনুরোধ দেখি। টেবিলের customer একটি কলাম আছে active, এবং ক্যোয়ারী সহজ:

pagila=# EXPLAIN SELECT email FROM customer WHERE active=0;
                        QUERY PLAN
-----------------------------------------------------------
 Seq Scan on customer  (cost=0.00..16.49 rows=15 width=32)
   Filter: (active = 0)
(2 rows)

ক্যোয়ারীটি সম্পূর্ণ টেবিল স্ক্যান ক্রমকে কল করে customer. কলামে একটি সূচক তৈরি করা যাক active:

pagila=# CREATE INDEX idx_cust1 ON customer(active);
CREATE INDEX
pagila=# EXPLAIN SELECT email FROM customer WHERE active=0;
                                 QUERY PLAN
-----------------------------------------------------------------------------
 Index Scan using idx_cust1 on customer  (cost=0.28..12.29 rows=15 width=32)
   Index Cond: (active = 0)
(2 rows)

সাহায্য করেছে, পরবর্তী স্ক্যান "এ পরিণত হয়েছেindex scan" এর মানে পোস্টগ্রেস সূচক ক্রল করবে "idx_cust1", এবং তারপরে অন্যান্য কলামের মান পড়তে টেবিলের স্তূপ অনুসন্ধান চালিয়ে যান (এই ক্ষেত্রে, কলাম email) যে অনুরোধের প্রয়োজন।

PostgreSQL 11 কভারিং ইনডেক্স চালু করেছে। তারা আপনাকে সূচকে এক বা একাধিক অতিরিক্ত কলাম অন্তর্ভুক্ত করার অনুমতি দেয় - তাদের মানগুলি সূচক ডেটা স্টোরে সংরক্ষণ করা হয়।

যদি আমরা এই বৈশিষ্ট্যটি ব্যবহার করি এবং সূচকের মধ্যে ইমেল মান যুক্ত করি, তাহলে পোস্টগ্রেসকে মানের জন্য টেবিলের স্তূপে দেখার প্রয়োজন হবে না email. দেখা যাক এটি কাজ করে কিনা:

pagila=# CREATE INDEX idx_cust2 ON customer(active) INCLUDE (email);
CREATE INDEX
pagila=# EXPLAIN SELECT email FROM customer WHERE active=0;
                                    QUERY PLAN
----------------------------------------------------------------------------------
 Index Only Scan using idx_cust2 on customer  (cost=0.28..12.29 rows=15 width=32)
   Index Cond: (active = 0)
(2 rows)

«Index Only Scan" আমাদের বলে যে ক্যোয়ারীটির এখন শুধুমাত্র সূচী প্রয়োজন, যা টেবিলের স্তূপ পড়ার জন্য সমস্ত ডিস্ক I/O এড়াতে সাহায্য করে।

আজ, কভারিং ইনডেক্স শুধুমাত্র বি-বৃক্ষের জন্য উপলব্ধ। তবে এই ক্ষেত্রে রক্ষণাবেক্ষণের প্রচেষ্টা বেশি হবে।

আংশিক সূচক ব্যবহার করে

আংশিক সূচী সূচী শুধুমাত্র টেবিলের সারির একটি উপসেট। এটি আপনাকে সূচকের আকার সংরক্ষণ করতে এবং দ্রুত স্ক্যান করতে দেয়।

ধরা যাক আমাদের ক্যালিফোর্নিয়ায় আমাদের গ্রাহকদের জন্য ইমেল ঠিকানাগুলির একটি তালিকা পেতে হবে৷ অনুরোধ এই মত হবে:

SELECT c.email FROM customer c
JOIN address a ON c.address_id = a.address_id
WHERE a.district = 'California';
which has a query plan that involves scanning both the tables that are joined:
pagila=# EXPLAIN SELECT c.email FROM customer c
pagila-# JOIN address a ON c.address_id = a.address_id
pagila-# WHERE a.district = 'California';
                              QUERY PLAN
----------------------------------------------------------------------
 Hash Join  (cost=15.65..32.22 rows=9 width=32)
   Hash Cond: (c.address_id = a.address_id)
   ->  Seq Scan on customer c  (cost=0.00..14.99 rows=599 width=34)
   ->  Hash  (cost=15.54..15.54 rows=9 width=4)
         ->  Seq Scan on address a  (cost=0.00..15.54 rows=9 width=4)
               Filter: (district = 'California'::text)
(6 rows)

নিয়মিত সূচকগুলি আমাদের কী দেবে:

pagila=# CREATE INDEX idx_address1 ON address(district);
CREATE INDEX
pagila=# EXPLAIN SELECT c.email FROM customer c
pagila-# JOIN address a ON c.address_id = a.address_id
pagila-# WHERE a.district = 'California';
                                      QUERY PLAN
---------------------------------------------------------------------------------------
 Hash Join  (cost=12.98..29.55 rows=9 width=32)
   Hash Cond: (c.address_id = a.address_id)
   ->  Seq Scan on customer c  (cost=0.00..14.99 rows=599 width=34)
   ->  Hash  (cost=12.87..12.87 rows=9 width=4)
         ->  Bitmap Heap Scan on address a  (cost=4.34..12.87 rows=9 width=4)
               Recheck Cond: (district = 'California'::text)
               ->  Bitmap Index Scan on idx_address1  (cost=0.00..4.34 rows=9 width=0)
                     Index Cond: (district = 'California'::text)
(8 rows)

স্ক্যান address সূচক স্ক্যানিং দ্বারা প্রতিস্থাপিত হয়েছে idx_address1, এবং তারপর গাদা স্ক্যান করা হয়েছে address.

যেহেতু এটি একটি ঘন ঘন ক্যোয়ারী এবং অপ্টিমাইজ করা প্রয়োজন, তাই আমরা একটি আংশিক সূচী ব্যবহার করতে পারি, যা শুধুমাত্র সেই সারিগুলিকে সূচী করে যেখানে ঠিকানাগুলি ‘California’:

pagila=# CREATE INDEX idx_address2 ON address(address_id) WHERE district='California';
CREATE INDEX
pagila=# EXPLAIN SELECT c.email FROM customer c
pagila-# JOIN address a ON c.address_id = a.address_id
pagila-# WHERE a.district = 'California';
                                           QUERY PLAN
------------------------------------------------------------------------------------------------
 Hash Join  (cost=12.38..28.96 rows=9 width=32)
   Hash Cond: (c.address_id = a.address_id)
   ->  Seq Scan on customer c  (cost=0.00..14.99 rows=599 width=34)
   ->  Hash  (cost=12.27..12.27 rows=9 width=4)
         ->  Index Only Scan using idx_address2 on address a  (cost=0.14..12.27 rows=9 width=4)
(5 rows)

এখন অনুরোধ শুধু পড়ে idx_address2 এবং টেবিল স্পর্শ না address.

মাল্টি-ভ্যালু ইনডেক্স ব্যবহার করে

কিছু কলাম যেগুলিকে ইন্ডেক্স করা দরকার সেগুলিতে স্কেলার ডেটা টাইপ নাও থাকতে পারে। কলাম ধরনের jsonb, arrays и tsvector যৌগিক বা একাধিক অর্থ ধারণ করে। আপনার যদি এই জাতীয় কলামগুলিকে সূচী করার প্রয়োজন হয় তবে আপনাকে সাধারণত সেই কলামগুলিতে সমস্ত পৃথক মান অনুসন্ধান করতে হবে।

চলুন সব ফিল্মের শিরোনাম খুঁজে বের করার চেষ্টা করা যাক যার মধ্যে ক্লিপগুলি অসফল ছবি থেকে নেওয়া হয়েছে৷ টেবিলের film একটি টেক্সট কলাম বলা হয় special_features. যদি একটি মুভিতে এই "বিশেষ সম্পত্তি" থাকে, তাহলে কলামটিতে একটি পাঠ্য অ্যারের আকারে একটি উপাদান থাকে Behind The Scenes. এই ধরনের সমস্ত ফিল্ম অনুসন্ধান করতে, আমাদের "পর্দার পিছনে" সহ সমস্ত সারি নির্বাচন করতে হবে কোন অ্যারের মান special_features:

SELECT title FROM film WHERE special_features @> '{"Behind The Scenes"}';

কন্টেনমেন্ট অপারেটর @> ডান দিকটি বাম পাশের একটি উপসেট কিনা তা পরীক্ষা করে।

প্রশ্ন পরিকল্পনা:

pagila=# EXPLAIN SELECT title FROM film
pagila-# WHERE special_features @> '{"Behind The Scenes"}';
                           QUERY PLAN
-----------------------------------------------------------------
 Seq Scan on film  (cost=0.00..67.50 rows=5 width=15)
   Filter: (special_features @> '{"Behind The Scenes"}'::text[])
(2 rows)

যা 67 খরচ সহ একটি সম্পূর্ণ হিপ স্ক্যানের অনুরোধ করে।

চলুন দেখি একটি নিয়মিত বি-ট্রি সূচক আমাদের সাহায্য করবে কিনা:

pagila=# CREATE INDEX idx_film1 ON film(special_features);
CREATE INDEX
pagila=# EXPLAIN SELECT title FROM film
pagila-# WHERE special_features @> '{"Behind The Scenes"}';
                           QUERY PLAN
-----------------------------------------------------------------
 Seq Scan on film  (cost=0.00..67.50 rows=5 width=15)
   Filter: (special_features @> '{"Behind The Scenes"}'::text[])
(2 rows)

সূচকটিও বিবেচনা করা হয়নি। বি-ট্রি ইনডেক্সের সূচীকৃত মানগুলিতে পৃথক উপাদানগুলির অস্তিত্ব সম্পর্কে কোনও ধারণা নেই।

আমাদের একটি জিআইএন সূচক দরকার।

pagila=# CREATE INDEX idx_film2 ON film USING GIN(special_features);
CREATE INDEX
pagila=# EXPLAIN SELECT title FROM film
pagila-# WHERE special_features @> '{"Behind The Scenes"}';
                                QUERY PLAN
---------------------------------------------------------------------------
 Bitmap Heap Scan on film  (cost=8.04..23.58 rows=5 width=15)
   Recheck Cond: (special_features @> '{"Behind The Scenes"}'::text[])
   ->  Bitmap Index Scan on idx_film2  (cost=0.00..8.04 rows=5 width=0)
         Index Cond: (special_features @> '{"Behind The Scenes"}'::text[])
(4 rows)

জিআইএন সূচক স্বতন্ত্র মানগুলিকে সূচীকৃত যৌগিক মানগুলিতে ম্যাপ করতে সমর্থন করে, যার ফলে ক্যোয়ারী পরিকল্পনার অর্ধেকেরও বেশি খরচ হয়।

ডুপ্লিকেট সূচী পরিত্রাণ পাওয়া

সময়ের সাথে সাথে সূচকগুলি জমা হয়, এবং কখনও কখনও একটি নতুন সূচকে আগেরগুলির একটির মতো একই সংজ্ঞা থাকতে পারে। মানব-পাঠযোগ্য SQL সূচক সংজ্ঞা পেতে আপনি ক্যাটালগ ভিউ ব্যবহার করতে পারেন pg_indexes. আপনি সহজেই একই সংজ্ঞা খুঁজে পেতে পারেন:

 SELECT array_agg(indexname) AS indexes, replace(indexdef, indexname, '') AS defn
    FROM pg_indexes
GROUP BY defn
  HAVING count(*) > 1;
And here’s the result when run on the stock pagila database:
pagila=#   SELECT array_agg(indexname) AS indexes, replace(indexdef, indexname, '') AS defn
pagila-#     FROM pg_indexes
pagila-# GROUP BY defn
pagila-#   HAVING count(*) > 1;
                                indexes                                 |                                defn
------------------------------------------------------------------------+------------------------------------------------------------------
 {payment_p2017_01_customer_id_idx,idx_fk_payment_p2017_01_customer_id} | CREATE INDEX  ON public.payment_p2017_01 USING btree (customer_id
 {payment_p2017_02_customer_id_idx,idx_fk_payment_p2017_02_customer_id} | CREATE INDEX  ON public.payment_p2017_02 USING btree (customer_id
 {payment_p2017_03_customer_id_idx,idx_fk_payment_p2017_03_customer_id} | CREATE INDEX  ON public.payment_p2017_03 USING btree (customer_id
 {idx_fk_payment_p2017_04_customer_id,payment_p2017_04_customer_id_idx} | CREATE INDEX  ON public.payment_p2017_04 USING btree (customer_id
 {payment_p2017_05_customer_id_idx,idx_fk_payment_p2017_05_customer_id} | CREATE INDEX  ON public.payment_p2017_05 USING btree (customer_id
 {idx_fk_payment_p2017_06_customer_id,payment_p2017_06_customer_id_idx} | CREATE INDEX  ON public.payment_p2017_06 USING btree (customer_id
(6 rows)

সুপারসেট সূচক

এটা ঘটতে পারে যে আপনি অনেকগুলি সূচী জমা করেন, যার মধ্যে একটি কলামের একটি সুপারসেটকে সূচী করে যা অন্যান্য সূচী সূচী করে। এটি বাঞ্ছনীয় হতে পারে বা নাও হতে পারে - একটি সুপারসেট শুধুমাত্র সূচী স্ক্যান করতে পারে, যা ভাল, তবে এটি খুব বেশি জায়গা নিতে পারে, অথবা সুপারসেটটি অপ্টিমাইজ করার উদ্দেশ্যে যে ক্যোয়ারীটি ছিল সেটি আর ব্যবহার করা হচ্ছে না৷

আপনি যদি এই জাতীয় সূচকগুলির সংজ্ঞা স্বয়ংক্রিয় করতে চান তবে আপনি শুরু করতে পারেন pg_index টেবিল থেকে pg_catalog.

অব্যবহৃত সূচক

ডাটাবেস ব্যবহার করে এমন অ্যাপ্লিকেশনগুলি যেমন বিকশিত হয়, তেমনি তারা যে প্রশ্নগুলি ব্যবহার করে সেগুলিও করে৷ পূর্বে যোগ করা সূচীগুলি আর কোন প্রশ্নের দ্বারা ব্যবহার করা যাবে না। প্রতিবার একটি সূচক স্ক্যান করা হলে, এটি পরিসংখ্যান ব্যবস্থাপক এবং সিস্টেম ক্যাটালগ ভিউতে নোট করে pg_stat_user_indexes আপনি মান দেখতে পারেন idx_scan, যা একটি ক্রমবর্ধমান কাউন্টার। নির্দিষ্ট সময়ের মধ্যে এই মানটি ট্র্যাক করা (এক মাস বলুন) কোন সূচকগুলি ব্যবহার করা হচ্ছে না এবং বাদ দেওয়া যেতে পারে সে সম্পর্কে একটি ভাল ধারণা দেবে।

এখানে স্কিমার সমস্ত সূচকের বর্তমান স্ক্যান গণনা পাওয়ার জন্য একটি অনুরোধ ‘public’:

SELECT relname, indexrelname, idx_scan
FROM   pg_catalog.pg_stat_user_indexes
WHERE  schemaname = 'public';
with output like this:
pagila=# SELECT relname, indexrelname, idx_scan
pagila-# FROM   pg_catalog.pg_stat_user_indexes
pagila-# WHERE  schemaname = 'public'
pagila-# LIMIT  10;
    relname    |    indexrelname    | idx_scan
---------------+--------------------+----------
 customer      | customer_pkey      |    32093
 actor         | actor_pkey         |     5462
 address       | address_pkey       |      660
 category      | category_pkey      |     1000
 city          | city_pkey          |      609
 country       | country_pkey       |      604
 film_actor    | film_actor_pkey    |        0
 film_category | film_category_pkey |        0
 film          | film_pkey          |    11043
 inventory     | inventory_pkey     |    16048
(10 rows)

কম লক সহ সূচী পুনর্নির্মাণ

সূচীগুলি প্রায়শই পুনরায় তৈরি করা প্রয়োজন, উদাহরণস্বরূপ যখন সেগুলি ফুলে যায় এবং পুনরায় তৈরি করা স্ক্যানিংয়ের গতি বাড়িয়ে তুলতে পারে। সূচকগুলিও দূষিত হতে পারে। সূচী পরামিতি পরিবর্তন করার জন্য এটি পুনরায় তৈরির প্রয়োজন হতে পারে।

সমান্তরাল সূচক তৈরি সক্ষম করুন

PostgreSQL 11-এ, B-Tree সূচক তৈরি হয় সমসাময়িক। সৃষ্টি প্রক্রিয়ার গতি বাড়ানোর জন্য, বেশ কয়েকটি সমান্তরাল শ্রমিক ব্যবহার করা যেতে পারে। যাইহোক, নিশ্চিত করুন যে এই কনফিগারেশন সেটিংস সঠিকভাবে সেট করা আছে:

SET max_parallel_workers = 32;
SET max_parallel_maintenance_workers = 16;

ডিফল্ট মান খুব ছোট. আদর্শভাবে, প্রসেসর কোরের সংখ্যার সাথে এই সংখ্যাগুলি বৃদ্ধি করা উচিত। আরও পড়ুন ডকুমেন্টেশন.

পটভূমি সূচক তৈরি

আপনি বিকল্পটি ব্যবহার করে পটভূমিতে সূচক তৈরি করতে পারেন CONCURRENTLY কমান্ড CREATE INDEX:

pagila=# CREATE INDEX CONCURRENTLY idx_address1 ON address(district);
CREATE INDEX

এই সূচক তৈরির পদ্ধতিটি সাধারণের থেকে আলাদা যে এটিতে টেবিলটি লক করার প্রয়োজন নেই এবং তাই লেখার ক্রিয়াকলাপগুলিকে ব্লক করে না। অন্যদিকে, এটি বেশি সময় নেয় এবং আরও সংস্থান গ্রহণ করে।

পোস্টগ্রেস কোনো বিশেষ ক্ষেত্রে সূচী তৈরি এবং সমাধানের জন্য অনেক নমনীয় বিকল্প সরবরাহ করে এবং আপনার অ্যাপ্লিকেশনটি বিস্ফোরকভাবে বৃদ্ধি পেলে ডাটাবেস পরিচালনা করার উপায়ও সরবরাহ করে। আমরা আশা করি এই টিপসগুলি আপনাকে আপনার প্রশ্নগুলিকে দ্রুত এবং আপনার ডাটাবেসকে স্কেল করার জন্য প্রস্তুত করতে সাহায্য করবে৷

উত্স: www.habr.com