🥇PostgreSQL में इंडेक्स की सभी क्षमताओं का उपयोग करना

पोस्टग्रेज दुनिया में, डेटाबेस स्टोरेज (जिसे हीप कहा जाता है) को कुशलतापूर्वक नेविगेट करने के लिए इंडेक्स महत्वपूर्ण हैं। पोस्टग्रेज़ इसके लिए क्लस्टरिंग का समर्थन नहीं करता है, और एमवीसीसी आर्किटेक्चर के कारण आपको एक ही टुपल के कई संस्करण मिलते हैं। इसलिए, अनुप्रयोगों का समर्थन करने के लिए प्रभावी अनुक्रमणिका बनाने और बनाए रखने में सक्षम होना बहुत महत्वपूर्ण है।

मैं आपके ध्यान में अनुक्रमणिका के उपयोग को अनुकूलित और बेहतर बनाने के लिए कुछ सुझाव लाता हूं।

ध्यान दें: नीचे दिखाई गई क्वेरीज़ असंशोधित पर काम करती हैं पेजिला डेटाबेस नमूना.

कवरिंग इंडेक्स का उपयोग करना

आइए निष्क्रिय उपयोगकर्ताओं के लिए ईमेल पते पुनः प्राप्त करने के अनुरोध पर नजर डालें। मेज पर customer एक कॉलम है active, और क्वेरी सरल है:

pagila=# EXPLAIN SELECT email FROM customer WHERE active=0;
                        QUERY PLAN
-----------------------------------------------------------
 Seq Scan on customer  (cost=0.00..16.49 rows=15 width=32)
   Filter: (active = 0)
(2 rows)

क्वेरी संपूर्ण तालिका स्कैन अनुक्रम को कॉल करती है customer. आइए कॉलम पर एक इंडेक्स बनाएं active:

pagila=# CREATE INDEX idx_cust1 ON customer(active);
CREATE INDEX
pagila=# EXPLAIN SELECT email FROM customer WHERE active=0;
                                 QUERY PLAN
-----------------------------------------------------------------------------
 Index Scan using idx_cust1 on customer  (cost=0.28..12.29 rows=15 width=32)
   Index Cond: (active = 0)
(2 rows)

मदद मिली, बाद में स्कैन "में बदल गया"index scan". इसका मतलब है कि पोस्टग्रेज़ इंडेक्स को क्रॉल करेगा "idx_cust1", और फिर अन्य कॉलमों के मानों को पढ़ने के लिए टेबल हीप को खोजना जारी रखें (इस मामले में, column email) जो अनुरोध की आवश्यकता है।

PostgreSQL 11 ने कवरिंग इंडेक्स पेश किया। वे आपको इंडेक्स में ही एक या अधिक अतिरिक्त कॉलम शामिल करने की अनुमति देते हैं - उनके मान इंडेक्स डेटा स्टोर में संग्रहीत होते हैं।

यदि हमने इस सुविधा का उपयोग किया और इंडेक्स के अंदर ईमेल मान जोड़ा, तो पोस्टग्रेज को मूल्य के लिए तालिका ढेर में देखने की आवश्यकता नहीं होगी email. आइए देखें कि क्या यह काम करता है:

pagila=# CREATE INDEX idx_cust2 ON customer(active) INCLUDE (email);
CREATE INDEX
pagila=# EXPLAIN SELECT email FROM customer WHERE active=0;
                                    QUERY PLAN
----------------------------------------------------------------------------------
 Index Only Scan using idx_cust2 on customer  (cost=0.28..12.29 rows=15 width=32)
   Index Cond: (active = 0)
(2 rows)

«Index Only Scan" हमें बताता है कि क्वेरी को अब केवल इंडेक्स की आवश्यकता है, जो तालिका के ढेर को पढ़ने के लिए सभी डिस्क I/O से बचने में मदद करता है।

आज, कवरिंग इंडेक्स केवल बी-ट्रीज़ के लिए उपलब्ध हैं। हालाँकि, इस मामले में रखरखाव का प्रयास अधिक होगा।

आंशिक अनुक्रमणिका का उपयोग करना

आंशिक अनुक्रमणिका केवल तालिका की पंक्तियों के सबसेट को अनुक्रमित करती है। यह आपको इंडेक्स आकार को बचाने और तेजी से स्कैन करने की अनुमति देता है।

मान लीजिए कि हमें कैलिफ़ोर्निया में अपने ग्राहकों के लिए ईमेल पतों की एक सूची प्राप्त करने की आवश्यकता है। अनुरोध इस प्रकार होगा:

SELECT c.email FROM customer c
JOIN address a ON c.address_id = a.address_id
WHERE a.district = 'California';
which has a query plan that involves scanning both the tables that are joined:
pagila=# EXPLAIN SELECT c.email FROM customer c
pagila-# JOIN address a ON c.address_id = a.address_id
pagila-# WHERE a.district = 'California';
                              QUERY PLAN
----------------------------------------------------------------------
 Hash Join  (cost=15.65..32.22 rows=9 width=32)
   Hash Cond: (c.address_id = a.address_id)
   ->  Seq Scan on customer c  (cost=0.00..14.99 rows=599 width=34)
   ->  Hash  (cost=15.54..15.54 rows=9 width=4)
         ->  Seq Scan on address a  (cost=0.00..15.54 rows=9 width=4)
               Filter: (district = 'California'::text)
(6 rows)

नियमित सूचकांक हमें क्या देंगे:

pagila=# CREATE INDEX idx_address1 ON address(district);
CREATE INDEX
pagila=# EXPLAIN SELECT c.email FROM customer c
pagila-# JOIN address a ON c.address_id = a.address_id
pagila-# WHERE a.district = 'California';
                                      QUERY PLAN
---------------------------------------------------------------------------------------
 Hash Join  (cost=12.98..29.55 rows=9 width=32)
   Hash Cond: (c.address_id = a.address_id)
   ->  Seq Scan on customer c  (cost=0.00..14.99 rows=599 width=34)
   ->  Hash  (cost=12.87..12.87 rows=9 width=4)
         ->  Bitmap Heap Scan on address a  (cost=4.34..12.87 rows=9 width=4)
               Recheck Cond: (district = 'California'::text)
               ->  Bitmap Index Scan on idx_address1  (cost=0.00..4.34 rows=9 width=0)
                     Index Cond: (district = 'California'::text)
(8 rows)

स्कैन address इंडेक्स स्कैनिंग द्वारा प्रतिस्थापित कर दिया गया है idx_address1, और फिर ढेर को स्कैन किया गया address.

चूँकि यह एक लगातार क्वेरी है और इसे अनुकूलित करने की आवश्यकता है, हम एक आंशिक सूचकांक का उपयोग कर सकते हैं, जो केवल उन पंक्तियों को पते के साथ अनुक्रमित करता है जिनमें क्षेत्र ‘California’:

pagila=# CREATE INDEX idx_address2 ON address(address_id) WHERE district='California';
CREATE INDEX
pagila=# EXPLAIN SELECT c.email FROM customer c
pagila-# JOIN address a ON c.address_id = a.address_id
pagila-# WHERE a.district = 'California';
                                           QUERY PLAN
------------------------------------------------------------------------------------------------
 Hash Join  (cost=12.38..28.96 rows=9 width=32)
   Hash Cond: (c.address_id = a.address_id)
   ->  Seq Scan on customer c  (cost=0.00..14.99 rows=599 width=34)
   ->  Hash  (cost=12.27..12.27 rows=9 width=4)
         ->  Index Only Scan using idx_address2 on address a  (cost=0.14..12.27 rows=9 width=4)
(5 rows)

अब अनुरोध केवल पढ़ता है idx_address2 और मेज को नहीं छूता address.

मल्टी-वैल्यू इंडेक्स का उपयोग करना

कुछ कॉलम जिन्हें अनुक्रमित करने की आवश्यकता है उनमें स्केलर डेटा प्रकार नहीं हो सकता है। जैसे कॉलम प्रकार jsonb, arrays и tsvector यौगिक या अनेक अर्थों से युक्त। यदि आपको ऐसे कॉलमों को अनुक्रमित करने की आवश्यकता है, तो आपको आमतौर पर उन कॉलमों में सभी व्यक्तिगत मानों को खोजना होगा।

आइए असफल टेक के क्लिप वाली सभी फिल्मों के शीर्षक खोजने का प्रयास करें। मेज पर film वहाँ एक टेक्स्ट कॉलम है जिसे कहा जाता है special_features. यदि किसी फिल्म में यह "विशेष गुण" है, तो कॉलम में टेक्स्ट सरणी के रूप में एक तत्व होता है Behind The Scenes. ऐसी सभी फिल्मों को खोजने के लिए, हमें "पर्दे के पीछे" वाली सभी पंक्तियों का चयन करना होगा कोई सरणी मान special_features:

SELECT title FROM film WHERE special_features @> '{"Behind The Scenes"}';

कन्टेनमेंट ऑपरेटर @> जाँचता है कि दायाँ भाग बाएँ पक्ष का उपसमूह है या नहीं।

क्वेरी योजना:

pagila=# EXPLAIN SELECT title FROM film
pagila-# WHERE special_features @> '{"Behind The Scenes"}';
                           QUERY PLAN
-----------------------------------------------------------------
 Seq Scan on film  (cost=0.00..67.50 rows=5 width=15)
   Filter: (special_features @> '{"Behind The Scenes"}'::text[])
(2 rows)

जो 67 की लागत के साथ पूर्ण हीप स्कैन का अनुरोध करता है।

आइए देखें कि क्या नियमित बी-ट्री इंडेक्स हमारी मदद करेगा:

pagila=# CREATE INDEX idx_film1 ON film(special_features);
CREATE INDEX
pagila=# EXPLAIN SELECT title FROM film
pagila-# WHERE special_features @> '{"Behind The Scenes"}';
                           QUERY PLAN
-----------------------------------------------------------------
 Seq Scan on film  (cost=0.00..67.50 rows=5 width=15)
   Filter: (special_features @> '{"Behind The Scenes"}'::text[])
(2 rows)

सूचकांक पर विचार ही नहीं किया गया। बी-ट्री इंडेक्स को अपने द्वारा अनुक्रमित मूल्यों में व्यक्तिगत तत्वों के अस्तित्व के बारे में कोई जानकारी नहीं है।

हमें GIN इंडेक्स की आवश्यकता है।

pagila=# CREATE INDEX idx_film2 ON film USING GIN(special_features);
CREATE INDEX
pagila=# EXPLAIN SELECT title FROM film
pagila-# WHERE special_features @> '{"Behind The Scenes"}';
                                QUERY PLAN
---------------------------------------------------------------------------
 Bitmap Heap Scan on film  (cost=8.04..23.58 rows=5 width=15)
   Recheck Cond: (special_features @> '{"Behind The Scenes"}'::text[])
   ->  Bitmap Index Scan on idx_film2  (cost=0.00..8.04 rows=5 width=0)
         Index Cond: (special_features @> '{"Behind The Scenes"}'::text[])
(4 rows)

GIN सूचकांक व्यक्तिगत मूल्यों को अनुक्रमित समग्र मूल्यों में मैप करने का समर्थन करता है, जिसके परिणामस्वरूप क्वेरी योजना की लागत आधे से अधिक हो जाती है।

डुप्लिकेट इंडेक्स से छुटकारा पाना

सूचकांक समय के साथ जमा होते हैं, और कभी-कभी एक नए सूचकांक में पिछले वाले के समान ही परिभाषा हो सकती है। आप मानव-पठनीय SQL अनुक्रमणिका परिभाषाएँ प्राप्त करने के लिए कैटलॉग दृश्य का उपयोग कर सकते हैं pg_indexes. आप भी समान परिभाषाएँ आसानी से पा सकते हैं:

 SELECT array_agg(indexname) AS indexes, replace(indexdef, indexname, '') AS defn
    FROM pg_indexes
GROUP BY defn
  HAVING count(*) > 1;
And here’s the result when run on the stock pagila database:
pagila=#   SELECT array_agg(indexname) AS indexes, replace(indexdef, indexname, '') AS defn
pagila-#     FROM pg_indexes
pagila-# GROUP BY defn
pagila-#   HAVING count(*) > 1;
                                indexes                                 |                                defn
------------------------------------------------------------------------+------------------------------------------------------------------
 {payment_p2017_01_customer_id_idx,idx_fk_payment_p2017_01_customer_id} | CREATE INDEX  ON public.payment_p2017_01 USING btree (customer_id
 {payment_p2017_02_customer_id_idx,idx_fk_payment_p2017_02_customer_id} | CREATE INDEX  ON public.payment_p2017_02 USING btree (customer_id
 {payment_p2017_03_customer_id_idx,idx_fk_payment_p2017_03_customer_id} | CREATE INDEX  ON public.payment_p2017_03 USING btree (customer_id
 {idx_fk_payment_p2017_04_customer_id,payment_p2017_04_customer_id_idx} | CREATE INDEX  ON public.payment_p2017_04 USING btree (customer_id
 {payment_p2017_05_customer_id_idx,idx_fk_payment_p2017_05_customer_id} | CREATE INDEX  ON public.payment_p2017_05 USING btree (customer_id
 {idx_fk_payment_p2017_06_customer_id,payment_p2017_06_customer_id_idx} | CREATE INDEX  ON public.payment_p2017_06 USING btree (customer_id
(6 rows)

सुपरसेट इंडेक्स

ऐसा हो सकता है कि आप कई इंडेक्स जमा कर लें, जिनमें से एक कॉलम के सुपरसेट को इंडेक्स करता है जिसे अन्य इंडेक्स इंडेक्स करते हैं। यह वांछनीय हो भी सकता है और नहीं भी - एक सुपरसेट के परिणामस्वरूप इंडेक्स-ओनली स्कैन हो सकता है, जो अच्छा है, लेकिन यह बहुत अधिक स्थान ले सकता है, या जिस क्वेरी को सुपरसेट को अनुकूलित करने का इरादा था वह अब उपयोग में नहीं है।

यदि आपको ऐसे सूचकांकों की परिभाषा को स्वचालित करने की आवश्यकता है, तो आप शुरुआत कर सकते हैं pg_index मेज से pg_catalog.

अप्रयुक्त अनुक्रमणिका

जैसे-जैसे डेटाबेस का उपयोग करने वाले एप्लिकेशन विकसित होते हैं, वैसे-वैसे उनके द्वारा उपयोग की जाने वाली क्वेरी भी विकसित होती हैं। पहले जोड़े गए इंडेक्स का अब किसी भी प्रश्न द्वारा उपयोग नहीं किया जा सकता है। हर बार जब कोई सूचकांक स्कैन किया जाता है, तो इसे सांख्यिकी प्रबंधक और सिस्टम कैटलॉग दृश्य में नोट किया जाता है pg_stat_user_indexes आप मूल्य देख सकते हैं idx_scan, जो एक संचयी काउंटर है। इस मान को एक निश्चित अवधि (जैसे कि एक महीना) में ट्रैक करने से यह पता चल जाएगा कि कौन से इंडेक्स का उपयोग नहीं किया जा रहा है और उन्हें हटाया जा सकता है।

यहां स्कीमा में सभी अनुक्रमितों की वर्तमान स्कैन गणना प्राप्त करने का अनुरोध किया गया है ‘public’:

SELECT relname, indexrelname, idx_scan
FROM   pg_catalog.pg_stat_user_indexes
WHERE  schemaname = 'public';
with output like this:
pagila=# SELECT relname, indexrelname, idx_scan
pagila-# FROM   pg_catalog.pg_stat_user_indexes
pagila-# WHERE  schemaname = 'public'
pagila-# LIMIT  10;
    relname    |    indexrelname    | idx_scan
---------------+--------------------+----------
 customer      | customer_pkey      |    32093
 actor         | actor_pkey         |     5462
 address       | address_pkey       |      660
 category      | category_pkey      |     1000
 city          | city_pkey          |      609
 country       | country_pkey       |      604
 film_actor    | film_actor_pkey    |        0
 film_category | film_category_pkey |        0
 film          | film_pkey          |    11043
 inventory     | inventory_pkey     |    16048
(10 rows)

कम तालों के साथ अनुक्रमणिका का पुनर्निर्माण

इंडेक्स को अक्सर फिर से बनाने की आवश्यकता होती है, उदाहरण के लिए जब वे फूले हुए हो जाते हैं, और पुन: निर्माण से स्कैनिंग की गति बढ़ सकती है। अनुक्रमणिकाएँ भी दूषित हो सकती हैं. सूचकांक मापदंडों को बदलने से इसके पुन: निर्माण की भी आवश्यकता हो सकती है।

समानांतर सूचकांक निर्माण सक्षम करें

PostgreSQL 11 में, बी-ट्री इंडेक्स निर्माण समवर्ती है। निर्माण प्रक्रिया को तेज़ करने के लिए, कई समानांतर कार्यकर्ताओं का उपयोग किया जा सकता है। हालाँकि, सुनिश्चित करें कि ये कॉन्फ़िगरेशन सेटिंग्स सही ढंग से सेट हैं:

SET max_parallel_workers = 32;
SET max_parallel_maintenance_workers = 16;

डिफ़ॉल्ट मान बहुत छोटे हैं. आदर्श रूप से, प्रोसेसर कोर की संख्या के साथ-साथ ये संख्या भी बढ़नी चाहिए। में और पढ़ें प्रलेखन.

पृष्ठभूमि सूचकांक निर्माण

आप विकल्प का उपयोग करके पृष्ठभूमि में अनुक्रमणिका बना सकते हैं CONCURRENTLY आदेशों CREATE INDEX:

pagila=# CREATE INDEX CONCURRENTLY idx_address1 ON address(district);
CREATE INDEX

यह सूचकांक निर्माण प्रक्रिया सामान्य प्रक्रिया से भिन्न है क्योंकि इसमें तालिका को लॉक करने की आवश्यकता नहीं होती है, और इसलिए लेखन कार्यों को अवरुद्ध नहीं किया जाता है। दूसरी ओर, इसमें अधिक समय लगता है और अधिक संसाधनों की खपत होती है।

पोस्टग्रेज़ इंडेक्स बनाने और किसी विशेष मामले को संभालने के तरीकों के लिए कई लचीले विकल्प प्रदान करता है, और यदि आपका एप्लिकेशन विस्फोटक रूप से बढ़ता है तो डेटाबेस को प्रबंधित करने के तरीके भी प्रदान करता है। हमें उम्मीद है कि ये युक्तियाँ आपके प्रश्नों को तेज़ी से बनाने और आपके डेटाबेस को स्केल करने के लिए तैयार करने में मदद करेंगी।

स्रोत: www.habr.com

PostgreSQL में इंडेक्स की सभी क्षमताओं का उपयोग करना