PostgreSQL अँटीपॅटर्न: ससाचे छिद्र किती खोल आहे? चला पदानुक्रमातून जाऊया

जटिल ईआरपी प्रणालींमध्ये अनेक संस्थांना श्रेणीबद्ध स्वरूप असतेजेव्हा एकसंध वस्तू आत येतात पूर्वज-वंशज संबंधांचे झाड - ही एंटरप्राइझची संस्थात्मक रचना आहे (या सर्व शाखा, विभाग आणि कार्य गट), आणि वस्तूंची कॅटलॉग, आणि कामाची क्षेत्रे आणि विक्री बिंदूंचे भूगोल, ...

खरं तर, एकही नाही व्यवसाय ऑटोमेशन क्षेत्रे, जेथे परिणाम म्हणून कोणतीही श्रेणीबद्धता नसेल. परंतु जरी तुम्ही "व्यवसायासाठी" काम करत नसाल तरीही, तरीही तुम्हाला श्रेणीबद्ध संबंध सहजपणे येऊ शकतात. हे ट्राईट आहे, अगदी तुमचे कौटुंबिक झाड किंवा शॉपिंग सेंटरमधील परिसराची मजला योजना ही समान रचना आहे.

डीबीएमएसमध्ये असे झाड संचयित करण्याचे बरेच मार्ग आहेत, परंतु आज आम्ही फक्त एका पर्यायावर लक्ष केंद्रित करू:

CREATE TABLE hier(
  id
    integer
      PRIMARY KEY
, pid
    integer
      REFERENCES hier
, data
    json
);

CREATE INDEX ON hier(pid); -- не забываем, что FK не подразумевает автосоздание индекса, в отличие от PK

आणि आपण पदानुक्रमाच्या खोलात डोकावत असताना, अशा संरचनेसह कार्य करण्याचे आपले "निरागस" मार्ग किती प्रभावी होतील हे पाहण्यासाठी धैर्याने वाट पाहत आहे.

उद्भवणार्‍या विशिष्ट समस्या, त्यांची SQL मध्ये अंमलबजावणी पाहू आणि त्यांचे कार्यप्रदर्शन सुधारण्याचा प्रयत्न करूया.

#1. ससाचे छिद्र किती खोल आहे?

चला, निश्चिततेसाठी, हे मान्य करूया की ही रचना संस्थेच्या संरचनेत विभागांचे अधीनस्थ प्रतिबिंबित करेल: विभाग, विभाग, क्षेत्र, शाखा, कार्यरत गट... - तुम्ही त्यांना काहीही म्हणा.

प्रथम, 10K घटकांचे आमचे 'ट्री' तयार करू

INSERT INTO hier
WITH RECURSIVE T AS (
  SELECT
    1::integer id
  , '{1}'::integer[] pids
UNION ALL
  SELECT
    id + 1
  , pids[1:(random() * array_length(pids, 1))::integer] || (id + 1)
  FROM
    T
  WHERE
    id < 10000
)
SELECT
  pids[array_length(pids, 1)] id
, pids[array_length(pids, 1) - 1] pid
FROM
  T;

चला सर्वात सोप्या कार्यापासून सुरुवात करूया - विशिष्ट क्षेत्रात किंवा पदानुक्रमानुसार काम करणारे सर्व कर्मचारी शोधणे - नोडची सर्व मुले शोधा. वंशजाची "खोली" मिळवणे देखील छान होईल... हे सर्व आवश्यक असू शकते, उदाहरणार्थ, काही प्रकारचे बांधकाम करण्यासाठी या कर्मचाऱ्यांच्या आयडीच्या यादीवर आधारित जटिल निवड.

जर या वंशजांचे फक्त दोन स्तर असतील आणि संख्या डझनभर असेल तर सर्वकाही ठीक होईल, परंतु जर 5 पेक्षा जास्त स्तर असतील आणि आधीच डझनभर वंशज असतील तर समस्या असू शकतात. पारंपारिक डाउन-ट्री शोध पर्याय कसे लिहिले जातात (आणि कार्य करतात) ते पाहू. परंतु प्रथम, आमच्या संशोधनासाठी कोणते नोड्स सर्वात मनोरंजक असतील हे ठरवूया.

सर्वात "खोल" उपवृक्ष:

WITH RECURSIVE T AS (
  SELECT
    id
  , pid
  , ARRAY[id] path
  FROM
    hier
  WHERE
    pid IS NULL
UNION ALL
  SELECT
    hier.id
  , hier.pid
  , T.path || hier.id
  FROM
    T
  JOIN
    hier
      ON hier.pid = T.id
)
TABLE T ORDER BY array_length(path, 1) DESC;

 id  | pid  | path
---------------------------------------------
7624 | 7623 | {7615,7620,7621,7622,7623,7624}
4995 | 4994 | {4983,4985,4988,4993,4994,4995}
4991 | 4990 | {4983,4985,4988,4989,4990,4991}
...

सर्वात "रुंद" उपवृक्ष:

...
SELECT
  path[1] id
, count(*)
FROM
  T
GROUP BY
  1
ORDER BY
  2 DESC;

id   | count
------------
5300 |   30
 450 |   28
1239 |   27
1573 |   25

या प्रश्नांसाठी आम्ही ठराविक वापरले आवर्ती सामील व्हा:


अर्थात, या विनंती मॉडेलसह पुनरावृत्तीची संख्या वंशजांच्या एकूण संख्येशी जुळेल (आणि त्यापैकी अनेक डझन आहेत), आणि यासाठी बरीच महत्त्वपूर्ण संसाधने आणि परिणामी वेळ लागू शकतो.

चला "सर्वात रुंद" उपवृक्ष तपासूया:

WITH RECURSIVE T AS (
  SELECT
    id
  FROM
    hier
  WHERE
    id = 5300
UNION ALL
  SELECT
    hier.id
  FROM
    T
  JOIN
    hier
      ON hier.pid = T.id
)
TABLE T;

[explain.tensor.ru पहा]

अपेक्षेप्रमाणे, आम्हाला सर्व 30 रेकॉर्ड सापडले. परंतु त्यांनी एकूण वेळेपैकी 60% वेळ खर्च केला - कारण त्यांनी निर्देशांकात 30 शोध देखील केले. कमी करणे शक्य आहे का?

निर्देशांकानुसार मोठ्या प्रमाणात प्रूफरीडिंग

आम्हाला प्रत्येक नोडसाठी स्वतंत्र इंडेक्स क्वेरी करणे आवश्यक आहे का? असे दिसून आले की नाही - आम्ही निर्देशांकातून वाचू शकतो एका कॉलमध्ये एकाच वेळी अनेक की वापरणे मदतीने = ANY(array).

आणि अशा प्रत्येक आयडेंटिफायर्सच्या गटामध्ये आपण मागील चरणात सापडलेले सर्व आयडी “नोड्स” द्वारे घेऊ शकतो. म्हणजेच, प्रत्येक पुढच्या टप्प्यावर आपण करू एका विशिष्ट स्तरावरील सर्व वंशजांना एकाच वेळी शोधा.

फक्त, येथे समस्या आहे, रिकर्सिव सिलेक्शनमध्ये, तुम्ही नेस्टेड क्वेरीमध्ये प्रवेश करू शकत नाही, परंतु मागील स्तरावर जे आढळले होते तेच निवडणे आवश्यक आहे... असे दिसून आले की संपूर्ण निवडीसाठी नेस्टेड क्वेरी करणे अशक्य आहे, परंतु त्याच्या विशिष्ट क्षेत्रासाठी ते शक्य आहे. आणि हे फील्ड अॅरे देखील असू शकते - जे आपल्याला वापरण्याची आवश्यकता आहे ANY.

हे थोडे वेडे वाटते, परंतु आकृतीमध्ये सर्वकाही सोपे आहे.

WITH RECURSIVE T AS (
  SELECT
    ARRAY[id] id$
  FROM
    hier
  WHERE
    id = 5300
UNION ALL
  SELECT
    ARRAY(
      SELECT
        id
      FROM
        hier
      WHERE
        pid = ANY(T.id$)
    ) id$
  FROM
    T
  WHERE
    coalesce(id$, '{}') <> '{}' -- условие выхода из цикла - пустой массив
)
SELECT
  unnest(id$) id
FROM
  T;

[explain.tensor.ru पहा]

आणि येथे सर्वात महत्वाची गोष्ट देखील नाही वेळेत 1.5 वेळा जिंका, आणि आम्ही कमी बफर वजा केले, कारण आमच्याकडे 5 ऐवजी फक्त 30 कॉल आहेत!

अतिरिक्त बोनस ही वस्तुस्थिती आहे की अंतिम अनस्ट केल्यानंतर, आयडेंटिफायर "लेव्हल्स" नुसार क्रमबद्ध राहतील.

नोड चिन्ह

कार्यप्रदर्शन सुधारण्यास मदत करणारा पुढील विचार म्हणजे - "पानांना" मुले होऊ शकत नाहीत, म्हणजे, त्यांच्यासाठी अजिबात "खाली" पाहण्याची गरज नाही. आमच्या कार्याच्या सूत्रीकरणात, याचा अर्थ असा की जर आम्ही विभागांच्या साखळीचे अनुसरण केले आणि एखाद्या कर्मचार्यापर्यंत पोहोचलो, तर या शाखेकडे अधिक पाहण्याची गरज नाही.

चला आमच्या टेबलमध्ये प्रवेश करूया अतिरिक्त boolean-फील्ड, जे आम्हाला लगेच सांगेल की आमच्या झाडातील ही विशिष्ट नोंद "नोड" आहे की नाही - म्हणजे, त्याचे वंशज असू शकतात की नाही.

ALTER TABLE hier
  ADD COLUMN branch boolean;

UPDATE
  hier T
SET
  branch = TRUE
WHERE
  EXISTS(
    SELECT
      NULL
    FROM
      hier
    WHERE
      pid = T.id
    LIMIT 1
);
-- Запрос успешно выполнен: 3033 строк изменено за 42 мс.

छान! असे दिसून आले की सर्व वृक्ष घटकांपैकी फक्त 30% पेक्षा थोडे अधिक वंशज आहेत.

आता थोड्या वेगळ्या मेकॅनिकचा वापर करूया - द्वारे पुनरावृत्ती भागाशी कनेक्शन LATERAL, जे आम्‍हाला आवर्ती "टेबल" च्‍या फील्‍डमध्‍ये ताबडतोब प्रवेश करण्‍याची अनुमती देईल आणि कीजचा संच कमी करण्‍यासाठी नोडवर आधारित फिल्टरिंग कंडिशनसह एकूण फंक्शन वापरा:

WITH RECURSIVE T AS (
  SELECT
    array_agg(id) id$
  , array_agg(id) FILTER(WHERE branch) ns$
  FROM
    hier
  WHERE
    id = 5300
UNION ALL
  SELECT
    X.*
  FROM
    T
  JOIN LATERAL (
    SELECT
      array_agg(id) id$
    , array_agg(id) FILTER(WHERE branch) ns$
    FROM
      hier
    WHERE
      pid = ANY(T.ns$)
  ) X
    ON coalesce(T.ns$, '{}') <> '{}'
)
SELECT
  unnest(id$) id
FROM
  T;

[explain.tensor.ru पहा]

आम्ही आणखी एक इंडेक्स कॉल कमी करू शकलो आणि व्हॉल्यूममध्ये 2 पेक्षा जास्त वेळा जिंकले पुरावा

#२. चला मुळांकडे परत जाऊया

हे अल्गोरिदम उपयुक्त ठरेल जर तुम्हाला सर्व घटकांसाठी “झाडाच्या वर” नोंदी गोळा करायच्या असतील तर, कोणत्या स्त्रोत पत्रकामुळे (आणि कोणत्या निर्देशकांसह) ते नमुन्यात समाविष्ट केले गेले याबद्दल माहिती राखून ठेवत असेल - उदाहरणार्थ, सारांश अहवाल तयार करण्यासाठी नोड्समध्ये एकत्रीकरणासह.

पुढील गोष्टी केवळ संकल्पनेचा पुरावा म्हणून घ्याव्यात, कारण विनंती खूप अवघड आहे. परंतु जर ते तुमच्या डेटाबेसवर वर्चस्व गाजवत असेल तर तुम्ही तत्सम तंत्रे वापरण्याचा विचार केला पाहिजे.

चला काही सोप्या विधानांसह प्रारंभ करूया:

• डेटाबेसमधून समान रेकॉर्ड एकदाच वाचणे उत्तम.
• डेटाबेसमधून रेकॉर्ड बॅचमध्ये वाचणे अधिक कार्यक्षम आहेएकट्यापेक्षा.

आता आपल्याला आवश्यक असलेली विनंती तयार करण्याचा प्रयत्न करूया.

1 पाऊल

साहजिकच, पुनरावृत्ती सुरू करताना (त्याशिवाय आपण कुठे असू!) आपल्याला प्रारंभिक अभिज्ञापकांच्या संचाच्या आधारे पानांच्या नोंदी वजा कराव्या लागतील:

WITH RECURSIVE tree AS (
  SELECT
    rec -- это цельная запись таблицы
  , id::text chld -- это "набор" приведших сюда исходных листьев
  FROM
    hier rec
  WHERE
    id = ANY('{1,2,4,8,16,32,64,128,256,512,1024,2048,4096,8192}'::integer[])
UNION ALL
  ...

जर एखाद्याला हे विचित्र वाटत असेल की "सेट" एक स्ट्रिंग म्हणून संग्रहित आहे आणि अॅरे नाही, तर यासाठी एक साधे स्पष्टीकरण आहे. स्ट्रिंगसाठी अंगभूत एकत्रित “ग्लूइंग” फंक्शन आहे string_agg, परंतु अॅरेसाठी नाही. जरी ती आपल्या स्वतःच्या अंमलबजावणीसाठी सोपे.

2 पाऊल

आता आम्हाला विभाग आयडीचा एक संच मिळेल जो पुढे वाचणे आवश्यक आहे. जवळजवळ नेहमीच ते मूळ सेटच्या वेगवेगळ्या रेकॉर्डमध्ये डुप्लिकेट केले जातील - म्हणून आम्ही करू त्यांना गट करा, स्त्रोत पानांबद्दल माहिती जतन करताना.

परंतु येथे तीन संकटे आपली वाट पाहत आहेत:

1. क्वेरीच्या "सबरिकर्सिव" भागामध्ये एकूण कार्ये असू शकत नाहीत GROUP BY.
2. आवर्ती “टेबल” चा संदर्भ नेस्टेड सबक्वेरीमध्ये असू शकत नाही.
3. रिकर्सिव्ह भागातील विनंतीमध्ये CTE असू शकत नाही.

सुदैवाने, या सर्व समस्यांवर काम करणे अगदी सोपे आहे. चला शेवटपासून सुरुवात करूया.

रिकर्सिव्ह भागात CTE

याप्रमाणे नाही कार्ये:

WITH RECURSIVE tree AS (
  ...
UNION ALL
  WITH T (...)
  SELECT ...
)

आणि म्हणून ते कार्य करते, कंस फरक करतात!

WITH RECURSIVE tree AS (
  ...
UNION ALL
  (
    WITH T (...)
    SELECT ...
  )
)

आवर्ती "टेबल" विरुद्ध नेस्टेड क्वेरी

हम्म... सबक्वेरीमध्ये रिकर्सिव CTE ऍक्सेस करता येत नाही. पण ते CTE च्या आत असू शकते! आणि नेस्टेड विनंती आधीच या CTE मध्ये प्रवेश करू शकते!

आतील पुनरावृत्ती द्वारे गट

हे अप्रिय आहे, परंतु... आमच्याकडे GROUP BY चे अनुकरण करण्याचा एक सोपा मार्ग आहे DISTINCT ON आणि विंडो फंक्शन्स!

SELECT
  (rec).pid id
, string_agg(chld::text, ',') chld
FROM
  tree
WHERE
  (rec).pid IS NOT NULL
GROUP BY 1 -- не работает!

आणि हे कसे कार्य करते!

SELECT DISTINCT ON((rec).pid)
  (rec).pid id
, string_agg(chld::text, ',') OVER(PARTITION BY (rec).pid) chld
FROM
  tree
WHERE
  (rec).pid IS NOT NULL

अंकीय आयडी मजकूरात का बदलला ते आता आपण पाहतो - जेणेकरुन त्यांना स्वल्पविरामाने विभक्त करून एकत्र जोडता येईल!

3 पाऊल

अंतिम फेरीसाठी आमच्याकडे काहीही शिल्लक नाही:

• आम्ही गटबद्ध आयडीच्या संचावर आधारित "विभाग" रेकॉर्ड वाचतो
• आम्ही वजा केलेल्या विभागांची तुलना मूळ शीट्सच्या "सेट" सोबत करतो
• वापरून सेट-स्ट्रिंग “विस्तारित करा” unnest(string_to_array(chld, ',')::integer[])

WITH RECURSIVE tree AS (
  SELECT
    rec
  , id::text chld
  FROM
    hier rec
  WHERE
    id = ANY('{1,2,4,8,16,32,64,128,256,512,1024,2048,4096,8192}'::integer[])
UNION ALL
  (
    WITH prnt AS (
      SELECT DISTINCT ON((rec).pid)
        (rec).pid id
      , string_agg(chld::text, ',') OVER(PARTITION BY (rec).pid) chld
      FROM
        tree
      WHERE
        (rec).pid IS NOT NULL
    )
    , nodes AS (
      SELECT
        rec
      FROM
        hier rec
      WHERE
        id = ANY(ARRAY(
          SELECT
            id
          FROM
            prnt
        ))
    )
    SELECT
      nodes.rec
    , prnt.chld
    FROM
      prnt
    JOIN
      nodes
        ON (nodes.rec).id = prnt.id
  )
)
SELECT
  unnest(string_to_array(chld, ',')::integer[]) leaf
, (rec).*
FROM
  tree;

[explain.tensor.ru पहा]

स्त्रोत: www.habr.com