Happy Party ή μερικές γραμμές αναμνήσεις σχετικά με την εξοικείωση με την κατάτμηση στο PostgreSQL10

Πρόλογος ή πώς προέκυψε η ιδέα της τομής

Η ιστορία ξεκινά εδώ: Θυμάστε πώς ξεκίνησαν όλα. Όλα ήταν για πρώτη φορά και ξανά. Αφού εξαντλήθηκαν σχεδόν όλοι οι πόροι για τη βελτιστοποίηση του αιτήματος, εκείνη την εποχή, προέκυψε το ερώτημα - τι μετά; Έτσι προέκυψε η ιδέα της κατάτμησης.

Happy Party ή μερικές γραμμές αναμνήσεις σχετικά με την εξοικείωση με την κατάτμηση στο PostgreSQL10

Λυρική παρέκβαση:
Ακριβώς «εκείνη τη στιγμή», γιατί όπως αποδείχθηκε, υπήρχαν αναξιοποίητα αποθέματα βελτιστοποίησης. Σας ευχαριστώ ασμμ και ο Χαμπρού!

Λοιπόν, πώς αλλιώς μπορείτε να κάνετε τον πελάτη χαρούμενο και ταυτόχρονα να βελτιώσετε τις δεξιότητές σας;

Να απλοποιήσουμε τα πάντα όσο το δυνατόν περισσότερο, τότε υπάρχουν μόνο δύο τρόποι για να βελτιώσετε ριζικά κάτι στην απόδοση της βάσης δεδομένων:
1) Εκτεταμένη διαδρομή - αυξάνουμε τους πόρους, αλλάζουμε τη διαμόρφωση.
2) Εντατική διαδρομή - βελτιστοποίηση ερωτημάτων

Επειδή, επαναλαμβάνω, εκείνη την εποχή δεν ήταν πλέον σαφές τι άλλο να αλλάξει στο αίτημα για επιτάχυνση, επιλέχθηκε η διαδρομή - αλλαγές σχεδίασης τραπεζιού.

Άρα, τίθεται το βασικό ερώτημα: τι και πώς θα αλλάξουμε;

Αρχικές συνθήκες

Πρώτον, υπάρχει αυτό το ERD (εμφανίζεται με απλοποιημένο τρόπο υπό όρους):
Happy Party ή μερικές γραμμές αναμνήσεις σχετικά με την εξοικείωση με την κατάτμηση στο PostgreSQL10
Κύρια χαρακτηριστικά γνωρίσματα:

  1. πολλές-προς-πολλές σχέσεις
  2. ο πίνακας έχει ήδη ένα πιθανό κλειδί κατάτμησης

Αρχικό αίτημα:

SELECT
            p."PARAMETER_ID" as  parameter_id,
            pc."PC_NAME" AS pc_name,
            pc."CUSTOMER_PARTNUMBER" AS customer_partnumber,
            w."LASERMARK" AS lasermark,
            w."LOTID" AS lotid,
            w."REPORTED_VALUE" AS reported_value,
            w."LOWER_SPEC_LIMIT" AS lower_spec_limit,
            w."UPPER_SPEC_LIMIT" AS upper_spec_limit,
            p."TYPE_CALCUL" AS type_calcul,
            s."SHIPMENT_NAME" AS shipment_name,
            s."SHIPMENT_DATE" AS shipment_date,
            extract(year from s."SHIPMENT_DATE") AS year,
            extract(month from s."SHIPMENT_DATE") as month,
            s."REPORT_NAME" AS report_name,
            p."SPARAM_NAME" AS SPARAM_name,
            p."CUSTOMERPARAM_NAME" AS customerparam_name
        FROM data w INNER JOIN shipment s ON s."SHIPMENT_ID" = w."SHIPMENT_ID"
             INNER JOIN parameters p ON p."PARAMETER_ID" = w."PARAMETER_ID"
             INNER JOIN shipment_pc sp ON s."SHIPMENT_ID" = sp."SHIPMENT_ID"
             INNER JOIN pc pc ON pc."PC_ID" = sp."PC_ID"
             INNER JOIN ( SELECT w2."LASERMARK" , MAX(s2."SHIPMENT_DATE") AS "SHIPMENT_DATE"
                          FROM shipment s2 INNER JOIN data w2 ON s2."SHIPMENT_ID" = w2."SHIPMENT_ID" 
                          GROUP BY w2."LASERMARK"
                         ) md ON md."SHIPMENT_DATE" = s."SHIPMENT_DATE" AND md."LASERMARK" = w."LASERMARK"
        WHERE 
             s."SHIPMENT_DATE" >= '2018-07-01' AND s."SHIPMENT_DATE" <= '2018-09-30' ;

Αποτελέσματα εκτέλεσης στη βάση δεδομένων δοκιμών:
Κόστος : 502 997.55
Χρόνος εκτέλεσης: 505 δευτερόλεπτα.

Τι βλέπουμε; Ένα κανονικό αίτημα, βασισμένο σε ένα χρονικό διάστημα.
Ας κάνουμε την απλούστερη λογική υπόθεση: αν υπάρχει δείγμα χρονικού κομματιού, θα μας βοηθήσει; Αυτό είναι σωστό - κατάτμηση.

Τι να τμηματοποιήσω;

Με την πρώτη ματιά, η επιλογή είναι προφανής - δηλωτική κατάτμηση του πίνακα "αποστολή" χρησιμοποιώντας το κλειδί "SHIPMENT_DATE" (πηδώντας πολύ μπροστά - στο τέλος αποδείχθηκε λίγο λάθος στην παραγωγή).

Πώς γίνεται η κατάτμηση;

Αυτή η ερώτηση επίσης δεν είναι πολύ δύσκολη. Ευτυχώς, στο PostgreSQL 10, υπάρχει πλέον ένας ανθρώπινος μηχανισμός κατάτμησης.
Έτσι:

  1. Αποθηκεύστε μια ένδειξη του πίνακα προέλευσης - pg_dump source_table
  2. Διαγραφή του αρχικού πίνακα - απόθεση πίνακα source_table
  3. Δημιουργήστε έναν γονικό πίνακα με διαχωρισμό εύρους - δημιουργία πίνακα source_table
  4. Δημιουργία ενοτήτων - δημιουργία πίνακα source_table, δημιουργία ευρετηρίου
  5. Εισαγάγετε την ένδειξη που δημιουργήθηκε στο βήμα 1 - pg_restore

Σενάρια για κατάτμηση

Για απλότητα και ευκολία, τα βήματα 2,3,4 έχουν συνδυαστεί σε ένα σενάριο.

Έτσι:
Αποθηκεύστε μια ένδειξη του πίνακα προέλευσης

pg_dump postgres --file=/dump/shipment.dmp --format=c --table=shipment --verbose > /dump/shipment.log 2>&1

Διαγραφή του πίνακα προέλευσης + Δημιουργία γονικού πίνακα με διαχωρισμό εύρους + Δημιουργία κατατμήσεων

--create_partition_shipment.sql
do language plpgsql $$
declare 
rec_shipment_date RECORD ;
partition_name varchar;
index_name varchar;
current_year varchar ;
current_month varchar ;
begin_year varchar ;
begin_month varchar ;
next_year varchar ;
next_month varchar ;
first_flag boolean ;
i integer ;
begin
  RAISE NOTICE 'CREATE TEMPORARY TABLE FOR SHIPMENT_DATE';
  CREATE TEMP TABLE tmp_shipment_date as select distinct "SHIPMENT_DATE" from shipment order by "SHIPMENT_DATE" ;

  RAISE NOTICE 'DROP TABLE shipment';
  drop table shipment cascade ;
  
  CREATE TABLE public.shipment
  (
    "SHIPMENT_ID" integer NOT NULL DEFAULT nextval('shipment_shipment_id_seq'::regclass),
    "SHIPMENT_NAME" character varying(30) COLLATE pg_catalog."default",
    "SHIPMENT_DATE" timestamp without time zone,
    "REPORT_NAME" character varying(40) COLLATE pg_catalog."default"
  )
  PARTITION BY RANGE ("SHIPMENT_DATE")
  WITH (
      OIDS = FALSE
  )
  TABLESPACE pg_default;

  RAISE NOTICE 'CREATE PARTITIONS FOR TABLE shipment';

  current_year:='0';
  current_month:='0';

  begin_year := '0' ;
  begin_month := '0'  ;
  next_year := '0' ;
  next_month := '0'  ;

  FOR rec_shipment_date IN SELECT * FROM tmp_shipment_date LOOP
      
      RAISE NOTICE 'SHIPMENT_DATE=%',rec_shipment_date."SHIPMENT_DATE";
      
      current_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE");
      current_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE") ; 

      IF to_number(current_month,'99') < 10 THEN
        current_month := '0'||current_month ; 
      END IF ;

      --Init borders
      IF   begin_year = '0' THEN
       first_flag := true ; --first time flag
       begin_year := current_year ;
       begin_month := current_month ;   
   
        IF current_month = '12' THEN
          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;
        ELSE
          next_year := current_year ;
        END IF;
     
       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;

      END IF;

      -- Check current date into borders NOT for First time
      IF to_date( current_year||'.'||current_month, 'YYYY.MM') >= to_date( begin_year||'.'||begin_month, 'YYYY.MM') AND 
         to_date( current_year||'.'||current_month, 'YYYY.MM') < to_date( next_year||'.'||next_month, 'YYYY.MM') AND 
         NOT first_flag 
      THEN
         CONTINUE ; 
      ELSE
       --NEW borders only for second and after time 
       begin_year := current_year ;
       begin_month := current_month ;   
   
        IF current_month = '12' THEN
          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;
        ELSE
          next_year := current_year ;
        END IF;
     
       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;

      END IF;      

      partition_name := 'shipment_shipment_date_'||begin_year||'-'||begin_month||'-01-'|| next_year||'-'||next_month||'-01'  ;
 
     EXECUTE format('CREATE TABLE ' || quote_ident(partition_name) || ' PARTITION OF shipment FOR VALUES FROM ( %L ) TO ( %L )  ' , current_year||'-'||current_month||'-01' , next_year||'-'||next_month||'-01'  ) ; 

      index_name := partition_name||'_shipment_id_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID") TABLESPACE pg_default ' ) ; 

      --Drop first time flag
      first_flag := false ;
   
  END LOOP;

end
$$;

Εισαγωγή της χωματερής

pg_restore -d postgres --data-only --format=c --table=shipment --verbose  shipment.dmp > /tmp/data_dump/shipment_restore.log 2>&1

Έλεγχος των αποτελεσμάτων κατάτμησης

Τι έχουμε ως αποτέλεσμα; Το πλήρες κείμενο του σχεδίου εκτέλεσης είναι μεγάλο και βαρετό, επομένως είναι πολύ πιθανό να περιοριστείτε στους τελικούς αριθμούς.

Ήταν

Κόστος: 502 997.55
Χρόνος εκτέλεσης: 505 δευτερόλεπτα.

Έχει γίνει

Κόστος: 77 872.36
Χρόνος εκτέλεσης: 79 δευτερόλεπτα.

Αρκετά καλό αποτέλεσμα. Μειωμένο κόστος και χρόνος εκτέλεσης. Έτσι, η χρήση διαμερισμάτων δίνει το αναμενόμενο αποτέλεσμα και, γενικά, δεν εκπλήσσει.

Κάντε τον πελάτη ευχαριστημένο

Τα αποτελέσματα των δοκιμών παρουσιάστηκαν στον πελάτη για έλεγχο. Και αφού το εξέτασαν, τους δόθηκε μια κάπως απροσδόκητη ετυμηγορία: «Τέλεια, χωρίστε τον πίνακα «δεδομένων».

Ναι, αλλά εξετάσαμε έναν εντελώς διαφορετικό πίνακα "αποστολή"· ο πίνακας "δεδομένα" δεν έχει το πεδίο "SHIPMENT_DATE".

Κανένα πρόβλημα, προσθέστε, αλλάξτε. Το κύριο πράγμα είναι ότι ο πελάτης είναι ικανοποιημένος με το αποτέλεσμα· οι λεπτομέρειες υλοποίησης δεν είναι ιδιαίτερα σημαντικές.

Διαμερισμός των «δεδομένων» του κύριου πίνακα

Γενικά, δεν προέκυψαν ιδιαίτερες δυσκολίες. Αν και ο αλγόριθμος διαμερισμάτων, φυσικά, έχει αλλάξει κάπως.

Προσθήκη της στήλης "SHIPMENT_DATA" στον πίνακα "δεδομένα".

psql -h хост -U база -d юзер
=> ALTER TABLE data ADD COLUMN "SHIPMENT_DATE" timestamp without time zone ;

Συμπληρώστε τις τιμές της στήλης «SHIPMENT_DATA» στον πίνακα «δεδομένα» με τις τιμές της ομώνυμης στήλης από τον πίνακα «αποστολή».

-----------------------------
--update_data.sql
--updating for altered table "data" to values of "shipment_data" from the table "shipment"
--version 1.0
do language plpgsql $$
declare 
rec_shipment_data RECORD ;
shipment_date timestamp without time zone ; 
row_count integer ;
total_rows integer ;
begin

  select count(*) into total_rows from shipment ; 
  RAISE NOTICE 'Total %',total_rows;
  row_count:= 0 ;

  FOR rec_shipment_data IN SELECT * FROM shipment LOOP

   update data set "SHIPMENT_DATE" = rec_shipment_data."SHIPMENT_DATE" where "SHIPMENT_ID" = rec_shipment_data."SHIPMENT_ID";
   
   row_count:=  row_count +1 ;
   RAISE NOTICE 'row count = % , from %',row_count,total_rows;
  END LOOP;

end
$$;

Αποθηκεύστε μια ένδειξη του πίνακα "δεδομένα".

pg_dump postgres --file=/dump/data.dmp --format=c --table=data --verbose > /dump/data.log 2>&1</source

Δημιουργήστε ξανά τα «δεδομένα» του πίνακα με διαμερίσματα

--create_partition_data.sql
--create partitions for the table "wafer data" by range column "shipment_data" with one month duration
--version 1.0
do language plpgsql $$
declare 
rec_shipment_date RECORD ;
partition_name varchar;
index_name varchar;
current_year varchar ;
current_month varchar ;
begin_year varchar ;
begin_month varchar ;
next_year varchar ;
next_month varchar ;
first_flag boolean ;
i integer ;

begin

  RAISE NOTICE 'CREATE TEMPORARY TABLE FOR SHIPMENT_DATE';
  CREATE TEMP TABLE tmp_shipment_date as select distinct "SHIPMENT_DATE" from shipment order by "SHIPMENT_DATE" ;


  RAISE NOTICE 'DROP TABLE data';
  drop table data cascade ;


  RAISE NOTICE 'CREATE PARTITIONED TABLE data';
  
  CREATE TABLE public.data
  (
    "RUN_ID" integer,
    "LASERMARK" character varying(20) COLLATE pg_catalog."default" NOT NULL,
    "LOTID" character varying(80) COLLATE pg_catalog."default",
    "SHIPMENT_ID" integer NOT NULL,
    "PARAMETER_ID" integer NOT NULL,
    "INTERNAL_VALUE" character varying(75) COLLATE pg_catalog."default",
    "REPORTED_VALUE" character varying(75) COLLATE pg_catalog."default",
    "LOWER_SPEC_LIMIT" numeric,
    "UPPER_SPEC_LIMIT" numeric , 
    "SHIPMENT_DATE" timestamp without time zone
  )
  PARTITION BY RANGE ("SHIPMENT_DATE")
  WITH (
    OIDS = FALSE
  )
  TABLESPACE pg_default ;


  RAISE NOTICE 'CREATE PARTITIONS FOR TABLE data';

  current_year:='0';
  current_month:='0';

  begin_year := '0' ;
  begin_month := '0'  ;
  next_year := '0' ;
  next_month := '0'  ;
  i := 1;

  FOR rec_shipment_date IN SELECT * FROM tmp_shipment_date LOOP
      
      RAISE NOTICE 'SHIPMENT_DATE=%',rec_shipment_date."SHIPMENT_DATE";
      
      current_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE");
      current_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE") ; 

      --Init borders
      IF   begin_year = '0' THEN
       RAISE NOTICE '***Init borders';
       first_flag := true ; --first time flag
       begin_year := current_year ;
       begin_month := current_month ;   
   
        IF current_month = '12' THEN
          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;
        ELSE
          next_year := current_year ;
        END IF;
     
       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;

      END IF;

--      RAISE NOTICE 'current_year=% , current_month=% ',current_year,current_month;
--      RAISE NOTICE 'begin_year=% , begin_month=% ',begin_year,begin_month;
--      RAISE NOTICE 'next_year=% , next_month=% ',next_year,next_month;

      -- Check current date into borders NOT for First time

      RAISE NOTICE 'Current data = %',to_char( to_date( current_year||'.'||current_month, 'YYYY.MM'), 'YYYY.MM');
      RAISE NOTICE 'Begin data = %',to_char( to_date( begin_year||'.'||begin_month, 'YYYY.MM'), 'YYYY.MM');
      RAISE NOTICE 'Next data = %',to_char( to_date( next_year||'.'||next_month, 'YYYY.MM'), 'YYYY.MM');

      IF to_date( current_year||'.'||current_month, 'YYYY.MM') >= to_date( begin_year||'.'||begin_month, 'YYYY.MM') AND 
         to_date( current_year||'.'||current_month, 'YYYY.MM') < to_date( next_year||'.'||next_month, 'YYYY.MM') AND 
         NOT first_flag 
      THEN
         RAISE NOTICE '***CONTINUE';
         CONTINUE ; 
      ELSE
       --NEW borders only for second and after time 
       RAISE NOTICE '***NEW BORDERS';
       begin_year := current_year ;
       begin_month := current_month ;   
   
        IF current_month = '12' THEN
          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;
        ELSE
          next_year := current_year ;
        END IF;
     
       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;


      END IF;      

      IF to_number(current_month,'99') < 10 THEN
        current_month := '0'||current_month ; 
      END IF ;

      IF to_number(begin_month,'99') < 10 THEN
        begin_month := '0'||begin_month ; 
      END IF ;

      IF to_number(next_month,'99') < 10 THEN
        next_month := '0'||next_month ; 
      END IF ;

      RAISE NOTICE 'current_year=% , current_month=% ',current_year,current_month;
      RAISE NOTICE 'begin_year=% , begin_month=% ',begin_year,begin_month;
      RAISE NOTICE 'next_year=% , next_month=% ',next_year,next_month;

      partition_name := 'data_'||begin_year||begin_month||'01_'||next_year||next_month||'01'  ;

      RAISE NOTICE 'PARTITION NUMBER % , TABLE NAME =%',i , partition_name;
      
      EXECUTE format('CREATE TABLE ' || quote_ident(partition_name) || ' PARTITION OF data FOR VALUES FROM ( %L ) TO ( %L )  ' , begin_year||'-'||begin_month||'-01' , next_year||'-'||next_month||'-01'  ) ; 

      index_name := partition_name||'_shipment_id_parameter_id_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID", "PARAMETER_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_lasermark_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("LASERMARK" COLLATE pg_catalog."default") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_shipment_id_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_parameter_id_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("PARAMETER_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_shipment_date_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_DATE") TABLESPACE pg_default ' ) ; 

      --Drop first time flag
      first_flag := false ;

  END LOOP;
end
$$;

Φορτώστε τη χωματερή που δημιουργήθηκε στο βήμα 3.

pg_restore -h хост -юзер -d база --data-only --format=c --table=data --verbose  data.dmp > data_restore.log 2>&1

Δημιουργήστε μια ξεχωριστή ενότητα για παλιά δεδομένα

---------------------------------------------------
--create_partition_for_old_dates.sql
--create partitions for keeping old dates 
--version 1.0
do language plpgsql $$
declare 
rec_shipment_date RECORD ;
partition_name varchar;
index_name varchar;

begin

      SELECT min("SHIPMENT_DATE") AS min_date INTO rec_shipment_date from data ;

      RAISE NOTICE 'Old date is %',rec_shipment_date.min_date ;

      partition_name := 'data_old_dates'  ;

      RAISE NOTICE 'PARTITION NAME IS %',partition_name;

      EXECUTE format('CREATE TABLE ' || quote_ident(partition_name) || ' PARTITION OF data FOR VALUES FROM ( %L ) TO ( %L )  ' , '1900-01-01' , 
              to_char( rec_shipment_date.min_date,'YYYY')||'-'||to_char(rec_shipment_date.min_date,'MM')||'-01'  ) ; 

      index_name := partition_name||'_shipment_id_parameter_id_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID", "PARAMETER_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_lasermark_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("LASERMARK" COLLATE pg_catalog."default") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_shipment_id_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_parameter_id_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("PARAMETER_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_shipment_date_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_DATE") TABLESPACE pg_default ' ) ; 

end
$$;

Τελικά αποτελέσματα:

Ήταν
Κόστος: 502 997.55
Χρόνος εκτέλεσης: 505 δευτερόλεπτα.

Έχει γίνει
Κόστος: 68 533.70
Χρόνος εκτέλεσης: 69 δευτερόλεπτα

Άξιος, αρκετά άξιος. Και λαμβάνοντας υπόψη ότι στην πορεία καταφέραμε να κυριαρχήσουμε λίγο πολύ στον μηχανισμό διαμερισμάτων στο PostgreSQL 10 - ένα εξαιρετικό αποτέλεσμα.

Λυρική παρέκβαση

Είναι δυνατόν να γίνει ακόμα καλύτερο - ΝΑΙ, ΜΠΟΡΕΙΣ!Για να το κάνετε αυτό, πρέπει να χρησιμοποιήσετε την ΥΛΙΚΗ ΠΡΟΒΟΛΗ.
ΔΗΜΙΟΥΡΓΙΑ ΥΛΙΚΗΣ ΠΡΟΒΟΛΗ LASERMARK_VIEW

CREATE MATERIALIZED VIEW LASERMARK_VIEW 
AS
SELECT w."LASERMARK" , MAX(s."SHIPMENT_DATE") AS "SHIPMENT_DATE"
FROM shipment s INNER JOIN data w ON s."SHIPMENT_ID" = w."SHIPMENT_ID" 
GROUP BY w."LASERMARK" ;

CREATE INDEX lasermark_vw_shipment_date_ind on lasermark_view USING btree ("SHIPMENT_DATE") TABLESPACE pg_default;
analyze lasermark_view ;

Για άλλη μια φορά ξαναγράφουμε το αίτημα:
Ερώτημα χρησιμοποιώντας υλοποιημένη προβολή

SELECT
            p."PARAMETER_ID" as  parameter_id,
            pc."PC_NAME" AS pc_name,
            pc."CUSTOMER_PARTNUMBER" AS customer_partnumber,
            w."LASERMARK" AS lasermark,
            w."LOTID" AS lotid,
            w."REPORTED_VALUE" AS reported_value,
            w."LOWER_SPEC_LIMIT" AS lower_spec_limit,
            w."UPPER_SPEC_LIMIT" AS upper_spec_limit,
            p."TYPE_CALCUL" AS type_calcul,
            s."SHIPMENT_NAME" AS shipment_name,
            s."SHIPMENT_DATE" AS shipment_date,
            extract(year from s."SHIPMENT_DATE") AS year,
            extract(month from s."SHIPMENT_DATE") as month,
            s."REPORT_NAME" AS report_name,
            p."STC_NAME" AS STC_name,
            p."CUSTOMERPARAM_NAME" AS customerparam_name
        FROM data w INNER JOIN shipment s ON s."SHIPMENT_ID" = w."SHIPMENT_ID"
             INNER JOIN parameters p ON p."PARAMETER_ID" = w."PARAMETER_ID"
             INNER JOIN shipment_pc sp ON s."SHIPMENT_ID" = sp."SHIPMENT_ID"
             INNER JOIN pc pc ON pc."PC_ID" = sp."PC_ID"
             INNER JOIN LASERMARK_VIEW md ON md."SHIPMENT_DATE" = s."SHIPMENT_DATE" AND md."LASERMARK" = w."LASERMARK"
        WHERE 
              s."SHIPMENT_DATE" >= '2018-07-01' AND s."SHIPMENT_DATE" <= '2018-09-30';

Και έχουμε ένα άλλο αποτέλεσμα:
Ήταν
Κόστος: 502 997.55
Χρόνος εκτέλεσης: 505 δευτερόλεπτα

Έχει γίνει
Κόστος: 42 481.16
Χρόνος εκτέλεσης: 43 δευτερόλεπτα.

Αν και, φυσικά, ένα τόσο πολλά υποσχόμενο αποτέλεσμα είναι παραπλανητικό· οι ιδέες πρέπει να ανανεωθούν. Άρα ο συνολικός χρόνος λήψης δεδομένων δεν θα βοηθήσει πολύ. Αλλά σαν πείραμα είναι αρκετά ενδιαφέρον.

Στην πραγματικότητα, όπως αποδείχθηκε, ευχαριστώ και πάλι ασμμ και Χαμπρού!- Το ερώτημα μπορεί να βελτιωθεί περαιτέρω.

Επίλογος

Έτσι, ο πελάτης είναι ικανοποιημένος. ΚΑΙ ανάγκη εκμεταλλευτείτε την κατάσταση.

Νέα εργασία: Τι μπορείτε να σκεφτείτε για να εμβαθύνετε και να επεκτείνετε;

Και μετά θυμάμαι - παιδιά, δεν έχουμε παρακολούθηση των βάσεων δεδομένων PostgreSQL.

Με το χέρι, υπάρχει ακόμα κάποια παρακολούθηση με τη μορφή Cloud Watch στο AWS. Ποιο είναι όμως το όφελος αυτής της παρακολούθησης για το DBA; Γενικά, πρακτικά κανένα.

Εάν έχετε την ευκαιρία να κάνετε κάτι χρήσιμο και ενδιαφέρον για τον εαυτό σας, δεν μπορείτε να μην εκμεταλλευτείτε αυτή την ευκαιρία...
IBO

Happy Party ή μερικές γραμμές αναμνήσεις σχετικά με την εξοικείωση με την κατάτμηση στο PostgreSQL10

Έτσι φτάνουμε στο πιο ενδιαφέρον κομμάτι:

3 Δεκεμβρίου 2018.
Λήψη απόφασης για έναρξη έρευνας σχετικά με τις διαθέσιμες δυνατότητες για την παρακολούθηση της απόδοσης των ερωτημάτων PostgreSQL.

Αλλά αυτό είναι μια εντελώς διαφορετική ιστορία.

Συνεχίζεται…

Πηγή: www.habr.com

Προσθέστε ένα σχόλιο