ಪ್ರೊಹೋಸ್ಟರ್ > Блог > ಆಡಳಿತ > PostgreSQL10 ನಲ್ಲಿ ವಿಭಜನೆಯನ್ನು ತಿಳಿದುಕೊಳ್ಳುವ ಬಗ್ಗೆ ಹ್ಯಾಪಿ ಪಾರ್ಟಿ ಅಥವಾ ಒಂದೆರಡು ಸಾಲುಗಳ ನೆನಪುಗಳು

PostgreSQL10 ನಲ್ಲಿ ವಿಭಜನೆಯನ್ನು ತಿಳಿದುಕೊಳ್ಳುವ ಬಗ್ಗೆ ಹ್ಯಾಪಿ ಪಾರ್ಟಿ ಅಥವಾ ಒಂದೆರಡು ಸಾಲುಗಳ ನೆನಪುಗಳು

ಮುನ್ನುಡಿ ಅಥವಾ ವಿಭಾಗೀಕರಣದ ಕಲ್ಪನೆಯು ಹೇಗೆ ಬಂದಿತು

ಕಥೆ ಇಲ್ಲಿ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ: ಇದು ಹೇಗೆ ಪ್ರಾರಂಭವಾಯಿತು ಎಂದು ನಿಮಗೆ ನೆನಪಿದೆಯೇ. ಎಲ್ಲವೂ ಮೊದಲ ಬಾರಿಗೆ ಮತ್ತು ಮತ್ತೆ. ವಿನಂತಿಯನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸಲು ಎಲ್ಲಾ ಸಂಪನ್ಮೂಲಗಳ ನಂತರ, ಆ ಸಮಯದಲ್ಲಿ, ದಣಿದ ನಂತರ, ಪ್ರಶ್ನೆ ಉದ್ಭವಿಸಿತು - ಮುಂದೆ ಏನು? ವಿಭಜನೆಯ ಕಲ್ಪನೆ ಹುಟ್ಟಿಕೊಂಡಿದ್ದು ಹೀಗೆ.

PostgreSQL10 ನಲ್ಲಿ ವಿಭಜನೆಯನ್ನು ತಿಳಿದುಕೊಳ್ಳುವ ಬಗ್ಗೆ ಹ್ಯಾಪಿ ಪಾರ್ಟಿ ಅಥವಾ ಒಂದೆರಡು ಸಾಲುಗಳ ನೆನಪುಗಳು

ಭಾವಗೀತಾತ್ಮಕ ವಿಷಯಾಂತರ:
ನಿಖರವಾಗಿ 'ಆ ಕ್ಷಣದಲ್ಲಿ', ಏಕೆಂದರೆ ಅದು ಬದಲಾದಂತೆ, ಬಳಸದ ಆಪ್ಟಿಮೈಸೇಶನ್ ಮೀಸಲುಗಳಿವೆ. ಧನ್ಯವಾದಗಳು asmm ಮತ್ತು ಹಬ್ರು!

ಆದ್ದರಿಂದ, ನೀವು ಗ್ರಾಹಕರನ್ನು ಹೇಗೆ ಸಂತೋಷಪಡಿಸಬಹುದು ಮತ್ತು ಅದೇ ಸಮಯದಲ್ಲಿ ನಿಮ್ಮ ಸ್ವಂತ ಕೌಶಲ್ಯಗಳನ್ನು ಸುಧಾರಿಸಬಹುದು?

ಎಲ್ಲವನ್ನೂ ಸಾಧ್ಯವಾದಷ್ಟು ಸರಳಗೊಳಿಸಲು, ನಂತರ ಡೇಟಾಬೇಸ್‌ನ ಕಾರ್ಯಕ್ಷಮತೆಯಲ್ಲಿ ಏನನ್ನಾದರೂ ಆಮೂಲಾಗ್ರವಾಗಿ ಸುಧಾರಿಸಲು ಕೇವಲ ಎರಡು ಮಾರ್ಗಗಳಿವೆ:
1) ವ್ಯಾಪಕ ಮಾರ್ಗ - ನಾವು ಸಂಪನ್ಮೂಲಗಳನ್ನು ಹೆಚ್ಚಿಸುತ್ತೇವೆ, ಸಂರಚನೆಯನ್ನು ಬದಲಾಯಿಸುತ್ತೇವೆ;
2) ತೀವ್ರವಾದ ಮಾರ್ಗ - ಪ್ರಶ್ನೆ ಆಪ್ಟಿಮೈಸೇಶನ್

ನಾನು ಪುನರಾವರ್ತಿಸುತ್ತೇನೆ, ಆ ಸಮಯದಲ್ಲಿ ವೇಗವನ್ನು ಹೆಚ್ಚಿಸುವ ವಿನಂತಿಯಲ್ಲಿ ಇನ್ನೇನು ಬದಲಾಯಿಸಬೇಕೆಂದು ಸ್ಪಷ್ಟವಾಗಿಲ್ಲದ ಕಾರಣ, ಮಾರ್ಗವನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗಿದೆ - ಟೇಬಲ್ ವಿನ್ಯಾಸ ಬದಲಾವಣೆಗಳು.

ಆದ್ದರಿಂದ, ಮುಖ್ಯ ಪ್ರಶ್ನೆ ಉದ್ಭವಿಸುತ್ತದೆ: ನಾವು ಏನು ಮತ್ತು ಹೇಗೆ ಬದಲಾಯಿಸುತ್ತೇವೆ?

ಆರಂಭಿಕ ಪರಿಸ್ಥಿತಿಗಳು

ಮೊದಲನೆಯದಾಗಿ, ಈ ಇಆರ್‌ಡಿ ಇದೆ (ಷರತ್ತುಬದ್ಧವಾಗಿ ಸರಳೀಕೃತ ರೀತಿಯಲ್ಲಿ ತೋರಿಸಲಾಗಿದೆ):
PostgreSQL10 ನಲ್ಲಿ ವಿಭಜನೆಯನ್ನು ತಿಳಿದುಕೊಳ್ಳುವ ಬಗ್ಗೆ ಹ್ಯಾಪಿ ಪಾರ್ಟಿ ಅಥವಾ ಒಂದೆರಡು ಸಾಲುಗಳ ನೆನಪುಗಳು
ಮುಖ್ಯ ಲಕ್ಷಣಗಳು:

  1. ಹಲವು-ಹಲವು ಸಂಬಂಧಗಳು
  2. ಟೇಬಲ್ ಈಗಾಗಲೇ ಸಂಭಾವ್ಯ ವಿಭಜನಾ ಕೀಲಿಯನ್ನು ಹೊಂದಿದೆ

ಮೂಲ ವಿನಂತಿ:

SELECT
            p."PARAMETER_ID" as  parameter_id,
            pc."PC_NAME" AS pc_name,
            pc."CUSTOMER_PARTNUMBER" AS customer_partnumber,
            w."LASERMARK" AS lasermark,
            w."LOTID" AS lotid,
            w."REPORTED_VALUE" AS reported_value,
            w."LOWER_SPEC_LIMIT" AS lower_spec_limit,
            w."UPPER_SPEC_LIMIT" AS upper_spec_limit,
            p."TYPE_CALCUL" AS type_calcul,
            s."SHIPMENT_NAME" AS shipment_name,
            s."SHIPMENT_DATE" AS shipment_date,
            extract(year from s."SHIPMENT_DATE") AS year,
            extract(month from s."SHIPMENT_DATE") as month,
            s."REPORT_NAME" AS report_name,
            p."SPARAM_NAME" AS SPARAM_name,
            p."CUSTOMERPARAM_NAME" AS customerparam_name
        FROM data w INNER JOIN shipment s ON s."SHIPMENT_ID" = w."SHIPMENT_ID"
             INNER JOIN parameters p ON p."PARAMETER_ID" = w."PARAMETER_ID"
             INNER JOIN shipment_pc sp ON s."SHIPMENT_ID" = sp."SHIPMENT_ID"
             INNER JOIN pc pc ON pc."PC_ID" = sp."PC_ID"
             INNER JOIN ( SELECT w2."LASERMARK" , MAX(s2."SHIPMENT_DATE") AS "SHIPMENT_DATE"
                          FROM shipment s2 INNER JOIN data w2 ON s2."SHIPMENT_ID" = w2."SHIPMENT_ID" 
                          GROUP BY w2."LASERMARK"
                         ) md ON md."SHIPMENT_DATE" = s."SHIPMENT_DATE" AND md."LASERMARK" = w."LASERMARK"
        WHERE 
             s."SHIPMENT_DATE" >= '2018-07-01' AND s."SHIPMENT_DATE" <= '2018-09-30' ;

ಪರೀಕ್ಷಾ ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ ಮರಣದಂಡನೆಯ ಫಲಿತಾಂಶಗಳು:
ವೆಚ್ಚ : 502 997.55
ಮರಣದಂಡನೆ ಸಮಯ: 505 ಸೆಕೆಂಡುಗಳು.

ನಾವು ಏನು ನೋಡುತ್ತೇವೆ? ಸಮಯದ ಸ್ಲೈಸ್ ಅನ್ನು ಆಧರಿಸಿ ನಿಯಮಿತ ವಿನಂತಿ.
ಸರಳವಾದ ತಾರ್ಕಿಕ ಊಹೆಯನ್ನು ಮಾಡೋಣ: ಸಮಯದ ಸ್ಲೈಸ್ನ ಮಾದರಿ ಇದ್ದರೆ, ಅದು ನಮಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ? ಅದು ಸರಿ - ವಿಭಜನೆ.

ಏನು ವಿಭಾಗ ಮಾಡಬೇಕು?

ಮೊದಲ ನೋಟದಲ್ಲಿ, ಆಯ್ಕೆಯು ಸ್ಪಷ್ಟವಾಗಿದೆ - "SHIPMENT_DATE" ಕೀಲಿಯನ್ನು ಬಳಸಿಕೊಂಡು "ಶಿಪ್ಮೆಂಟ್" ಟೇಬಲ್ನ ಘೋಷಣಾತ್ಮಕ ವಿಭಜನೆ (ತುಂಬಾ ಮುಂದೆ ಹಾರಿ - ಕೊನೆಯಲ್ಲಿ ಅದು ಉತ್ಪಾದನೆಯಲ್ಲಿ ಸ್ವಲ್ಪ ತಪ್ಪಾಗಿದೆ).

ವಿಭಜನೆ ಮಾಡುವುದು ಹೇಗೆ?

ಈ ಪ್ರಶ್ನೆಯೂ ತುಂಬಾ ಕಷ್ಟಕರವಲ್ಲ. ಅದೃಷ್ಟವಶಾತ್, PostgreSQL 10 ರಲ್ಲಿ, ಈಗ ಮಾನವ ವಿಭಜನಾ ಕಾರ್ಯವಿಧಾನವಿದೆ.
ಆದ್ದರಿಂದ:

  1. ಮೂಲ ಕೋಷ್ಟಕದ ಡಂಪ್ ಅನ್ನು ಉಳಿಸಿ - pg_dump source_table
  2. ಮೂಲ ಕೋಷ್ಟಕವನ್ನು ಅಳಿಸಿ - ಡ್ರಾಪ್ ಟೇಬಲ್ source_table
  3. ಶ್ರೇಣಿಯ ವಿಭಜನೆಯೊಂದಿಗೆ ಪೋಷಕ ಕೋಷ್ಟಕವನ್ನು ರಚಿಸಿ - ಟೇಬಲ್ source_table ಅನ್ನು ರಚಿಸಿ
  4. ವಿಭಾಗಗಳನ್ನು ರಚಿಸಿ - ಟೇಬಲ್ source_table ಅನ್ನು ರಚಿಸಿ, ಸೂಚಿಯನ್ನು ರಚಿಸಿ
  5. ಹಂತ 1 ರಲ್ಲಿ ರಚಿಸಲಾದ ಡಂಪ್ ಅನ್ನು ಆಮದು ಮಾಡಿ - pg_restore

ವಿಭಜನೆಗಾಗಿ ಸ್ಕ್ರಿಪ್ಟ್ಗಳು

ಸರಳತೆ ಮತ್ತು ಅನುಕೂಲಕ್ಕಾಗಿ, 2,3,4 ಹಂತಗಳನ್ನು ಒಂದು ಸ್ಕ್ರಿಪ್ಟ್‌ಗೆ ಸಂಯೋಜಿಸಲಾಗಿದೆ.

ಆದ್ದರಿಂದ:
ಮೂಲ ಕೋಷ್ಟಕದ ಡಂಪ್ ಅನ್ನು ಉಳಿಸಿ

pg_dump postgres --file=/dump/shipment.dmp --format=c --table=shipment --verbose > /dump/shipment.log 2>&1

ಮೂಲ ಕೋಷ್ಟಕವನ್ನು ಅಳಿಸಿ + ಶ್ರೇಣಿಯ ವಿಭಜನೆಯೊಂದಿಗೆ ಪೋಷಕ ಕೋಷ್ಟಕವನ್ನು ರಚಿಸಿ + ವಿಭಾಗಗಳನ್ನು ರಚಿಸಿ

--create_partition_shipment.sql
do language plpgsql $$
declare 
rec_shipment_date RECORD ;
partition_name varchar;
index_name varchar;
current_year varchar ;
current_month varchar ;
begin_year varchar ;
begin_month varchar ;
next_year varchar ;
next_month varchar ;
first_flag boolean ;
i integer ;
begin
  RAISE NOTICE 'CREATE TEMPORARY TABLE FOR SHIPMENT_DATE';
  CREATE TEMP TABLE tmp_shipment_date as select distinct "SHIPMENT_DATE" from shipment order by "SHIPMENT_DATE" ;

  RAISE NOTICE 'DROP TABLE shipment';
  drop table shipment cascade ;
  
  CREATE TABLE public.shipment
  (
    "SHIPMENT_ID" integer NOT NULL DEFAULT nextval('shipment_shipment_id_seq'::regclass),
    "SHIPMENT_NAME" character varying(30) COLLATE pg_catalog."default",
    "SHIPMENT_DATE" timestamp without time zone,
    "REPORT_NAME" character varying(40) COLLATE pg_catalog."default"
  )
  PARTITION BY RANGE ("SHIPMENT_DATE")
  WITH (
      OIDS = FALSE
  )
  TABLESPACE pg_default;

  RAISE NOTICE 'CREATE PARTITIONS FOR TABLE shipment';

  current_year:='0';
  current_month:='0';

  begin_year := '0' ;
  begin_month := '0'  ;
  next_year := '0' ;
  next_month := '0'  ;

  FOR rec_shipment_date IN SELECT * FROM tmp_shipment_date LOOP
      
      RAISE NOTICE 'SHIPMENT_DATE=%',rec_shipment_date."SHIPMENT_DATE";
      
      current_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE");
      current_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE") ; 

      IF to_number(current_month,'99') < 10 THEN
        current_month := '0'||current_month ; 
      END IF ;

      --Init borders
      IF   begin_year = '0' THEN
       first_flag := true ; --first time flag
       begin_year := current_year ;
       begin_month := current_month ;   
   
        IF current_month = '12' THEN
          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;
        ELSE
          next_year := current_year ;
        END IF;
     
       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;

      END IF;

      -- Check current date into borders NOT for First time
      IF to_date( current_year||'.'||current_month, 'YYYY.MM') >= to_date( begin_year||'.'||begin_month, 'YYYY.MM') AND 
         to_date( current_year||'.'||current_month, 'YYYY.MM') < to_date( next_year||'.'||next_month, 'YYYY.MM') AND 
         NOT first_flag 
      THEN
         CONTINUE ; 
      ELSE
       --NEW borders only for second and after time 
       begin_year := current_year ;
       begin_month := current_month ;   
   
        IF current_month = '12' THEN
          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;
        ELSE
          next_year := current_year ;
        END IF;
     
       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;

      END IF;      

      partition_name := 'shipment_shipment_date_'||begin_year||'-'||begin_month||'-01-'|| next_year||'-'||next_month||'-01'  ;
 
     EXECUTE format('CREATE TABLE ' || quote_ident(partition_name) || ' PARTITION OF shipment FOR VALUES FROM ( %L ) TO ( %L )  ' , current_year||'-'||current_month||'-01' , next_year||'-'||next_month||'-01'  ) ; 

      index_name := partition_name||'_shipment_id_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID") TABLESPACE pg_default ' ) ; 

      --Drop first time flag
      first_flag := false ;
   
  END LOOP;

end
$$;

ಡಂಪ್ ಅನ್ನು ಆಮದು ಮಾಡಿಕೊಳ್ಳುವುದು

pg_restore -d postgres --data-only --format=c --table=shipment --verbose  shipment.dmp > /tmp/data_dump/shipment_restore.log 2>&1

ವಿಭಜನೆಯ ಫಲಿತಾಂಶಗಳನ್ನು ಪರಿಶೀಲಿಸಲಾಗುತ್ತಿದೆ

ಪರಿಣಾಮವಾಗಿ ನಾವು ಏನು ಹೊಂದಿದ್ದೇವೆ? ಮರಣದಂಡನೆಯ ಯೋಜನೆಯ ಪೂರ್ಣ ಪಠ್ಯವು ದೊಡ್ಡದಾಗಿದೆ ಮತ್ತು ನೀರಸವಾಗಿದೆ, ಆದ್ದರಿಂದ ಅಂತಿಮ ಸಂಖ್ಯೆಗಳಿಗೆ ನಿಮ್ಮನ್ನು ಮಿತಿಗೊಳಿಸಲು ಸಾಕಷ್ಟು ಸಾಧ್ಯವಿದೆ.

ಆಗಿತ್ತು

ವೆಚ್ಚ: 502 997.55
ಕಾರ್ಯಗತಗೊಳಿಸುವ ಸಮಯ: 505 ಸೆಕೆಂಡುಗಳು.

ಆಗಿ ಮಾರ್ಪಟ್ಟಿದೆ

ವೆಚ್ಚ: 77 872.36
ಕಾರ್ಯಗತಗೊಳಿಸುವ ಸಮಯ: 79 ಸೆಕೆಂಡುಗಳು.

ಸಾಕಷ್ಟು ಉತ್ತಮ ಫಲಿತಾಂಶ. ಕಡಿಮೆ ವೆಚ್ಚ ಮತ್ತು ಕಾರ್ಯಗತಗೊಳಿಸುವ ಸಮಯ. ಹೀಗಾಗಿ, ವಿಭಜನೆಯ ಬಳಕೆಯು ನಿರೀಕ್ಷಿತ ಪರಿಣಾಮವನ್ನು ನೀಡುತ್ತದೆ ಮತ್ತು ಸಾಮಾನ್ಯವಾಗಿ, ಯಾವುದೇ ಆಶ್ಚರ್ಯವಿಲ್ಲ.

ಗ್ರಾಹಕರನ್ನು ಸಂತೋಷಪಡಿಸಿ

ಪರೀಕ್ಷಾ ಫಲಿತಾಂಶಗಳನ್ನು ಪರಿಶೀಲನೆಗಾಗಿ ಗ್ರಾಹಕರಿಗೆ ಪ್ರಸ್ತುತಪಡಿಸಲಾಗಿದೆ. ಮತ್ತು ಅದನ್ನು ಪರಿಶೀಲಿಸಿದ ನಂತರ, ಅವರಿಗೆ ಸ್ವಲ್ಪ ಅನಿರೀಕ್ಷಿತ ತೀರ್ಪು ನೀಡಲಾಯಿತು: "ಅದ್ಭುತ, "ಡೇಟಾ" ಟೇಬಲ್ ಅನ್ನು ವಿಭಜಿಸಿ."

ಹೌದು, ಆದರೆ ನಾವು ಸಂಪೂರ್ಣವಾಗಿ ವಿಭಿನ್ನವಾದ "ಶಿಪ್ಮೆಂಟ್" ಟೇಬಲ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿದ್ದೇವೆ; "ಡೇಟಾ" ಟೇಬಲ್ "SHIPMENT_DATE" ಕ್ಷೇತ್ರವನ್ನು ಹೊಂದಿಲ್ಲ.

ತೊಂದರೆ ಇಲ್ಲ, ಸೇರಿಸಿ, ಬದಲಾಯಿಸಿ. ಮುಖ್ಯ ವಿಷಯವೆಂದರೆ ಗ್ರಾಹಕರು ಫಲಿತಾಂಶದಿಂದ ತೃಪ್ತರಾಗಿದ್ದಾರೆ; ಅನುಷ್ಠಾನದ ವಿವರಗಳು ವಿಶೇಷವಾಗಿ ಮುಖ್ಯವಲ್ಲ.

ಮುಖ್ಯ ಟೇಬಲ್ "ಡೇಟಾ" ಅನ್ನು ವಿಭಜಿಸುವುದು

ಸಾಮಾನ್ಯವಾಗಿ, ಯಾವುದೇ ನಿರ್ದಿಷ್ಟ ತೊಂದರೆಗಳು ಉದ್ಭವಿಸಲಿಲ್ಲ. ಆದಾಗ್ಯೂ, ವಿಭಜನಾ ಅಲ್ಗಾರಿದಮ್ ಸ್ವಲ್ಪಮಟ್ಟಿಗೆ ಬದಲಾಗಿದೆ.

"SHIPMENT_DATA" ಕಾಲಮ್ ಅನ್ನು "ಡೇಟಾ" ಟೇಬಲ್‌ಗೆ ಸೇರಿಸಲಾಗುತ್ತಿದೆ

psql -h хост -U база -d юзер
=> ALTER TABLE data ADD COLUMN "SHIPMENT_DATE" timestamp without time zone ;

"ಡೇಟಾ" ಕೋಷ್ಟಕದಲ್ಲಿ "SHIPMENT_DATA" ಕಾಲಮ್‌ನ ಮೌಲ್ಯಗಳನ್ನು "ರವಾನೆ" ಕೋಷ್ಟಕದಿಂದ ಅದೇ ಹೆಸರಿನ ಕಾಲಮ್‌ನ ಮೌಲ್ಯಗಳೊಂದಿಗೆ ಭರ್ತಿ ಮಾಡಿ

-----------------------------
--update_data.sql
--updating for altered table "data" to values of "shipment_data" from the table "shipment"
--version 1.0
do language plpgsql $$
declare 
rec_shipment_data RECORD ;
shipment_date timestamp without time zone ; 
row_count integer ;
total_rows integer ;
begin

  select count(*) into total_rows from shipment ; 
  RAISE NOTICE 'Total %',total_rows;
  row_count:= 0 ;

  FOR rec_shipment_data IN SELECT * FROM shipment LOOP

   update data set "SHIPMENT_DATE" = rec_shipment_data."SHIPMENT_DATE" where "SHIPMENT_ID" = rec_shipment_data."SHIPMENT_ID";
   
   row_count:=  row_count +1 ;
   RAISE NOTICE 'row count = % , from %',row_count,total_rows;
  END LOOP;

end
$$;

"ಡೇಟಾ" ಟೇಬಲ್ನ ಡಂಪ್ ಅನ್ನು ಉಳಿಸಿ

pg_dump postgres --file=/dump/data.dmp --format=c --table=data --verbose > /dump/data.log 2>&1</source

ವಿಭಜಿತ ಟೇಬಲ್ "ಡೇಟಾ" ಅನ್ನು ಮರುಸೃಷ್ಟಿಸಿ

--create_partition_data.sql
--create partitions for the table "wafer data" by range column "shipment_data" with one month duration
--version 1.0
do language plpgsql $$
declare 
rec_shipment_date RECORD ;
partition_name varchar;
index_name varchar;
current_year varchar ;
current_month varchar ;
begin_year varchar ;
begin_month varchar ;
next_year varchar ;
next_month varchar ;
first_flag boolean ;
i integer ;

begin

  RAISE NOTICE 'CREATE TEMPORARY TABLE FOR SHIPMENT_DATE';
  CREATE TEMP TABLE tmp_shipment_date as select distinct "SHIPMENT_DATE" from shipment order by "SHIPMENT_DATE" ;


  RAISE NOTICE 'DROP TABLE data';
  drop table data cascade ;


  RAISE NOTICE 'CREATE PARTITIONED TABLE data';
  
  CREATE TABLE public.data
  (
    "RUN_ID" integer,
    "LASERMARK" character varying(20) COLLATE pg_catalog."default" NOT NULL,
    "LOTID" character varying(80) COLLATE pg_catalog."default",
    "SHIPMENT_ID" integer NOT NULL,
    "PARAMETER_ID" integer NOT NULL,
    "INTERNAL_VALUE" character varying(75) COLLATE pg_catalog."default",
    "REPORTED_VALUE" character varying(75) COLLATE pg_catalog."default",
    "LOWER_SPEC_LIMIT" numeric,
    "UPPER_SPEC_LIMIT" numeric , 
    "SHIPMENT_DATE" timestamp without time zone
  )
  PARTITION BY RANGE ("SHIPMENT_DATE")
  WITH (
    OIDS = FALSE
  )
  TABLESPACE pg_default ;


  RAISE NOTICE 'CREATE PARTITIONS FOR TABLE data';

  current_year:='0';
  current_month:='0';

  begin_year := '0' ;
  begin_month := '0'  ;
  next_year := '0' ;
  next_month := '0'  ;
  i := 1;

  FOR rec_shipment_date IN SELECT * FROM tmp_shipment_date LOOP
      
      RAISE NOTICE 'SHIPMENT_DATE=%',rec_shipment_date."SHIPMENT_DATE";
      
      current_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE");
      current_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE") ; 

      --Init borders
      IF   begin_year = '0' THEN
       RAISE NOTICE '***Init borders';
       first_flag := true ; --first time flag
       begin_year := current_year ;
       begin_month := current_month ;   
   
        IF current_month = '12' THEN
          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;
        ELSE
          next_year := current_year ;
        END IF;
     
       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;

      END IF;

--      RAISE NOTICE 'current_year=% , current_month=% ',current_year,current_month;
--      RAISE NOTICE 'begin_year=% , begin_month=% ',begin_year,begin_month;
--      RAISE NOTICE 'next_year=% , next_month=% ',next_year,next_month;

      -- Check current date into borders NOT for First time

      RAISE NOTICE 'Current data = %',to_char( to_date( current_year||'.'||current_month, 'YYYY.MM'), 'YYYY.MM');
      RAISE NOTICE 'Begin data = %',to_char( to_date( begin_year||'.'||begin_month, 'YYYY.MM'), 'YYYY.MM');
      RAISE NOTICE 'Next data = %',to_char( to_date( next_year||'.'||next_month, 'YYYY.MM'), 'YYYY.MM');

      IF to_date( current_year||'.'||current_month, 'YYYY.MM') >= to_date( begin_year||'.'||begin_month, 'YYYY.MM') AND 
         to_date( current_year||'.'||current_month, 'YYYY.MM') < to_date( next_year||'.'||next_month, 'YYYY.MM') AND 
         NOT first_flag 
      THEN
         RAISE NOTICE '***CONTINUE';
         CONTINUE ; 
      ELSE
       --NEW borders only for second and after time 
       RAISE NOTICE '***NEW BORDERS';
       begin_year := current_year ;
       begin_month := current_month ;   
   
        IF current_month = '12' THEN
          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;
        ELSE
          next_year := current_year ;
        END IF;
     
       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;


      END IF;      

      IF to_number(current_month,'99') < 10 THEN
        current_month := '0'||current_month ; 
      END IF ;

      IF to_number(begin_month,'99') < 10 THEN
        begin_month := '0'||begin_month ; 
      END IF ;

      IF to_number(next_month,'99') < 10 THEN
        next_month := '0'||next_month ; 
      END IF ;

      RAISE NOTICE 'current_year=% , current_month=% ',current_year,current_month;
      RAISE NOTICE 'begin_year=% , begin_month=% ',begin_year,begin_month;
      RAISE NOTICE 'next_year=% , next_month=% ',next_year,next_month;

      partition_name := 'data_'||begin_year||begin_month||'01_'||next_year||next_month||'01'  ;

      RAISE NOTICE 'PARTITION NUMBER % , TABLE NAME =%',i , partition_name;
      
      EXECUTE format('CREATE TABLE ' || quote_ident(partition_name) || ' PARTITION OF data FOR VALUES FROM ( %L ) TO ( %L )  ' , begin_year||'-'||begin_month||'-01' , next_year||'-'||next_month||'-01'  ) ; 

      index_name := partition_name||'_shipment_id_parameter_id_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID", "PARAMETER_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_lasermark_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("LASERMARK" COLLATE pg_catalog."default") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_shipment_id_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_parameter_id_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("PARAMETER_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_shipment_date_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_DATE") TABLESPACE pg_default ' ) ; 

      --Drop first time flag
      first_flag := false ;

  END LOOP;
end
$$;

ಹಂತ 3 ರಲ್ಲಿ ರಚಿಸಲಾದ ಡಂಪ್ ಅನ್ನು ಲೋಡ್ ಮಾಡಿ.

pg_restore -h хост -юзер -d база --data-only --format=c --table=data --verbose  data.dmp > data_restore.log 2>&1

ಹಳೆಯ ಡೇಟಾಕ್ಕಾಗಿ ಪ್ರತ್ಯೇಕ ವಿಭಾಗವನ್ನು ರಚಿಸಿ

---------------------------------------------------
--create_partition_for_old_dates.sql
--create partitions for keeping old dates 
--version 1.0
do language plpgsql $$
declare 
rec_shipment_date RECORD ;
partition_name varchar;
index_name varchar;

begin

      SELECT min("SHIPMENT_DATE") AS min_date INTO rec_shipment_date from data ;

      RAISE NOTICE 'Old date is %',rec_shipment_date.min_date ;

      partition_name := 'data_old_dates'  ;

      RAISE NOTICE 'PARTITION NAME IS %',partition_name;

      EXECUTE format('CREATE TABLE ' || quote_ident(partition_name) || ' PARTITION OF data FOR VALUES FROM ( %L ) TO ( %L )  ' , '1900-01-01' , 
              to_char( rec_shipment_date.min_date,'YYYY')||'-'||to_char(rec_shipment_date.min_date,'MM')||'-01'  ) ; 

      index_name := partition_name||'_shipment_id_parameter_id_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID", "PARAMETER_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_lasermark_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("LASERMARK" COLLATE pg_catalog."default") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_shipment_id_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_parameter_id_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("PARAMETER_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_shipment_date_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_DATE") TABLESPACE pg_default ' ) ; 

end
$$;

ಅಂತಿಮ ಫಲಿತಾಂಶಗಳು:

ಆಗಿತ್ತು
ವೆಚ್ಚ: 502 997.55
ಮರಣದಂಡನೆ ಸಮಯ: 505 ಸೆಕೆಂಡುಗಳು.

ಆಗಿ ಮಾರ್ಪಟ್ಟಿದೆ
ವೆಚ್ಚ: 68 533.70
ಕಾರ್ಯಗತಗೊಳಿಸುವ ಸಮಯ: 69 ಸೆಕೆಂಡುಗಳ

ಯೋಗ್ಯ, ಸಾಕಷ್ಟು ಯೋಗ್ಯ. ಮತ್ತು ನಾವು PostgreSQL 10 ನಲ್ಲಿ ವಿಭಜನಾ ಕಾರ್ಯವಿಧಾನವನ್ನು ಹೆಚ್ಚು ಕಡಿಮೆ ಕರಗತ ಮಾಡಿಕೊಳ್ಳುವಲ್ಲಿ ಯಶಸ್ವಿಯಾಗಿದ್ದೇವೆ ಎಂದು ಪರಿಗಣಿಸಿ - ಅತ್ಯುತ್ತಮ ಫಲಿತಾಂಶ.

ಭಾವಗೀತಾತ್ಮಕ ವಿಷಯಾಂತರ

ಇನ್ನೂ ಉತ್ತಮವಾಗಿ ಮಾಡಲು ಸಾಧ್ಯವೇ - ಹೌದು, ನೀವು ಮಾಡಬಹುದು!ಇದನ್ನು ಮಾಡಲು ನೀವು ಮೆಟೀರಿಯಲೈಸ್ಡ್ ವ್ಯೂ ಅನ್ನು ಬಳಸಬೇಕಾಗುತ್ತದೆ.
ಮೆಟೀರಿಯಲೈಸ್ಡ್ ವ್ಯೂ LASERMARK_VIEW ಅನ್ನು ರಚಿಸಿ

CREATE MATERIALIZED VIEW LASERMARK_VIEW 
AS
SELECT w."LASERMARK" , MAX(s."SHIPMENT_DATE") AS "SHIPMENT_DATE"
FROM shipment s INNER JOIN data w ON s."SHIPMENT_ID" = w."SHIPMENT_ID" 
GROUP BY w."LASERMARK" ;

CREATE INDEX lasermark_vw_shipment_date_ind on lasermark_view USING btree ("SHIPMENT_DATE") TABLESPACE pg_default;
analyze lasermark_view ;

ಮತ್ತೊಮ್ಮೆ ನಾವು ವಿನಂತಿಯನ್ನು ಪುನಃ ಬರೆಯುತ್ತೇವೆ:
ವಸ್ತುರೂಪದ ವೀಕ್ಷಣೆಯನ್ನು ಬಳಸಿಕೊಂಡು ಪ್ರಶ್ನೆ

SELECT
            p."PARAMETER_ID" as  parameter_id,
            pc."PC_NAME" AS pc_name,
            pc."CUSTOMER_PARTNUMBER" AS customer_partnumber,
            w."LASERMARK" AS lasermark,
            w."LOTID" AS lotid,
            w."REPORTED_VALUE" AS reported_value,
            w."LOWER_SPEC_LIMIT" AS lower_spec_limit,
            w."UPPER_SPEC_LIMIT" AS upper_spec_limit,
            p."TYPE_CALCUL" AS type_calcul,
            s."SHIPMENT_NAME" AS shipment_name,
            s."SHIPMENT_DATE" AS shipment_date,
            extract(year from s."SHIPMENT_DATE") AS year,
            extract(month from s."SHIPMENT_DATE") as month,
            s."REPORT_NAME" AS report_name,
            p."STC_NAME" AS STC_name,
            p."CUSTOMERPARAM_NAME" AS customerparam_name
        FROM data w INNER JOIN shipment s ON s."SHIPMENT_ID" = w."SHIPMENT_ID"
             INNER JOIN parameters p ON p."PARAMETER_ID" = w."PARAMETER_ID"
             INNER JOIN shipment_pc sp ON s."SHIPMENT_ID" = sp."SHIPMENT_ID"
             INNER JOIN pc pc ON pc."PC_ID" = sp."PC_ID"
             INNER JOIN LASERMARK_VIEW md ON md."SHIPMENT_DATE" = s."SHIPMENT_DATE" AND md."LASERMARK" = w."LASERMARK"
        WHERE 
              s."SHIPMENT_DATE" >= '2018-07-01' AND s."SHIPMENT_DATE" <= '2018-09-30';

ಮತ್ತು ನಾವು ಇನ್ನೊಂದು ಫಲಿತಾಂಶವನ್ನು ಪಡೆಯುತ್ತೇವೆ:
ಆಗಿತ್ತು
ವೆಚ್ಚ: 502 997.55
ಮರಣದಂಡನೆ ಸಮಯ: 505 ಸೆಕೆಂಡುಗಳು

ಆಗಿ ಮಾರ್ಪಟ್ಟಿದೆ
ವೆಚ್ಚ: 42 481.16
ಕಾರ್ಯಗತಗೊಳಿಸುವ ಸಮಯ: 43 ಸೆಕೆಂಡುಗಳು.

ಆದಾಗ್ಯೂ, ಅಂತಹ ಭರವಸೆಯ ಫಲಿತಾಂಶವು ಮೋಸದಾಯಕವಾಗಿದೆ; ಆಲೋಚನೆಗಳನ್ನು ರಿಫ್ರೆಶ್ ಮಾಡಬೇಕಾಗಿದೆ. ಆದ್ದರಿಂದ ಡೇಟಾವನ್ನು ಸ್ವೀಕರಿಸಲು ಒಟ್ಟು ಸಮಯವು ಹೆಚ್ಚು ಸಹಾಯ ಮಾಡುವುದಿಲ್ಲ. ಆದರೆ ಪ್ರಯೋಗವಾಗಿ ಇದು ಸಾಕಷ್ಟು ಆಸಕ್ತಿದಾಯಕವಾಗಿದೆ.

ವಾಸ್ತವವಾಗಿ, ಅದು ಬದಲಾದಂತೆ, ಮತ್ತೊಮ್ಮೆ ಧನ್ಯವಾದಗಳು asmm ಮತ್ತು ಹಬ್ರು!- ಪ್ರಶ್ನೆಯನ್ನು ಇನ್ನಷ್ಟು ಸುಧಾರಿಸಬಹುದು.

ನಂತರದ

ಆದ್ದರಿಂದ, ಗ್ರಾಹಕರು ತೃಪ್ತರಾಗಿದ್ದಾರೆ. ಮತ್ತು ಅಗತ್ಯ ಪರಿಸ್ಥಿತಿಯ ಲಾಭವನ್ನು ಪಡೆದುಕೊಳ್ಳಿ.

ಹೊಸ ಕೆಲಸ: ಆಳಗೊಳಿಸಲು ಮತ್ತು ವಿಸ್ತರಿಸಲು ನೀವು ಏನು ಬರಬಹುದು?

ತದನಂತರ ನನಗೆ ನೆನಪಿದೆ - ಹುಡುಗರೇ, ನಮ್ಮ PostgreSQL ಡೇಟಾಬೇಸ್‌ಗಳ ಮೇಲ್ವಿಚಾರಣೆಯನ್ನು ನಾವು ಹೊಂದಿಲ್ಲ.

ಹೃದಯದ ಮೇಲೆ, AWS ನಲ್ಲಿ ಕ್ಲೌಡ್ ವಾಚ್ ರೂಪದಲ್ಲಿ ಇನ್ನೂ ಕೆಲವು ಮೇಲ್ವಿಚಾರಣೆ ಇದೆ. ಆದರೆ DBA ಗಾಗಿ ಈ ಮೇಲ್ವಿಚಾರಣೆಯ ಪ್ರಯೋಜನವೇನು? ಸಾಮಾನ್ಯವಾಗಿ, ಪ್ರಾಯೋಗಿಕವಾಗಿ ಯಾವುದೂ ಇಲ್ಲ.

ನಿಮಗಾಗಿ ಉಪಯುಕ್ತ ಮತ್ತು ಆಸಕ್ತಿದಾಯಕವಾದದ್ದನ್ನು ಮಾಡಲು ನಿಮಗೆ ಅವಕಾಶವಿದ್ದರೆ, ನೀವು ಈ ಅವಕಾಶದ ಲಾಭವನ್ನು ಪಡೆಯಲು ಸಾಧ್ಯವಿಲ್ಲ ...
ಫಾರ್

PostgreSQL10 ನಲ್ಲಿ ವಿಭಜನೆಯನ್ನು ತಿಳಿದುಕೊಳ್ಳುವ ಬಗ್ಗೆ ಹ್ಯಾಪಿ ಪಾರ್ಟಿ ಅಥವಾ ಒಂದೆರಡು ಸಾಲುಗಳ ನೆನಪುಗಳು

ನಾವು ಅತ್ಯಂತ ಆಸಕ್ತಿದಾಯಕ ಭಾಗಕ್ಕೆ ಹೇಗೆ ಬರುತ್ತೇವೆ:

ಡಿಸೆಂಬರ್ 3, 2018.
PostgreSQL ಪ್ರಶ್ನೆಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ಲಭ್ಯವಿರುವ ಸಾಮರ್ಥ್ಯಗಳ ಕುರಿತು ಸಂಶೋಧನೆಯನ್ನು ಪ್ರಾರಂಭಿಸಲು ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವುದು.

ಆದರೆ ಇದು ಸಂಪೂರ್ಣವಾಗಿ ವಿಭಿನ್ನವಾದ ಕಥೆ.

ಮುಂದುವರೆಯುವುದು…

ಮೂಲ: www.habr.com

ಕಾಮೆಂಟ್ ಅನ್ನು ಸೇರಿಸಿ