ProHoster > Блог > Захиргаа > Happy Party эсвэл PostgreSQL10 дахь хуваалттай танилцсан дурсамжийн хоёр мөр

Happy Party эсвэл PostgreSQL10 дахь хуваалттай танилцсан дурсамжийн хоёр мөр

Оршил буюу хэсэглэх санаа хэрхэн үүссэн тухай

Түүх эндээс эхэлдэг: Энэ бүхэн хэрхэн эхэлснийг санаж байна уу. Бүх зүйл анх удаагаа байсан. Тухайн үед хүсэлтийг оновчтой болгох бараг бүх нөөц шавхагдаж дууссаны дараа асуулт гарч ирэв - дараа нь яах вэ? Ингэж хуваах санаа гарч ирэв.

Happy Party эсвэл PostgreSQL10 дахь хуваалттай танилцсан дурсамжийн хоёр мөр

Уянгын ухралт:
Яг 'тэр мөчид', учир нь ашиглагдаагүй оновчлолын нөөц байсан нь тодорхой болсонБайна. Баярлалаа асмм болон Хабру!

Тэгэхээр та өөр яаж үйлчлүүлэгчээ баярлуулж, тэр үед өөрийнхөө ур чадварыг дээшлүүлэх вэ?

Бүх зүйлийг аль болох хялбарчлахын тулд, тэгвэл мэдээллийн сангийн гүйцэтгэлд ямар нэг зүйлийг эрс сайжруулах хоёр л арга бий:
1) Өргөн хүрээтэй зам - бид нөөцийг нэмэгдүүлж, тохиргоог өөрчилдөг;
2) Эрчимтэй зам - асуулгын оновчлол

Би давтан хэлье, тэр үед хурдасгах хүсэлтэд өөр юу өөрчлөх нь тодорхойгүй байсан тул замыг сонгосон - хүснэгтийн дизайны өөрчлөлт.

Тэгэхээр гол асуулт гарч ирнэ: бид юуг, яаж өөрчлөх вэ?

Анхны нөхцөл

Нэгдүгээрт, энэ ERD байдаг (болзолт хялбаршуулсан байдлаар харуулсан):
Happy Party эсвэл PostgreSQL10 дахь хуваалттай танилцсан дурсамжийн хоёр мөр
Үндсэн онцлогууд:

  1. олон-олон харилцаа
  2. Хүснэгтэд аль хэдийн боломжит хуваалтын түлхүүр байна

Анхны хүсэлт:

SELECT
            p."PARAMETER_ID" as  parameter_id,
            pc."PC_NAME" AS pc_name,
            pc."CUSTOMER_PARTNUMBER" AS customer_partnumber,
            w."LASERMARK" AS lasermark,
            w."LOTID" AS lotid,
            w."REPORTED_VALUE" AS reported_value,
            w."LOWER_SPEC_LIMIT" AS lower_spec_limit,
            w."UPPER_SPEC_LIMIT" AS upper_spec_limit,
            p."TYPE_CALCUL" AS type_calcul,
            s."SHIPMENT_NAME" AS shipment_name,
            s."SHIPMENT_DATE" AS shipment_date,
            extract(year from s."SHIPMENT_DATE") AS year,
            extract(month from s."SHIPMENT_DATE") as month,
            s."REPORT_NAME" AS report_name,
            p."SPARAM_NAME" AS SPARAM_name,
            p."CUSTOMERPARAM_NAME" AS customerparam_name
        FROM data w INNER JOIN shipment s ON s."SHIPMENT_ID" = w."SHIPMENT_ID"
             INNER JOIN parameters p ON p."PARAMETER_ID" = w."PARAMETER_ID"
             INNER JOIN shipment_pc sp ON s."SHIPMENT_ID" = sp."SHIPMENT_ID"
             INNER JOIN pc pc ON pc."PC_ID" = sp."PC_ID"
             INNER JOIN ( SELECT w2."LASERMARK" , MAX(s2."SHIPMENT_DATE") AS "SHIPMENT_DATE"
                          FROM shipment s2 INNER JOIN data w2 ON s2."SHIPMENT_ID" = w2."SHIPMENT_ID" 
                          GROUP BY w2."LASERMARK"
                         ) md ON md."SHIPMENT_DATE" = s."SHIPMENT_DATE" AND md."LASERMARK" = w."LASERMARK"
        WHERE 
             s."SHIPMENT_DATE" >= '2018-07-01' AND s."SHIPMENT_DATE" <= '2018-09-30' ;

Туршилтын мэдээллийн сан дээрх гүйцэтгэлийн үр дүн:
Зардлын : 502 997.55
Гүйцэтгэлийн хугацаа: 505 секунд.

Бид юу харж байна вэ? Хугацаа дээр үндэслэсэн байнгын хүсэлт.
Хамгийн энгийн логик таамаглалыг хийцгээе: хэрвээ цагийн зүсмэлийн жишээ байгаа бол энэ нь бидэнд туслах уу? Энэ нь зөв - хуваах.

Юуг хуваах вэ?

Өнгөц харахад сонголт нь ойлгомжтой юм - "тээвэрлэлтийн" хүснэгтийг "SHIPMENT_DATE" товчийг ашиглан хуваах (хэт хол үсрэх - эцэст нь энэ нь үйлдвэрлэлд бага зэрэг буруу болсон).

Хэрхэн хуваах вэ?

Энэ асуулт бас тийм ч хэцүү биш юм. Аз болоход PostgreSQL 10-д одоо хүн хуваах механизм байдаг.
Тиймээс:

  1. Эх хүснэгтийн овоолгыг хадгалах - pg_dump эх_хүснэгт
  2. Эх хүснэгтийг устгах - хүснэгтийн эх хүснэгтийг буулгах
  3. Хүрээний хуваалт бүхий эх хүснэгт үүсгэх - Хүснэгтийн эх хүснэгт үүсгэх
  4. Хэсэг үүсгэх - Хүснэгтийн эх хүснэгт үүсгэх, индекс үүсгэх
  5. 1-р алхам дээр үүсгэсэн овоолгыг импортлох - pg_сэргээх

Хуваалт хийх скриптүүд

Энгийн бөгөөд хялбар болгох үүднээс 2,3,4-р алхамуудыг нэг скрипт болгон нэгтгэсэн.

Тиймээс:
Эх хүснэгтийн овоолгыг хадгал

pg_dump postgres --file=/dump/shipment.dmp --format=c --table=shipment --verbose > /dump/shipment.log 2>&1

Эх хүснэгтийг устгах + Хүрээний хуваалт бүхий эх хүснэгт үүсгэх + Хуваалт үүсгэх

--create_partition_shipment.sql
do language plpgsql $$
declare 
rec_shipment_date RECORD ;
partition_name varchar;
index_name varchar;
current_year varchar ;
current_month varchar ;
begin_year varchar ;
begin_month varchar ;
next_year varchar ;
next_month varchar ;
first_flag boolean ;
i integer ;
begin
  RAISE NOTICE 'CREATE TEMPORARY TABLE FOR SHIPMENT_DATE';
  CREATE TEMP TABLE tmp_shipment_date as select distinct "SHIPMENT_DATE" from shipment order by "SHIPMENT_DATE" ;

  RAISE NOTICE 'DROP TABLE shipment';
  drop table shipment cascade ;
  
  CREATE TABLE public.shipment
  (
    "SHIPMENT_ID" integer NOT NULL DEFAULT nextval('shipment_shipment_id_seq'::regclass),
    "SHIPMENT_NAME" character varying(30) COLLATE pg_catalog."default",
    "SHIPMENT_DATE" timestamp without time zone,
    "REPORT_NAME" character varying(40) COLLATE pg_catalog."default"
  )
  PARTITION BY RANGE ("SHIPMENT_DATE")
  WITH (
      OIDS = FALSE
  )
  TABLESPACE pg_default;

  RAISE NOTICE 'CREATE PARTITIONS FOR TABLE shipment';

  current_year:='0';
  current_month:='0';

  begin_year := '0' ;
  begin_month := '0'  ;
  next_year := '0' ;
  next_month := '0'  ;

  FOR rec_shipment_date IN SELECT * FROM tmp_shipment_date LOOP
      
      RAISE NOTICE 'SHIPMENT_DATE=%',rec_shipment_date."SHIPMENT_DATE";
      
      current_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE");
      current_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE") ; 

      IF to_number(current_month,'99') < 10 THEN
        current_month := '0'||current_month ; 
      END IF ;

      --Init borders
      IF   begin_year = '0' THEN
       first_flag := true ; --first time flag
       begin_year := current_year ;
       begin_month := current_month ;   
   
        IF current_month = '12' THEN
          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;
        ELSE
          next_year := current_year ;
        END IF;
     
       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;

      END IF;

      -- Check current date into borders NOT for First time
      IF to_date( current_year||'.'||current_month, 'YYYY.MM') >= to_date( begin_year||'.'||begin_month, 'YYYY.MM') AND 
         to_date( current_year||'.'||current_month, 'YYYY.MM') < to_date( next_year||'.'||next_month, 'YYYY.MM') AND 
         NOT first_flag 
      THEN
         CONTINUE ; 
      ELSE
       --NEW borders only for second and after time 
       begin_year := current_year ;
       begin_month := current_month ;   
   
        IF current_month = '12' THEN
          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;
        ELSE
          next_year := current_year ;
        END IF;
     
       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;

      END IF;      

      partition_name := 'shipment_shipment_date_'||begin_year||'-'||begin_month||'-01-'|| next_year||'-'||next_month||'-01'  ;
 
     EXECUTE format('CREATE TABLE ' || quote_ident(partition_name) || ' PARTITION OF shipment FOR VALUES FROM ( %L ) TO ( %L )  ' , current_year||'-'||current_month||'-01' , next_year||'-'||next_month||'-01'  ) ; 

      index_name := partition_name||'_shipment_id_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID") TABLESPACE pg_default ' ) ; 

      --Drop first time flag
      first_flag := false ;
   
  END LOOP;

end
$$;

Хогийн цэгийг импортлож байна

pg_restore -d postgres --data-only --format=c --table=shipment --verbose  shipment.dmp > /tmp/data_dump/shipment_restore.log 2>&1

Хуваалтын үр дүнг шалгаж байна

Үүний үр дүнд бидэнд юу байна вэ? Гүйцэтгэлийн төлөвлөгөөний бүрэн текст нь том бөгөөд уйтгартай тул эцсийн тоогоор өөрийгөө хязгаарлах бүрэн боломжтой.

Байсан

Үнэ: 502 997.55
Гүйцэтгэх хугацаа: 505 секунд.

Болсон

Үнэ: 77 872.36
Гүйцэтгэх хугацаа: 79 секунд.

Маш сайн үр дүн. Зардал, гүйцэтгэлийн хугацаа багассан. Тиймээс хуваалтыг ашиглах нь хүлээгдэж буй үр нөлөөг өгдөг бөгөөд ерөнхийдөө гэнэтийн зүйл байхгүй.

Үйлчлүүлэгчээ баярлуулаарай

Туршилтын үр дүнг хэрэглэгчдэд танилцуулж хянуулсан. Үүнийг хянасны дараа тэдэнд гэнэтийн шийдвэр гарсан: "Сайн байна, "өгөгдлийн" хүснэгтийг хуваа."

Тийм ээ, гэхдээ бид огт өөр "тээвэрлэлтийн" хүснэгтийг шалгасан; "өгөгдөл" хүснэгтэд "SHIPMENT_DATE" талбар байхгүй байна.

Асуудалгүй, нэмэх, өөрчлөх. Хамгийн гол нь үйлчлүүлэгч үр дүндээ сэтгэл хангалуун байгаа бөгөөд хэрэгжилтийн нарийн ширийн зүйл нь тийм ч чухал биш юм.

Үндсэн хүснэгтийн "өгөгдөл" -ийг хуваах

Ерөнхийдөө тодорхой бэрхшээл гараагүй. Гэсэн хэдий ч хуваах алгоритм нь мэдээжийн хэрэг бага зэрэг өөрчлөгдсөн.

"Өгөгдөл" хүснэгтэд "SHIPMENT_DATA" баганыг нэмж байна

psql -h хост -U база -d юзер
=> ALTER TABLE data ADD COLUMN "SHIPMENT_DATE" timestamp without time zone ;

"Өгөгдөл" хүснэгтийн "ТӨГӨЛТ_ӨГӨӨЛӨГДӨЛ" баганын утгыг "тээвэр" хүснэгтийн ижил нэртэй баганын утгуудаар бөглөнө үү.

-----------------------------
--update_data.sql
--updating for altered table "data" to values of "shipment_data" from the table "shipment"
--version 1.0
do language plpgsql $$
declare 
rec_shipment_data RECORD ;
shipment_date timestamp without time zone ; 
row_count integer ;
total_rows integer ;
begin

  select count(*) into total_rows from shipment ; 
  RAISE NOTICE 'Total %',total_rows;
  row_count:= 0 ;

  FOR rec_shipment_data IN SELECT * FROM shipment LOOP

   update data set "SHIPMENT_DATE" = rec_shipment_data."SHIPMENT_DATE" where "SHIPMENT_ID" = rec_shipment_data."SHIPMENT_ID";
   
   row_count:=  row_count +1 ;
   RAISE NOTICE 'row count = % , from %',row_count,total_rows;
  END LOOP;

end
$$;

"Өгөгдөл" хүснэгтийн овоолгыг хадгал

pg_dump postgres --file=/dump/data.dmp --format=c --table=data --verbose > /dump/data.log 2>&1</source

"Өгөгдөл" хуваах хүснэгтийг дахин үүсгэх

--create_partition_data.sql
--create partitions for the table "wafer data" by range column "shipment_data" with one month duration
--version 1.0
do language plpgsql $$
declare 
rec_shipment_date RECORD ;
partition_name varchar;
index_name varchar;
current_year varchar ;
current_month varchar ;
begin_year varchar ;
begin_month varchar ;
next_year varchar ;
next_month varchar ;
first_flag boolean ;
i integer ;

begin

  RAISE NOTICE 'CREATE TEMPORARY TABLE FOR SHIPMENT_DATE';
  CREATE TEMP TABLE tmp_shipment_date as select distinct "SHIPMENT_DATE" from shipment order by "SHIPMENT_DATE" ;


  RAISE NOTICE 'DROP TABLE data';
  drop table data cascade ;


  RAISE NOTICE 'CREATE PARTITIONED TABLE data';
  
  CREATE TABLE public.data
  (
    "RUN_ID" integer,
    "LASERMARK" character varying(20) COLLATE pg_catalog."default" NOT NULL,
    "LOTID" character varying(80) COLLATE pg_catalog."default",
    "SHIPMENT_ID" integer NOT NULL,
    "PARAMETER_ID" integer NOT NULL,
    "INTERNAL_VALUE" character varying(75) COLLATE pg_catalog."default",
    "REPORTED_VALUE" character varying(75) COLLATE pg_catalog."default",
    "LOWER_SPEC_LIMIT" numeric,
    "UPPER_SPEC_LIMIT" numeric , 
    "SHIPMENT_DATE" timestamp without time zone
  )
  PARTITION BY RANGE ("SHIPMENT_DATE")
  WITH (
    OIDS = FALSE
  )
  TABLESPACE pg_default ;


  RAISE NOTICE 'CREATE PARTITIONS FOR TABLE data';

  current_year:='0';
  current_month:='0';

  begin_year := '0' ;
  begin_month := '0'  ;
  next_year := '0' ;
  next_month := '0'  ;
  i := 1;

  FOR rec_shipment_date IN SELECT * FROM tmp_shipment_date LOOP
      
      RAISE NOTICE 'SHIPMENT_DATE=%',rec_shipment_date."SHIPMENT_DATE";
      
      current_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE");
      current_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE") ; 

      --Init borders
      IF   begin_year = '0' THEN
       RAISE NOTICE '***Init borders';
       first_flag := true ; --first time flag
       begin_year := current_year ;
       begin_month := current_month ;   
   
        IF current_month = '12' THEN
          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;
        ELSE
          next_year := current_year ;
        END IF;
     
       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;

      END IF;

--      RAISE NOTICE 'current_year=% , current_month=% ',current_year,current_month;
--      RAISE NOTICE 'begin_year=% , begin_month=% ',begin_year,begin_month;
--      RAISE NOTICE 'next_year=% , next_month=% ',next_year,next_month;

      -- Check current date into borders NOT for First time

      RAISE NOTICE 'Current data = %',to_char( to_date( current_year||'.'||current_month, 'YYYY.MM'), 'YYYY.MM');
      RAISE NOTICE 'Begin data = %',to_char( to_date( begin_year||'.'||begin_month, 'YYYY.MM'), 'YYYY.MM');
      RAISE NOTICE 'Next data = %',to_char( to_date( next_year||'.'||next_month, 'YYYY.MM'), 'YYYY.MM');

      IF to_date( current_year||'.'||current_month, 'YYYY.MM') >= to_date( begin_year||'.'||begin_month, 'YYYY.MM') AND 
         to_date( current_year||'.'||current_month, 'YYYY.MM') < to_date( next_year||'.'||next_month, 'YYYY.MM') AND 
         NOT first_flag 
      THEN
         RAISE NOTICE '***CONTINUE';
         CONTINUE ; 
      ELSE
       --NEW borders only for second and after time 
       RAISE NOTICE '***NEW BORDERS';
       begin_year := current_year ;
       begin_month := current_month ;   
   
        IF current_month = '12' THEN
          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;
        ELSE
          next_year := current_year ;
        END IF;
     
       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;


      END IF;      

      IF to_number(current_month,'99') < 10 THEN
        current_month := '0'||current_month ; 
      END IF ;

      IF to_number(begin_month,'99') < 10 THEN
        begin_month := '0'||begin_month ; 
      END IF ;

      IF to_number(next_month,'99') < 10 THEN
        next_month := '0'||next_month ; 
      END IF ;

      RAISE NOTICE 'current_year=% , current_month=% ',current_year,current_month;
      RAISE NOTICE 'begin_year=% , begin_month=% ',begin_year,begin_month;
      RAISE NOTICE 'next_year=% , next_month=% ',next_year,next_month;

      partition_name := 'data_'||begin_year||begin_month||'01_'||next_year||next_month||'01'  ;

      RAISE NOTICE 'PARTITION NUMBER % , TABLE NAME =%',i , partition_name;
      
      EXECUTE format('CREATE TABLE ' || quote_ident(partition_name) || ' PARTITION OF data FOR VALUES FROM ( %L ) TO ( %L )  ' , begin_year||'-'||begin_month||'-01' , next_year||'-'||next_month||'-01'  ) ; 

      index_name := partition_name||'_shipment_id_parameter_id_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID", "PARAMETER_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_lasermark_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("LASERMARK" COLLATE pg_catalog."default") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_shipment_id_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_parameter_id_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("PARAMETER_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_shipment_date_idx';
      RAISE NOTICE 'INDEX NAME =%',index_name;
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_DATE") TABLESPACE pg_default ' ) ; 

      --Drop first time flag
      first_flag := false ;

  END LOOP;
end
$$;

3-р алхам дээр үүсгэсэн овоолгыг ачаална уу.

pg_restore -h хост -юзер -d база --data-only --format=c --table=data --verbose  data.dmp > data_restore.log 2>&1

Хуучин өгөгдөлд зориулж тусдаа хэсэг үүсгэ

---------------------------------------------------
--create_partition_for_old_dates.sql
--create partitions for keeping old dates 
--version 1.0
do language plpgsql $$
declare 
rec_shipment_date RECORD ;
partition_name varchar;
index_name varchar;

begin

      SELECT min("SHIPMENT_DATE") AS min_date INTO rec_shipment_date from data ;

      RAISE NOTICE 'Old date is %',rec_shipment_date.min_date ;

      partition_name := 'data_old_dates'  ;

      RAISE NOTICE 'PARTITION NAME IS %',partition_name;

      EXECUTE format('CREATE TABLE ' || quote_ident(partition_name) || ' PARTITION OF data FOR VALUES FROM ( %L ) TO ( %L )  ' , '1900-01-01' , 
              to_char( rec_shipment_date.min_date,'YYYY')||'-'||to_char(rec_shipment_date.min_date,'MM')||'-01'  ) ; 

      index_name := partition_name||'_shipment_id_parameter_id_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID", "PARAMETER_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_lasermark_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("LASERMARK" COLLATE pg_catalog."default") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_shipment_id_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_parameter_id_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("PARAMETER_ID") TABLESPACE pg_default ' ) ; 

      index_name := partition_name||'_shipment_date_idx';
      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_DATE") TABLESPACE pg_default ' ) ; 

end
$$;

Эцсийн үр дүн:

Байсан
Үнэ: 502 997.55
Гүйцэтгэлийн хугацаа: 505 секунд.

Болсон
Үнэ: 68 533.70
Гүйцэтгэх хугацаа: 69 секунд

Зохистой, нэлээд зохистой. Энэ замд бид PostgreSQL 10-д хуваах механизмыг бага эсвэл бага хэмжээгээр эзэмшиж чадсан нь маш сайн үр дүн юм.

Уянгын ухралт

Бүр илүү сайн хийх боломжтой юу - ТИЙМ, ТА ЧАДНА!Үүнийг хийхийн тулд та MATERIALIZED VIEW ашиглах хэрэгтэй.
МАТЕРИАЛЖУУЛСАН ХАРАА LASERMARK_VIEW ХИЙХ

CREATE MATERIALIZED VIEW LASERMARK_VIEW 
AS
SELECT w."LASERMARK" , MAX(s."SHIPMENT_DATE") AS "SHIPMENT_DATE"
FROM shipment s INNER JOIN data w ON s."SHIPMENT_ID" = w."SHIPMENT_ID" 
GROUP BY w."LASERMARK" ;

CREATE INDEX lasermark_vw_shipment_date_ind on lasermark_view USING btree ("SHIPMENT_DATE") TABLESPACE pg_default;
analyze lasermark_view ;

Дахин нэг удаа бид хүсэлтийг дахин бичнэ:
Материалжуулсан харагдац ашиглан асуулга

SELECT
            p."PARAMETER_ID" as  parameter_id,
            pc."PC_NAME" AS pc_name,
            pc."CUSTOMER_PARTNUMBER" AS customer_partnumber,
            w."LASERMARK" AS lasermark,
            w."LOTID" AS lotid,
            w."REPORTED_VALUE" AS reported_value,
            w."LOWER_SPEC_LIMIT" AS lower_spec_limit,
            w."UPPER_SPEC_LIMIT" AS upper_spec_limit,
            p."TYPE_CALCUL" AS type_calcul,
            s."SHIPMENT_NAME" AS shipment_name,
            s."SHIPMENT_DATE" AS shipment_date,
            extract(year from s."SHIPMENT_DATE") AS year,
            extract(month from s."SHIPMENT_DATE") as month,
            s."REPORT_NAME" AS report_name,
            p."STC_NAME" AS STC_name,
            p."CUSTOMERPARAM_NAME" AS customerparam_name
        FROM data w INNER JOIN shipment s ON s."SHIPMENT_ID" = w."SHIPMENT_ID"
             INNER JOIN parameters p ON p."PARAMETER_ID" = w."PARAMETER_ID"
             INNER JOIN shipment_pc sp ON s."SHIPMENT_ID" = sp."SHIPMENT_ID"
             INNER JOIN pc pc ON pc."PC_ID" = sp."PC_ID"
             INNER JOIN LASERMARK_VIEW md ON md."SHIPMENT_DATE" = s."SHIPMENT_DATE" AND md."LASERMARK" = w."LASERMARK"
        WHERE 
              s."SHIPMENT_DATE" >= '2018-07-01' AND s."SHIPMENT_DATE" <= '2018-09-30';

Мөн бид өөр үр дүнд хүрнэ:
Байсан
Үнэ: 502 997.55
Гүйцэтгэлийн хугацаа: 505 секунд

Болсон
Үнэ: 42 481.16
Гүйцэтгэх хугацаа: 43 секунд.

Мэдээжийн хэрэг, ийм ирээдүйтэй үр дүн нь хууран мэхлэх боловч санаагаа сэргээх хэрэгтэй. Тиймээс өгөгдөл хүлээн авах нийт хугацаа тийм ч их тус болохгүй. Гэхдээ туршилтын хувьд энэ нь нэлээд сонирхолтой юм.

Үнэндээ, дахин нэг удаа баярлалаа асмм мөн Хабру!- Асуултыг цаашид сайжруулах боломжтой.

Дараах үгс

Тиймээс үйлчлүүлэгч сэтгэл хангалуун байна. БА хэрэгцээ нөхцөл байдлыг ашиглах.

Шинэ даалгавар: Гүнзгийрүүлэх, өргөжүүлэхийн тулд юу бодож болох вэ?

Тэгээд би санаж байна - залуусаа, манай PostgreSQL мэдээллийн санд хяналт байхгүй.

AWS дээр Cloud Watch хэлбэрээр зарим мониторинг байсаар байна. Гэхдээ энэ мониторинг нь DBA-д ямар ашигтай вэ? Ерөнхийдөө бараг байхгүй.

Хэрэв танд өөрт хэрэгтэй, сонирхолтой зүйл хийх боломж байгаа бол та энэ боломжийг ашиглаж чадахгүй...
ТӨЛӨӨ

Happy Party эсвэл PostgreSQL10 дахь хуваалттай танилцсан дурсамжийн хоёр мөр

Ингээд бид хамгийн сонирхолтой хэсэг рүүгээ орлоо.

3 оны арванхоёрдугаар сарын 2018.
PostgreSQL асуулгын гүйцэтгэлийг хянах боломжуудын талаар судалгаа хийж эхлэх шийдвэр гаргах.

Гэхдээ энэ бол огт өөр түүх юм.

Үргэлжлэл бий…

Эх сурвалж: www.habr.com

сэтгэгдэл нэмэх