{"id":31905,"date":"2019-10-31T21:43:52","date_gmt":"2019-10-31T18:43:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/happy-party-ili-para-strok-vospominanij-o-znakomstve-s-sektsionirovaniem-v-postgresql10\/"},"modified":"2019-10-31T21:43:52","modified_gmt":"2019-10-31T18:43:52","slug":"happy-party-ili-para-strok-vospominanij-o-znakomstve-s-sektsionirovaniem-v-postgresql10","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/happy-party-ili-para-strok-vospominanij-o-znakomstve-s-sektsionirovaniem-v-postgresql10","title":{"rendered":"Happy Party oder ein paar Zeilen Erinnerung an die Einf\u00fchrung in das Partitionieren in PostgreSQL10.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Vorwort oder wie die Idee der Partitionierung entstand<\/h4>\n

\nDer Beginn der Geschichte hier: Erinnerst du dich, wie alles begann? Alles war neu und aufregend.<\/a><\/noindex> Nachdem fast alle Ressourcen zur Optimierung der Abfrage zu diesem Zeitpunkt ersch\u00f6pft waren, stellte sich die Frage \u2013 wie geht es weiter? So entstand die Idee der Partitionierung. <\/p>\n

\"Happy
\n
\nEin lyrischer Einschub:<\/b>
\nGenau \u201azu diesem Zeitpunkt\u2018, weil wie sich herausstellte, gab es ungenutzte Optimierungspotenziale.<\/a><\/noindex>. Danke asmm<\/a><\/noindex> und Habr!<\/i><\/p>\n

Also, wie kann man den Kunden gl\u00fccklich machen und gleichzeitig die eigenen F\u00e4higkeiten verbessern? <\/p>\n

Wenn man alles auf das Wesentliche reduziert<\/b>, dann gibt es nur zwei radikale Wege, um die Leistung der Datenbank zu verbessern:
\n1) Extensiver Weg \u2013 Ressourcen erh\u00f6hen, Konfiguration \u00e4ndern;
\n2) Intensiver Weg \u2013 Abfragen optimieren.<\/p>\n

Da, wie gesagt, zu diesem Zeitpunkt bereits unklar war, was man an der Abfrage noch \u00e4ndern k\u00f6nnte, um sie zu beschleunigen, wurde der Weg gew\u00e4hlt \u2013 die Gestaltung der Tabellen zu \u00e4ndern.<\/b><\/p>\n

Hier stellt sich die zentrale Frage \u2013 was und wie werden wir ver\u00e4ndern? <\/b>
\n<\/a><\/noindex><\/p>\n

Anfangsbedingungen<\/h2>\n

\nZun\u00e4chst gibt es dieses ERD (vereinfacht dargestellt):
\n\"Happy
\nHauptmerkmale:<\/p>\n

    \n
  1. Beziehungen \u201aviele zu viele\u2018<\/li>\n
  2. Die Tabelle hat bereits einen potenziellen Partitionierungsschl\u00fcssel. <\/li>\n<\/ol>\n

    Urspr\u00fcngliche Anfrage:<\/p>\n

    SELECT\n            p.\"PARAMETER_ID\" as parameter_id,\n            pc.\"PC_NAME\" AS pc_name,\n            pc.\"CUSTOMER_PARTNUMBER\" AS customer_partnumber,\n            w.\"LASERMARK\" AS lasermark,\n            w.\"LOTID\" AS lotid,\n            w.\"REPORTED_VALUE\" AS reported_value,\n            w.\"LOWER_SPEC_LIMIT\" AS lower_spec_limit,\n            w.\"UPPER_SPEC_LIMIT\" AS upper_spec_limit,\n            p.\"TYPE_CALCUL\" AS type_calcul,\n            s.\"SHIPMENT_NAME\" AS shipment_name,\n            s.\"SHIPMENT_DATE\" AS shipment_date,\n            extract(year from s.\"SHIPMENT_DATE\") AS year,\n            extract(month from s.\"SHIPMENT_DATE\") as month,\n            s.\"REPORT_NAME\" AS report_name,\n            p.\"SPARAM_NAME\" AS SPARAM_name,\n            p.\"CUSTOMERPARAM_NAME\" AS customerparam_name\n        FROM data w INNER JOIN shipment s ON s.\"SHIPMENT_ID\" = w.\"SHIPMENT_ID\"\n             INNER JOIN parameters p ON p.\"PARAMETER_ID\" = w.\"PARAMETER_ID\"\n             INNER JOIN shipment_pc sp ON s.\"SHIPMENT_ID\" = sp.\"SHIPMENT_ID\"\n             INNER JOIN pc pc ON pc.\"PC_ID\" = sp.\"PC_ID\"\n             INNER JOIN ( SELECT w2.\"LASERMARK\" , MAX(s2.\"SHIPMENT_DATE\") AS \"SHIPMENT_DATE\"\n                          FROM shipment s2 INNER JOIN data w2 ON s2.\"SHIPMENT_ID\" = w2.\"SHIPMENT_ID\" \n                          GROUP BY w2.\"LASERMARK\"\n                         ) md ON md.\"SHIPMENT_DATE\" = s.\"SHIPMENT_DATE\" AND md.\"LASERMARK\" = w.\"LASERMARK\"\n        WHERE \n             s.\"SHIPMENT_DATE\" >= '2018-07-01' AND s.\"SHIPMENT_DATE\" <= '2018-09-30';\n<\/code><\/pre>\n
    \nErgebnisse der Ausf\u00fchrung auf der Testdatenbank:<\/b>
    \nKosten <\/b>: 502 997.55
    \nAusf\u00fchrungszeit<\/b>: 505 Sekunden.<\/p>\n
    Was sehen wir? Eine gew\u00f6hnliche Anfrage in einem zeitlichen Schnitt. 
    \nTreffen wir eine einfache logische Annahme: Wenn es einen Zeitstich gibt, hilft uns das? Richtig \u2013 die Partitionierung.<\/p>\n
    Was partitionieren?<\/h2>\n
    \nAuf den ersten Blick ist die Wahl offensichtlich \u2013 die deklarative Partitionierung der Tabelle \u201eshipment\u201c nach dem Schl\u00fcssel \u201eSHIPMENT_DATE\u201c (um es vorwegzunehmen \u2013 am Ende war es in der Produktion etwas anders<\/i>). <\/p>\n
    Wie partitionieren?<\/h2>\n
    \nDiese Frage ist ebenfalls nicht allzu kompliziert. Gl\u00fccklicherweise gibt es in PostgreSQL 10 nun einen benutzerfreundlichen Partitionierungsmechanismus. 
    \nAlso: <\/p>\n
      \n
    1.  Wir sichern das Dump der Ausgangstabelle \u2013 pg_dump source_table<\/i><\/li>\n
    2.  Wir l\u00f6schen die Ausgangstabelle \u2013 drop table source_table<\/i><\/li>\n
    3. Wir erstellen die \u00fcbergeordnete Tabelle mit Partitionierung nach Bereich \u2013 create table source_table<\/i><\/li>\n
    4.  Wir erstellen die Partitionen \u2013 create table source_table, create index<\/i><\/li>\n
    5.  Wir importieren das Dump, das in Schritt 1 erstellt wurde \u2013 pg_restore<\/i><\/li>\n<\/ol>\n
      <\/p>\n
      Skripte f\u00fcr die Partitionierung <\/h2>\n
      \nZur Vereinfachung und zum Komfort wurden die Schritte 2, 3 und 4 in einem Skript zusammengefasst. <\/p>\n
      Also: 
      \nWir sichern das Dump der Ausgangstabelle<\/b><\/p>\n
      pg_dump postgres --file=\/dump\/shipment.dmp --format=c --table=shipment --verbose > \/dump\/shipment.log 2>&1<\/code><\/pre>\n
      \nWir l\u00f6schen die Ausgangstabelle + Wir erstellen die \u00fcbergeordnete Tabelle mit Partitionierung nach Bereich + Wir erstellen die Partitionen<\/b><\/p>\n
      --create_partition_shipment.sql\ndo language plpgsql $$\ndeclare \nrec_shipment_date RECORD ;\npartition_name varchar;\nindex_name varchar;\ncurrent_year varchar ;\ncurrent_month varchar ;\nbegin_year varchar ;\nbegin_month varchar ;\nnext_year varchar ;\nnext_month varchar ;\nfirst_flag boolean ;\ni integer ;\nbegin\n  RAISE NOTICE 'ERSTELLEN SIE EINE TEMPOR\u00c4RE TABELLE F\u00dcR DAS VERSAND_DATUM';\n  CREATE TEMP TABLE tmp_shipment_date as select distinct \"SHIPMENT_DATE\" from shipment order by \"SHIPMENT_DATE\" ;\n\n  RAISE NOTICE 'TABELLE versand l\u00f6schen';\n  drop table shipment cascade ;\n  \n  CREATE TABLE public.shipment\n  (\n    \"SHIPMENT_ID\" integer NOT NULL DEFAULT nextval('shipment_shipment_id_seq'::regclass),\n    \"SHIPMENT_NAME\" character varying(30) COLLATE pg_catalog.\"default\",\n    \"SHIPMENT_DATE\" timestamp without time zone,\n    \"REPORT_NAME\" character varying(40) COLLATE pg_catalog.\"default\"\n  )\n  PARTITION BY RANGE (\"SHIPMENT_DATE\")\n  WITH (\n      OIDS = FALSE\n  )\n  TABLESPACE pg_default;\n\n  RAISE NOTICE 'ERSTELLEN SIE PARTITIONEN F\u00dcR DIE TABELLE versand';\n\n  current_year:='0';\n  current_month:='0';\n\n  begin_year := '0' ;\n  begin_month := '0'  ;\n  next_year := '0' ;\n  next_month := '0'  ;\n\n  FOR rec_shipment_date IN SELECT * FROM tmp_shipment_date LOOP\n      \n      RAISE NOTICE 'VERSAND_DATUM=%',rec_shipment_date.\"SHIPMENT_DATE\";\n      \n      current_year := date_part('year' ,rec_shipment_date.\"SHIPMENT_DATE\");\n      current_month := date_part('month' ,rec_shipment_date.\"SHIPMENT_DATE\") ; \n\n      IF to_number(current_month,'99') = to_date( begin_year||'.'||begin_month, 'YYYY.MM') AND \n         to_date( current_year||'.'||current_month, 'YYYY.MM') < to_date( next_year||'.'||next_month, 'YYYY.MM') AND \n         NOT first_flag \n      THEN\n         CONTINUE ; \n      ELSE\n       --NEUE Grenzen nur f\u00fcr das zweite und weitere Mal \n       begin_year := current_year ;\n       begin_month := current_month ;   \n   \n        IF current_month = '12' THEN\n          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;\n        ELSE\n          next_year := current_year ;\n        END IF;\n     \n       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;\n\n      END IF;      \n\n      partition_name := 'shipment_shipment_date_'||begin_year||'-'||begin_month||'-01-'|| next_year||'-'||next_month||'-01'  ;\n \n     EXECUTE format('CREATE TABLE ' || quote_ident(partition_name) || ' PARTITION OF shipment FOR VALUES FROM ( %L ) TO ( %L )  ' , current_year||'-'||current_month||'-01' , next_year||'-'||next_month||'-01'  ) ; \n\n      index_name := partition_name||'_shipment_id_idx';\n      RAISE NOTICE 'INDEX NAME =%',index_name;\n      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID") TABLESPACE pg_default ' ) ; \n\n      --Erstes Mal Flag l\u00f6schen\n      first_flag := false ;\n   \n  END LOOP;\n\nend\n$$;<\/code><\/pre>\n
      \nImportieren Sie das Dump<\/b><\/p>\n
      pg_restore -d postgres --data-only --format=c --table=shipment --verbose shipment.dmp > \/tmp\/data_dump\/shipment_restore.log 2>&1<\/code><\/pre>\n
      <\/p>\n
      \u00dcberpr\u00fcfen der Ergebnisse der Partitionierung<\/h2>\n
      \nWas haben wir als Ergebnis? Der vollst\u00e4ndige Text des Ausf\u00fchrungsplans ist lang und langweilig, daher k\u00f6nnen wir uns gut mit den Endzahlen begn\u00fcgen.<\/p>\n
      War<\/h3>\n
      \nKosten:<\/b> 502 997.55
      \nAusf\u00fchrungszeit:<\/b> 505 Sekunden.<\/p>\n
      Ist<\/h3>\n
      \nKosten:<\/b> 77 872.36
      \nAusf\u00fchrungszeit:<\/b> 79 Sekunden.<\/p>\n
      Ein durchaus gutes Ergebnis. Wir haben sowohl die Kosten als auch die Ausf\u00fchrungszeit gesenkt. Insgesamt zeigt die Verwendung der Partitionierung den erwarteten Effekt und es gab keine \u00dcberraschungen. <\/p>\n
      Den Auftraggeber erfreuen<\/h2>\n
      \nDie Testergebnisse wurden dem Auftraggeber zur Pr\u00fcfung vorgelegt. Nach der Durchsicht erhielt er ein etwas unerwartetes Urteil: \u201eAusgezeichnet, partitionieren Sie die Tabelle 'data'.\u201c<\/p>\n
      Ja, aber wir haben doch eine ganz andere Tabelle 'shipment' untersucht, die Tabelle 'data' hat kein Feld 'SHIPMENT_DATE'.<\/p>\n
      Kein Problem, f\u00fcgen Sie hinzu, \u00e4ndern Sie. Hauptsache der Auftraggeber ist mit dem Ergebnis zufrieden, die Details der Umsetzung sind nicht so wichtig.<\/p>\n
      Wir partitionieren die Haupttabelle 'data'<\/h2>\n
      \nIm Grunde gab es keine besonderen Schwierigkeiten. Die Partitionierungsalgorithmus hat sich allerdings etwas ge\u00e4ndert.<\/p>\n
      F\u00fcgen Sie die Spalte 'SHIPMENT_DATA' zur Tabelle 'data' hinzu<\/b><\/p>\n
      psql -h host -U database -d user\n=> ALTER TABLE data ADD COLUMN \"SHIPMENT_DATE\" timestamp without time zone ;<\/code><\/pre>\n
      Wir f\u00fcllen die Werte der Spalte \u201eSHIPMENT_DATA\u201c in der Tabelle \u201edata\u201c mit den entsprechenden Werten aus der Tabelle \u201eshipment\u201c.<\/b><\/p>\n
      -----------------------------\n--update_data.sql\n--Aktualisierung der ver\u00e4nderten Tabelle \"data\" mit Werten von \"shipment_data\" aus der Tabelle \"shipment\"\n--Version 1.0\ndo language plpgsql $$\ndeclare \nrec_shipment_data RECORD ;\nshipment_date timestamp without time zone ; \nrow_count integer ;\ntotal_rows integer ;\nbegin\n\n  select count(*) into total_rows from shipment ; \n  RAISE NOTICE 'Insgesamt %',total_rows;\n  row_count:= 0 ;\n\n  FOR rec_shipment_data IN SELECT * FROM shipment LOOP\n\n   update data set \"SHIPMENT_DATE\" = rec_shipment_data.\"SHIPMENT_DATE\" where \"SHIPMENT_ID\" = rec_shipment_data.\"SHIPMENT_ID\";\n   \n   row_count:=  row_count +1 ;\n   RAISE NOTICE 'Anzahl der Zeilen = % , von %',row_count,total_rows;\n  END LOOP;\n\nend\n$$;<\/code><\/pre>\n
      \nWir speichern den Dump der Tabelle \u201edata\u201c<\/b><\/p>\n
      pg_dump postgres --file=\/dump\/data.dmp --format=c --table=data --verbose > \/dump\/data.log 2>&1<source<\/code><\/pre>\n
      Wir rekonstruieren die partitionierte Tabelle \u201edata\u201c<\/b><\/p>\n
      --create_partition_data.sql\n--Partitionierung der Tabelle \"Wafersdaten\" nach dem Bereichsspalte \"Versanddatum\" mit einer Dauer von einem Monat\n--Version 1.0\ndo language plpgsql $$\ndeclare \nrec_shipment_date RECORD ;\npartition_name varchar;\nindex_name varchar;\ncurrent_year varchar ;\ncurrent_month varchar ;\nbegin_year varchar ;\nbegin_month varchar ;\nnext_year varchar ;\nnext_month varchar ;\nfirst_flag boolean ;\ni integer ;\n\nbegin\n\n  RAISE NOTICE 'TEMPOR\u00c4RE TABELLE F\u00dcR VERSANDDATUM ERSTELLEN';\n  CREATE TEMP TABLE tmp_shipment_date as select distinct \"SHIPMENT_DATE\" from shipment order by \"SHIPMENT_DATE\" ;\n\n\n  RAISE NOTICE 'TABELLE DATA L\u00d6SCHEN';\n  drop table data cascade ;\n\n\n  RAISE NOTICE 'PARTITIONIERTE TABELLE DATA ERSTELLEN';\n  \n  CREATE TABLE public.data\n  (\n    \"RUN_ID\" integer,\n    \"LASERMARK\" character varying(20) COLLATE pg_catalog.\"default\" NOT NULL,\n    \"LOTID\" character varying(80) COLLATE pg_catalog.\"default\",\n    \"SHIPMENT_ID\" integer NOT NULL,\n    \"PARAMETER_ID\" integer NOT NULL,\n    \"INTERNAL_VALUE\" character varying(75) COLLATE pg_catalog.\"default\",\n    \"REPORTED_VALUE\" character varying(75) COLLATE pg_catalog.\"default\",\n    \"LOWER_SPEC_LIMIT\" numeric,\n    \"UPPER_SPEC_LIMIT\" numeric , \n    \"SHIPMENT_DATE\" timestamp without time zone\n  )\n  PARTITION BY RANGE (\"SHIPMENT_DATE\")\n  WITH (\n    OIDS = FALSE\n  )\n  TABLESPACE pg_default ;\n\n\n  RAISE NOTICE 'PARTITIONEN F\u00dcR DIE TABELLE DATA ERSTELLEN';\n\n  current_year:='0';\n  current_month:='0';\n\n  begin_year := '0' ;\n  begin_month := '0'  ;\n  next_year := '0' ;\n  next_month := '0'  ;\n  i := 1;\n\n  FOR rec_shipment_date IN SELECT * FROM tmp_shipment_date LOOP\n      \n      RAISE NOTICE 'VERSANDDATUM=%',rec_shipment_date.\"SHIPMENT_DATE\";\n      \n      current_year := date_part('year' ,rec_shipment_date.\"SHIPMENT_DATE\");\n      current_month := date_part('month' ,rec_shipment_date.\"SHIPMENT_DATE\") ; \n\n      --Grenzen initialisieren\n      IF   begin_year = '0' THEN\n       RAISE NOTICE '***Grenzen initialisieren';\n       first_flag := true ; --Erstmalige Flag\n       begin_year := current_year ;\n       begin_month := current_month ;   \n   \n        IF current_month = '12' THEN\n          next_year := date_part('year' ,rec_shipment_date.\"SHIPMENT_DATE\" + interval '1 year') ;\n        ELSE\n          next_year := current_year ;\n        END IF;\n     \n       next_month := date_part('month' ,rec_shipment_date.\"SHIPMENT_DATE\" + interval '1 month') ;\n\n      END IF;\n\n--      RAISE NOTICE 'current_year=% , current_month=% ',current_year,current_month;\n--      RAISE NOTICE 'begin_year=% , begin_month=% ',begin_year,begin_month;\n--      RAISE NOTICE 'next_year=% , next_month=% ',next_year,next_month;\n\n      -- Aktuelles Datum in die Grenzen pr\u00fcfen NICHT beim ersten Mal\n\n      RAISE NOTICE 'Aktuelles Datum = %',to_char( to_date( current_year||'.'||current_month, 'YYYY.MM'), 'YYYY.MM');\n      RAISE NOTICE 'BEGINN DATUM = %',to_char( to_date( begin_year||'.'||begin_month, 'YYYY.MM'), 'YYYY.MM');\n      RAISE NOTICE 'N\u00c4CHSTES DATUM = %',to_char( to_date( next_year||'.'||next_month, 'YYYY.MM'), 'YYYY.MM');\n\n      IF to_date( current_year||'.'||current_month, 'YYYY.MM') >= to_date( begin_year||'.'||begin_month, 'YYYY.MM') AND \n         to_date( current_year||'.'||current_month, 'YYYY.MM') < to_date( next_year||'.'||next_month, 'YYYY.MM') AND \n         NOT first_flag \n      THEN\n         RAISE NOTICE '***FORTSETZEN';\n         CONTINUE ; \n      ELSE\n       --NEUE Grenzen nur beim zweiten und weiteren Mal \n       RAISE NOTICE '***NEUE GRENZEN';\n       begin_year := current_year ;\n       begin_month := current_month ;   \n   \n        IF current_month = '12' THEN\n          next_year := date_part('year' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 year') ;\n        ELSE\n          next_year := current_year ;\n        END IF;\n     \n       next_month := date_part('month' ,rec_shipment_date."SHIPMENT_DATE" + interval '1 month') ;\n\n\n      END IF;      \n\n      IF to_number(current_month,'99') < 10 THEN\n        current_month := '0'||current_month ; \n      END IF ;\n\n      IF to_number(begin_month,'99') < 10 THEN\n        begin_month := '0'||begin_month ; \n      END IF ;\n\n      IF to_number(next_month,'99') < 10 THEN\n        next_month := '0'||next_month ; \n      END IF ;\n\n      RAISE NOTICE 'current_year=% , current_month=% ',current_year,current_month;\n      RAISE NOTICE 'begin_year=% , begin_month=% ',begin_year,begin_month;\n      RAISE NOTICE 'next_year=% , next_month=% ',next_year,next_month;\n\n      partition_name := 'data_'||begin_year||begin_month||'01_'||next_year||next_month||'01'  ;\n\n      RAISE NOTICE 'PARTITION NUMMER % , TABELLENNAME =%',i , partition_name;\n      \n      EXECUTE format('CREATE TABLE ' || quote_ident(partition_name) || ' PARTITION OF data FOR VALUES FROM ( %L ) TO ( %L )  ' , begin_year||'-'||begin_month||'-01' , next_year||'-'||next_month||'-01'  ) ; \n\n      index_name := partition_name||'_shipment_id_parameter_id_idx';\n      RAISE NOTICE 'INDEXNAME =%',index_name;\n      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID", "PARAMETER_ID") TABLESPACE pg_default ' ) ; \n\n      index_name := partition_name||'_lasermark_idx';\n      RAISE NOTICE 'INDEXNAME =%',index_name;\n      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("LASERMARK" COLLATE pg_catalog."default") TABLESPACE pg_default ' ) ; \n\n      index_name := partition_name||'_shipment_id_idx';\n      RAISE NOTICE 'INDEXNAME =%',index_name;\n      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_ID") TABLESPACE pg_default ' ) ; \n\n      index_name := partition_name||'_parameter_id_idx';\n      RAISE NOTICE 'INDEXNAME =%',index_name;\n      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("PARAMETER_ID") TABLESPACE pg_default ' ) ; \n\n      index_name := partition_name||'_shipment_date_idx';\n      RAISE NOTICE 'INDEXNAME =%',index_name;\n      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON '|| quote_ident(partition_name) ||' USING btree ("SHIPMENT_DATE") TABLESPACE pg_default ' ) ; \n\n      --Erste Flag l\u00f6schen\n      first_flag := false ;\n\n  END LOOP;\nend\n$$;\n<\/code><\/pre>\n
      \nLaden Sie das im Schritt 3 erstellte Dump-Backup hoch.<\/b><\/p>\n
      pg_restore -h host -u user -d database --data-only --format=c --table=data --verbose data.dmp > data_restore.log 2>&1<\/code><\/pre>\n
      \nErstellen Sie einen separaten Abschnitt f\u00fcr alte Daten.<\/b><\/p>\n
      ---------------------------------------------------\n--create_partition_for_old_dates.sql\n--Partitionen f\u00fcr die Speicherung alter Datumswerte erstellen\n--Version 1.0\ndo language plpgsql $$\ndeclare \nrec_shipment_date RECORD;\npartition_name varchar;\nindex_name varchar;\n\nbegin\n\n      SELECT min(\"SHIPMENT_DATE\") AS min_date INTO rec_shipment_date from data;\n\n      RAISE NOTICE 'Altes Datum ist %', rec_shipment_date.min_date;\n\n      partition_name := 'data_old_dates';\n\n      RAISE NOTICE 'PARTITIONNAME IST %', partition_name;\n\n      EXECUTE format('CREATE TABLE ' || quote_ident(partition_name) || ' PARTITION OF data FOR VALUES FROM ( %L ) TO ( %L )', '1900-01-01', \n              to_char(rec_shipment_date.min_date, 'YYYY') || '-' || to_char(rec_shipment_date.min_date, 'MM') || '-01');\n\n      index_name := partition_name || '_shipment_id_parameter_id_idx';\n      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON ' || quote_ident(partition_name) || ' USING btree (\"SHIPMENT_ID\", \"PARAMETER_ID\") TABLESPACE pg_default');\n\n      index_name := partition_name || '_lasermark_idx';\n      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON ' || quote_ident(partition_name) || ' USING btree (\"LASERMARK\" COLLATE pg_catalog.\"default\") TABLESPACE pg_default');\n\n      index_name := partition_name || '_shipment_id_idx';\n      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON ' || quote_ident(partition_name) || ' USING btree (\"SHIPMENT_ID\") TABLESPACE pg_default');\n\n      index_name := partition_name || '_parameter_id_idx';\n      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON ' || quote_ident(partition_name) || ' USING btree (\"PARAMETER_ID\") TABLESPACE pg_default');\n\n      index_name := partition_name || '_shipment_date_idx';\n      EXECUTE format('CREATE INDEX ' || quote_ident(index_name) || ' ON ' || quote_ident(partition_name) || ' USING btree (\"SHIPMENT_DATE\") TABLESPACE pg_default');\n\nend\n$$;<\/code><\/pre>\n
      Endergebnisse:<\/h3>\n
      \nWar<\/b>
      \nKosten:<\/b> 502 997.55
      \nAusf\u00fchrungszeit<\/b>: 505 Sekunden.<\/p>\n
      Ist<\/b>
      \nKosten:<\/b> 68 533.70
      \nAusf\u00fchrungszeit:<\/b> 69 Sekunden<\/p>\n
      Eindrucksvoll, wirklich eindrucksvoll. Und wenn man bedenkt, dass ich auf dem Weg das Paginierungssystem in PostgreSQL 10 einigerma\u00dfen beherrscht habe \u2013 ein hervorragendes Ergebnis.<\/p>\n
      Abschweifer<\/h2>\n
      \nUnd man kann es noch besser machen \u2014 JA, MAN KANN!<\/b>Daf\u00fcr muss man MATERIALIZED VIEW verwenden.
      \nCREATE MATERIALIZED VIEW LASERMARK_VIEW<\/b><\/p>\n
      CREATE MATERIALIZED VIEW LASERMARK_VIEW \nAS\nSELECT w.\"LASERMARK\", MAX(s.\"SHIPMENT_DATE\") AS \"SHIPMENT_DATE\"\nFROM shipment s INNER JOIN data w ON s.\"SHIPMENT_ID\" = w.\"SHIPMENT_ID\" \nGROUP BY w.\"LASERMARK\";\n\nCREATE INDEX lasermark_vw_shipment_date_ind ON lasermark_view USING btree (\"SHIPMENT_DATE\") TABLESPACE pg_default;\nanalyze lasermark_view;\n<\/code><\/pre>\n
      \nEin weiteres Mal \u00fcberarbeiten wir die Abfrage:
      \nAbfrage unter Verwendung des materialized view<\/b><\/p>\n
      W\u00c4HLEN\n            p.\"PARAMETER_ID\" AS parameter_id,\n            pc.\"PC_NAME\" AS pc_name,\n            pc.\"CUSTOMER_PARTNUMBER\" AS customer_partnumber,\n            w.\"LASERMARK\" AS lasermark,\n            w.\"LOTID\" AS lotid,\n            w.\"REPORTED_VALUE\" AS reported_value,\n            w.\"LOWER_SPEC_LIMIT\" AS lower_spec_limit,\n            w.\"UPPER_SPEC_LIMIT\" AS upper_spec_limit,\n            p.\"TYPE_CALCUL\" AS type_calcul,\n            s.\"SHIPMENT_NAME\" AS shipment_name,\n            s.\"SHIPMENT_DATE\" AS shipment_date,\n            extract(year from s.\"SHIPMENT_DATE\") AS year,\n            extract(month from s.\"SHIPMENT_DATE\") AS month,\n            s.\"REPORT_NAME\" AS report_name,\n            p.\"STC_NAME\" AS STC_name,\n            p.\"CUSTOMERPARAM_NAME\" AS customerparam_name\n        FROM data w INNER JOIN shipment s ON s.\"SHIPMENT_ID\" = w.\"SHIPMENT_ID\"\n             INNER JOIN parameters p ON p.\"PARAMETER_ID\" = w.\"PARAMETER_ID\"\n             INNER JOIN shipment_pc sp ON s.\"SHIPMENT_ID\" = sp.\"SHIPMENT_ID\"\n             INNER JOIN pc pc ON pc.\"PC_ID\" = sp.\"PC_ID\"\n             INNER JOIN LASERMARK_VIEW md ON md.\"SHIPMENT_DATE\" = s.\"SHIPMENT_DATE\" AND md.\"LASERMARK\" = w.\"LASERMARK\"\n        WHERE \n              s.\"SHIPMENT_DATE\" >= '2018-07-01' AND s.\"SHIPMENT_DATE\" <= '2018-09-30';\n<\/code><\/pre>\n
      \nUnd wir erhalten ein weiteres Ergebnis:<\/b>
      \nWar<\/b>
      \nKosten:<\/b> 502 997.55
      \nAusf\u00fchrungszeit<\/b>: 505 Sekunden<\/p>\n
      Ist<\/b>
      \nKosten:<\/b> 42 481.16
      \nAusf\u00fchrungszeit:<\/b> 43 Sekunden.<\/p>\n
      Obwohl nat\u00fcrlich, ein so vielversprechendes Ergebnis t\u00e4uscht, Pr\u00e4sentationen m\u00fcssen aktualisiert werden. Daher wird die endg\u00fcltige Datenabrufzeit nicht wirklich helfen. Aber als Experiment ist es durchaus interessant.<\/p>\n
      Tats\u00e4chlich, wie sich herausstellte, danke nochmal asmm<\/a><\/noindex> und Habr !- Die Anfrage kann noch verbessert werden. <\/a><\/noindex><\/p>\n
      Nachwort<\/h2>\n
      \nAlso, der Kunde ist zufrieden. Und man muss <\/b>die Situation nutzen. <\/p>\n
      Neue Aufgabe<\/b>: Was k\u00f6nnte man sich einfallen lassen, um tiefere Einblicke zu gewinnen und den Horizont zu erweitern?<\/p>\n
      Und da f\u00e4llt mir ein \u2013 Leute, wir haben kein Monitoring f\u00fcr unsere PostgreSQL-Datenbanken.<\/p>\n
      Um ehrlich zu sein, es gibt zwar eine Art Monitoring wie Cloud Watch bei AWS, aber welchen Nutzen hat dieses Monitoring f\u00fcr einen DBA? Letztendlich praktisch keinen.<\/p>\n
      Wenn sich die Gelegenheit bietet, etwas N\u00fctzliches und Interessantes f\u00fcr sich selbst zu tun, sollte man diese Chance unbedingt nutzen \u2026
      \nDENN
      \n<\/b>
      \n\"Happy
      \n
      \nSo sind wir also zum spannendsten Teil gekommen:<\/p>\n
      3. Dezember 2018.<\/b>
      \nDie Entscheidung, mit der Untersuchung der verf\u00fcgbaren M\u00f6glichkeiten zur Performance-\u00dcberwachung von PostgreSQL-Queries zu beginnen.\n<\/p><\/blockquote>\n
      Aber das ist schon eine ganz andere Geschichte.<\/b><\/p>\n
      Fortsetzung folgt\u2026<\/i>
      \n
      Quelle:       habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
      \u041f\u0440\u0435\u0434\u0438\u0441\u043b\u043e\u0432\u0438\u0435 \u0438\u043b\u0438 \u043a\u0430\u043a \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u0438\u0434\u0435\u044f \u0441\u0435\u043a\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u041d\u0430\u0447\u0430\u043b\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0437\u0434\u0435\u0441\u044c: \u0422\u044b \u043f\u043e\u043c\u043d\u0438\u0448\u044c, \u043a\u0430\u043a \u0432\u0441\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u043e\u0441\u044c. \u0412\u0441\u0435 \u0431\u044b\u043b\u043e \u0432\u043f\u0435\u0440\u0432\u044b\u0435 \u0438 \u0432\u043d\u043e\u0432\u044c. \u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442, \u0431\u044b\u043b\u0438 \u0438\u0441\u0447\u0435\u0440\u043f\u0430\u043d\u044b, \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u2014 \u0430 \u0447\u0442\u043e \u0436\u0435 \u0434\u0430\u043b\u044c\u0448\u0435? \u0422\u0430\u043a \u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u0438\u0434\u0435\u044f \u043e \u0441\u0435\u043a\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438. \u041b\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435: \u0418\u043c\u0435\u043d\u043d\u043e ‘\u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442’, \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043a\u0430\u043a […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":23765,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-31905","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Happy Party oder ein paar Erinnerungss\u00e4tze zu meinem Bekanntschaft mit dem Partitionieren in PostgreSQL10 | ProHoster","description":"Vorwort oder wie die Idee des Partitionierens entstand. Der Anfang dieser Geschichte: Erinnerst du dich, wie alles begann? Alles war neu und anders. Nachdem fast alle Ressourcen zur Optimierung der Anfragen zu diesem Zeitpunkt ersch\u00f6pft waren, stellte sich die Frage \u2013 wie geht es weiter? So entstand die Idee des Partitionierens. Ein kleiner Ausblick: Genau 'zu diesem Zeitpunkt', weil","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/happy-party-ili-para-strok-vospominanij-o-znakomstve-s-sektsionirovaniem-v-postgresql10","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Happy Party \u0438\u043b\u0438 \u043f\u0430\u0440\u0430 \u0441\u0442\u0440\u043e\u043a-\u0432\u043e\u0441\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0439 \u043e \u0437\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u0435 \u0441 \u0441\u0435\u043a\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0432 PostgreSQL10 | ProHoster","og:description":"\u041f\u0440\u0435\u0434\u0438\u0441\u043b\u043e\u0432\u0438\u0435 \u0438\u043b\u0438 \u043a\u0430\u043a \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u0438\u0434\u0435\u044f \u0441\u0435\u043a\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u041d\u0430\u0447\u0430\u043b\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0437\u0434\u0435\u0441\u044c: \u0422\u044b \u043f\u043e\u043c\u043d\u0438\u0448\u044c, \u043a\u0430\u043a \u0432\u0441\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u043e\u0441\u044c. \u0412\u0441\u0435 \u0431\u044b\u043b\u043e \u0432\u043f\u0435\u0440\u0432\u044b\u0435 \u0438 \u0432\u043d\u043e\u0432\u044c. \u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442, \u0431\u044b\u043b\u0438 \u0438\u0441\u0447\u0435\u0440\u043f\u0430\u043d\u044b, \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u2014 \u0430 \u0447\u0442\u043e \u0436\u0435 \u0434\u0430\u043b\u044c\u0448\u0435? \u0422\u0430\u043a \u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u0438\u0434\u0435\u044f \u043e \u0441\u0435\u043a\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438. \u041b\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435: \u0418\u043c\u0435\u043d\u043d\u043e '\u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442', \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043a\u0430\u043a","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/happy-party-ili-para-strok-vospominanij-o-znakomstve-s-sektsionirovaniem-v-postgresql10","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:43:52+00:00","article:modified_time":"2019-10-31T18:43:52+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"31905","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 08:22:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 03:09:25","updated":"2026-01-21 08:22:19"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/31905","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=31905"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/31905\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/23765"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=31905"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=31905"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=31905"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}