Po roku prac rozwojowych opublikowano nową stabilną wersję bazy danych PostgreSQL 19. Aktualizacje dla nowej wersji będą wydawane przez pięć lat, do listopada 2031 roku. Wsparcie dla PostgreSQL 14.x, najstarszej z obsługiwanych wersji, zostało zakończone w tym miesiącu. Wydanie opóźniło się o niemal dwa miesiące w stosunku do pierwotnie zaplanowanej daty z powodu nietypowego dla poprzednich wydań napływu zgłoszeń błędów, które zostały ujawnione dzięki analizie kodu z wykorzystaniem narzędzi AI.
Główne nowości:
- Ulepszono realizację podsystemu asynchronicznego wejścia/wyjścia, co pozwala na zwiększenie przepustowości wejścia/wyjścia oraz eliminację opóźnień. W uniwersalnej realizacji AIO (io_method=worker) dodano możliwość automatycznego zwiększania lub zmniejszania liczby uruchomionych procesów obsługi wejścia/wyjścia w zależności od obciążenia. Oferowane są parametry io_min_workers, io_max_workers, io_worker_idle_timeout i io_worker_launch_interval do określenia minimalnej i maksymalnej liczby procesów obsługi oraz limitu bezczynności przed zakończeniem i opóźnienia przed uruchomieniem procesów.
Ponadto, używany w AIO planer prefetching został zoptymalizowany w celu zwiększenia wydajności zapytań wymagających ładowania dużych objętości danych z dysku. Optymalizacja została zrealizowana dzięki adaptacyjnemu określaniu dopuszczalnej liczby operacji prefetching w zależności od charakteru i rozmiaru zapytania (na przykład dla operacji skanowania dużych tabel i indeksów, teraz z dysku wcześniej ładowane jest więcej danych). Do analizy wykonywania operacji wejścia/wyjścia w asynchronicznym trybie dodano opcję „IO” do polecenia „EXPLAIN ANALYZE”.
- Dodano rozszerzenia pg_plan_advice i pg_stash_advice do przekazywania planista zapytań parametrów-wskazówek w mini-języku „plan advice”, co pozwala wpływać na wybór planów wykonania, rejestrować wybrane plany i eksperymentować z różnymi planami. Aby uzyskać listę parametrów wybranych przez planistę podczas wykonywania zapytania, do polecenia EXPLAIN dodano opcję „PLAN_ADVICE”, a do ustawienia własnych parametrów przed wykonaniem zapytania można użyć wyrażenia „SET pg_plan_advice.advice = ‘ciąg z listą parametrów'”. Rozszerzenie pg_stash_advice uzupełnia pg_plan_advice o możliwości wiązania parametrów z identyfikatorami zapytań, aby nie dodawać ich przed każdym zapytaniem. EXPLAIN (COSTS OFF, PLAN_ADVICE) SELECT * FROM join_fact f JOIN join_dim d ON f.dim_id = d.id; … Wygenerowane Wskazówki Planowania: JOIN_ORDER(f d) HASH_JOIN(d) SEQ_SCAN(f d) NO_GATHER(f d) SET pg_plan_advice.advice = ‘JOIN_ORDER(f d) NO_GATHER(f d)’;
- W procesie automatycznego uruchamiania czyszczenia (autovacuum) dodano możliwość równoległego użycia kilku obsługujących przy czyszczeniu indeksów. Liczba obsługujących jest konfigurowana za pomocą opcji autovacuum_max_parallel_workers. Dodano również nowe opcje autovacuum_vacuum_score_weight, autovacuum_vacuum_insert_score_weight oraz autovacuum_analyze_score_weight do określenia priorytetu czyszczenia tabel.
- Wdrożono nową strategię czyszczenia, pozwalającą skrócić zakres pracy w przyszłości dzięki aktualizacji mapy widoczności stron podczas skanowania tabel w trakcie wykonywania zapytań SELECT, nie czekając na uruchomienie polecenia VACUUM.
- Dodano nowe polecenie SQL „REPACK” do odbudowywania tabel z mniejszymi kosztami. Polecenie REPACK całkowicie przepisuje całą zawartość tabeli do nowego pliku na dysku, co pozwala zwrócić systemowi operacyjnemu miejsce na dysku zajmowane przez nieużywane bloki. W przeciwieństwie do polecenia „VACUUM FULL”, podczas przepisywania, które wprowadza twardą blokadę, polecenie REPACK ma opcję „CONCURRENTLY”, przy której pozwala się na użycie tabeli przez inne transakcje podczas ponownego pakowania. W przeciwieństwie do rozszerzenia pg_repack, REPACK jest znacznie szybszy, ponieważ nie przypina dodatkowych wyzwalaczy do tabeli, ale nie obsługuje przetwarzania całkowicie podzielonych tabel.
- Wydajność operacji INSERT została zwiększona nawet dwukrotnie dla tabel, w których sprawdzane są rekordy za pomocą kluczy obcych (Foreign Key). Przyspieszenie osiągnięto dzięki wykorzystaniu indeksu do weryfikacji kluczy obcych, co pozwoliło na rezygnację z kosztownego wewnętrznego zapytania do tabeli.
- W planerze zapytań zapewniono rozpoznawanie operacji Anti-Join (określanie wierszy z pierwszej tabeli, dla których brak jest dopasowań w drugiej tabeli) w złożonych zapytaniach z „LEFT JOIN” oraz w zapytaniach z wyrażeniami „NOT IN”, celem wykorzystania specyficznych optymalizacji. Rozszerzono zastosowanie inkrementalnego sortowania. Dodano optymalizację „eager aggregation”, przenoszącą operacje agregowania na etap przed scaleniem tabel, aby ograniczyć liczbę wierszy przetwarzanych w trakcie scalania. Przyspieszono równoległe wykonywanie operacji sekwencyjnego skanowania (parallel seq scan). Zrealizowano uproszczenie konstrukcji „IS DISTINCT FROM” i „IS NOT DISTINCT FROM” do wyrażeń z operatorami „” i „=”, jeżeli oba operandy nie mogą przyjmować wartości NULL.
- Zwiększono efektywność dostarczania powiadomień za pomocą komendy NOTIFY w konfiguracjach z wieloma kanałami powiadomień. W pamięci dzielonej przechowywana jest teraz mapa kanałów, umożliwiająca adresowanie tylko do backendów, które subskrybują dany kanał.
- Do komendy „INSERT” dodano wsparcie dla wyrażenia ON CONFLICT DO SELECT … RETURNING, które zwraca rekordu w przypadku niemożności ich dodania przez „INSERT”, oprócz wyrażeń „ON CONFLICT DO NOTHING/UPDATE”, które cicho ignorują konflikty podczas wstawiania lub wykonują aktualizację zamiast wstawienia.
- Do komendy COPY dodano wsparcie dla wyjścia danych w formacie JSON.
- Do języka SQL/JSON dodano metody przetwarzania łańcuchów lower(), upper(), replace(), split_part() i btrim().
- W funkcjach okienkowych lead(), lag(), first_value(), last_value() i nth_value() dodano wsparcie dla wyrażenia „IGNORE NULLS”, które pomija wartości NULL.
- Dodano komendę „WAIT FOR LSN”, która przy asynchronicznej replikacji, w celu zapobiegania wyświetlaniu przestarzałych danych, pozwala na wstrzymanie zapytania SELECT na replikowanym serwerze do momentu zastosowania zmian z głównego. serwery, odpowiadające określonej pozycji LSN (Log Sequence Number) w logu WAL.
- Funkcja random() została wzbogacona o obsługę typów date i timestamp, co umożliwia generowanie losowych dat oraz czasów w określonym zakresie.
- Dodano możliwość tworzenia funkcji w języku PL/Python dla wyzwalaczy zdarzeń (event trigger).
- Do przyjmującego połączenia sieciowe serwer dodano wsparcie dla rozszerzenia TLS SNI (Server Name Indication), co pozwala na używanie certyfikatów TLS powiązanych z nazwami hostów, do których klient łączy się przy nawiązywaniu szyfrowanego połączenia po jednym adresie IP.
- Do pliku konfiguracyjnego postgresql.conf dodano parametr password_expiration_warning_threshold, który umożliwia skonfigurowanie wyświetlania ostrzeżeń o zbliżającym się końcu ważności hasła.
- Domyślnie włączono wyświetlanie ostrzeżeń przy używaniu algorytmu MD5 w autoryzacji, który został uznany za przestarzały. Dodano parametr md5_password_warnings, aby wyłączyć takie ostrzeżenia.
- Dodano widoki: „pg_stat_lock” do przeglądania skumulowanej statystyki dotyczącej blokad w odniesieniu do typów blokad; „pg_stat_recovery” do uzyskiwania informacji o stanie operacji przywracania; „pg_stat_autovacuum_scores” do określenia priorytetu przetwarzania tabel w autovacuum. Wiele systemowych widoków zostało wzbogaconych o kolumnę „stats_reset”, w której odzwierciedlono czas ostatniego czyszczenia liczników. W widokach „pg_stat_progress_vacuum” oraz „pg_stat_progress_analyze” dodano kolumnę „started_by”, w której pokazano inicjatora operacji. W widoku pg_stat_progress_vacuum dodano kolumnę „mode”, odzwierciedlającą stosowany tryb czyszczenia.
- Dodano możliwość określenia minimalnych poziomów szczegółowości logów (log_min_messages) powiązanych z rodzajami procesów.
- Do statystyk wyświetlanych po operacjach VACUUM i ANALYZE oraz do widoku „pg_stat_wal” dodano informacje o rozmiarze zapisanych w dzienniku WAL pełnych stron, co ułatwia analizę przyczyn nadmiernego wzrostu dziennika WAL (można sprawdzić, czy wzrost jest związany z używaniem parametru full_page_writes).
- W mechanizmie replikacji logicznej wprowadzono wsparcie dla replikacji wartości sekwencji (SEQUENCE), które można publikować poleceniem „CREATE PUBLICATION” za pomocą wyrażenia „FOR ALL SEQUENCES”.
- Dodano składnię „CREATE PUBLICATION … EXCEPT” do replikacji wszystkich tabel z wyjątkiem wyraźnie wskazanych.
- Dodano wyrażenie „CREATE SUBSCRIPTION … SERVER”, które umożliwia tworzenie subskrypcji replikacji logicznej, uzyskując ustawienia połączenia z zewnętrznego serwera.
- Dodano możliwość włączenia replikacji logicznej w locie bez ponownego uruchamiania serwera, nawet jeśli parametr „wal_level” jest ustawiony na „replica” zamiast „logical”. Aby określić rzeczywistą wartość poziomu logowania, niezwiązaną z ustawieniem wal_level w pliku konfiguracyjnym, dodano parametr „effective_wal_level”.
- W mechanizmie połączenia z zewnętrznymi tabelami Foreign Data Wrapper (postgres_fdw) dodano możliwość przekazywania operacji na tablicach do zdalnego serwera oraz opcję import_stats do importu statystyk z tabel z zewnętrznego serwera podczas wykonywania polecenia ANALYZE w celu zwiększenia efektywności planowania lokalnego wykonywania zapytań.
- Domyślnie wyłączona jest kompilacja JIT, ponieważ zauważalny wzrost wydajności dotyczy głównie złożonych zapytań analitycznych, podczas gdy w typowych obciążeniach OLTP może prowadzić do spadków wydajności z powodu błędów w przewidywaniu zasobów potrzebnych do wykonania zapytań.
- Aby zwiększyć wydajność kompresji i dekompresji tabel TOAST, parametr „default_toast_compression” został ustawiony na „lz4”.
- Usunięto wsparcie dla uwierzytelniania przy użyciu protokołu RADIUS.
- W poleceniu „vacuumdb —analyze-only” domyślnie włączono analizę tabel partycjonowanych.
Z powodu problemów wykrytych na końcowym etapie testowania, w skład wydania nie weszły niektóre funkcje przedstawione w wersji beta, takie jak składnia „GROUP BY ALL”, wsparcie dla n tekstowych formatów wyjściowych w pg_dumpall, SQL/PGQ dla zapytań grafowych, włączenie w locie wsparcia dla sum kontrolnych bez ponownego uruchamiania i ponownej inicjalizacji, wyrażenie „FOR PORTION OF” w UPDATE i DELETE, wyrażenia „ALTER TABLE … MERGE PARTITIONS” oraz „ALTER TABLE … SPLIT PARTITIONS” do reorganizacji tabel partycjonowanych, ustawienie LC_COLLATE na wartość „C” dla procesu postmaster oraz nowe funkcje pg_get_role_ddl(), pg_get_tablespace_ddl() oraz pg_get_database_ddl(). Sponsorem wiadomości jest firma Hi-Square, twórca platformy Low Code XSQUARE na PostgreSQL (reklama, sp. z o.o. „Hi-Square”, NIP 7718990614).
Źródło: opennet.ru
