{"id":121901,"date":"2025-02-13T14:22:07","date_gmt":"2025-02-13T12:22:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/reliz-subd-duckdb-1-2-0"},"modified":"2025-02-13T14:22:07","modified_gmt":"2025-02-13T12:22:07","slug":"reliz-subd-duckdb-1-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/reliz-subd-duckdb-1-2-0","title":{"rendered":"Wydanie bazy danych DuckDB 1.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Opublikowano wydanie bazy danych DuckDB 1.2.0, skoncentrowanej na wykonywaniu zapyta\u0144 analitycznych i koncepcyjnie przypominaj\u0105cej SQLite. DuckDB \u0142\u0105czy cechy SQLite, takie jak kompaktowo\u015b\u0107, mo\u017cliwo\u015b\u0107 pod\u0142\u0105czenia w formie biblioteki do osadzenia, przechowywanie bazy danych w jednym pliku oraz interfejs CLI, z mo\u017cliwo\u015bciami i optymalizacjami do wykonywania zapyta\u0144 analitycznych, obejmuj\u0105cych znaczn\u0105 cz\u0119\u015b\u0107 przechowywanych danych, na przyk\u0142ad agregacj\u0119 ca\u0142ej zawarto\u015bci tabel lub \u0142\u0105czenie kilku du\u017cych tabel. Kod projektu napisany jest w j\u0119zyku C++ i jest rozpowszechniany na licencji MIT. <\/p>\n
DuckDB oferuje rozszerzony dialekt j\u0119zyka SQL, kt\u00f3ry zawiera dodatkowe mo\u017cliwo\u015bci przetwarzania bardzo skomplikowanych i d\u0142ugotrwa\u0142ych zapyta\u0144. Mo\u017cliwe jest u\u017cycie z\u0142o\u017conych typ\u00f3w (tablice, struktury, unie), a tak\u017ce wykonywanie dowolnych i zagnie\u017cd\u017conych zapyta\u0144 skorelowanych. Obs\u0142ugiwane jest r\u00f3wnoleg\u0142e wykonywanie wielu zapyta\u0144 oraz realizacja zapyta\u0144 bezpo\u015brednio z plik\u00f3w w formatach CSV i Parquet. Dost\u0119pne jest wsparcie dla importu z system\u00f3w DB PostgreSQL. <\/p>\n
Projekt wykorzystuje pow\u0142ok\u0119 SQLite, parser PostgreSQL, komponent Date Math z MonetDB, w\u0142asn\u0105 implementacj\u0119 funkcji okiennych (na podstawie algorytmu Segment Tree Aggregation), obs\u0142ugiwacz wyra\u017ce\u0144 regularnych oparty na bibliotece RE2, a tak\u017ce w\u0142asny optymalizator zapyta\u0144, mechanizm MVCC do zarz\u0105dzania r\u00f3wnoleg\u0142ym wykonaniem zada\u0144 (Multi-Version Concurrency Control) oraz wektoryzowany silnik wykonywania zapyta\u0144 oparty na algorytmie Hyper-Pipelining Query Execution, kt\u00f3ry pozwala na jednoczesne przetwarzanie du\u017cych zbior\u00f3w warto\u015bci w jednej operacji. <\/p>\n
W nowej wersji: <\/p>\n
\n
Zrealizowano wsparcie dla nowych metod kompresji, kt\u00f3re nie s\u0105 domy\u015blnie w\u0142\u0105czone, aby zachowa\u0107 zgodno\u015b\u0107 z plikami bazy danych z wcze\u015bniejszymi wersjami DuckDB. Aby skorzysta\u0107 z ulepszonego formatu plik\u00f3w bazy danych, wprowadzono mo\u017cliwo\u015b\u0107 powi\u0105zania bazy danych z numerem wersji \u2014 przy otwieraniu pliku za pomoc\u0105 parametru \u201eSTORAGE_VERSION\u201d mo\u017cna teraz okre\u015bli\u0107 minimalnie wspieran\u0105 wersj\u0119 bazy danych (\u201eATTACH \u2018file.db\u2019 (STORAGE_VERSION \u2018v1.2.0\u2019);\u201d). Aby przekszta\u0142ci\u0107 nowy format na starszy, mo\u017cna u\u017cy\u0107 komendy SQL COPY, na przyk\u0142ad: ATTACH \u2018file1.db\u2019; ATTACH \u2018converted_file.db\u2019 (STORAGE_VERSION \u2018v1.0.0\u2019); COPY FROM DATABASE file1 TO converted_file;\n
Dodano wsparcie dla polecenia SQL \u201eALTER TABLE \u2026 ADD PRIMARY KEY\u201d do dodawania klucza g\u0142\u00f3wnego do istniej\u0105cej tabeli.\n
Usuni\u0119to ograniczenie, kt\u00f3re uniemo\u017cliwia\u0142o ponowne dodawanie identyfikator\u00f3w, dla kt\u00f3rych istnieje indeks \u015bledzenia unikalno\u015bci, je\u015bli te identyfikatory zosta\u0142y usuni\u0119te w bie\u017c\u0105cej transakcji. Na przyk\u0142ad poni\u017cszy kod SQL nie prowadzi ju\u017c do b\u0142\u0119du: CREATE TABLE students (id INTEGER PRIMARY KEY, name VARCHAR); INSERT INTO students VALUES (1, \u2018John Doe\u2019); BEGIN; DELETE FROM students WHERE id = 1; INSERT INTO students VALUES (1, \u2018Jane Doe\u2019);\n
Dodano wsparcie dla \u0142adowania plik\u00f3w CSV w kodowaniach Latin-1 i UTF-16 (wcze\u015bniej wspierano tylko kodowanie UTF-8). FROM read_csv(\u2018cities-latin-1.csv\u2019, encoding = \u2018latin-1\u2019);\n
Dodano wsparcie dla u\u017cywania w plikach CSV wielobajtowych separator\u00f3w (do 4 bajt\u00f3w), co pozwala na u\u017cycie emoji jako separator\u00f3w kolumn. a\ud83e\uddb3b hello\ud83e\uddb3world FROM read_csv(\u2018example.dsv\u2019, sep = \u2018\ud83e\uddb3\u2019);\n
Domy\u015blnie w\u0142\u0105czony jest \u015bcis\u0142y tryb analizy plik\u00f3w CSV (\u201estrict_mode = true\u201d), kt\u00f3ry sprawdza zgodno\u015b\u0107 z formatowaniem specyfikacji RFC 4180. W \u015bcis\u0142ym trybie dozwolony jest tylko jeden znak do oddzielania wierszy, co prowadzi do b\u0142\u0119du podczas pr\u00f3by analizy plik\u00f3w, w kt\u00f3rych do oddzielania wierszy u\u017cywane s\u0105 nie tylko znaki nowej linii, ale r\u00f3wnie\u017c znaki powrotu karetki (\u201e\r\n\u201d).\n
W parserze CSV zastosowano nowy algorytm wykrywania nowej linii, wspieraj\u0105cy r\u00f3wnoleg\u0142o\u015b\u0107 operacji. U\u017cycie nowego algorytmu przyspieszy\u0142o przetwarzanie CSV o oko\u0142o 15%.\n
Usuni\u0119to ograniczenie dotycz\u0105ce rozmiaru wiersza w plikach CSV (wcze\u015bniej wiersz nie m\u00f3g\u0142 przekracza\u0107 8 MB).\n
Przy eksporcie danych w formacie Parquet wprowadzono wsparcie dla hashy (s\u0142ownik\u00f3w) i indeks\u00f3w opartych na filtrze Blooma. Wprowadzono metod\u0119 kompresji DELTA_BINARY_PACKED, kt\u00f3ra znacz\u0105co zmniejsza rozmiar plik\u00f3w Parquet.\n
Do interfejsu wiersza polece\u0144 dodano tryb bezpieczny, aktywowany za pomoc\u0105 opcji \u201e-safe\u201d lub komendy \u201e.safe_mode\u201d. W tym trybie zezwala si\u0119 tylko na dost\u0119p do pocz\u0105tkowo wskazanego pliku bazy danych, a pr\u00f3ba otwarcia innych plik\u00f3w prowadzi do wy\u015bwietlenia b\u0142\u0119du.\n
W interfejsie wiersza polece\u0144 poprawiono automatyczne uzupe\u0142nianie wej\u015bcia. Kod do automatycznego uzupe\u0142niania przet\u0142umaczono na u\u017cycie PEG (Gramatyki Wyra\u017ce\u0144 Parsowania).\n
Podczas wykonywania polece\u0144 w interfejsie wiersza polece\u0144 zaimplementowano wizualne przedstawienie du\u017cych liczb, na przyk\u0142ad przy wy\u015bwietlaniu liczby 100000000, dodatkowo dopisane zostanie «(100 milion\u00f3w)».\n
W SQL dodano wsparcie dla sk\u0142adni, w kt\u00f3rej skr\u00f3cone nazwy tabel i wyra\u017ce\u0144 mo\u017cna podawa\u0107 przed warto\u015bci\u0105, na kt\u00f3r\u0105 wskazuj\u0105 (zamiast u\u017cywa\u0107 sk\u0142adni «wyra\u017cenie AS nazwa»): SELECT e1: some_long_and_winding_expression, e2: t2.a_column_name FROM t1: long_schema.some_long_table_name, t2: short_s.tbl;\n
W poleceniu «SELECT» wprowadzono wsparcie dla operacji «RENAME» do zmiany nazw p\u00f3l wy\u015bwietlanych przy u\u017cyciu wyra\u017cenia «*»: SELECT * RENAME (col1 AS new_col1) FROM integers;\n
W poleceniu «SELECT» zezwolono na u\u017cycie operacji «LIKE» i «SIMILAR TO» podczas wy\u015bwietlania przez «*»: SELECT * LIKE ‘val%’ FROM key_val;\n
Zmodernizowano optymalizator zapyta\u0144. Wydajno\u015b\u0107 podczas testu TPC-H SF100 wzros\u0142a o 13%.\n
Zaproponowano nowe API podobne do C do tworzenia dodatk\u00f3w, kt\u00f3re mo\u017cna wykorzysta\u0107, na przyk\u0142ad, do tworzenia nowych funkcji agreguj\u0105cych lub tabelarycznych.\n
Dodano wsparcie dla system\u00f3w ze standardow\u0105 bibliotek\u0105 C Musl. <\/ul>\n