{"id":121901,"date":"2025-02-13T14:22:07","date_gmt":"2025-02-13T12:22:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/reliz-subd-duckdb-1-2-0"},"modified":"2025-02-13T14:22:07","modified_gmt":"2025-02-13T12:22:07","slug":"reliz-subd-duckdb-1-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/reliz-subd-duckdb-1-2-0","title":{"rendered":"Release der Datenbank DuckDB 1.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Die Version der Datenbank DuckDB 1.2.0, die auf die Ausf\u00fchrung analytischer Abfragen ausgerichtet ist und konzeptionell an SQLite erinnert, wurde ver\u00f6ffentlicht. DuckDB vereint Eigenschaften von SQLite, wie Kompaktheit, die Verwendung als eingebettete Bibliothek, Speicherung der Datenbank in einer einzigen Datei und ein CLI-Interface, mit Funktionen und Optimierungen zur Ausf\u00fchrung analytischer Abfragen, die einen erheblichen Teil der gespeicherten Daten abdecken, etwa die Aggregation des gesamten Inhalts von Tabellen oder das Zusammenf\u00fchren mehrerer gro\u00dfer Tabellen. Der Projektcode ist in C++ geschrieben und wird unter der MIT-Lizenz ver\u00f6ffentlicht. <\/p>\n
DuckDB bietet einen erweiterten SQL-Dialekt, der zus\u00e4tzliche M\u00f6glichkeiten f\u00fcr die Verarbeitung sehr komplexer und langwieriger Abfragen umfasst. Es ist m\u00f6glich, komplexe Typen (Arrays, Strukturen, Vereinigungen) zu verwenden, sowie beliebige und verschachtelte, korrelierende Unterabfragen auszuf\u00fchren. Es wird die gleichzeitige Ausf\u00fchrung mehrerer Abfragen unterst\u00fctzt, sowie die Ausf\u00fchrung von Abfragen direkt aus Dateien im CSV- und Parquet-Format. Der Import aus der PostgreSQL-Datenbank wird ebenfalls unterst\u00fctzt. <\/p>\n
Das Projekt verwendet eine Shell von SQLite, einen Parser von PostgreSQL, die Date Math-Komponente von MonetDB, eine eigene Implementierung von Fensterfunktionen (basierend auf dem Segmentbaumaggregationsalgorithmus), einen regul\u00e4ren Ausdruck-Handler auf Basis der RE2-Bibliothek, einen eigenen Abfrageoptimierer, einen MVCC-Mechanismus zur Verwaltung der gleichzeitigen Ausf\u00fchrung von Aufgaben (Multi-Version Concurrency Control) sowie eine vektorisierte Abfragedurchf\u00fchrungsengine, die auf dem Hyper-Pipelining-Abfrageausf\u00fchrungsalgorithmus basiert und es erm\u00f6glicht, gro\u00dfe Mengen an Werten in einem einzigen Vorgang zu verarbeiten. <\/p>\n
In der neuen Version: <\/p>\n
\n
Es wurde Unterst\u00fctzung f\u00fcr neue Komprimierungsmethoden implementiert, die standardm\u00e4\u00dfig deaktiviert sind, um die Kompatibilit\u00e4t von DB-Dateien mit fr\u00fcheren Versionen von DuckDB zu gew\u00e4hrleisten. Um das verbesserte DB-Dateiformat zu verwenden, wurde die M\u00f6glichkeit der Bindung der DB an eine Versionsnummer angeboten \u2013 beim \u00d6ffnen einer Datei mit dem Parameter \u201eSTORAGE_VERSION\u201c kann jetzt die minimal unterst\u00fctzte Version der DB festgelegt werden (\u201eATTACH \u2018file.db\u2019 (STORAGE_VERSION \u2018v1.2.0\u2019);\u201c). Um das neue Format in das alte zu konvertieren, kann der SQL-Befehl COPY verwendet werden, zum Beispiel: ATTACH \u2018file1.db\u2019; ATTACH \u2018converted_file.db\u2019 (STORAGE_VERSION \u2018v1.0.0\u2019); COPY FROM DATABASE file1 TO converted_file;\n
Unterst\u00fctzung f\u00fcr den SQL-Befehl \u201eALTER TABLE \u2026 ADD PRIMARY KEY\u201c wurde hinzugef\u00fcgt, um einen Prim\u00e4rschl\u00fcssel zu einer vorhandenen Tabelle hinzuzuf\u00fcgen.\n
Die Einschr\u00e4nkung, die das Wiederhinzuf\u00fcgen von IDs verhinderte, f\u00fcr die ein Unique-Tracking-Index vorhanden war, wurde aufgehoben, wenn diese IDs in der aktuellen Transaktion gel\u00f6scht wurden. Zum Beispiel verursacht der folgende SQL-Code jetzt keinen Fehler: CREATE TABLE students (id INTEGER PRIMARY KEY, name VARCHAR); INSERT INTO students VALUES (1, \u2018John Doe\u2019); BEGIN; DELETE FROM students WHERE id = 1; INSERT INTO students VALUES (1, \u2018Jane Doe\u2019);\n
Die Unterst\u00fctzung f\u00fcr das Laden von CSV-Dateien in den Kodierungen Latin-1 und UTF-16 wurde hinzugef\u00fcgt (zuvor wurde nur UTF-8 unterst\u00fctzt). FROM read_csv(\u2018cities-latin-1.csv\u2019, encoding = \u2018latin-1\u2019);\n
Es wurde Unterst\u00fctzung f\u00fcr die Verwendung mehrbyteiger Trennzeichen (bis zu 4 Bytes) in CSV-Dateien hinzugef\u00fcgt, was die Angabe von Emojis als Trennzeichen f\u00fcr Spalten erm\u00f6glicht. a\ud83d\udc3cb hello\ud83d\udc3cworld FROM read_csv(\u2018example.dsv\u2019, sep = \u2018\ud83d\udc3c\u2019);\n
Der strikte Modus f\u00fcr das Parsen von CSV-Dateien ist standardm\u00e4\u00dfig aktiviert (\u201estrict_mode = true\u201c), der die \u00dcbereinstimmung des Formats mit der RFC 4180-Spezifikation \u00fcberpr\u00fcft. Im strikten Modus ist nur ein Zeichen zum Trennen von Zeilen zul\u00e4ssig, was zu einem Fehler f\u00fchren wird, wenn versucht wird, Dateien zu parsen, in denen nicht nur das Zeilenumbruchszeichen, sondern auch das Carriage Return-Zeichen (\u201e\r\n\u201c) zur Zeilentrennung verwendet wird.\n
Im CSV-Parser wurde ein neuer Algorithmus zur Erkennung von neuen Zeilen implementiert, der die Parallelisierung von Operationen unterst\u00fctzt. Die Verwendung des neuen Algorithmus hat das Parsen von CSV um etwa 15 % beschleunigt.\n
Die Beschr\u00e4nkung der Zeilenl\u00e4nge in CSV-Dateien wurde aufgehoben (bisher durfte eine Zeile 8 MB nicht \u00fcberschreiten).\n
Bei der Exportierung von Daten im Parquet-Format wurde die Unterst\u00fctzung f\u00fcr Hashes (Dictionaries) und Indizes auf Basis des Bloom-Filters implementiert. Eine Kompressionsmethode namens DELTA_BINARY_PACKED wurde implementiert, die die Gr\u00f6\u00dfe von Parquet-Dateien erheblich reduziert.\n
Der Befehlszeilen-Interface hat einen sicheren Modus hinzugef\u00fcgt, der mit der Option \u201e-safe\u201c oder dem Befehl \u201e.safe_mode\u201c aktiviert wird. In diesem Modus ist der Zugriff nur auf die urspr\u00fcnglich angegebene DB-Datei erlaubt, und der Versuch, andere Dateien zu \u00f6ffnen, f\u00fchrt zu einer Fehlermeldung.\n
Im Befehlszeilen-Interface wurde die Eingabe-Autovervollst\u00e4ndigung verbessert. Der Code f\u00fcr die Autovervollst\u00e4ndigung wurde auf die Verwendung von PEG (Parsing Expression Grammar) umgestellt.\n
Bei der Ausf\u00fchrung von Befehlen in der Eingabeaufforderung wird eine anschauliche Darstellung gro\u00dfer Zahlen implementiert, z. B. wird bei der Anzeige der Zahl 100000000 zus\u00e4tzlich (100 Millionen) angeh\u00e4ngt.\n
In SQL wurde die Unterst\u00fctzung f\u00fcr eine Syntax hinzugef\u00fcgt, bei der abgek\u00fcrzte Tabellennamen und Ausdr\u00fccke bis zu den Werten angegeben werden k\u00f6nnen, auf die sie verweisen (anstatt die Syntax \"Ausdruck AS Name\" zu verwenden): SELECT e1: some_long_and_winding_expression, e2: t2.a_column_name FROM t1: long_schema.some_long_table_name, t2: short_s.tbl;\n
Im Befehl \"SELECT\" wurde die Unterst\u00fctzung f\u00fcr die Operation \"RENAME\" zum Umbenennen von Feldern, die bei der Angabe des Ausdrucks \"*\" ausgegeben werden, implementiert: SELECT * RENAME (col1 AS new_col1) FROM integers;\n
Im Befehl \"SELECT\" ist die Verwendung der Operationen \"LIKE\" und \"SIMILAR TO\" bei der Ausgabe \u00fcber \"*\" zul\u00e4ssig: SELECT * LIKE 'val%' FROM key_val;\n
Die Qualit\u00e4t der Generierung von Pseudorandomzahlen wurde verbessert.\n
Der Abfrageoptimierer wurde modernisiert. Die Leistung beim Test TPC-H SF100 hat sich um 13 % erh\u00f6ht.\n
Eine neue C-\u00e4hnliche API f\u00fcr die Entwicklung von Erweiterungen wurde vorgeschlagen, die beispielsweise zur Erstellung neuer Aggregat- oder Tabellenfunktionen verwendet werden kann.\n
Die Unterst\u00fctzung f\u00fcr Systeme mit der Standard-C-Bibliothek Musl wurde hinzugef\u00fcgt. <\/ul>\n