{"id":121901,"date":"2025-02-13T14:22:07","date_gmt":"2025-02-13T12:22:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/reliz-subd-duckdb-1-2-0"},"modified":"2025-02-13T14:22:07","modified_gmt":"2025-02-13T12:22:07","slug":"reliz-subd-duckdb-1-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/reliz-subd-duckdb-1-2-0","title":{"rendered":"Release der Datenbank DuckDB 1.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Die Version 1.2.0 der Datenbank DuckDB wurde ver\u00f6ffentlicht, die auf die Ausf\u00fchrung analytischer Abfragen ausgerichtet ist und konzeptionell an SQLite erinnert. DuckDB kombiniert Eigenschaften von SQLite wie Kompaktheit, die Einbindung als integrierbare Bibliothek, die Speicherung der Datenbank in einer einzigen Datei und eine CLI-Schnittstelle mit Funktionen und Optimierungen zur Durchf\u00fchrung analytischer Abfragen, die einen erheblichen Teil der gespeicherten Daten abdecken, beispielsweise durch die Aggregation des gesamten Inhalts von Tabellen oder das Zusammenf\u00fchren mehrerer gro\u00dfer Tabellen. Der Code des Projekts ist in C++ geschrieben und unter der MIT-Lizenz verf\u00fcgbar. <\/p>\n
DuckDB bietet einen erweiterten Dialekt der SQL-Sprache, der zus\u00e4tzliche Funktionen f\u00fcr die Verarbeitung sehr komplexer und lang laufender Abfragen umfasst. Es k\u00f6nnen komplexe Datentypen (Arrays, Strukturen, Vereinigungen) verwendet werden, ebenso wie die Ausf\u00fchrung beliebiger und verschachtelter korrelierender Unterabfragen. Die gleichzeitige Ausf\u00fchrung mehrerer Abfragen wird unterst\u00fctzt, ebenso wie die Ausf\u00fchrung von Abfragen direkt aus Dateien im CSV- und Parquet-Format. Der Import aus der PostgreSQL-Datenbank wird ebenfalls unterst\u00fctzt. <\/p>\n
Das Projekt verwendet eine SQLite-H\u00fclle, einen PostgreSQL-Parser, das Date Math-Komponente von MonetDB, eine eigene Implementierung von Fensterfunktionen (basierend auf dem Segment Tree Aggregation-Algorithmus), einen regul\u00e4ren Ausdrucks-Handler auf Basis der RE2-Bibliothek, einen eigenen Anfragen-Optimierer, einen MVCC-Mechanismus zur Verwaltung der gleichzeitigen Ausf\u00fchrung von Aufgaben (Multi-Version Concurrency Control) sowie eine vektorisierte Abfrageausf\u00fchrungsmaschine basierend auf dem Hyper-Pipelining Query Execution-Algorithmus, die es erm\u00f6glicht, gro\u00dfe Mengen an Werten in einem einzigen Vorgang zu bearbeiten. <\/p>\n
In der neuen Version: <\/p>\n
\n
Neue Komprimierungsmethoden wurden implementiert, die standardm\u00e4\u00dfig nicht aktiviert sind, um die Kompatibilit\u00e4t von Datenbankdateien mit fr\u00fcheren Versionen von DuckDB zu gew\u00e4hrleisten. Um das erweiterte Format der Datenbankdateien zu verwenden, wurde die M\u00f6glichkeit eingef\u00fchrt, die Datenbank an eine Versionsnummer zu binden \u2014 beim \u00d6ffnen der Datei mit dem Parameter \u201eSTORAGE_VERSION\u201c kann jetzt die minimal unterst\u00fctzte Version der Datenbank festgelegt werden (z. B. \u201eATTACH 'file.db' (STORAGE_VERSION 'v1.2.0');\u201c). Zur Umwandlung des neuen Formats in das alte kann der SQL-Befehl COPY verwendet werden, zum Beispiel: ATTACH 'file1.db'; ATTACH 'converted_file.db' (STORAGE_VERSION 'v1.0.0'); COPY FROM DATABASE file1 TO converted_file;\n
Die Unterst\u00fctzung des SQL-Befehls \u201eALTER TABLE \u2026 ADD PRIMARY KEY\u201c wurde hinzugef\u00fcgt, um einen Prim\u00e4rschl\u00fcssel zu einer bestehenden Tabelle hinzuzuf\u00fcgen.\n
Die Einschr\u00e4nkung, die das erneute Hinzuf\u00fcgen von IDs verhinderte, f\u00fcr die ein einzigartiger Index vorhanden ist, wurde entfernt, wenn diese IDs in der aktuellen Transaktion gel\u00f6scht wurden. Beispielsweise f\u00fchrt der folgende SQL-Code jetzt nicht mehr zu einem Fehler: CREATE TABLE students (id INTEGER PRIMARY KEY, name VARCHAR); INSERT INTO students VALUES (1, 'John Doe'); BEGIN; DELETE FROM students WHERE id = 1; INSERT INTO students VALUES (1, 'Jane Doe');\n
Die Unterst\u00fctzung f\u00fcr das Hochladen von CSV-Dateien in den Kodierungen Latin-1 und UTF-16 wurde hinzugef\u00fcgt (fr\u00fcher wurde nur UTF-8 unterst\u00fctzt). FROM read_csv('cities-latin-1.csv', encoding = 'latin-1');\n
Die Unterst\u00fctzung f\u00fcr mehrbyteige Trennzeichen (bis zu 4 Bytes) in CSV-Dateien wurde hinzugef\u00fcgt, was es erm\u00f6glicht, Emoji als Spaltentrenner zu verwenden. a\ud83d\udc3cb hello\ud83d\udc3cworld FROM read_csv('example.dsv', sep = '\ud83d\udc3c');\n
Der strenge Modus zur Analyse von CSV-Dateien (\u201astrict_mode = true\u2018) ist standardm\u00e4\u00dfig aktiviert, der die \u00dcbereinstimmung mit den Formatierungsspezifikationen der RFC 4180 \u00fcberpr\u00fcft. Im strengen Modus ist die Verwendung nur eines Zeichens zum Zeilenumbruch zul\u00e4ssig, was zu einem Fehler f\u00fchrt, wenn versucht wird, Dateien zu analysieren, in denen zum Zeilenumbruch nicht nur das Zeilenendezeichen, sondern auch der Wagenr\u00fccklauf verwendet wird (\u201a\r\n\u2018).\n
Der CSV-Parser verwendet einen neuen Algorithmus zur Bestimmung neuer Zeilen, der parallele Operationen unterst\u00fctzt. Der Einsatz des neuen Algorithmus hat das Parsen von CSV um etwa 15 % beschleunigt.\n
Die Beschr\u00e4nkung der Zeilenl\u00e4nge in CSV-Dateien wurde aufgehoben (zuvor durfte eine Zeile 8 MB nicht \u00fcberschreiten).\n
Beim Export von Daten im Parquet-Format wurde die Unterst\u00fctzung von Hashes (Dictionaries) und von Bloom-Filter-basierten Indizes implementiert. Es wurde eine Komprimierungsmethode namens DELTA_BINARY_PACKED eingef\u00fchrt, die die Gr\u00f6\u00dfe von Parquet-Dateien erheblich reduziert.\n
Ein sicherer Modus wurde in die Befehlszeilenschnittstelle integriert, der \u00fcber die Option \u201a-safe\u2018 oder den Befehl \u201a.safe_mode\u2018 aktiviert wird. In diesem Modus ist der Zugriff nur auf die urspr\u00fcnglich angegebene Datenbankdatei erlaubt, und der Versuch, andere Dateien zu \u00f6ffnen, f\u00fchrt zu einer Fehlermeldung.\n
Im Befehlszeileninterface wurde die Eingabe-Autovervollst\u00e4ndigung verbessert. Der Code f\u00fcr die Autovervollst\u00e4ndigung wurde auf PEG (Parsing Expression Grammar) umgestellt.\n
Bei der Ausf\u00fchrung von Befehlen in der Befehlszeilenschnittstelle werden gro\u00dfe Zahlen nun anschaulich dargestellt, beispielsweise wird bei der Anzeige der Zahl 100000000 zus\u00e4tzlich der Text \u201a(100 Millionen)\u2018 angeh\u00e4ngt.\n
In SQL wurde die Unterst\u00fctzung f\u00fcr eine Syntax hinzugef\u00fcgt, bei der Abbreviaturen f\u00fcr Tabellen und Ausdr\u00fccke vor den Werten angegeben werden k\u00f6nnen, auf die sie verweisen (anstatt die Syntax \u201eAusdruck AS Name\u201c zu verwenden): SELECT e1: some_long_and_winding_expression, e2: t2.a_column_name FROM t1: long_schema.some_long_table_name, t2: short_s.tbl;\n
Im Befehl \u201aSELECT\u2018 wurde die Unterst\u00fctzung f\u00fcr die Operation \u201aRENAME\u2018 zum Umbenennen von Feldern eingef\u00fchrt, die angegeben werden, wenn der Ausdruck \u201a*\u2018 verwendet wird: SELECT * RENAME (col1 AS new_col1) FROM integers;\n
Im Befehl \u201aSELECT\u2018 ist die Verwendung der Operanden \u201aLIKE\u2018 und \u201aSIMILAR TO\u2018 bei der Ausgabe \u00fcber \u201a*\u2018 jetzt erlaubt: SELECT * LIKE 'val%' FROM key_val;\n
Die Qualit\u00e4t der Generierung pseudorandomisierter Zahlen wurde erh\u00f6ht.\n
Der Abfrageoptimierer wurde modernisiert. Die Leistung beim Test TPC-H SF100 ist um 13% gestiegen.\n
Eine neue C-\u00e4hnliche API f\u00fcr die Entwicklung von Erweiterungen wurde vorgeschlagen, die beispielsweise zur Erstellung neuer Aggregat- oder Tabellenfunktionen verwendet werden kann.\n
Unterst\u00fctzung f\u00fcr Systeme mit der Standard-C-Bibliothek Musl wurde hinzugef\u00fcgt. <\/ul>\n