Release der Datenbank DuckDB 1.2.0

Die Version 1.2.0 der Datenbank DuckDB wurde veröffentlicht, die auf die Ausführung analytischer Abfragen ausgerichtet ist und konzeptionell an SQLite erinnert. DuckDB kombiniert Eigenschaften von SQLite wie Kompaktheit, die Einbindung als integrierbare Bibliothek, die Speicherung der Datenbank in einer einzigen Datei und eine CLI-Schnittstelle mit Funktionen und Optimierungen zur Durchführung analytischer Abfragen, die einen erheblichen Teil der gespeicherten Daten abdecken, beispielsweise durch die Aggregation des gesamten Inhalts von Tabellen oder das Zusammenführen mehrerer großer Tabellen. Der Code des Projekts ist in C++ geschrieben und unter der MIT-Lizenz verfügbar.

DuckDB bietet einen erweiterten Dialekt der SQL-Sprache, der zusätzliche Funktionen für die Verarbeitung sehr komplexer und lang laufender Abfragen umfasst. Es können komplexe Datentypen (Arrays, Strukturen, Vereinigungen) verwendet werden, ebenso wie die Ausführung beliebiger und verschachtelter korrelierender Unterabfragen. Die gleichzeitige Ausführung mehrerer Abfragen wird unterstützt, ebenso wie die Ausführung von Abfragen direkt aus Dateien im CSV- und Parquet-Format. Der Import aus der PostgreSQL-Datenbank wird ebenfalls unterstützt.

Das Projekt verwendet eine SQLite-Hülle, einen PostgreSQL-Parser, das Date Math-Komponente von MonetDB, eine eigene Implementierung von Fensterfunktionen (basierend auf dem Segment Tree Aggregation-Algorithmus), einen regulären Ausdrucks-Handler auf Basis der RE2-Bibliothek, einen eigenen Anfragen-Optimierer, einen MVCC-Mechanismus zur Verwaltung der gleichzeitigen Ausführung von Aufgaben (Multi-Version Concurrency Control) sowie eine vektorisierte Abfrageausführungsmaschine basierend auf dem Hyper-Pipelining Query Execution-Algorithmus, die es ermöglicht, große Mengen an Werten in einem einzigen Vorgang zu bearbeiten.

In der neuen Version:

• Es wurde Unterstützung für neue Komprimierungsmethoden implementiert, die standardmäßig deaktiviert sind, um die Kompatibilität von Datenbankdateien mit älteren Versionen von DuckDB zu gewährleisten. Um das verbesserte Format der Datenbankdateien zu nutzen, wurde die Möglichkeit eingeführt, die Datenbank an die Versionsnummer zu binden – beim Öffnen einer Datei kann nun mit dem Parameter „STORAGE_VERSION“ die minimal unterstützte Datenbankversion festgelegt werden (z. B. „ATTACH ‘file.db’ (STORAGE_VERSION ‘v1.2.0’);“). Zur Umwandlung des neuen Formats in das alte kann der SQL-Befehl COPY verwendet werden, zum Beispiel: ATTACH ‘file1.db’; ATTACH ‘converted_file.db’ (STORAGE_VERSION ‘v1.0.0’); COPY FROM DATABASE file1 TO converted_file;
• Die Unterstützung des SQL-Befehls „ALTER TABLE … ADD PRIMARY KEY“ wurde hinzugefügt, um einen Primärschlüssel zu einer bestehenden Tabelle hinzuzufügen.
• Die Einschränkung wurde aufgehoben, die es nicht zuließ, Identifikatoren erneut hinzuzufügen, für die ein eindeutiger Index vorhanden war, wenn diese Identifikatoren in der aktuellen Transaktion gelöscht wurden. Der folgende SQL-Code führt nun nicht mehr zu einem Fehler: CREATE TABLE students (id INTEGER PRIMARY KEY, name VARCHAR); INSERT INTO students VALUES (1, ‘John Doe’); BEGIN; DELETE FROM students WHERE id = 1; INSERT INTO students VALUES (1, ‘Jane Doe’);
• Unterstützung für das Hochladen von CSV-Dateien in den Kodierungen Latin-1 und UTF-16 hinzugefügt (zuvor wurde nur die Kodierung UTF-8 unterstützt). FROM read_csv(‘cities-latin-1.csv’, encoding = ‘latin-1’);
• Unterstützung für die Verwendung von mehrbyteigen Trennzeichen in CSV-Dateien (bis zu 4 Bytes), was die Angabe von Emojis als Trennzeichen für Spalten ermöglicht. a🦆b hello🦆world FROM read_csv(‘example.dsv’, sep = ‘🦆’);
• Im Standardmodus ist der strenge Modus für das Parsen von CSV-Dateien aktiviert („strict_mode = true“), der die Übereinstimmung mit der Formatierungsspezifikation RFC 4180 überprüft. Im strengen Modus ist die Verwendung nur eines Zeichens zum Trennen von Zeilen zulässig, was bei einem Versuch, Dateien zu parsen, bei denen nicht nur das Zeilenumbruchzeichen, sondern auch das Wagenrücklaufzeichen („\r\n“) verwendet wird, zu einem Fehler führen kann.
• Der CSV-Parser verwendet einen neuen Algorithmus zur Bestimmung neuer Zeilen, der parallele Operationen unterstützt. Der Einsatz des neuen Algorithmus hat das Parsen von CSV um etwa 15 % beschleunigt.
• Die Beschränkung der Zeilenlänge in CSV-Dateien wurde aufgehoben (zuvor durfte eine Zeile 8 MB nicht überschreiten).
• Beim Export von Daten im Parquet-Format wurde die Unterstützung von Hashes (Dictionaries) und von Bloom-Filter-basierten Indizes implementiert. Es wurde eine Komprimierungsmethode namens DELTA_BINARY_PACKED eingeführt, die die Größe von Parquet-Dateien erheblich reduziert.
• Im Befehlszeileninterface wurde ein Sicherheitsmodus hinzugefügt, der mit der Option „-safe“ oder dem Befehl „.safe_mode“ aktiviert wird. In diesem Modus ist der Zugriff nur auf die ursprünglich angegebene Datenbankdatei erlaubt, und der Versuch, andere Dateien zu öffnen, führt zu einer Fehlermeldung.
• Im Befehlszeileninterface wurde die Eingabe-Autovervollständigung verbessert. Der Code für die Autovervollständigung wurde auf PEG (Parsing Expression Grammar) umgestellt.
• Bei der Ausführung von Befehlen im Befehlszeileninterface wird die Darstellung großer Zahlen visualisiert; zum Beispiel wird bei der Anzeige der Zahl 100000000 zusätzlich „(100 Millionen)“ angefügt.
• In SQL wurde die Unterstützung der Syntax hinzugefügt, bei der verkürzte Bezeichnungen von Tabellen und Ausdrücken vor den Werten angegeben werden können, auf die sie verweisen (statt der Verwendung der Syntax „Ausdruck AS Bezeichnung“): SELECT e1: some_long_and_winding_expression, e2: t2.a_column_name FROM t1: long_schema.some_long_table_name, t2: short_s.tbl;
• Im Befehl „SELECT“ wurde die Unterstützung für die Operation „RENAME“ implementiert, um Felder umzubenennen, die bei Angabe des Ausdrucks „*“ ausgegeben werden: SELECT * RENAME (col1 AS new_col1) FROM integers;
• Im Befehl „SELECT“ ist die Verwendung von „LIKE“- und „SIMILAR TO“-Operationen bei der Ausgabe über „*“ erlaubt: SELECT * LIKE ‘val%’ FROM key_val;
• Die Qualität der Generierung pseudorandomisierter Zahlen wurde erhöht.
• Der Abfrageoptimierer wurde modernisiert. Die Leistung beim Test TPC-H SF100 ist um 13% gestiegen.
• Eine neue C-ähnliche API für die Entwicklung von Erweiterungen wurde vorgeschlagen, die beispielsweise zur Erstellung neuer Aggregat- oder Tabellenfunktionen verwendet werden kann.
• Unterstützung für Systeme mit der Standard-C-Bibliothek Musl wurde hinzugefügt.

Quelle: opennet.ru