Släpp av databas SDB DuckDB 1.2.0

En ny version av databashanteraren DuckDB 1.2.0 har publicerats. Den är inriktad på att utföra analytiska frågor och liknar konceptuellt SQLite. DuckDB kombinerar egenskaperna hos SQLite, såsom kompakthet, dess användning som en inbäddad biblioteksmodul, databashantering i en enda fil och CLI-gränssnitt, med funktioner och optimeringar för analytiska frågor som täcker en betydande del av de lagrade data, till exempel genom att aggregera allt innehåll från tabeller eller sammanfoga flera stora tabeller. Projektkoden är skriven i C++ och distribueras under MIT-licensen.

DuckDB erbjuder en utökat SQL-dialekt som inkluderar ytterligare funktioner för att hantera mycket komplexa och tidskrävande frågor. Det stöder komplexa datatyper (arrayer, strukturer, unioner) samt möjlighet till att utföra arbiträra och inbäddade korrelerade underfrågor. Samtidig körning av flera frågor stöds, liksom direkt körning av frågor från filer i formaten CSV och Parquet. Stöd för import från PostgreSQL-databaser finns också.

Projektet använder en skalär från SQLite, en parser från PostgreSQL, Date Math-komponenten från MonetDB, egen implementering av fönsterfunktioner (baserat på Segment Tree Aggregation-algoritmen), en reguljära uttrycksbehandlare baserad på RE2-biblioteket, egen frågeoptimerare, MVCC-mekanism för hantering av samtidiga uppgiftskörningar (Multi-Version Concurrency Control), samt en vektoriserad frågeutförande motor baserad på Hyper-Pipelining Query Execution-algoritmen, som tillåter att stora värdesets bearbetas i en enda operation.

I den nya versionen:

• Stöd för nya komprimeringsmetoder har implementerats, vilka inte är aktiverade som standard för att bevara kompatibiliteten med databashanteringsfiler av tidigare versioner av DuckDB. För att använda det förbättrade formatet för databashanteringsfiler har möjlighet att knyta databasen till en versionsnummer introducerats — vid öppning av filen med parametern "STORAGE_VERSION" kan nu minimalt stödd versionsnummer anges ("ATTACH 'file.db' (STORAGE_VERSION 'v1.2.0');"). SQL-kommandot COPY kan användas för att konvertera ett nytt format till ett gammalt, till exempel: ATTACH 'file1.db'; ATTACH 'converted_file.db' (STORAGE_VERSION 'v1.0.0'); COPY FROM DATABASE file1 TO converted_file;
• Stöd för SQL-kommandot "ALTER TABLE … ADD PRIMARY KEY" har lagts till för att lägga till en primärnyckel till en existerande tabell.
• Begränsningen som förhindrade att identiteter med en unikhetsindex lades till igen, om dessa identiteter hade tagits bort i den aktuella transaktionen, har avlägsnats. Till exempel ger följande SQL-kod nu ingen felaktighet: CREATE TABLE students (id INTEGER PRIMARY KEY, name VARCHAR); INSERT INTO students VALUES (1, 'John Doe'); BEGIN; DELETE FROM students WHERE id = 1; INSERT INTO students VALUES (1, 'Jane Doe');
• Stöd för att ladda CSV-filer med teckenkodningar Latin-1 och UTF-16 har lagts till (tidigare stöddes endast teckenkodningen UTF-8). FROM read_csv(‘cities-latin-1.csv’, encoding = ‘latin-1’);
• Stöd för att använda flerbytesavgränsare (upp till 4 byte) i CSV-filer har lagts till, vilket möjliggör användning av emoji som avgränsare för kolumner. a🦆b hello🦆world FROM read_csv(‘example.dsv’, sep = ‘🦆’);
• Strikt läge för parning av CSV-filer är som standard aktiverat (“strict_mode = true”), vilket kontrollerar överensstämmelse med formatet i specifikationen RFC 4180. I strikt läge tillåts endast en symbol för radavgränsning, vilket resulterar i ett fel vid försök att bearbeta filer där mer än en symbol används för radavgränsning, inklusive både radbrytning och vagnretur (“\r\n”).
• Den nya algoritmen för att bestämma ny rad har implementerats i CSV-parsaren, vilket stöder parallella operationer. Användningen av den nya algoritmen har ökat hastigheten för CSV-parsning med ungefär 15%.
• Begränsningen av radstorlek i CSV-filer har tagits bort (tidigare fick en rad inte överstiga 8 MB).
• Vid export av data i Parquet-format har stöd för hash (ordlistor) och Bloom-filterbaserade index implementerats. Metoden för kompression DELTA_BINARY_PACKED har implementerats, vilket avsevärt minskar storleken på Parquet-filer.
• Ett säkert läge har lagts till i kommandoradsgränssnittet, aktiverat med alternativet “-safe” eller kommandot “.safe_mode”. I detta läge är åtkomst endast tillåten till den ursprungligen angivna databasen, och försök att öppna andra filer resulterar i ett felmeddelande.
• Autocompletionsfunktionen har förbättrats i kommandoradsgränssnittet. Koden för autocompletions har omvandlats för att använda PEG (Parsing Expression Grammar).
• Vid utförande av kommandon i kommandoradsgränssnittet har visningen av stora tal blivit mer överskådlig, till exempel vid visning av talet 100000000, kommer det att tilläggas “(100 miljoner)”.
• I SQL har stöd för syntaktik lagts till som gör att förkortade table- och uttrycksnamn kan anges före de värden de hänvisar till (istället för att använda syntaktik “uttryck AS namn”): SELECT e1: some_long_and_winding_expression, e2: t2.a_column_name FROM t1: long_schema.some_long_table_name, t2: short_s.tbl;
• I SELECT-teamet har stödet för operationen "RENAME" implementerats för att byta namn på fält som visas vid angivande av uttrycket "*": SELECT * RENAME (col1 AS new_col1) FROM integers;
• I SELECT-kommandot är användningen av operationerna "LIKE" och "SIMILAR TO" tillåten vid utskrift via "*": SELECT * LIKE ‘val%’ FROM key_val;
• Kvaliteten på generering av pseudo-slumptal har förbättrats.
• Frågeoptimeraren har moderniserats. Prestandan under TPC-H SF100-testet har ökat med 13%.
• Ett nytt C-liknande API för utveckling av tillägg har föreslagits, vilket kan användas för att skapa nya aggregat- eller tabellfunktioner.
• Stöd för system med standard C-biblioteket Musl har lagts till.

Källa: opennet.ru