DuckDB 0.6.0 har publicerats, en variant av SQLite för analytiska frågor

Utgåvan av databasen DuckDB 0.6.0 är tillgänglig, vilket kombinerar funktioner från SQLite, såsom kompakt storlek, möjlighet att ansluta i form av ett inbäddat bibliotek, lagring av databasen i en fil och ett användarvänligt CLI-gränssnitt, med verktyg och optimeringar för att utföra analytiska frågor som täcker en stor del av de lagrade uppgifterna, till exempel som utför aggregat av hela innehållet i tabeller eller slår samman flera stora tabeller. Projektkoden distribueras under MIT-licensen. Utvecklingen är fortfarande i ett experimentellt stadium, då formatet för lagring fortfarande inte är stabilt och ändras från version till version.

DuckDB erbjuder en utökad SQL-dialekt, som inkluderar ytterligare funktioner för att hantera mycket komplexa och tidskrävande frågor. Användning av komplexa typer (array, strukturer, unioner) och möjligheten att utföra godtyckliga och inbäddade korrelerade undermappar stöds. Samtidig körning av flera frågor stöds, liksom att köra frågor direkt från filer i formatet CSV och Parquet. Det finns möjlighet att importera från databaserna PostgreSQL.

Förutom skalprogrammet från SQLite används en parser från PostgreSQL som har flyttats till ett eget bibliotek, komponenten Date Math från MonetDB, en egen implementering av fönsterfunktioner (baserat på algoritmen Segment Tree Aggregation), en regeluttrycksbehandlare baserad på biblioteket RE2, egna frågeoptimerare, MVCC-mekanismen för hantering av samtidig uppgiftsutförande (Multi-Version Concurrency Control), samt en vektoriserad frågaexecutionsmotor baserad på algoritmen Hyper-Pipelining Query Execution, som möjliggör bearbetning av stora datamängder i en enda operation.

Bland förändringarna i den nya versionen:

• Arbetet med att förbättra lagringsformatet har fortsatt. En optimistisk disk-skrivningsläge har implementerats, där stora datamängder laddas in i en transaktion och komprimeras och strömmas till databasen utan att vänta på att transaktionen med kommandot COMMIT ska avslutas. Vid kommandot COMMIT är uppgifterna redan skrivna på disken, och vid utförande av ROLLBACK kasseras de. Tidigare sparades data först helt i minnet och skrevs därefter till disken vid commit.
• Stöd för parallell datainläsning till separata tabeller har lagts till, vilket avsevärt ökar hastigheten på inläsningen på flerprocessorsystem. I den tidigare versionen tog det 91 sekunder att ladda en databas med 150 miljoner rader på en 10-kärnig CPU, medan denna operation i den nya versionen genomförs på 17 sekunder. Det finns två lägen för parallell inläsning — med bevarande av ordningen på poster och utan bevarande av ordningen.
• För datascompression används algoritmen FSST (Fast Static Symbol Table), som möjliggör att data i strängar packas med en gemensam ordbok av typmatchningar. Användningen av den nya algoritmen har minskat storleken på testdatabasen från 761 MB till 251 MB.
• För kompression av flyttal (DOUBLE och FLOAT) föreslås algoritmerna Chimp och Patas. Jämfört med den tidigare använda algoritmen Gorillas erbjuder Chimp en högre kompressionsgrad och snabbare uppackning. Algoritmen Patas har en lägre kompressionsgrad än Chimp men är betydligt snabbare vid uppackning, nästan på nivå med att läsa ocompressad data.
• En experimentell möjlighet att ladda data från CSV-filer i flera parallella strömmar har lagts till (SET experimental_parallel_csv=true), vilket avsevärt minskar tiden för att ladda stora CSV-filer. Till exempel, när alternativet är aktiverat har tiden för att ladda en CSV-fil som är 720 MB minskat från 3,5 till 0,6 sekunder.
• Funktionen för parallell exekvering av skapande och hantering av index har implementerats. Till exempel har exekveringstiden för operationen CREATE INDEX för en kolumn med 16 miljoner poster minskat från 5,92 till 1,38 sekunder.
• Parallellisering av aggregeringsoperationer i frågor som innehåller uttrycket "COUNT(DISTINCT col)" har säkerställts.
• Stödet för UNION-typen har lagts till i SQL, vilket tillåter bindning av flera typer till ett enda element (till exempel "UNION(num INT, error VARCHAR))").
• I SQL har möjligheten att bilda frågor som börjar med ordet "FROM" istället för "SELECT" tillhandahållits. I detta fall förstås det att frågan börjar med "SELECT *".
• I SQL har stöd för uttrycket "COLUMNS" lagts till, vilket möjliggör att utföra operationer över flera kolumner utan att duplicera uttrycket. Till exempel, "SELECT MIN(COLUMNS(*)) from obs;" kommer att utföra MIN-funktionen för varje kolumn i tabellen obs, och "SELECT COLUMNS(‘val[0-9]+’) from obs;" för kolumner med namn bestående av "val" och siffror.
• Stöd för operationer på listor har lagts till, till exempel "SELECT [x + 1 for x in [1, 2, 3]] AS l;".
• Optimering av minnesanvändning har genomförts. Som standard används jemalloc-biblioteket för minneshantering på Linux-plattformen. Prestandan för hash-sammanslagningsoperationer har förbättrats avsevärt vid begränsad minnesstorlek.
• I kommandoraden har läget för utdata «.mode duckbox» lagts till, vilket tar bort medelkolumner med hänsyn till terminalfönstrets bredd (lämpligt för en snabb och visuell bedömning av resultat av förfrågningar med ett stort antal kolumner, såsom «SELECT * FROM tbl», som i normalt läge sprider sig över flera rader). Med parametern «.maxrows X» kan man också begränsa antalet utdata-rader.
• I CLI har autocompletion av inmatning med hänsyn till kontext säkerställts (kompletterar inmatningen av nyckelord, tabellnamn, funktioner, kolumnnamn och filnamn).
• I CLI har visning av en progressindikator för frågeutförande aktiverats som standard.

Källa: opennet.ru