Uppsläpp av DuckDB 0.10.0, en variant av SQLite för analytiska frågor

Version 0.10.0 av databashanteraren DuckDB har presenterats och kombinerar egenskaper från SQLite, såsom kompakthet, möjlighet att integrera det som ett inbäddat bibliotek, lagring av databasen i en fil och en användarvänlig CLI-gränssnitt, med verktyg och optimeringar för att utföra analytiska frågor som omfattar en betydande del av de lagrade data, till exempel aggregering av hela innehållet i tabeller eller sammanslagning av flera stora tabeller. Projektets kod distribueras under MIT-licensen. Utvecklingen är fortfarande i en experimentell fas, då lagringsformatet ännu inte är stabiliserat och förändras mellan versionerna.

DuckDB erbjuder en utökad SQL-dialekt, som inkluderar ytterligare funktioner för att hantera mycket komplexa och tidskrävande frågor. Användning av komplexa typer (array, strukturer, unioner) och möjligheten att utföra godtyckliga och inbäddade korrelerade undermappar stöds. Samtidig körning av flera frågor stöds, liksom att köra frågor direkt från filer i formatet CSV och Parquet. Det finns möjlighet att importera från databaserna PostgreSQL.

Förutom skalprogrammet från SQLite används en parser från PostgreSQL som har flyttats till ett eget bibliotek, komponenten Date Math från MonetDB, en egen implementering av fönsterfunktioner (baserat på algoritmen Segment Tree Aggregation), en regeluttrycksbehandlare baserad på biblioteket RE2, egna frågeoptimerare, MVCC-mekanismen för hantering av samtidig uppgiftsutförande (Multi-Version Concurrency Control), samt en vektoriserad frågaexecutionsmotor baserad på algoritmen Hyper-Pipelining Query Execution, som möjliggör bearbetning av stora datamängder i en enda operation.

Bland förändringarna i den nya versionen:

• Prestandan vid tolkning av data i CSV-format har ökat avsevärt. Till exempel har läsningen av en CSV-fil med 11 miljoner rader i den nya versionen minskat från 2,6 sek. till 1,15 sek., och utförandet av operationen „SELECT COUNT(*)” på CSV-filen har minskat från 1,8 sek. till 0,3 sek.
• Stöd för fasta storlekar av arrayer har lagts till, som liknar listor som innehåller ett fast antal element („CREATE TABLE vectors(v DOUBLE[3]);”).
• Stöd för anslutning till databashanterarna MySQL, PostgreSQL och SQLite har lagts till, vilket gör att man kan ladda data från externa databaser till DuckDB och flytta dem mellan olika system. Åtkomst till externa databaser görs med hjälp av typiska tabeller. ATTACH 'postgres:dbname=postgresscanner' AS postgres; SELECT title, release_year, length FROM postgres.film LIMIT 5;
• Stöd för uttrycket „COMMENT ON” har lagts till för att spara kommentarer om objekt i databasen.
• Stöd för uttrycket „COPY FROM DATABASE” har lagts till för att kopiera hela innehållet från en databas till en annan.
• Stöd för modifikatorn „ALL” i uttrycken EXCEPT och INTERSECT har lagts till.
• Typ har implementerats
  
  Källa: opennet.ru