Objavljen je izdan DBMS-a DuckDB 1.2.0, usmerenog na izvr\u0161avanje analiti\u010dkih upita i konceptualno sli\u010dnog SQLite-u. DuckDB kombinuje karakteristike SQLite-a, kao \u0161to su kompaktna veli\u010dina, povezivanje u obliku ugra\u0111ene biblioteke, \u010duvanje baze podataka u jednoj datoteci i CLI interfejs, s mogu\u0107nostima i optimizacijama za izvr\u0161avanje analiti\u010dkih upita koji obuhvataju zna\u010dajan deo pohranjenih podataka, na primer, izvr\u0161avanje agregacije celog sadr\u017eaja tabela ili spajanje nekoliko velikih tabela. Kod projekta je napisan na C++ i distribuira se pod MIT licencom. <\/p>\n
DuckDB pru\u017ea pro\u0161ireni dijalekt SQL jezika, koji uklju\u010duje dodatne mogu\u0107nosti za obradu veoma slo\u017eenih i dugotrajnih upita. Mogu\u0107e je kori\u0161\u0107enje slo\u017eenih tipova (nizovi, strukture, unije), kao i izvr\u0161avanje proizvoljnih i ugnje\u017edenih koreliranih podupita. Podr\u017eano je istovremeno izvr\u0161avanje vi\u0161e upita, kao i izvr\u0161avanje upita direktno iz datoteka u CSV i Parquet formatima. Tako\u0111e je dostupna podr\u0161ka za uvoz iz DBMS-a PostgreSQL. <\/p>\n
Projekt koristi omota\u010d iz SQLite-a, parser iz PostgreSQL-a, komponentu Date Math iz MonetDB-a, vlastitu implementaciju prozorskih funkcija (na bazi algoritma Segment Tree Aggregation), obrada regularnih izraza zasnovana na biblioteci RE2, vlastiti optimizator upita, MVCC mehanizam upravljanja istovremenim izvr\u0161avanjem zadataka (Multi-Version Concurrency Control), kao i vektorizovani motor za izvr\u0161avanje upita zasnovan na algoritmu Hyper-Pipelining Query Execution, koji omogu\u0107ava istovremeno obradu velikih skupova vrednosti u jednoj operaciji. <\/p>\n
V novi razli\u010dici: <\/p>\n
\n
Dodana je podpora za nove metode stiskanja, ki privzeto niso vklju\u010deni za ohranjanje zdru\u017eljivosti datotek DB s prej\u0161njimi razli\u010dicami DuckDB. Za uporabo izbolj\u0161ane oblike datotek DB je bila ponujena mo\u017enost vezave DB na razli\u010dico — ob odpiranju datoteke z uporabo parametra «STORAGE_VERSION» je zdaj mogo\u010de dolo\u010diti najmanj\u0161e podprto razli\u010dico DB («ATTACH ‘file.db’ (STORAGE_VERSION ‘v1.2.0’);»). Za pretvorbo nove oblike v staro lahko uporabite SQL ukaz COPY, na primer: ATTACH ‘file1.db’; ATTACH ‘converted_file.db’ (STORAGE_VERSION ‘v1.0.0’); COPY FROM DATABASE file1 TO converted_file;\n
Dodana je podpora za SQL ukaz «ALTER TABLE … ADD PRIMARY KEY» za dodajanje primarnega klju\u010da obstoje\u010di tabeli.\n
Odstranjena je omejitev, ki ni dovoljevala ponovnega dodajanja identifikatorjev, za katere obstaja indeks za sledenje edinstvenosti, \u010de so bili ti identifikatorji izbrisani v trenutni transakciji. Na primer, spodnji SQL koda zdaj ne povzro\u010di napake: CREATE TABLE students (id INTEGER PRIMARY KEY, name VARCHAR); INSERT INTO students VALUES (1, ‘John Doe’); BEGIN; DELETE FROM students WHERE id = 1; INSERT INTO students VALUES (1, ‘Jane Doe’);\n
Dodana je podpora za nalaganje CSV datotek v kodiranjih Latin-1 in UTF-16 (prej je bila podprta samo kodiranje UTF-8). FROM read_csv(‘cities-latin-1.csv’, encoding = ‘latin-1’);\n
Dodana je podpora za uporabo ve\u010dbajtnih lo\u010dil v CSV datotekah (do 4 bajte), kar omogo\u010da uporabo emoji kot lo\u010dila med stolpci. a🦆b hello🦆world FROM read_csv(‘example.dsv’, sep = ‘🦆’);\n
Privzeto je vklopljen strogi na\u010din obdelave CSV datotek («strict_mode = true»), ki preverja skladnost s formatiranjem specifikacije RFC 4180. V strogi na\u010dinu je dovoljeno uporabljati le en znak za lo\u010devanje vrstic, kar bo povzro\u010dilo napako pri poskusu obdelave datotek, v katerih se za lo\u010devanje vrstic uporabljata ne samo znak za novo vrstico, ampak tudi znak za vra\u010danje kazalca («\r\n»).\n
V parserju CSV je bil uporabljen nov algoritem za dolo\u010danje nove vrstice, ki podpira paralelno obdelavo operacij. Uporaba novega algoritma je pospe\u0161ila analizo CSV za pribli\u017eno 15%.\n
Omejitev velikosti vrstice v CSV datotekah je odstranjena (prej dol\u017eina vrstice ni smela presegati 8 MB).\n
Pri izvozu podatkov v formatu Parquet je bila uvedena podpora za ha\u0161e (slovarje) in indekse na osnovi Bloomovega filtra. Uveden je bil na\u010din stiskanja DELTA_BINARY_PACKED, ki znatno zmanj\u0161a velikost Parquet datotek.\n
V vmesnik ukazne vrstice je dodan varen na\u010din, ki ga lahko aktivirate z mo\u017enostjo «-safe» ali ukazom «.safe_mode». V tem na\u010dinu je dostop dovoljen le do prvotno navedene datoteke DB, poskus odpiranja drugih datotek pa bo privedel do prikazovanja napake.\n
V ukazni vrstici je bila izbolj\u0161ana samodejna dopolnitev vnosa. Koda za samodejno dopolnitev je bila prevedena na uporabo PEG (Gramatika za analizo izrazov).\n
Ko izvajanju ukazov v vmesniku ukazne vrstice je omogo\u010deno vizualno prikazovanje velikih \u0161tevil, na primer, pri prikazu \u0161tevila 100000000 bo dodano «(100 milijonov)».\n
V SQL je bila dodana podpora za sintakso, pri kateri lahko skraj\u0161ane oznake tabel in izrazov navedemo pred vrednostmi, na katere se nana\u0161ajo (namesto uporabe sintakse «izraz AS oznaka»): SELECT e1: some_long_and_winding_expression, e2: t2.a_column_name FROM t1: long_schema.some_long_table_name, t2: short_s.tbl;\n
V ukazu «SELECT» je bila podprta operacija «RENAME» za preimenovanje polj, ki se prikazujejo pri navedbi izraza «*»: SELECT * RENAME (col1 AS new_col1) FROM integers;\n
V ukazu «SELECT» je dovoljeno uporabljati operacije «LIKE» in «SIMILAR TO» pri prikazu preko «*»: SELECT * LIKE ‘val%’ FROM key_val;\n
Kakovost generiranja psevdonaklju\u010dnih \u0161tevil je bila izbolj\u0161ana.\n
Optimizator poizvedb je bil moderniziran. U\u010dinkovitost pri testu TPC-H SF100 se je pove\u010dala za 13%.\n
Predlagan je nov C-podoben API za razvoj raz\u0161iritev, ki se lahko uporablja, na primer, za ustvarjanje novih agregatnih ali tabelari\u010dnih funkcij.\n
Dodana je podpora za sisteme s standardno C knji\u017enico Musl. <\/ul>\n