DuckDB andmebaasi väljaanne 1.2.0

Välja on antud DuckDB 1.2.0, mis on suunatud analüütiliste päringute täitmisele ja mille kontseptsioon sarnaneb SQLite'iga. DuckDB ühendab sellised SQLite omadused nagu kompaktne suurus, integreeritav raamatukoguna, andmebaasi salvestamine ühte faili ja CLI-liides, koos analüütiliste päringute täitmisvõimaluste ja optimeerimisega, mis katab märkimisväärse osa salvestatud andmetest, näiteks kiiret andmete agregatsiooni või suuremate tabelite ühendamist. Projekti kood on kirjutatud C++ keeles ja jagatakse MIT litsentsi alusel.

DuckDB pakub ulatuslikku SQL keele dialekti, mis sisaldab täiendavaid võimalusi keerukate ja pikaajaliste päringute töötlemiseks. Toetatakse keeruliste tüüpide (massiv, struktuurid, liidendid) kasutamist ja võimalust täita omavahel seotud alampäringuid. Samuti on toetatud mitme päringu samanaegne täitmine, päringute otsefailidest, nagu CSV ja Parquet. On olemas ka toimetamine PostgreSQL andmebaasidest.

Projekt kasutab SQLite'i kestat, PostgreSQL'i parset, MonetDB Date Math komponenti, oma aknafunktsioonide rakendust (Segment Tree Aggregation alusel), regulaaravalduste töötlejat RE2 raamatukogu põhjal, oma päringu optimeerijat, MVCC mehhanismi (Multi-Version Concurrency Control) ja vektori mootori päringutäitmiseks, mis põhineb hüpertorustuse päringute täitmise algoritmil, võimaldades ühes tegevuses korraga käsitleda suuri väärtuste kogumeid.

Uues versioonis:

• Uute tihendusmeetodite tugi, mis ei ole vaikimisi aktiveeritud, et säilitada andmebaasifailide ühilduvus DuckDB varasemate versioonidega, on realiseeritud. Uue andmebaasifaili formaadi kasutamiseks on pakutud võimalust siduda andmebaas versiooninumbriga — faili avamisel parameetri „STORAGE_VERSION” abil on nüüd võimalik määrata minimaalne toetatav andmebaasiversioon (‘ATTACH ‘file.db’ (STORAGE_VERSION ‘v1.2.0’);’). Uue formaadi vana vastu konverteerimiseks saab kasutada SQL käsku COPY, näiteks: ATTACH ‘file1.db’; ATTACH ‘converted_file.db’ (STORAGE_VERSION ‘v1.0.0’); COPY FROM DATABASE file1 TO converted_file;
• Lisatud on SQL-käsk „ALTER TABLE … ADD PRIMARY KEY”, et lisada olemasolevale tabelile peamine võti.
• Eemaldatud on piirang, mis ei lubanud uuesti lisada identifikaatoreid, millel oli unikaalsuse jälgimise indeks, kui need andmeid olid hetkel tehingust kustutatud. Näiteks allolev SQL-kood ei tekita enam viga: CREATE TABLE students (id INTEGER PRIMARY KEY, name VARCHAR); INSERT INTO students VALUES (1, ‘John Doe’); BEGIN; DELETE FROM students WHERE id = 1; INSERT INTO students VALUES (1, ‘Jane Doe’);
• CSV-failide toetamine Latin-1 ja UTF-16 kodeeringutes (varem toetas vaid UTF-8 kodeeringut) on lisatud. FROM read_csv(‘cities-latin-1.csv’, encoding = ‘latin-1’);
• CSV-failides on lisatud toetus mitme baitide eraldajatele (kuni 4 baiti), mis võimaldab kasutada emoji'd veergude eraldajana. a🦆b hello🦆world FROM read_csv(‘example.dsv’, sep = ‘🦆’);
• CSV-failide parsimiseks on vaikimisi lubatud range režiim ('strict_mode = true'), mis kontrollib, kas vorming vastab RFC 4180 spetsifikatsioonile. Range režiimis on lubatud kasutada vaid üht sümbolit ridade eraldamiseks, mis põhjustab vea, kui ridade eraldamiseks kasutatakse mitte ainult reavahetus sümbolit, vaid ka tagasiühenduse sümbolit (‘\r\n’).
• CSV-parsijasse on rakendatud uus uue rea määramise algoritm, mis toetab operatsioonide paralleesimist. Uue algoritmi kasutamine on kiirendanud CSV parsimist umbes 15%.
• CSV-failide ridade suuruse piirang on eemaldatud (varem ei tohtinud rida ületada 8 MB).
• Parquet-formaadis andmete eksportimisel on rakendatud toetus häshtemarkide (sõnastike) ja Bloom-filtril põhinevate indeksite jaoks. Rakendatud on DELTA_BINARY_PACKED tihendusmeetod, mis võimaldab oluliselt vähendada Parquet-failide suurust.
• Käskude rea liidesesse on lisatud turvarežiim, mille aktiveerimiseks kasutatakse valikut ‘-safe’ või käsku ‘.safe_mode’. Selles režiimis on lubatud juurdepääs ainult algselt määratud andmebaasi failile, ja katse avada teisi faile toob kaasa vea.
• Käskude rea liidese automaatne täiendamine on paranenud. Automaatse täiendamise kood on muudetud PEG (Parsing Expression Grammar) kasutamiseks.
• Käskude rea liideses on suurte numbrite visualiseerimine, näiteks numbrit 100000000 kuvatakse täiendava märkusega '(100 miljonit)'.
• SQL-is on lisatud toetus süntaksile, kus lühendatud tabelite ja väljendite nimed saab määrata enne väärtusi, millele nad viitavad (asemel, et kasutada süntaksit ‘väljend AS nimetus’): SELECT e1: some_long_and_winding_expression, e2: t2.a_column_name FROM t1: long_schema.some_long_table_name, t2: short_s.tbl;
• Selekti käsu toetamine on realiseeritud „RENAME“ operatsiooni jaoks, et ümber nimetada veerge, mis kuvatakse väljendi „*“ näitamisel: SELECT * RENAME (col1 AS new_col1) FROM integers;
• Selekti käsus on lubatud kasutada operatsioone „LIKE“ ja „SIMILAR TO“ väljundi kaudu „*“: SELECT * LIKE ‘val%’ FROM key_val;
• Pseudojuhuslike arvude genereerimise kvaliteet on tõusnud.
• Küsimuste optimeerijat on moderniseeritud. TPC-H SF100 testi läbimise tulemuslikkus on tõusnud 13%.
• Pakutakse uut C-laadset API-d täienduste loomiseks, mida saab kasutada näiteks uute agregaat- või tabelifunktsioonide loomiseks.
• Lisatud tugi süsteemidele, kus on standardne C-biblioteek Musl.

Allikas: opennet.ru