Objavljen je izdanak DBMS-a DuckDB 1.4.0, usmjerenog na izvršavanje analitičkih upita i konceptualno sličnog SQLite-u. DuckDB kombinira svojstva SQLite-a, kao što su kompaktnost, ugradnja kao biblioteka, pohrana baza podataka u jednoj datoteci i CLI sučelje, s mogućnostima i optimizacijama za izvršavanje analitičkih upita koji pokrivaju značajan dio pohranjenih podataka, primjerice, provodeći agregacije cijelog sadržaja tablica ili spajanje nekoliko velikih tablica. Kod projekta napisan je na C++ jeziku i distribuira se pod MIT licencom.
DuckDB pruža prošireni dijalekt SQL jezika, koji uključuje dodatne mogućnosti za obradu veoma složenih i dugotrajnih upita. Moguće je korišćenje složenih tipova (nizovi, strukture, unije), kao i izvršavanje proizvoljnih i ugnježdenih koreliranih podupita. Podržano je istovremeno izvršavanje više upita, kao i izvršavanje upita direktno iz datoteka u CSV i Parquet formatima. Takođe je dostupna podrška za uvoz iz DBMS-a PostgreSQL.
Projekt koristi omotač iz SQLite-a, parser iz PostgreSQL-a, komponentu Date Math iz MonetDB-a, vlastitu implementaciju prozorskih funkcija (na bazi algoritma Segment Tree Aggregation), obrada regularnih izraza zasnovana na biblioteci RE2, vlastiti optimizator upita, MVCC mehanizam upravljanja istovremenim izvršavanjem zadataka (Multi-Version Concurrency Control), kao i vektorizovani motor za izvršavanje upita zasnovan na algoritmu Hyper-Pipelining Query Execution, koji omogućava istovremeno obradu velikih skupova vrednosti u jednoj operaciji.
V novi različici:
- Dodana je podrška za pohranu datoteka baze podataka u šifriranom obliku. Za šifriranje se koristi AES-256 algoritam u GCM modu. Šifriraju se ne samo glavna datoteka s podacima, već i WAL logovi i privremene datoteke. Ključevi za šifriranje baze podataka postavljaju se putem naredbe ATTACH uz parametar ENCRYPTION_KEY. ATTACH ‘encrypted.db’ AS enc_db (ENCRYPTION_KEY ‘quack_quack’);
- Dodana je podrška za naredbu „MERGE INTO“, koja se može koristiti kao alternativa izrazu „INSERT … ON CONFLICT“, ne zahtijeva primarni ključ i radi s proizvoljnim uvjetima spajanja. Naredba „MERGE INTO“ omogućuje stvaranje uvjetnih SQL izraza koji u jednom izrazu kombiniraju operacije INSERT, UPDATE i DELETE. Na primjer, pomoću MERGE-a možete organizirati spajanje dviju tablica, unoseći nedostajuće zapise i ažurirajući postojeće. WITH deletes(item_id, delete_threshold) AS (VALUES (10, 3000)) MERGE INTO Stock USING deletes USING (item_id) WHEN MATCHED AND balance < delete_threshold THEN DELETE RETURNING merge_action, *;
- Osim toga, za rad s tablicama u Apache Iceberg formatu dodana je podrška za operacije pisanja (ranije je bila podržana samo čitanje), što omogućuje prijenos podataka iz Iceberga u DuckDB i obratno.
- U klijentu naredbenog retka dodan je indikator napretka izvršenja operacije s predviđanjem preostalog vremena do završetka.
- Dodana je prozorska funkcija „FILL“, koju možete koristiti za interpolaciju nedostajućih vrijednosti u uređenim prozorima. FROM (VALUES (1, 1), (2, NULL), (3, 42)) t(c1, c2) SELECT fill(c2) OVER (ORDER BY c1) f; 1 21 42
- Implementiran je Teradata Connector dodatak za povezivanje s bazama podataka Teradata. Dodatak omogućuje manipulaciju tablicama, izvršavanje upita i pokretanje SQL naredbi izravno u Teradata, koristeći DuckDB.
- Dodana je podporna za shranjevanje stanja (checkpoint) tabel, shranjenih v pomnilniku, kar je omogočilo implementacijo podpore za stiskanje. Poleg tega se pri shranjevanju stanja izvede čiščenje odstranjenih vrstic in sprostitev prostora po operacijah brisanja. ATTACH ‘:memory:’ AS memory_compressed (COMPRESS);
- Predlaganih je bilo več optimizacij delovne učinkovitosti: Implementacija razvrščanja je bila prenesena na uporabo algoritma večpotnega spajanja (k-way merge sort), ki zmanjšuje premikanje podatkov. Splošni tabelarni izrazi (Common Table Expression, CTE) se zdaj materializirajo privzeto.
Izvor: opennet.ru
