Megjelent a DuckDB 1.4.0, az analitikus lekérdezésekre összpontosító, az SQLite-hoz elvileg hasonló DBMS. A DuckDB egyesíti az SQLite kompakt méretét, csatlakoztatható könyvtárát, egyfájlos adatbázis-tárolóját és CLI-felületét a tárolt adatok nagy részét lefedő analitikai lekérdezések futtatásához szükséges képességekkel és optimalizálással, például a táblák teljes tartalmának összesítésével vagy több nagy tábla egyesítésével. A projekt kódja C++ nyelven íródott, és az MIT licenc alatt kerül terjesztésre.
A DuckDB az SQL nyelv kiterjesztett dialektusát biztosítja, amely további lehetőségeket is tartalmaz a nagyon összetett és hosszan futó lekérdezések kezelésére. Lehetőség van összetett típusok (tömbök, struktúrák, uniók) használatára, valamint tetszőleges és egymásba ágyazott korrelált részlekérdezések végrehajtására. Több lekérdezés egyidejű végrehajtása, közvetlenül CSV és Parquet fájlokból történő lekérdezések végrehajtása támogatott. A PostgreSQL DBMS-ből történő importálás támogatása elérhető.
A projekt SQLite shellt, PostgreSQL elemzőt, MonetDB Date Math komponenst, ablakfüggvények saját implementációját (a Segment Tree Aggregation algoritmuson), RE2 könyvtáron alapuló reguláris kifejezés-processzort, saját lekérdezés optimalizálót, MVCC mechanizmust a HyVerVerziós feladatok egyidejű végrehajtásának kezelésére, a Concurry alapú vezérlőmotort és a vektort Per-Pipelining Query Execution algoritmus, amely lehetővé teszi nagy értékkészletek feldolgozását egy műveletben.
Az új verzióban:
- Hozzáadott támogatás a titkosított adatbázisfájlok tárolására. Az AES-256 algoritmust használják a GCM módban történő titkosításhoz. Ez a titkosítás nemcsak a fő adatfájlt tartalmazza, hanem a WAL naplókat és az ideiglenes fájlokat is. Az adatbázis-titkosítási kulcsokat az ATTACH parancs ENCRYPTION_KEY paraméterével lehet megadni. ATTACH 'encrypted.db' AS enc_db (ENCRYPTION_KEY 'quack_quack');
- Hozzáadtuk a MERGE INTO parancs támogatását, amely az INSERT … ON CONFLICT utasítás alternatívájaként használható, nem igényel elsődleges kulcsot, és tetszőleges egyesítési feltételekkel működik. A MERGE INTO parancs lehetővé teszi feltételes SQL kifejezések létrehozását, amelyek egyetlen utasításban kombinálják az INSERT, UPDATE és DELETE műveleteket. Például a MERGE használatával két táblát egyesíthet, hiányzó rekordokat beszúrva, és a meglévőket frissítve. WITH deletes(item_id, delete_threshold) AS (VALUES (10, 3000)) MERGE INTO Stock USING deletes USING (item_id) WHEN MATCHED AND balance < delete_threshold THEN DELETE RETURNING merge_action, *;
- Az Apache Iceberg formátumú táblázatokkal való munka mellett az írási műveletek támogatása is hozzáadódott (korábban csak az olvasási műveletek voltak támogatottak), amely lehetővé teszi az adatok átvitelét az Icebergről a DuckDB-re és fordítva.
- A parancssori kliens frissült egy folyamatjelzővel, amely jelzi a művelet befejezéséig hátralévő időt.
- Hozzáadtuk a FILL ablakfüggvényt, amely a hiányzó értékek rendezett ablakokban való interpolálására használható. FROM (VALUES (1, 1), (2, NULL), (3, 42)) t(c1, c2) SELECT fill(c2) OVER (ORDER BY c1) f; 1 21 42
- A Teradata adatbázisokhoz való csatlakozáshoz szükséges Teradata Connector bővítmény implementálva lett. A bővítmény lehetővé teszi táblák kezelését, lekérdezések végrehajtását és SQL-parancsok futtatását közvetlenül a Teradatában a DuckDB használatával.
- Hozzáadott támogatás a memóriában lévő táblák ellenőrzőpontozásához, lehetővé téve a tömörítési támogatást. Az ellenőrzőpontozás a törölt sorokat is kiüríti, és a törlési műveletek után helyet szabadít fel. ATTACH ':memory:' AS memory_compressed (COMPRESS);
- Számos teljesítményoptimalizálási javaslat született: A rendezési implementációt egy k-utas egyesítéses rendezési algoritmusra állították át, ami csökkenti az adatmozgást. A közös táblakifejezések (CTE-k) mostantól alapértelmezés szerint materializálódnak.
Forrás: opennet.ru
