Издаването на СУБД DuckDB 1.4.0 с поддръжка на криптиране на БД.

Публикувана е версия на СУБД DuckDB 1.4.0, насочена към изпълнение на аналитични запитвания и концептуално напомняща на SQLite. DuckDB съчетава свойства на SQLite, като компактност, свързване под формата на вградена библиотека, съхранение на базата данни в един файл и CLI интерфейс, с възможности и оптимизации за изпълнение на аналитични запитвания, обхващащи значителна част от съхраняваните данни, например, извършващи агрегиране на целия съдържание на таблици или сливане на няколко големи таблици. Кодът на проекта е написан на C++ и се разпространява под лицензия MIT.

DuckDB предлага разширен диалект на SQL, който включва допълнителни възможности за обработка на много сложни и дълготрайни запитвания. Поддържа се използването на сложни типове (масиви, структури, обединения) и извършване на произволни и вложени корелативни подзапитвания. Поддържа се едновременна обработка на няколко запитвания и изпълнение на запитвания директно от файлове във формати CSV и Parquet. Налице е поддръжка за импорт от СУБД PostgreSQL.

Проектът използва обвивка от SQLite, парсер от PostgreSQL, компонент Date Math от MonetDB, собствена реализация на оконни функции (базирана на алгоритъма Segment Tree Aggregation), обработчик на регулярни изрази, базиран на библиотеката RE2, собствен оптимизатор на запитвания, механизъм за управление на многопоточност (Multi-Version Concurrency Control), а също така и векторизиран двигател за изпълнение на запитвания, базиран на алгоритъма Hyper-Pipelining Query Execution, който позволява в една операция да се обработват големи набори от стойности.

В новата версия:

• Добавена е поддръжка за съхранение на файлове от базата данни в криптиран вид. За шифроване се използва алгоритъм AES-256 в режим GCM. Криптира се не само основният файл с данни, но и WAL логовете и времевите файлове. Ключовете за шифроване на базата данни се задават с командата ATTACH чрез параметър ENCRYPTION_KEY. ATTACH ‘encrypted.db’ AS enc_db (ENCRYPTION_KEY ‘quack_quack’);
• Добавена е поддръжка за командата «MERGE INTO», която може да се използва като алтернатива на израза «INSERT … ON CONFLICT», без необходимост от основен ключ и работа с произволни условия за сливане. Командата «MERGE INTO» позволява създаването на условни SQL изрази, които комбинират в едно изречение операциите INSERT, UPDATE и DELETE. Например, с помощта на MERGE може да се организира сливането на две таблици, като се добавят липсващи записи и се актуализират съществуващите. WITH deletes(item_id, delete_threshold) AS (VALUES (10, 3000)) MERGE INTO Stock USING deletes USING (item_id) WHEN MATCHED AND balance < delete_threshold THEN DELETE RETURNING merge_action, *;
• В допълнение, за работа с таблици в формат Apache Iceberg е добавена поддръжка за операции по запис (по-рано се поддържаше само четене), което позволява прехвърляне на данни от Iceberg в DuckDB и обратно.
• В клиента на командния ред е добавен индикатор за напредък при изпълнението на операцията с прогнозиране на оставащото време до приключването.
• Добавена е оконната функция «FILL», която може да се използва за интерполация на пропуснати стойности в подредени прозорци. FROM (VALUES (1, 1), (2, NULL), (3, 42)) t(c1, c2) SELECT fill(c2) OVER (ORDER BY c1) f; 1 21 42
• Реализирано е допълнение Teradata Connector за свързване с бази данни Teradata. Допълнението позволява манипулация на таблици, изпълнение на запитвания и стартиране на SQL команди директно в Teradata чрез DuckDB.
• Добавена е поддръжка за фиксиране на състоянието (checkpoint) на таблици, съхранявани в паметта, което даде възможност за внедряване на поддръжка на компресия. Освен това, при фиксиране на състоянието се извършва почистване на изтритите редове и освобождаване на място след операции по изтриване. ATTACH ‘:memory:’ AS memory_compressed (COMPRESS);
• Предложени са няколко оптимизации на производителността: Реализацията на сортиране е преведена на използването на алгоритъм за многопътен сливане (k-way merge sort), който намалява преместването на данни. Обобщени таблицови изрази (Common Table Expression, CTE) сега се материализират по подразбиране.

Източник: opennet.ru