Релиз на СУБД DuckDB 1.2.0

Публикувана версия на СУБД DuckDB 1.2.0, насочена на извършване на аналитични запитвания и концептуално напомняща на SQLite. DuckDB съчетава свойства на SQLite като компактност, интеграция под формата на вградена библиотека, съхранение на базата данни в един файл и CLI интерфейс, с възможности и оптимизации за извършване на аналитични запитвания, обхващащи значителна част от съхраняваните данни, например, извършващи агрегация на цялото съдържание на таблиците или обединяване на няколко големи таблици. Кодът на проекта е написан на C++ и се разпространява под лицензия MIT.

DuckDB предлага разширен диалект на SQL, който включва допълнителни възможности за обработка на много сложни и дълготрайни запитвания. Поддържа се използването на сложни типове (масиви, структури, обединения) и извършване на произволни и вложени корелативни подзапитвания. Поддържа се едновременна обработка на няколко запитвания и изпълнение на запитвания директно от файлове във формати CSV и Parquet. Налице е поддръжка за импорт от СУБД PostgreSQL.

Проектът използва обвивка от SQLite, парсер от PostgreSQL, компонент Date Math от MonetDB, собствена реализация на оконни функции (базирана на алгоритъма Segment Tree Aggregation), обработчик на регулярни изрази, базиран на библиотеката RE2, собствен оптимизатор на запитвания, механизъм за управление на многопоточност (Multi-Version Concurrency Control), а също така и векторизиран двигател за изпълнение на запитвания, базиран на алгоритъма Hyper-Pipelining Query Execution, който позволява в една операция да се обработват големи набори от стойности.

В новата версия:

• Реализирана е поддръжка на нови методи за компресия, които не са включени по подразбиране за запазване на съвместимостта на файловете с предишни версии на DuckDB. За да се използва подобреният формат на файловете на базата данни, е предложена възможността за свързване на базата данни с версия: при отваряне на файла с параметъра „STORAGE_VERSION“ вече можете да зададете минимално поддържана версия на базата данни (например: „ATTACH ‘file.db’ (STORAGE_VERSION ‘v1.2.0’);“). За конвертиране на новия формат в стария може да се използва SQL команда COPY, например: ATTACH ‘file1.db’; ATTACH ‘converted_file.db’ (STORAGE_VERSION ‘v1.0.0’); COPY FROM DATABASE file1 TO converted_file;
• Добавена е поддръжка на SQL команда „ALTER TABLE … ADD PRIMARY KEY“ за добавяне на основен ключ към съществуваща таблица.
• Премахнато е ограничението, което не позволява повторно добавяне на идентификатори, за които съществува индекс за проследяване на уникалност, ако данните идентификатори са били изтрити в текущата транзакция. Например, следният SQL код сега не води до грешка: CREATE TABLE students (id INTEGER PRIMARY KEY, name VARCHAR); INSERT INTO students VALUES (1, ‘John Doe’); BEGIN; DELETE FROM students WHERE id = 1; INSERT INTO students VALUES (1, ‘Jane Doe’);
• Добавена е поддръжка за зареждане на CSV файлове в кодировки Latin-1 и UTF-16 (преди се поддържаше само кодировка UTF-8). FROM read_csv(‘cities-latin-1.csv’, encoding = ‘latin-1’);
• Добавена е поддръжка за използване на многобайтови разделители (до 4 байта) в CSV файлове, което позволява да се използват емоджи като разделители на колони. a🦆b hello🦆world FROM read_csv(‘example.dsv’, sep = ‘🦆’);
• По подразбиране е активиран строг режим на анализ на CSV файлове („strict_mode = true“), който проверява съответствието с форматирането на спецификация RFC 4180. В строг режим е разрешено използването само на един символ за разделяне на редове, което ще доведе до грешка при опит за анализ на файлове, в които за разделяне на редове се използва не само символа за нов ред, но и символа за връщане на каретката („\r\n“).
• В парсера за CSV е внедрен нов алгоритъм за определяне на нов ред, който поддържа паралелизиране на операции. Използването на новия алгоритъм е ускорило анализа на CSV приблизително с 15%.
• Премахнато е ограничението за размер на реда в CSV файловете (преди редът не трябваше да надвишава 8 MB).
• При експортиране на данни във формат Parquet е реализирана поддръжка на хешове (словарите) и индекси, базирани на Bloom филтри. Реализиран е метод за компресия DELTA_BINARY_PACKED, който значително намалява размера на Parquet файловете.
• В интерфейса на командния ред е добавен безопасен режим, активируем чрез опцията «-safe» или командата «.safe_mode». В този режим е разрешен достъп само до посочения първоначално файл на БД, а опитът за отваряне на други файлове ще предизвика грешка.
• В интерфейса на командния ред е подобрено автоматичното допълване на входа. Кодът за автоматично допълване е преведен на PEG (Parsing Expression Grammar).
• При изпълнение на команди в интерфейса на командния ред е реализирано визуално представяне на големи числа, например, когато се показва числото 100000000, ще бъде добавено «(100 милиона)».
• В SQL е добавена поддръжка на синтаксис, при който съкратените имена на таблици и изрази могат да бъдат посочени преди стойностите, на които сочат (вместо синтаксиса «израз AS име»): SELECT e1: some_long_and_winding_expression, e2: t2.a_column_name FROM t1: long_schema.some_long_table_name, t2: short_s.tbl;
• В командата «SELECT» е реализирана поддръжка на операцията «RENAME» за преименуване на полета, изведени при посочване на израза «*»: SELECT * RENAME (col1 AS new_col1) FROM integers;
• В командата «SELECT» е разрешено използването на операциите «LIKE» и «SIMILAR TO» при извеждане с помощта на «*»: SELECT * LIKE ‘val%’ FROM key_val;
• Повишено е качеството на генериране на псевдослучайни числа.
• Модернизиран е оптимизаторът на запитвания. Производителността при теста TPC-H SF100 се е увеличила с 13%.
• Предложен е нов C-подобен API за разработване на добавки, който може да се използва, например, за създаване на нови агрегатни или таблични функции.
• Добавена е поддръжка за системи със стандартната C библиотека Musl.

Източник: opennet.ru