DuckDB 0.6.0, публикуван вариант на SQLite за аналитични заявки

Налична е версията на СУБД DuckDB 0.6.0, която комбинира такива свойства на SQLite като компактност, възможност за свързване под формата на вградена библиотека, съхраняване на базата данни в един файл и удобен CLI интерфейс, с инструменти и оптимизации за изпълнение аналитични заявки, покриващи значителна част от съхранените данни, например, които агрегират цялото съдържание на таблици или обединяват няколко големи таблици. Кодът на проекта се разпространява под лиценза на MIT. Разработката все още е на етап формиране на експериментални версии, тъй като форматът за съхранение все още не е стабилизиран и се променя от версия на версия.

DuckDB предоставя усъвършенстван SQL диалект, който включва допълнителни възможности за обработка на много сложни и отнемащи време заявки. Поддържа се използването на сложни типове (масиви, структури, обединения) и възможността за изпълнение на произволни и вложени корелиращи подзаявки. Той поддържа изпълнение на множество заявки едновременно, стартиране на заявки директно от CSV и Parquet файлове. Възможно е импортиране от СУБД PostgreSQL.

В допълнение към кода на обвивката от SQLite, проектът използва парсер от PostgreSQL в отделна библиотека, компонента Date Math от MonetDB, собствена реализация на прозоречни функции (на базата на алгоритъма за агрегиране на дървото на сегментите), процесор за регулярен израз, базиран на библиотеката RE2, собствен оптимизатор на заявки и механизъм за управление на MVCC едновременно изпълнение на задачи (Multi-Version Concurrency Control), както и механизъм за векторизирано изпълнение на заявки, базиран на алгоритъма за Hyper-Pipeling Query Execution, който позволява големи набори от стойности да се обработват наведнъж в една операция.

Сред промените в новата версия:

• Работата по подобряване на формата за съхранение продължи. Реализиран е оптимистичен режим на запис на диск, при който при зареждане на голям набор от данни в една транзакция, данните се компресират и записват във файл от базата данни в поточно състояние, без да се чака транзакцията да бъде потвърдена с командата COMMIT . Когато се получи команда COMMIT, данните вече са записани на диска, а когато се изпълни ROLLBACK, те се отхвърлят. Преди това данните първоначално бяха напълно записани в паметта, а когато бяха записани, бяха записани на диск.
• Добавена е поддръжка за паралелно зареждане на данни в отделни таблици, което ви позволява значително да увеличите скоростта на зареждане на многоядрени системи. Например, в предишната версия, зареждането на база данни със 150 милиона реда на 10-ядрен процесор отне 91 секунди, но в новата версия тази операция се изпълнява за 17 секунди. Има два паралелни режима на зареждане - със запазване на реда на записите и без запазване на реда.
• За компресиране на данни се използва алгоритъмът FSST (Fast Static Symbol Table), който ви позволява да пакетирате данни в низове, като използвате общ речник на типичните съвпадения. Използването на новия алгоритъм направи възможно намаляването на размера на тестовата база данни от 761MB на 251MB.
• Алгоритмите на Chimp и Patas са предложени за компресиране на числа с плаваща запетая (DOUBLE и FLOAT). В сравнение с предишния алгоритъм на Gorillas, Chimp осигурява по-високи нива на компресия и по-бърза декомпресия. Алгоритъмът Patas изостава от Chimp в степента на компресия, но е много по-бърз в скоростта на декомпресия, която почти не се различава от четенето на некомпресирани данни.
• Добавена е експериментална възможност за зареждане на данни от CSV файлове в множество паралелни потоци (SET experimental_parallel_csv=true), което значително намалява времето, необходимо за зареждане на големи CSV файлове. Например, когато тази опция беше активирана, времето за изтегляне на 720 MB CSV файл беше намалено от 3.5 на 0.6 секунди.
• Реализирана е възможността за паралелно изпълнение на операциите по създаване и управление на индекси. Например операцията CREATE INDEX върху колона с 16 милиона записа беше намалена от 5.92 на 1.38 секунди.
• Разрешено паралелизиране на операциите за агрегиране в заявки, съдържащи израза „COUNT(DISTINCT col)“.
• SQL добави поддръжка за типа UNION, което позволява множество типове да бъдат обвързани с един елемент (например „UNION(num INT, грешка VARCHAR))“).
• SQL предоставя възможност за формиране на заявки, които започват с думата „FROM“ вместо „SELECT“. В този случай се предполага, че заявката започва с "SELECT *".
• SQL добави поддръжка за израза COLUMNS, който ви позволява да извършвате операция върху множество колони, без да дублирате израза. Например „SELECT MIN(COLUMNS(*)) from obs;“ ще накара функцията MIN да бъде изпълнена за всяка колона в obs таблицата и "SELECT COLUMNS('val[0-9]+') from obs;" за колони с име, състоящо се от "val" и числа.
• Добавена е поддръжка за операции върху списъци, например „ИЗБЕРЕТЕ [x + 1 за x в [1, 2, 3]] AS l;“.
• Консумацията на памет е оптимизирана. По подразбиране платформата Linux използва библиотеката jemalloc за управление на паметта. Значително подобрена производителност на операциите по сливане на хешове, когато паметта е ограничена.
• Добавен е изходен режим „.mode duckbox“ към интерфейса на командния ред, който отхвърля средните колони, като взема предвид ширината на прозореца на терминала (подходящ за бързо визуално оценяване на резултатите от заявки с голям брой колони, като например „SELECT * ОТ tbl”, които в нормален режим са разпределени в няколко реда). С помощта на параметъра “.maxrows X” можете допълнително да ограничите броя на показваните редове.
• CLI осигурява автоматично довършване на входа, като взема предвид контекста (въвеждането на ключови думи, имена на таблици, функции, имена на колони и имена на файлове е завършено).
• CLI има индикатор за напредък на заявката, активиран по подразбиране.

Източник: opennet.ru