🥇Публикуван е DuckDB 0.6.0, вариант на SQLite за аналитични запитвания

Достъпен е релиз на СУБД DuckDB 0.6.0, който съчетава свойства на SQLite, като компактност, възможност за интеграция като вградена библиотека, съхранение на база данни в един файл и удобен CLI интерфейс, с инструменти и оптимизации за изпълнение на аналитични запитвания, обхващащи значителна част от съхраняваните данни, например, извършващи агрегация на всичките съдържания на таблици или комбиниране на няколко големи таблици. Кодът на проекта се разпространява под MIT лиценз. Разработката все още е на етап експериментални версии, тъй като форматът на хранилището все още не е стабилизиран и се променя с всяка версия.

DuckDB предоставя разширен диалект на SQL, включващ допълнителни възможности за обработка на много сложни и дългосрочни запитвания. Поддържа използването на сложни типове (масиви, структури, обединения) и възможността за изпълнение на произволни и вложени корелиращи подзапитвания. Поддържа simultанно изпълнение на няколко запитвания, изпълнение на запитвания директно от файлове в CSV и Parquet формат. Има възможност за импорт от СУБД PostgreSQL.

В допълнение към обвивката на SQLite, проектът използва отделна библиотека за парсинг от PostgreSQL, компонент Date Math от MonetDB, собствена реализация на прозоречни функции (въз основа на алгоритъма Segment Tree Aggregation), обработчик на регулярни изрази на базата на библиотеката RE2, собствен оптимизатор на запитвания, механизъм MVCC за управление на конкурентно изпълнение на задачи (Multi-Version Concurrency Control), както и векторизиран двигател за изпълнение на запитвания на базата на алгоритъма Hyper-Pipelining Query Execution, позволяващ в една операция да се обработват големи набори от стойности.

Сред промените в новото издание:

Работата по усъвършенстването на формата на съхранение продължава. Реализиран е оптимистичен режим за запис на диск, при който при натоварване на голям набор от данни в една транзакция, данните се компресират и в потоков режим се записват във файл с базата данни, без да се чака завършването на потвърждаването на транзакцията с командата COMMIT. По време на изпълнението на командата COMMIT данните вече са записани на диск, а при изпълнение на ROLLBACK — се отхвърлят. По-рано данните първоначално се запазваха напълно в паметта, а при комит се записваха на диск.
Добавена е поддръжка за паралелно зареждане на данни в отделни таблици, което значително увеличава скоростта на зареждане на многоядрени системи. Например, в предишния релиз зареждането на база данни с 150 млн. реда на 10-ядрен CPU отнемаше 91 секунди, а в новата версия това действие се изпълнява за 17 секунди. Предвидени са два режима на паралелно зареждане — с запазване на реда на записите и без запазване на реда.
За компресиране на данни е използван алгоритъмът FSST (Fast Static Symbol Table), който позволява опаковане на данните в низове, използвайки общ речник на типичните съвпадения. Използването на новия алгоритъм позволи да се намали размерът на тестовата база данни от 761MB на 251MB.
За компресиране на числа с плаваща запетая (DOUBLE и FLOAT) са предложени алгоритмите Chimp и Patas. В сравнение с предходния алгоритъм Gorillas, Chimp осигурява по-високо ниво на компресия и по-бързо разархивиране. Алгоритъмът Patas изостава по степен на компресия от Chimp, но е значително по-бърз по време на разархивиране, което почти не се различава от четенето на некомпресирани данни.
Добавена е експериментална възможност за зареждане на данни от CSV файлове в няколко паралелни потока (SET experimental_parallel_csv=true), което значително намалява времето за зареждане на големи CSV файлове. Например, при активиране на опцията, времето за зареждане на CSV файл с размер 720 MB е намалено от 3.5 на 0.6 секунди.
Реализирана е възможност за паралелно изпълнение на операции по създаване и управление на индекси. Например, времето за изпълнение на операция CREATE INDEX за колона с 16 милиона записа е намалено от 5.92 на 1.38 секунди.
Обезпечено е разпаралеляване на операциите за агрегация в запитванията, съдържащи израза „COUNT(DISTINCT col)“.
В SQL е добавена поддръжка на типа UNION, който допуска привързване на един елемент към няколко типа (например, „UNION(num INT, error VARCHAR)“).
В SQL е предоставена възможност за формиране на запитвания, които започват със словото „FROM“ вместо „SELECT“. В този случай се предполага, че запитването започва със „SELECT *“.
В SQL е добавена поддръжка на израза „COLUMNS“, позволяваща да се извърши операция върху няколко колони, без да се дублира израза. Например, „SELECT MIN(COLUMNS(*)) from obs;“ ще изпълни функция MIN за всяка колона в таблицата obs, а „SELECT COLUMNS(‘val[0-9]+’) from obs;“ за колоните с име, състоящо се от „val“ и цифри.
Добавена е поддръжка на операции върху списъци, например, „SELECT [x + 1 for x in [1, 2, 3]] AS l;“.
Проведена е оптимизация за управление на паметта. По подразбиране на платформата Linux за управление на паметта е използвана библиотека jemalloc. Значително е подобрена производителността на операциите за обединение на хешове при ограничен размер на паметта.
В интерфейса на командния ред е добавен режим на изхода «.mode duckbox», който отхвърля средните колони в съответствие с ширината на терминалния прозорец (подходящ за бързо визуализиране на резултатите от запитвания с голям брой колони, като «SELECT * FROM tbl», които в обикновен режим се разпростират на няколко реда). С параметъра «.maxrows X» допълнително може да се ограничи и числото на показваните редове.
В CLI е осигурено автоматично допълване на въвеждането във връзка с контекста (допълва се въвеждането на ключови думи, имена на таблици, функции, имена на колони и имена на файлове).
В CLI по подразбиране е включено показването на индикатора за напредъка на изпълнението на запитването.

Източник: opennet.ru

Публикувана е DuckDB 0.6.0, вариант на SQLite за аналитични заявки.