Пускане на DuckDB 0.10.0, вариант на SQLite за аналитични запитвания

Представен е выпускът на СУБД DuckDB 0.10.0, който комбинира свойства на SQLite като компактен размер, възможност за интеграция като вградена библиотека, съхранение на бази данни в един файл и удобен CLI интерфейс, с инструменти и оптимизации за изпълнение на аналитични запитвания, обхващащи значителна част от наличните данни, например, извършващи агрегация на цялото съдържание на таблици или обединяване на няколко големи таблици. Кодът на проекта се разпространява под лиценз MIT. Разработката все още е в етап на формулиране на експериментални издания, тъй като форматът на хранилището все още не е стабилизиран и се променя от версия на версия.

DuckDB предоставя разширен диалект на SQL, включващ допълнителни възможности за обработка на много сложни и дългосрочни запитвания. Поддържа използването на сложни типове (масиви, структури, обединения) и възможността за изпълнение на произволни и вложени корелиращи подзапитвания. Поддържа simultанно изпълнение на няколко запитвания, изпълнение на запитвания директно от файлове в CSV и Parquet формат. Има възможност за импорт от СУБД PostgreSQL.

В допълнение към обвивката на SQLite, проектът използва отделна библиотека за парсинг от PostgreSQL, компонент Date Math от MonetDB, собствена реализация на прозоречни функции (въз основа на алгоритъма Segment Tree Aggregation), обработчик на регулярни изрази на базата на библиотеката RE2, собствен оптимизатор на запитвания, механизъм MVCC за управление на конкурентно изпълнение на задачи (Multi-Version Concurrency Control), както и векторизиран двигател за изпълнение на запитвания на базата на алгоритъма Hyper-Pipelining Query Execution, позволяващ в една операция да се обработват големи набори от стойности.

Сред промените в новото издание:

• Значително е увеличена производителността при разбиране на данни в CSV формат. Например, четенето на CSV файл с 11 милиона реда в новата версия е намалено от 2.6 секунди на 1.15 секунди, а операцията „SELECT COUNT(*)“ върху CSV файла е намалена от 1.8 секунди на 0.3 секунди.
• Добавена е поддръжка на масиви с фиксиран размер, които наподобяват списъци, съдържащи фиксиран брой елементи (например, „CREATE TABLE vectors(v DOUBLE[3]);“).
• Добавена е поддръжка за свързване с СУБД MySQL, PostgreSQL и SQLite, което позволява зареждане на данни в DuckDB от външни СУБД и преместване между различни системи. Достъпът до външни БД се осъществява с помощта на типови таблици. ATTACH ‘postgres:dbname=postgresscanner’ AS postgres; SELECT title, release_year, length FROM postgres.film LIMIT 5;
• Добавена е поддръжка на израза „COMMENT ON“ за запазване на коментар за обект в БД.
• Добавена е поддръжка на израза „COPY FROM DATABASE“ за копиране на цялото съдържание от една БД в друга.
• Добавена е поддръжка на модификатора „ALL“ в изразите EXCEPT и INTERSECT.
• Реализиран е тип
  
  Източник: opennet.ru