Ilmus DuckDB 0.6.0, SQLite variant analüütiliste päringute jaoks

On release is the DBMS DuckDB 0.6.0, which combines properties such as compactness, the ability to connect as an embedded library, storage of the database in a single file, and a convenient CLI interface of SQLite, with tools and optimizations for performing analytical queries covering a significant part of stored data, such as aggregating all content of tables or merging several large tables. The project code is distributed under the MIT license. Development is still at the stage of forming experimental releases, as the storage format has not yet stabilized and changes from version to version.

DuckDB pakub laiendatud SQL-i dialekti, mis sisaldab lisafunktsioone väga keeruliste ja pikaajaliste päringute töötlemiseks. Toetatakse keeruliste tüüpide (massiiivid, struktuurid, ühendused) kasutamist ning võimalust teostada omapäraseid ja sisemisi korreleerivaid alam-päringuid. Samuti toetab see mitme päringu samaaegset täitmist ja päringute otsest täitmist CSV- ja Parquet-failidest. On võimalik importida andmeid PostgreSQL andmebaasist.

Lisaks SQLite shell-koodile kasutab projekt PostgreSQL-st eraldi välja tõstetud parserit, MonetDB Date Math komponenti, oma realiseeringut aknafunktsioonidest (Segment Tree Aggregation algoritmi põhjal), regulaaravaldiste töötlemise vahendit, mis põhineb RE2 raamatukogul, oma päringute optimeerijat, MVCC mehhanismi (Multi-Version Concurrency Control) üheaegsete ülesannete haldamiseks ning vektorkiidustatud päringute täitmise mootorit Hyper-Pipelining Query Execution algoritmi põhjal, mis võimaldab ühes operatsioonis korraga töödelda suurtes kogustes väärtusi.

Among the changes in the new release:

• Work on improving the storage format has continued. An optimistic mode of writing to disk has been implemented, in which during the loading of a large dataset in a single transaction, the data is compressed and streamed directly into the database file without waiting for the completion of the transaction confirmation with the COMMIT command. At the time the COMMIT command is issued, the data has already been written to the disk, and in the event of a ROLLBACK, it is discarded. Previously, data was fully preserved in memory first and saved to disk upon commit.
• Support for parallel loading of data into separate tables has been added, significantly increasing loading speed on multi-core systems. For example, in the previous release, loading a database with 150 million rows on a 10-core CPU took 91 seconds, while in the new version this operation is performed in 17 seconds. Two modes of parallel loading are provided - preserving the order of records and non-order-preserving.
• The FSST (Fast Static Symbol Table) algorithm has been employed for data compression, allowing for packing data within strings using a common dictionary of typical matches. The application of the new algorithm has reduced the size of the test database from 761MB to 251MB.
• For compressing floating-point numbers (DOUBLE and FLOAT), Chimp and Patas algorithms have been proposed. Compared to the previously used Gorillas algorithm, Chimp provides a higher level of compression and faster unpacking. The Patas algorithm lags behind Chimp in terms of compression degree but is significantly faster in unpacking speed, nearly indistinguishable from reading uncompressed data.
• Lisatud katseversioon CSV-failidest andmete laadimise võimalus mitme paralleelse vooga (SET experimental_parallel_csv=true), mis vähendab oluliselt suurte CSV-failide laadimisaega. Näiteks, kui valik on lubatud, lühenes 720 MB CSV-faili laadimise aeg 3,5 sekundilt 0,6 sekundile.
• Teostatud indeksi loomise ja haldamise toimingute paralleelne täitmine. Näiteks lühenes CREATE INDEX toimingu teostamine 16 miljoni kirje puhul 5,92 sekundilt 1,38 sekundile.
• Tagatud on operatsioonide paralleelne teostamine, mis sisaldavad päringutes väljendit "COUNT(DISTINCT col)".
• SQL-i on lisatud UNION tüübi tugi, mis võimaldab siduda ühe elemendi mitme tüübiga (näiteks, "UNION(num INT, error VARCHAR)").
• SQL-is on antud võimalus luua päringud, mis algavad sõnaga "FROM" selle asemel, et "SELECT". Sel juhul eeldatakse, et päring algab "SELECT *".
• SQL-is on lisatud väljendi "COLUMNS" tugi, mis võimaldab teostada toimingut mitme veeru üle väljendi dubleerimata. Näiteks, "SELECT MIN(COLUMNS(*)) from obs;" viib MIN-funktsiooni teostamiseni iga veeru jaoks tabelis obs, ja "SELECT COLUMNS('val[0-9]+') from obs;" veergude puhul, mille nimed koosnevad "val"-st ja numbritest.
• Lisatud tugi loendite operatsioonideks, näiteks "SELECT [x + 1 for x in [1, 2, 3]] AS l;".
• Viidatud on mälu tarbimise optimeerimine. Vaikimisi on Linuxi platvormil mälu haldamiseks kasutusel jemalloc teek. Ühendamise häälingute sooritus on oluliselt paranenud piiratud mälu suurusega.
• Käsurealiideses on lisatud väljundirežiim " .mode duckbox", mis eemaldab keskmised veerud arvesse võttes terminali akna laius (sobib kiiresti tulemuste hindamiseks suurte veerude arvuga päringute puhul, nagu "SELECT * FROM tbl", mis tavalisel režiimil jaotuvad mitmele reale). Parameetri " .maxrows X " abil on võimalik ka väljundiretseid arvu piirata.
• CLI-s on tagatud sisestuse automaatne täiendamine konteksti arvesse võttes (täidetakse võtmesõnade, tabelinimede, funktsioonide, veernimede ja failinimede sisestamine).
• CLI-s on vaikimisi sisse lülitatud päringu täitmise edenemise näidiku kuvamine.

Allikas: opennet.ru