Avaldatud DuckDB 0.10.0, SQLite variandi analüütiliste päringute jaoks

Käesolevaga esitletakse andmebaasi DuckDB versioon 0.10.0, mis ühendab SQLite omadused, nagu kompaktsus, võimalus integreerida teeki ning andmebaasi salvestamine ühte faili koos mugava CLI-liidesega, täiustatud vahenditega ja optimeeringutega analüütiliste päringute täitmiseks, mis katab märkimisväärse osa salvestatud andmetest, näiteks tabelite kogu sisu agregatsiooni või mitme suure tabeli liitmise teostamiseks. Projekti kood on litsentsitud MIT litsentsi alusel. Arendus on hetkel eksperimentaalsete versioonide etapis, kuna salvestusformaadi stabiliseerimine pole veel toimunud ja see muutub versioonide kaupa.

DuckDB pakub laiendatud SQL-i dialekti, mis sisaldab lisafunktsioone väga keeruliste ja pikaajaliste päringute töötlemiseks. Toetatakse keeruliste tüüpide (massiiivid, struktuurid, ühendused) kasutamist ning võimalust teostada omapäraseid ja sisemisi korreleerivaid alam-päringuid. Samuti toetab see mitme päringu samaaegset täitmist ja päringute otsest täitmist CSV- ja Parquet-failidest. On võimalik importida andmeid PostgreSQL andmebaasist.

Lisaks SQLite shell-koodile kasutab projekt PostgreSQL-st eraldi välja tõstetud parserit, MonetDB Date Math komponenti, oma realiseeringut aknafunktsioonidest (Segment Tree Aggregation algoritmi põhjal), regulaaravaldiste töötlemise vahendit, mis põhineb RE2 raamatukogul, oma päringute optimeerijat, MVCC mehhanismi (Multi-Version Concurrency Control) üheaegsete ülesannete haldamiseks ning vektorkiidustatud päringute täitmise mootorit Hyper-Pipelining Query Execution algoritmi põhjal, mis võimaldab ühes operatsioonis korraga töödelda suurtes kogustes väärtusi.

Among the changes in the new release:

• CSV-formaadis andmete tõlgendamise jõudlust on oluliselt suurendatud. Näiteks 11 miljoni rea CSV-faili lugemine uues versioonis vähenes 2,6 sekundilt 1,15 sekundile, samas kui ‘SELECT COUNT(*)’ tegevuse täitmine CSV-faili peal vähenes 1,8 sekundilt 0,3 sekundile.
• Lisatud on fikseeritud suurusega massiivide tugi, mis meenutab loendeid, sisaldades fikseeritud arvu elemente ("CREATE TABLE vectors(v DOUBLE[3]);").
• Lisatud on tugi DuckDB-le andmebaaside MySQL, PostgreSQL ja SQLite ühendamiseks, võimaldades andmete importimist välistest andmebaasidest ning nende liigutamist erinevate süsteemide vahel. Välistesse andmebaasidesse pääsemine toimub tüüpiliste tabelite kaudu. ATTACH ‘postgres:dbname=postgresscanner’ AS postgres; SELECT title, release_year, length FROM postgres.film LIMIT 5;
• Lisatud on tugi väljendile ‘COMMENT ON’ objekti jaoks andmebaasis kommentaaride salvestamiseks.
• Lisatud on tugi väljendile ‘COPY FROM DATABASE’ kogu sisu kopeerimiseks ühe andmebaasi teisest.
• Lisatud on tugi modifikaatorile ‘ALL’ väljendites EXCEPT ja INTERSECT.
• Tehtud on tüüp
  
  Allikas: opennet.ru