SQLite 3.42 ja DuckDB 0.8.0 CG/SQL väljalase, koos salvestatud protseduuride rakendamisega SQLite jaoks.

SQLite 3.42 väljaanne on avaldatud, kergekaaluline andmebaasi haldustarkvara, mis on esitatud plugina. SQLite kood on avalik domeen, st seda võib kasutada piiranguteta ja tasuta igasugustel eesmärkidel. SQLite arendajate rahastamist teostab spetsiaalselt loodud konsortsium, kuhu kuuluvad sellised ettevõtted nagu Adobe, Oracle, Mozilla, Bentley ja Bloomberg.

Peamised muudatused:

• FTS5 täisteksti indeksite jaoks on rakendatud käsk secure-delete, mis teostab kõigi kustutatud andmete täieliku puhastamise.
• JSON-vormingu andmete töötlemise funktsioonides on rakendatud JSON5 laiendite tugi.
• Küsimuste planeerijat on täiustatud. Vaikimisi on sisse lülitatud optimeerimine „count-of-view”. Alusvalikutesse mittekasutatavate veergude töötlemine on välistatud. Push-down optimeerimise teostust on parendatud.
• Käskude rea liidesesse on lisatud valik „--unsafe-testing”, mis võimaldab kasutada teatud ohtlikke käske, nagu „.testctrl”, mis on mõeldud katsetamiseks. Turvarežiimis („--safe”) on lubatud kasutada käske „.log on” ja „.log off”. Lisatud on eraldaja „--“, mille järel keelatakse valikute töötlemine. Lisatud on parameetrid „:inf” ja „:nan”, mis on seotud väärtustega lõpmatus ja NaN.
• Rakendusepoolsetel SQL-funktsioonide nimedes on lubatud ristumine võtmesõnadega CROSS, FULL, INNER, LEFT, NATURAL, OUTER ja RIGHT.
• PRAGMA integrity_check funktsionaalsust on laiendatud. Lisatud on NaN väärtuse määramise kontroll tulpades, mille tingimus on NOT NULL. Vigade teate informatiivsust on parandatud.
• Sessionis on lubatud tabelitest ilma ROWID muutuste haaramine.
• Aja ja kuupäevade töötlemise funktsioonis on lisatud modifikaator „subsec” sekundite murdosade kasutamiseks.
• JSON-massiivide ja objektide rekursside sügavus on vaikimisi vähendatud 2000-lt 1000-le.

Lisaks sellele on välja antud DuckDB 0.8.0, mis arendab SQLite varianti, täiustatud võimalustega ja optimeerimisega analüüsipäringute täitmiseks, katab olulise osa salvestatud andmetest, näiteks kogu tabelite sisu agregatsiooni või mitme suure tabeli ühendamise. Pakutakse laiendatud SQL keele dialekti, mis sisaldab täiendavaid võimalusi väga keerukate ja pikalt kestvate päringute töötlemiseks, samuti keerukate tüüpide (massivid, struktuurid, liidud) toetamine, mitme päringu samaaegne täitmine ja päringute otsefailidest, nagu CSV, JSON ja Parquet, täitmine. On olemas võimalus importida PostgreSQL andmebaasist.

Lisaks SQLite-koodile kasutab projekt PostgreSQL-st eraldi teeki, Date Math komponenti MonetDB-st, enda aknafunktsioonide rakendust (Segment Tree Aggregation algoritmi põhjal), regulaaravaldiste töötlejat RE2 teegi põhjal, enda päringute optimeerijat, MVCC-mehhanismi (Multi-Version Concurrency Control), samuti vektoriseeritud päringute täitmise mootori, mis põhineb Hyper-Pipelining Query Execution algoritmil, mis võimaldab ühes operatsioonis töötlema suuri väärtuste komplekte. Projekti kood on jaotatud MIT litsentsi alusel.

Uues DuckDB versioonis:

• On lisatud uued väljendid „PIVOT” ja „UNPIVOT” ridade transformeerimiseks veergudeks ja vastupidi.
• Andmete importimise ja eksportimise ajal on paranenud paralleelsus. Vaikimisi on rakendatud mitme lõimega lugemine CSV-failidest ja mitme lõimega kirjutamine Parquet, CSV ja JSON vormingutes.
• On lisatud operaator „**”, mis võimaldab rekurssiivselt navigeerida kataloogides, määrates failiteed (näiteks, FROM 'data/glob/crawl/stackoverflow/**/*.csv';).
• On lisatud toetamine ühendamise (JOIN) operatsioonide jaoks ajasarja kujul andmete puhul (väärtuste lõigud määratud ajavahemike kaudu), kus rekordite ühendamise kriteeriumiks on mitte täpne, vaid ligikaudne ajaväli (näiteks saab ühendada kirjeid, mille aeg erineb mitte rohkem kui 1 minut).
• On ellu viidud andmebaasi metaandmete viivitatud laadimine, mis on aidanud andmebaasi käivitamist kümneid kordi kiirendada.
• Lisa toetust kasutaja määratud funktsioonide ühendamiseks Pythonis.
• Lisa ADBC (Arrow Database Connectivity) API toe andmeedastuseks Apache Arrowi kaudu.
• Rakendatud on sidumine Swift keele koodiga integreerimiseks.
• Jagamisoperaatori („/“) käitumine on muudetud nii, et see täidab nüüd vaikimisi ujuva komaga arvutusi, mitte täisarvulisi operatsioone. Täisarvulise jagamise jaoks on pakutud uus operaator „//“. Vana käitumise saab tagasi tuua seadmisega „SET integer_division=true;“.
• Nullkirjete arvestamise meetod sortimise ajal on muudetud „NULLS FIRST“ pealt „NULLS LAST“ peale, st NULL väärtused kuvatakse nüüd loendi lõpus, mitte alguses. Vana käitumise saab tagasi tuua seadmisega „SET default_null_order='nulls_first';“.

Lisaks on võimalik märkida Facebooki arendatavat projekti CG/SQL, mis pakub koodigeneraatorit salvestatud protseduuride kasutamiseks SQLite'is. CG/SQL võimaldab vormistada salvestatud protseduure spetsiaalses T-SQL (Transact-SQL) dialektis, mis võimaldab kutsuda esile standardse C-raamatukogu funktsioone ja suhelda andmetega SQLite'is. Loodud salvestatud protseduurid kompileeritakse C keeles koodi, mis kasutab SQLite C API-d, et täita määratud toiminguid ja töödelda keerulisi päringuid. Kompileeritud salvestatud protseduurid saavad ühenduda C, Java ja Objective-C keeles programmeeritud rakendustega. Projekti kood on kirjutatud C keeles ja levitatakse MIT litsentsi alusel.

Allikas: opennet.ru