DuckDB 0.6.0, SQLite variantes in quaestionibus analyticis editis

Dimissio DuckDB 0.6.0 DBMS praesto est, componendi tales proprietates SQLite cum pacto, facultas coniungendi in forma bibliothecae embeddae, recondens datorum in uno fasciculo et instrumento opportuno CLI, instrumentis et optimizationibus faciendis. Quaeries analyticae notabilem partem notitiarum conditarum tegunt, exempli gratia quod integras tabularum contenta aggregata vel plures magnas tabulas confundunt. In codice exertus licentia MIT distribuitur. Progressio adhuc in stadio formationis emissiones experimentales, quia forma reposita nondum confirmata est et mutationes a versione in versionem.

DuckDB praebet dialectum SQL progressum in quo addit facultates ad tractandas inquisitiones valde implicatas et tempus consumens. Usus generum complexorum (ormationes, structurae, uniones) et facultas arbitrariam et erutam subqueries correlativorum exequiarum sustentatur. Sustinet plures interrogationes simul currens, queries directe e imagini CSV et Parquet currit. importare ex PostgreSQL DBMS potest.

Praeter codicem testam e SQLite, exertus utatur parser e PostgreSQL in bibliotheca separata, componentium Date Math a MonetDB, suum exsecutionem functionum fenestrarum (segmentum Arboris aggregationis algorithmi fundatum), processus expressionis regularis innixus. in bibliotheca RE2, propria interrogatione optimizer, et MVCC moderatio mechanismi simultanei operis exsecutio (Multi-Version Concurrency Control), necnon vectorizatum inquisitionis exsecutionis machinam innixam super Hyper-Pipelining Query Executionis algorithmum, quod permittit magnas copiarum valores. statim in una operatione discursum esse.

Inter mutationes in nova emissione;

  • Opus perduravit ut forma reposita emendare posset. Orbis scripturae modus eu eucharisticus exsecutus est, in quo, cum magna copia notitiarum in uno negotio oneraret, notitia comprimitur et scripta ad fasciculum ex modo infuso datorum, sine exspectatione transactionis confirmandae cum IMPERIO praecepto. . Cum mandatum committo recipitur, notitia iam ad orbem scripta est, et cum revolvens supplicium est, deponitur. Antea, notitia initio totaliter ad memoriam servata est, et cum commissum erat, in disco servata est.
  • Adiecta subsidia parallelae onerationis notitiarum in mensas separatas, quae te permittit ut signanter augeas onerarias celeritates in systemata multi-core. Exempli gratia, in priore emissione, cum 150 milionum versuum datorum onerantium in CPU core X 10 secundis sumpserunt, in nova versione haec operatio in 91 secundis perficitur. Modi sunt duo paralleli onerandi, servato ordine historiarum et sine ordine conservato.
  • Ad comprimendum data, algorithmus FSST (Fast Symbolum Symbolum Static) adhibetur, quod sinit te ad chordas intra datas fasciculos utentes dictionario communi rerum typicarum. Usus novi algorithmi effecit ut reducere magnitudinem datorum testium ab 761MB ad 251MB.
  • Chimp et Patas algorithms ad comprimendum punctum numerorum fluctuantium (DUPLEX et NATO). Comparatur algorithmus Gorillas cum priore, Chimp gradus compressionis et decompressionis citius praebet. Algorithmus Patas post Chimp in compressione ratio deficit, sed multo velocior in decompressione velocitatis, quae fere non differt a lectione incompressa data.
  • Facultatem experimentalem addidit ad onera notitiarum e CSV imaginum in plures fluvios parallelos (SET experimental_parallel_csv=verum), quod signanter tempus minuit ut fasciculos magnas CSV onerent. Exempli gratia, cum haec optio daretur, fasciculus temporis download pro 720 MB CSV ab 3.5 ad 0.6 secundis redactus est.
  • Possibilitas parallelae exsecutionis indices creationis et administrationis operationum ad effectum adducta est. Exempli gratia, operatio INDEX CREATUS in columna cum 16 millionibus monumentis ab 5.92 ad 1.38 secundis redactus est.
  • Parallelalatio operationum aggregationis paravit in quaestionibus in quibus expressio "COUNT (DISTINCT col)".
  • SQL auxilium generis Unionis addidit, quae multiplices rationes ad unum elementum alliganda permittit (exempli gratia "UNION (num INT, error VARCHAR))").
  • SQL facultatem praebet quaerendi formandi quae a verbo "EX" pro "selectis" incipiunt. In hoc casu supponitur quod quaestio incipit a "SELECTO*".
  • SQL subsidia columnarum expressio addidit, quae tibi permittit operationem in multiplicibus columnis sine expressione duplicata. Exempli gratia, "SELECT MIN COLUMNA) ab obs; munus MIN efficiet pro unaquaque columna in obs tabula, et "Columnas SELECT('val[0-9]+') ex obs;" nam columnae nomine constant "val" et numero.
  • Subsidiis additis pro operationibus in tabulis, exempli gratia: SELECT [x+1 pro x in [1, 2, 3]] AS l;
  • Memoria consummatio est optimized. Defalta, Linux suggestum bibliotheca jemalloc pro memoria administratione utitur. Insigniter emendatur operatio operationum bush Nullam cum memoria limitatur.
  • Modus anatalis additur ".modus anatis" output ad lineam interfaciei imperantis, quae medias columnas inspecta latitudine fenestrae terminalis reicit (apta enim cito uisum perpendendis eventibus quaestionis cum magna columnarum numero, ut "SELECT* FROM tbl, quae in modo normali per plures lineas diffunduntur). Parametro ".maxrows X" utens, numerum quoque versuum circumscribere potest.
  • CLI autocompletionem praebet initus ratione contextus (input keywords, tabularum nomina, munera, columnae nomina et nomina fasciculorum completur).
  • Progressus quaesitum est CLI indicator de defalta confortatus.

Source: opennet.ru